Upload
others
View
8
Download
0
Embed Size (px)
Citation preview
Redes Neurais Artificiais
Airton Bordin Junior
Mestrado em Ciência da Computação – Inteligência ComputacionalProfº Dr Celso Gonçalves Camilo Junior
Universidade Federal de Goiás (UFG) - Instituto de Informática - Maio/2017
Programação
• Introdução
•Heurísticas e Metaheurísticas
•Algoritmos evolucionários
•Redes Neurais Artificiais
•Referências
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
2
Introdução
• Podemos classificar os problemas computacionais em
Tratáveis, também chamados de polinomiais Podem ser resolvidos por algoritmos determinísticos.
Intratáveis, ou não polinomiais Sem algoritmo determinístico para resolver o problema em
tempo hábil.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
Tratáveis•Polinomiais
•Algoritmos determinísticos
Intratáveis
•Não polinomiais
•Algoritmos não determinísticos
•Solução determinística inviável 3
Introdução
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
4
Heurística
• Impraticabilidade de encontrar/calcular a melhorresposta para problemas não polinomiais;
• Desafio: produzir, em tempo reduzido, soluçõestão próximas quanto possíveis da solução ótima.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
5
Metaheurística
Propriedades e características das metaheurísticas [SALIBA, 2010]
Estratégias que guiam o processo de busca;
Exploração eficiente do espaço de busca - soluções ótimas ou quase ótimas;
De simples procedimentos de busca local a complexos processos de aprendizado;
Aproximados e usualmente não determinísticos;
Podem incorporar mecanismos para evitar ficar presos em áreas confinadas do espaço de busca;
Não são específicas para um determinado problema;
Podem usar um conhecimento específico do problema na forma de heurísticas que são controladas por uma estratégia de nível superior.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
6
Algoritmos bio-inspirados
Algoritmos bio-inspirados
Algoritmos evolucionários
Inteligência coletiva
Redes Neurais
Sistemas Imunológicos In
teli
gên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
Algoritmos Genéticos
Programação Genética
Evolução Gramatical
Estratégias Evolucionárias
Programação Evolucionária
Colônia de Formigas
Enxame de Partículas
MLP – Multi-layer Perceptrons
RBF- Radio Basis Function Net
SOM- Self-Organizing Maps
ARTMap
Seleção Negativa
Expansão Clonal
Redes
[PAPPA, 2013]
7
Algoritmos bio-inspirados
Algoritmos bio-inspirados
Algoritmos evolucionários
Inteligência coletiva
Redes Neurais
Sistemas Imunológicos In
teli
gên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
Algoritmos Genéticos
Programação Genética
Evolução Gramatical
Estratégias Evolucionárias
Programação Evolucionária
Colônia de Formigas
Enxame de Partículas
MLP – Multi-layer Perceptrons
RBF- Radio Basis Function Net
SOM- Self-Organizing Maps
ARTMap
Seleção Negativa
Expansão Clonal
Redes
[PAPPA, 2013]
8
Algoritmos evolucionários
• Inspirados na teoria de evolução de Darwin;
• Evolução: mudança das características (genéticas) deuma população de uma geração para a próximaMutação dos genes;
Recombinação dos genes dos pais.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
Algoritmos bio-inspirados
Algoritmos evolucionários
Inteligência coletiva
Redes Neurais
Sistemas Imunológicos 9
Algoritmos evolucionários
• Evolução é caracterizada basicamente por umprocesso constituído de 3 passos [VON ZUBEN, 2005]
1. Reprodução com herança genética;
2. Introdução de variação aleatória em umapopulação de indivíduos;
3. Aplicação da “seleção natural” para aprodução da próxima geração.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
nB
ord
inJ
un
ior
Algoritmos bio-inspirados
Algoritmos evolucionários
Inteligência coletiva
Redes Neurais
Sistemas Imunológicos 10
Algoritmos bio-inspirados
Algoritmos bio-inspirados
Algoritmos evolucionários
Inteligência coletiva
Redes Neurais
Sistemas Imunológicos In
teli
gên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
Algoritmos Genéticos
Programação Genética
Evolução Gramatical
Estratégias Evolucionárias
Programação Evolucionária
Colônia de Formigas
Enxame de Partículas
MLP – Multi-layer Perceptrons
RBF- Radio Basis Function Net
SOM- Self-Organizing Maps
ARTMap
Seleção Negativa
Expansão Clonal
Redes
[PAPPA, 2013]
11
Algoritmos bio-inspirados
Algoritmos bio-inspirados
Algoritmos evolucionários
Inteligência coletiva
Redes Neurais
Sistemas Imunológicos In
teli
gên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
Algoritmos Genéticos
Programação Genética
Evolução Gramatical
Estratégias Evolucionárias
Programação Evolucionária
Colônia de Formigas
Enxame de Partículas
MLP – Multi-layer Perceptrons
RBF- Radio Basis Function Net
SOM- Self-Organizing Maps
ARTMap
Seleção Negativa
Expansão Clonal
Redes
[PAPPA, 2013]
12
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
13
Redes Neurais
• Sistema nervoso é formado por um conjuntoextremamente complexo de células: osneurônios.Essencial na determinação do funcionamento e
comportamento do corpo humano e do raciocínio.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
14
Redes Neurais
• Principais partes de um neurônioDentritos, que recebem os estímulos;
Corpo (soma), responsável por coletar e combinarinformações;
Axônio, que transmite os estímulos para outras células.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
15
Neurônio
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
16
Redes Neurais Artificiais
• Modelos matemáticos que se assemelham àsestruturas neurais biológicas e que têmcapacidade computacional adquirida por meio deaprendizagem e generalização;
• Inspirado na estrutura neural de organismosinteligentes e que adquirem conhecimentoatravés da experiência.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
17
Redes Neurais Artificiais
• Estrutura de processamento, composta por umnúmero de unidades interconectadas, onde cadaunidade apresenta um comportamento específicode entrada/saída, determinado pela sua funçãode transferência, pelas interconexões com outrasunidades, dentro de um raio de vizinhança, epossivelmente pelas entradas externas.
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
18
[VON ZUBBEN, 2003]
Redes Neurais Artificiais
• Circuito composto por uma grande quantidade deunidades simples de processamento inspiradas nosistema neural;
• Sistema massivamente paralelo e distribuído,composto por unidades de processamentosimples que possuem uma capacidade natural dearmazenar e utilizar conhecimento
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
19
[NIGRIN, 1993]
[HAYKIN, 1999]
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
20
• Propriedades particulares de uma RNA:Aprender;
Adaptar;
Generalizar;
Eventualmente organizar.
Histórico resumido
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
21
• 1943: McCulloch e Pitts - construção de umamáquina baseada ou inspirada no cérebro humano;
• 1949: Donald Hebb – “The Organization of Behavior”- traduziu matematicamente a sinapse dos neurôniosbiológicos;
• 1951: Mavin Minsky - primeiro neurocomputador:Snark (não executou nenhuma função útil);
• 1956: Darthmouth College – 2 paradigmas de IA:Simbólica e Conexionista;
Histórico resumido
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
22
• 1957: Rosenblatt - primeiro neurocomputador aobter sucesso: Mark I Perceptron (reconhecimentode padrões);
• 1983: Ira Skurnick – centro de pesquisas emneurocomputação – DARPA (Defense AdvancedResearch Projects Agency);
• 1986: David Rumelhart e James McClelland –“Parallel Distributed Processing”
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
23
• Operação de uma unidade de processamento Sinais são apresentados à entrada;
Cada sinal é multiplicado por um peso (influência nasaída da unidade);
Somatório ponderado dos sinais produz um nível deatividade;
Se este nível de atividade exceder um certo limite(threshold) a unidade produz uma determinadaresposta de saída.
[MCCULLOCK, PITTS, 1943]
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
24
• Função matemática F(x) Relaciona um vetor de entrada com um vetor de saída;
Assume-se que F(x) é totalmente desconhecida
Pode ser tão simples como um mapeamento linear do tipo d = M.x
Entrada(x) F(x) desconhecida Saída (d)
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
25
• Função matemática F(x) A função pode ser extremamente complexa;
Relações não lineares, etc.
Objetivo: imitar o functionamento de F(x).
Entrada(x) F(x) desconhecida Saída (d)
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
nB
ord
inJ
un
ior
26
• Fontes de informação sobre o problema Conjunto finito de pares de entrada {xi, di}
Exemplo:
127 4.5
2 137.2
14.9 22.8
...
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
nB
ord
inJ
un
ior
27
• Fontes de informação sobre o problema Após a apresentação das entradas conhecidas x e saídas d, a ideia é que a
rede seja capaz de retornar uma saída d’ para uma entrada x’ desconhecida;
Saída muito próxima da real;
O processo de obtenção de d’ a partir das entradas conhecidas échamado de Processo Indutivo.
x’ d’
Neurônio artificial
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
28
Arquiteturas de redes
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
29
Feedforward com camada única
Arquiteturas de redes
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
30
Feedforward com múltiplas camadas
Arquiteturas de redes
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
31
Redes recorrentes
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
32
• O processo de conexão de neurônios artificiais leva àgeração de sinapses e Redes Neurais Artificiais
Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
33
• As estruturas mais conhecidas são as em camadasMultilayer Perceptron (MLP)
Multilayer Perceptron (MLP)
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
34
• RNAs de múltiplas camadas resolvem problemas nãolinearmente separáveis;
• Distinguem-se das redes de camada simples pelonúmero de camadas intermediárias Possui uma ou mais camadas ocultas, compostas por
neurônios artificiais (neurônios ocultos);
Adição de camadas ocultas torna a rede capaz deextrair estatísticas de ordem elevada.
Multilayer Perceptron (MLP)
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
35
• O número de nós de entrada é determinado peladimensão do espaço de observação;
• O número de neurônios da camada de saída édeterminado pela dimensão da resposta;
• Assim, o projeto requer a consideração de:1. Número de camadas ocultas;
2. Número de neurônios em cada camada oculta;
3. Especificação dos pesos sinápticos.
Processos de aprendizado
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
36
• Se o conhecimento está armazenado nos pesos dasconexões, então o processo de aprendizagemcorresponde a identificar um conjunto apropriado depesos de forma que a rede se comporte comodesejado;
• Possibilidade de desenvolvimento de técnicas deaprendizagem, e a representação distribuída deconhecimento.
Processos de aprendizado
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
37
Estímulo AdaptaçãoNovo
comportamento
Processos de aprendizado
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
38
• O algoritmo de treinamento mais utilizado em MLP éo BackprogationBaseia-se na aprendizagem por correção de erros.
• Quando o valor de saída é gerado, é calculado o erroe seus valores são retro-propagados para entradaOs pesos são ajustados e os valores são novamente
calculados.
Processos de aprendizado
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
39
Processos de aprendizado
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
40
• Funcionamento geral1. Apresenta-se um padrão à camada de entrada
a. Padrão é processado camada por camada até quea camada de saída forneça a resposta processada.
2. Resposta é comparada com a resposta desejada e seestiver errada, o erro é calculado;
3. Valores são retropropagados da camada de saídapara a camada de entrada
a. Pesos são ajustados.
Processos de aprendizado
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
41
• O aprendizado é feito por meio de um processoiterativo de ajuste dos pesos sinápticos1. RNA é estimulada pelo ambiente de informação;
2. Estrutura interna da rede é alterada como resultado doestímulo;
3. Por conta das alterações na estrutura interna, a rede tem suaresposta aos estímulos do ambiente modificada.
Processos de aprendizado
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
42
• A RNA se baseia nos dados para extrair um modelogeral Fase de aprendizado deve ser rigorosa e verdadeira, a
fim de se evitar modelos irreais.
• Todo o conhecimento de uma rede neural estáarmazenado nas sinapses, ou seja, nos pesosatribuídos às conexões entre os neurônios;
Sentido direto
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
43
• Cálculo ativações e saídas de todos os neurônios dacamada oculta e de saída;
Entrada Intermediária Saída
Sentido direto
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
• Cálculo ativações e saídas de todos os neurônios dacamada oculta e de saída.
Intermediária
Sentido direto
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
45
• Cálculo ativações e saídas de todos os neurônios dacamada oculta e de saída;
Função Logística
Tangente Hiperbólica
Intermediária
Sentido direto
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
46
• Deve repetir para a camada de saída, considerando asaída da camada intermediária como entrada
Função Logística
Tangente Hiperbólica
Saída
Funções de ativação
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
47
Função Identidade Função Degrau Função Logística
Funções de ativação
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
48
Função Senoide Função Gaussiana Função Sinc
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
49
• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saída.
SaídaIntermediária
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
50
• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada saída
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
51
• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada saída
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
52
• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada saída
Logística
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
53
• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada saída
Logística Tangente Hiperbólica
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
54
• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada intermediária
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
55
• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada intermediária
Logística
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
56
• Cálculo dos gradientes locais e o ajuste dos pesos detodos os neurônios da camada intermediária e saídaGradientes locais camada intermediária
Logística Tangente Hiperbólica
Sentido inverso
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
57
• Atualização/ajuste dos parâmetros da rede Pesos sinápticos e limiares
Camada Intermediária
Camada Saída
Treinamento
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
58
• Pontos importantes Vetor de entrada;
Vetor de saída;
Número neurônios camada oculta;
Funções de ativação;
Critério de parada e convergência
Geralmente erro médio quadrático por Época.
Avaliação da rede.
Multilayer Perceptron (MLP)
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
59
• Hecht-nielsen afirma que apenas com uma camadaoculta já é possível calcular a função arbitráriaqualquer (camada oculta deve ter 2i+1 neurônios);
• Cybenko defende o uso de 2 camadas internas;
• Kudricky observa que, para cada 3 neurônios da 1ªcamada oculta era preciso 1 da segunda camada;
• Lippmann afirma que a 2ª camada oculta deve ter odobro de neurônios da camada de saída
Processos de aprendizado
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
60
• De 50 a 90% do total de dados devem ser usadospara o treinamento da RNA Escolhidos aleatoriamente, a fim de que a rede
"aprenda" as regras e não decore exemplos.
• O restante dos dados é apresentado à RNA na fasede testes a fim de que ela possa deduzircorretamente o interrelacionamento entre os dados.
Referências• ZUBEN, F. V. Rede MLP: Perceptron de Múltiplas
Camadas
• CRUZ, A. Redes Neurais Artificiais: Multi LayerPerceptron
• ALMEIDA, R. R. IA Conexionista: Redes NeuraisArtificiais
• AFFONSO, E. T. F., SILVA, A. M., SILVA, M. P.,RODRIGUES, T. M. D., MOITA, G. F. Uso RedesNeurais Multilayer Perceptron (Mlp) Em SistemaDe Bloqueio De Websites Baseado Em Conteúdo
• CASTRO, F. C., CASTRO, M. C. MultilayerPerceptrons
• CASTROUNIS, A. Artificial Intelligence, DeepLearning, and Neural Networks Explained
• ANDRÉ, A. P. L. F. Redes Neurais Artificiais
Inte
ligên
cia
Com
pu
taci
on
al
-A
irto
n B
ord
in J
un
ior
61
• TATIBANA, C. Y., KAETSU, D. Y. Redes Neurais
• ZADROZNY, B. Métodos Estatísticos deAprendizagem
• BACKES, A. Redes Neurais
• BARRETO, G. A. Perceptron Multicamadas e oAlgoritmo de Retropropagação do Erro