View
239
Download
0
Category
Preview:
Citation preview
1
Sistemas InteligentesSistemas Inteligentes-- Redes Redes Neurais Neurais --
Marley Marley Maria B.R.Maria B.R. VellascoVellasco
ICA: Núcleo de Pesquisa em Inteligência ICA: Núcleo de Pesquisa em Inteligência Computacional AplicadaComputacional Aplicada
PUCPUC--RioRio
CONTEÚDOCONTEÚDO•• IntroduçãoIntrodução
– Motivação, Objetivo, Definição, Características Básicas e Histórico
•• Conceitos BásicosConceitos Básicos– Neurônio Artificial, Modos de Interconexão
•• Processamento Processamento NeuralNeural– Recall e Learning
•• Regras de AprendizadoRegras de Aprendizado– Perceptron, Back Propagation, Competitive
Learning (Mapa de Kohonen).
2
CONTEÚDOCONTEÚDO•• IntroduçãoIntrodução
– Motivação, Objetivo, Definição, Características Básicas e Histórico
•• Conceitos BásicosConceitos Básicos– Neurônio Artificial, Modos de Interconexão
•• Processamento Processamento NeuralNeural– Recall e Learning
•• Regras de AprendizadoRegras de Aprendizado– Perceptron, Back Propagation, Competitive
Learning (Mapa de Kohonen).
MOTIVAÇÃOMOTIVAÇÃOConstatação que o cérebro processa informações de forma diferente dos computadores convencionais
ê COMPUTADORCOMPUTADOR
processamento extremamente rápido e preciso na execução de seqüência de instruçõesè muito mais lento no reconhecimento de padrões
êProcessamento altamente paraleloProcessamento altamente paralelo
(10(101111 neurônios com 10neurônios com 1044 conexões cada)conexões cada)
CÉREBROCÉREBRO
velocidade 1 milhão de vezes mais lenta que qualquer “gate”digital è processamento extremamente rápido no reconhecimento de padrões
3
Problema dos 100 PassosProblema dos 100 Passos
Neurônio: 2msî
Processador: 2nsí
Processador é 106 mais rápido que o neurônio
êCérebro reage a um estímulo entre 0,20,2 e 1 seg.
êO cérebro responde em 100 passos100 passos
MOTIVAÇÃOMOTIVAÇÃO•• Observações:Observações:
– O cérebro tem ∼ 10 bilhões10 bilhões de neurônios.– Cada neurônio tem ∼ 1.0001.000 a 10.00010.000 conexões
ê–– 60 trilhões60 trilhões de conexões - 10101414 sinapsessinapses!
ê– Cada pessoa pode dedicar 100.000 conexões100.000 conexões
para armazenar cada segundo de experiência(65 anos ⇒ 2.000.000.000 de segundos!)
– Durante os 2 primeiros anos de vida, 1.000.0001.000.000de de sinapsessinapses são formadas por segundo!!
4
CONTEÚDOCONTEÚDO•• IntroduçãoIntrodução
– Motivação, Objetivo, Definição, Características Básicas e Histórico
•• Conceitos BásicosConceitos Básicos– Neurônio Artificial, Modos de Interconexão
•• Processamento Processamento NeuralNeural– Recall e Learning
•• Regras de AprendizadoRegras de Aprendizado– Perceptron, Back Propagation, Competitive
Learning (Mapa de Kohonen).
OBJETIVOOBJETIVO
Estudar a teoria e a implementação de sistemas massivamente massivamente paralelosparalelos, que possam processar informações com eficiência comparáveleficiência comparável ao cérebro.
5
DEFINIÇÃODEFINIÇÃO
Redes Redes Neurais Neurais ArtificiaisArtificiais são sistemas inspirados nos neurônios biológicosneurônios biológicos e na estrutura estrutura massivamente massivamente paralelaparalela do cérebro, com capacidade de adquiriradquirir,armazenararmazenar e utilizarutilizar conhecimento experimental.
IDÉIA BÁSICAIDÉIA BÁSICASistemas compostos de diversas Sistemas compostos de diversas unidades simplesunidades simples (neurônios artificiais) (neurônios artificiais) ligadas de maneira apropriada, podem ligadas de maneira apropriada, podem gerar gerar comportamentos interessantescomportamentos interessantes e e complexoscomplexos..
ComportamentoComportamento é determinado pela é determinado pela estrutura das ligações (estrutura das ligações (topologiatopologia) e ) e pelos pelos valores das conexõesvalores das conexões (pesos (pesos sinápticossinápticos))
6
Aquisição de Conhecimento:Aquisição de Conhecimento:AprendizadoAprendizado
Treinamento efetuado através da apresentação de exemplos
êExiste uma variedade de algoritmosalgoritmos que
estabelecem QUANDO e COMO os parâmetros da Rede Neural devem ser atualizados
êAlgoritmos: Substituem a programação necessária
para a execução das tarefas nos computadores
APLICAÇÕES GERAISAPLICAÇÕES GERAISþ Reconhecimento de Padrõesþ Classificação de Padrõesþ Correção de Padrõesþ Previsão de Séries Temporaisþ Aproximação de Funçõesþ Suporte à Decisãoþ Geração de Informaçãoþ Descoberta de Conhecimento
7
CONTEÚDOCONTEÚDO•• IntroduçãoIntrodução
– Motivação, Objetivo, Definição, Características Básicas e Histórico
•• Conceitos BásicosConceitos Básicos– Neurônio Artificial, Modos de Interconexão
•• Processamento Processamento NeuralNeural– Recall e Learning
•• Regras de AprendizadoRegras de Aprendizado– Perceptron, Back Propagation, Competitive
Learning (Mapa de Kohonen).
Características BásicasCaracterísticas Básicas
Devido à similaridade com a estrutura do cérebro, as Redes Neurais exibem características similares ao do comportamento humano, tais como:
8
Características BásicasCaracterísticas Básicas
•• Procura Paralela e Procura Paralela e
Endereçamento pelo ConteúdoEndereçamento pelo Conteúdo::
O cérebro nãonão possui endereço de endereço de memóriamemória e nãonão procuraprocura a informação sequencialmentesequencialmente
Características BásicasCaracterísticas Básicas
•• AprendizadoAprendizado::
A rede aprende por experiênciaaprende por experiência, não necessitando explicitar os algoritmos para executar uma determinada tarefa
9
Características BásicasCaracterísticas Básicas
•• AssociaçãoAssociação::
A rede é capaz de fazer associações entre padrões diferentes
Ex: Cidade è PessoaPerfume è PessoaPessoa è Nome
Características BásicasCaracterísticas Básicas
•• GeneralizaçãoGeneralização::
Habilidade de lidar com ruruíídos e distordos e distorççõesões, respondendo corretamente a padrões novos.
è
Redes Neurais são capazes de generalizar o seu generalizar o seu conhecimentoconhecimento a partir de exemplos anteriores
10
Características BásicasCaracterísticas Básicas
•• Robustez e Degradação GradualRobustez e Degradação Gradual::
A perda de um conjunto de elementos processadores e/ou conexões sinápticasnão causa o mal funcionamento da rede neural.
CONTEÚDOCONTEÚDO•• IntroduçãoIntrodução
– Motivação, Objetivo, Definição, Características Básicas e Histórico
•• Conceitos BásicosConceitos Básicos– Neurônio Artificial, Modos de Interconexão
•• Processamento Processamento NeuralNeural– Recall e Learning
•• Regras de AprendizadoRegras de Aprendizado– Perceptron, Back Propagation, Competitive
Learning (Mapa de Kohonen).
11
EVOLUÇÃOEVOLUÇÃOMcCulloch & Pitts (Mathematical Bio-Physics, Vol. 5, 1943),
“A Logical Calculus of Ideas Immanent in Nervous Activity”
Von Neumann Marvin Minsky Frank RosenblattMachine
IntelligenceMacroscopicIntelligence
MicroscopicIntelligence
1945 DigitalComputers
1950 Black-Box AI(LISP)
Perceptron,Adaline
1960 Mainframes Theorem Solver1970 Vax 780
(Time Sharing)Expert Systems
1980 Workstations,PCs
Commercializationof E.S.
Rumelhart,Hopfield
1990 DesktopSupercomputers
Commercializationof N.N.
EVOLUÇÃOEVOLUÇÃO
•• Modelo de Modelo de McCullochMcCulloch--PittsPitts::ww11
ww22
wwnn
xx11
xx22
xxnn
T
wi = + 1-i = 1,2,..., n
ssEntradas(valores 0,1)
Entradas(valores 00,,11)
n
sk+1 = 1 se Σ wi xik ≥ T
i=1
n
0 se Σ wi xik < T
i=1
n
sk+1 = 1 se Σ wi xik ≥ T
i=1
n
0 se Σ wi xik < T
i=1
12
EVOLUÇÃOEVOLUÇÃO•• Modelo de Modelo de McCullochMcCulloch--PittsPitts::
T=0
T=0
T=0
T=1 T=1 T=0
T=1
x1
x2
x1
x3
x21
x3
-1 s
entradaexcitatória
sk+1 = xk
1
1
1
1
1
11
-1
-1
-1
-1
s
entradainibitória
NAND __A B AB0 0 10 1 11 0 11 1 0
NANDNAND ____A B ABA B AB0 0 10 0 10 1 10 1 11 0 11 0 11 1 01 1 0
NOR ___A B A+B0 0 10 1 01 0 01 1 0
NORNOR ______A B A+BA B A+B0 0 10 0 10 1 00 1 01 0 01 0 01 1 01 1 0
Célula de Memóriana ausência de entradas,a saída é armazenada indefinidamente
Célula de MemóriaCélula de Memóriana ausência de entradas,na ausência de entradas,a saída é armazenada a saída é armazenada indefinidamenteindefinidamente
HISTÓRICOHISTÓRICO• McCulloch& Pitts (1943):
– modelo computacional para o neurônio artificial. Não possuía capacidade de aprendizado
• Hebb (1949):– modelo de aprendizado ((Hebbian Learning RuleHebbian Learning Rule))
• Rosenblatt (1957):– Perceptron, com grande sucesso em certas aplicações e
problemas em outras aparentemente similares
• Minsky& Papert ( Perceptrons 1969):– prova matemática de que as redes Perceptron são incapazes
de solucionar problemas simples tipo OU-EXCLUSIVO
• Rumelhart (início da década de 80):– novos modelos que superaram os problemas dos Perceptrons.
13
CONTEÚDOCONTEÚDO•• IntroduçãoIntrodução
– Motivação, Objetivo, Definição, Características Básicas e Histórico
•• Conceitos BásicosConceitos Básicos– Neurônio Artificial, Modos de Interconexão
•• Processamento Processamento NeuralNeural– Recall e Learning
•• Regras de AprendizadoRegras de Aprendizado– Perceptron, Back Propagation, Competitive
Learning (Mapa de Kohonen).
CONCEITOS BÁSICOSCONCEITOS BÁSICOS
•• Neurônio ArtificialNeurônio Artificial– (Elemento Processador)
•• Estruturas de Estruturas de InterconexãoInterconexão– FeedForward de 1 camada– FeedForward de Múltiplas Camadas– Recorrente (com realimentação)
14
Elemento ProcessadorElemento ProcessadorElemento Processador inspirado no Neurônio Biológico
Squashing FunctionSquashing Function
Elementos BásicosElementos Básicos
•• Estado de AtivaçãoEstado de Ativaçãoè sj
•• Conexões entre ProcessadoresConexões entre Processadores– a cada conexão existe um peso sináptico
que determina o efeito da entrada sobre o processador è wji
•• Função de AtivaçãoFunção de Ativação– determina o novo valor do Estado de
Ativação do processador è sj = F (netj)
15
Funções de AtivaçãoFunções de Ativação
É a função que determina o nível de ativação do Neurônio Artificial: sj = F(netj)
F(net j) F(net j)F(net j)
net jnet j net j
DegrauDegrau PseudoPseudo--LinearLinear SigmoidSigmoid
RN x Sistema Nervoso RealRN x Sistema Nervoso Real
üFeed-Forwardü totalmente
conectadaüestrutura uniformeüpoucos tipos de
processadoresügeralmente estática
ØRecorrenteØ conexões localizadas
Ømódulos funcionaisØ centenas de tipos de
neurôniosØdinâmico
16
Tipos de ProcessadoresTipos de Processadores
è Recebe os dados de entrada
è Apresenta os dados de saída
è As suas entradas e saídas permanecem dentro do sistema
ExemplosExemplos
Regressão Linear:y = a0 + a1x1 + a2x2 + a3x3
Variáveis explicativas
Representação Neural
Bias = +1
a2
a1a0
a3x3
x2
x1
yFunçãolinear
Acha a retareta com erro mínimo que passe pelos pontos existentes(padrões de treinamento)
Reta obtidapela regressão
Deslocamentoem funçãodo a0 (bias)
17
ExemplosExemplos
Transformada de Fourier:
y = a0 + a1sen(wt + φ1) + a2sen(2wt + φ2) + a3sen(3wt + φ3) + ...
RepresentaçãoNeural
+1(bias )
t(tempo)
y
Todos com funçãode ativação senoidal
FunçãoLinear
w
a1
a0
a3
a2
3w2w
φ2φ3
φ1
CONCEITOS BÁSICOSCONCEITOS BÁSICOS
•• Neurônio ArtificialNeurônio Artificial– (Elemento Processador)
•• Estruturas de Estruturas de InterconexãoInterconexão– FeedForward de 1 camada– FeedForward de Múltiplas Camadas– Recorrente (com realimentação)
18
Topologias Topologias das Redes das Redes NeuraisNeurais
•• Redes Redes FeedFeed--ForwardForward::– redes de uma ou mais camadas de
processadores, cujo fluxo de dadosfluxo de dados é sempre em uma única direçãouma única direção, isto é, não existe realimentação.
•• Redes RecorrentesRedes Recorrentes::– redes com conexões entre processadores da
mesma camada e/ou com processadores das camadas anteriores (realimentaçãorealimentação).
Redes Redes FeedFeed--ForwardForward
Redes de uma camadaRedes de uma camada
PE3
PE2
PE1
PEn
19
Redes Redes FeedFeed--ForwardForward
Rede de Múltiplas CamadasRede de Múltiplas Camadas
PE3
PE2
PE1
PEn
CamadaEscondida Camada
de Saída
PE1
PE2
PEm
Redes RecorrentesRedes Recorrentes
I n p u tI n p u t
O u t p u tO u t p u tRReeaallii
mmeennttaaççããoo
20
Redes RecorrentesRedes Recorrentes
I n p u tI n p u t
O u t p u tO u t p u tRReeaallii
mmeennttaaççããoo
Redes RecorrentesRedes Recorrentes
O u t p u tO u t p u tRReeaallii
mmeennttaaççããoo
21
Redes RecorrentesRedes Recorrentes
O u t p u tO u t p u tRReeaallii
mmeennttaaççããoo
Rede Convergiu para um estado estávelRede Convergiu para um estado estável
CONTEÚDOCONTEÚDO•• IntroduçãoIntrodução
– Motivação, Objetivo, Definição, Características Básicas e Histórico
•• Conceitos BásicosConceitos Básicos– Neurônio Artificial, Modos de Interconexão
•• Processamento Processamento NeuralNeural–– Recall Recall e e LearningLearning
•• Regras de AprendizadoRegras de Aprendizado– Perceptron, Back Propagation, Competitive
Learning (Mapa de Kohonen).
22
Processamento Processamento NeuralNeural
O processamento de uma Rede Neural pode ser dividido em duas fases:
Processo de cálculo da saída da rede, dado um certo padrão de entrada -Recuperação da InformaçãoRecuperação da Informação
Processo de atualização dos pesos sinápticos para a aquisição do conhecimento - Aquisição da InformaçãoAquisição da Informação
AprendizadoAprendizado
23
AprendizadoAprendizado
• Processo pelo qual os parâmetros livres -pesos sinápticos - de uma rede neural são adaptados através de um processo contínuo de estimulação pelo ambiente.
• Existem 4 tipos principais de aprendizado:þ Treinamento Supervisionado (TS);þ Treinamento Não-Supervisionado;þ Treinamento em “Batch”;þ “Reinforcement Learning”.
Treinamento SupervisionadoTreinamento Supervisionado
Geralmente efetuado através do processo de minimização minimização do errodo erro calculado na saída.
A rede é treinada através do fornecimento dos valores de entradaentrada e de seus respectivos valores desejados de sasaíída da (“training pair”).
24
Treinamento SupervisionadoTreinamento Supervisionado
PESOSAJUSTÁVEIS
(W)
PESOSPESOSAJUSTÁVEISAJUSTÁVEIS
(W)(W)
CÁLCULODO ERRO
(e)
CÁLCULOCÁLCULODO ERRODO ERRO
(e)(e)
PADRÃOPADRÃODE ENTRADADE ENTRADA
(X)(X)SAÍDASAÍDA
(s)(s)
VALORVALORDESEJADODESEJADO
(t)(t)
e(t,s)e(t,s)
Treinamento SupervisionadoTreinamento Supervisionado
25
Treinamento SupervisionadoTreinamento Supervisionado
FUNÇÕES OBJETIVO: Genérica
• Sum ofSum of SquaredSquared ErrorsErrors:ESSE = Σp Σi (tpi - ypi)2
p = padrõesi = elemento processador de saída
Treinamento NãoTreinamento Não--SupervisionadoSupervisionado
“Self-Organization” è Não requer o Não requer o valor desejado de savalor desejado de saíídada da rede. O sistema extrai as características do conjunto de padrões, agrupando-os em classes inerentes aos dadosclasses inerentes aos dados.
Aplicado a problemas de ClusterizaçãoClusterização
26
PESOSAJUSTÁVEIS
(W)
PESOSPESOSAJUSTÁVEISAJUSTÁVEIS
(W)(W)
PADRÃOPADRÃODE ENTRADADE ENTRADA
(X)(X)SAÍDASAÍDA
(s)(s)
Treinamento NãoTreinamento Não--SupervisionadoSupervisionado
Treinamento em “Treinamento em “BatchBatch””
Os valores dos pesos sinápticos são estabelecidos a priori, em um único passo. Também chamado de
GravaçãoGravação - “Recording”
27
““Reinforcement LearningReinforcement Learning””
• Semelhante ao Treinamento Supervisionado (existe um objetivo);
• NÃO existe um target para cada padrão;• Existe uma realimentação (sinal de reforço)
que avalia a resposta como boa ou ruim;• O objetivo é maximizar a quantidade de reforço
positivo è Ex. aprendizado de jogos.
Recuperação de DadosRecuperação de Dados
28
Recuperação de DadosRecuperação de Dados
Assumindo que um conjunto de padrões tenha sido armazenadoarmazenado, a Rede Neural pode executar as seguintes tarefas:
– Auto-associação– Hetero-associação– Classificação
GENERALIZAÇÃOGENERALIZAÇÃO
Recuperação de DadosRecuperação de Dados
AutoassociaçãoAutoassociação::A Rede Neural recupera o padrão armazenado mais semelhante ao padrão de entrada apresentado. Recuperação de
padrões ruidosos
Padrão de entrada distorcido
Padrão correto recuperado
29
Recuperação de DadosRecuperação de Dados
HeteroassociaçãoHeteroassociação::A Rede Neural armazena a associação entre um par de padrões. Recuperação de um
padrão diferente do da entrada.
Padrão de entrada com ou sem ruído
Padrão correto recuperado
Recuperação de DadosRecuperação de Dados
Padrão de entrada com ou sem ruído
Classe 3 - Quadrados
Classe 3
Classe 2
Classe 1
Classificação:Classificação:A Rede Neural responde com a informação relativa à classe a qual o padrão de entrada pertence.
Ex: Padrões de entrada divididos em 3 classes distintas.
Caso especial de Heteroassociação
30
Recuperação de DadosRecuperação de Dados
Generalização:Generalização:A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento .
GENERALIZAÇÃOGENERALIZAÇÃO
A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento . Interpola corretamente os novos
pontos apresentados
x
f(x)
x1 x2 x3 x4 x5Xnovo
generalizações Boa interpolação
Interpolação ruim
x iè pontos do conjunto de treinamentoxnovo è novo ponto para generalização
31
Exemplos de Treinamento Exemplos de Treinamento SupervisionadoSupervisionado
� Reconhecimento de CaracteresReconhecimento de Caracteres
� Previsão de Séries TemporaisPrevisão de Séries Temporais
Reconhecimento de Reconhecimento de CaracteresCaracteres
32
H 1I 1
I 2
I 3
H 2
H 3
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
Alvo
Processo de AprendizadoProcesso de Aprendizado
w
AtividadeNeural
EntradaPesos
Escondida SaídaPesos
Dados paraTreinamento
H 1I 1
EntradaPesos
Escondida
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
Saída
O 2
O 3
w
w
w
w
w
w
w
w
w
Erro = -
Processo de AprendizadoProcesso de Aprendizado
Pesos
Dados paraTreinamento
Atualização dos pesos em função do erroAtualização dos pesos em função do erro
33
Alvo
Processo de AprendizadoProcesso de AprendizadoAtividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
EntradaPesos
EscondidaPesos
Dados paraTreinamento
O 1
O 2
O 3
Saída
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Erro = -
Processo de AprendizadoProcesso de Aprendizado
Dados paraTreinamento
EntradaPesos
Escondida SaídaPesos
Atualização dos pesos em função do erroAtualização dos pesos em função do erro
34
Alvo
Processo de AprendizadoProcesso de AprendizadoAtividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
EntradaPesos
EscondidaPesos
Dados paraTreinamento
O 1
O 2
O 3
Saída
Processo de GeneralizaçãoProcesso de Generalização
Recuperação da Informação Aprendida
35
H 1I 1
Novo dado(não apresentado
durante o treinamento)
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
O 1
O 2
O 3
w
w
w
w
w
w
w
w
w
Processo de GeneralizaçãoProcesso de Generalização
I 2
AtividadeNeural
EntradaPesos
Escondida SaídaPesos
Processo de GeneralizaçãoProcesso de GeneralizaçãoAtividade
Neural
H 1I 1
I 2
I 3
H 2
H 3
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
w
ww
EntradaPesos
EscondidaPesos
O 1
O 2
O 3
Saída
Resposta Resposta correta a um correta a um novo padrão!novo padrão!
36
Previsão de Previsão de Séries TemporaisSéries Temporais
Série temporal
janela
alvo
Entradasda rede =n valorespassados
Estrutura da Rede Estrutura da Rede NeuralNeural
Dados de Treinamento
Saída Desejada =
valor da sériek passos à
frente
Ex: 5 valores passados
Ex: valor um passo à frente
37
Entradasda rede
Saída da rede:Valor previstoum passo à frente
Processo de AprendizadoProcesso de AprendizadoSérie temporal
janela
alvo
Dados de Treinamento
Ajuste dos pesosa partir do erro(Erro= alvo - previsto)
Entradasda rede
Saída da rede:Valor previstoum passo à frente
Processo de AprendizadoProcesso de AprendizadoSérie temporal
janela
alvo
Dados de Treinamento
38
janela
alvo
Entradasda rede
Dados de Treinamento
Série temporal
Saída da rede:Valor previstoum passo à frente
Ajuste dos pesosa partir do erro(Erro= alvo - previsto)
Processo de AprendizadoProcesso de Aprendizado
Processo de GeneralizaçãoProcesso de Generalização
Recuperação da Informação Aprendida
39
janela
Entradasda rede
Dados de Treinamento
Série temporal
Processo de GeneralizaçãoProcesso de Generalização
janelaprevisto
Entradasda rede
Saída da rede:Valor previsto
Dados de Treinamento
Série temporal
Processo de GeneralizaçãoProcesso de Generalização
Dados previstos
Recommended