Upload
internet
View
111
Download
0
Embed Size (px)
Citation preview
Uma Abordagem de RNA`s Híbridas baseada em Autômatos Celulares para
Modelagem de Endemias
Anderson Paulo da Silva – [email protected]
11
Sumário
IntroduçãoMotivaçãoDescrição do ProblemaObjetivosMeta-Aprendizado Evolucionário em RNAsMeta-Aprendizado Evolucionário em RNAs com ACFerramentas do SistemaRoteiro e CronogramaReferências
22
Introdução
3
• Aplicação de RNAs.
• O projeto de uma RNA, em geral, é um dos grande entraves em diversos problemas.
•Vários métodos têm sido propostos para reduzir a complexidade da rede e os algoritmos evolucionários estão entre estes [14, 16].
Introdução
4
• Vantagens do uso de AE:
• Os algoritmos evolucionários podem evoluir para a arquitetura ótima, sem interferências externas.
• Eles eliminam o processo de trabalho tedioso e erro no trabalho manual de encontrar uma rede ótima [13]
Introdução
5
• Desvantagem:
• Embora, de forma geral, sejam bons em pesquisas globais, algoritmos evolucionários são ineficientes para uma boa busca local [12, 16].
Introdução
6
• Uma possível solução é incorporar uma abordagem híbrida de meta-aprendizado;
• Além da busca evolutiva de conexão, pesos e arquiteturas (conectividade e funções de ativação), técnicas de busca local são utilizados para ajustar os pesos (meta-aprendizagem)
7
Motivação
• Sistemas inteligentes híbridos utilizam mais de uma técnica para suprir necessidades
• Exemplo: clássica associação de redes neurais e algoritmos de otimização [12].
• Novas técnicas surgem. Entre elas, técnicas de aprendizado indireto.
8
Motivação
• O estudo do hibridismo entre redes neurais, algoritmos de otimização e autômatos celulares podem trazer resultados atrativos.
• O uso de tal tipo de hibridismo é diferente em relação a grande maioria, uma vez que é pouco encontrada na literatura.
9
Motivação
• A. Salah e Y. Al-Salqan [1], tiveram bons resultados com uma proposta parecida.
10
Descrição do Problema
• Alguns métodos de aprendizagem evolucionária são baseados em representações diretas dos parâmetros das redes neurais, no entanto, essas representações não permitem escalabilidade.
• Métodos de otimização que utilizem representações indiretas deste parâmetros podem ser uma alternativa viável para solucionar tal problema.
11
Objetivos
• Desenvolver uma alternativa diferente das representações diretas dos parâmetros das redes neurais.
• Utilizar um método de otimização de arquitetura de redes neurais híbridas com esquemas de codificação indireta utilizando autômatos celulares [8, 9, 10].
12
Objetivos
• De acordo com a Gutierrez[8] usar um autômato celular no projeto da arquitetura de uma rede neural é melhor que usar métodos de codificação direta.
• Mas como usar um autômato celular para otimizar a arquitetura de uma rede neural?
13
Meta-aprendizado Evolucionário em RNAs
• A abordagem de Meta-aprendizado híbrido combina aprendizagem evolutiva com métodos de busca local.
• De acordo com os trabalhos de A. Abraham [13]•A meta-aprendizagem gera melhores resultados e rápida convergência.
14
Meta-aprendizado Evolucionário em RNAs
Wl1 e wl2 são os pesos iniciais localizados na
pesquisa evolucionária.
wA e wB correspondem aos pesos finais aperfeiçoados
pela técnica de meta-aprendizagem (através do algoritmo de busca local)
15
Meta-aprendizado Evolucionário em RNAs
• Algoritmo básico de meta-aprendizado (utilizando algoritmos genéticos) [17]:
1 – Faça t = 0 e aleatóriamente gere a população inicial de redes neurais com arquiteturas, funções de transferências e pesos de conexões aleatórios.
2 – Em modo paralelo, avalie o fitness de cada RNA usando quatro algoritmos de aprendizado (BP, SCG, QNA e LM).
3 – Baseado no valor do fitness, selecione parentes para reprodução.
4 – Aplique a mutação para os parentes e produza nova população para a próxima geração. Reabasteça a população de acordo com o tamanho definido.
5 – Repita o passo 2 para calcular o fitness de cada RNA usando algoritmos de aprendizado em modo paralelo.
6 – Pare quando o solução desejada for encontrada ou o número máximo de iterações tenha sido atingido.
16
Meta-aprendizado Evolucionário em RNAs com AC
População aleatória de arquiteturas de redes neurais MÓDULO
DOPSO
Configuração inicial do autômato Celular.
MÓDULO DO AC Configuraçã
o final do autômato Celular
Estágio da Otimização da Arquitetura das Redes Neurais
Estágio de meta-aprendizado
Traduzir a configuração final do AC numa arquitetura de RNA
Use a RNA traduzida para criar uma população inicial com arquitetura, nodos, funções de transferência e pesos atribuídos aleatoriamente.
Aplique o algoritmo de meta-aprendizado (treinamento em paralelo com 4 algoritmos de treinamento, ...)
Módulo de treinamento da rede neural
17
Ferramentas do Sistema
• PSO
•O PSO é uma técnica de base populacional auto-adaptativa de pesquisa que foi proposta por Eberhart e Kennedy[3].
•Baseado em simulações de comportamentos sociais, tais como os dos peixes em um cardume ou de um enxame de pássaros [4].
18
Ferramentas do Sistema
• PSO – Funcionamento• O PSO utiliza dois vetores (um para velocidade e outro para posição) para otimizar o seu enxame.
19
Ferramentas do Sistema
• Autômatos Celulares
•Foram introduzidos por Von Neumann e Ulam como modelos para estudar processos de crescimento e auto-reprodução [11].
• Qualquer sistema com muitos elementos idênticos que interagem local e deterministicamente podem ser modelados usando autômatos celulares [5,6].
20
Ferramentas do Sistema
• Autômatos Celulares
Vizinhança de Neumann X Vizinhança de Moore
21
Ferramentas do Sistema
• Autômatos Celulares - Grid
• Será a ferramenta responsável por gerar a arquitetura da RNA.
• Suas dimensões X e Y representam:• X = Número de nodos de entrada + nodos de saída;• Y = Número máximo de nodos escondidos.
•
22
Ferramentas do Sistema
• Autômatos Celulares – Estados das Células• Suas células podem estar em dois estados: ativo (ocupado por uma raiz) ou inativo
• Há dois tipos de raízes: Raíz crescente e raíz decrescente.
• Duas regras regem seus estados: growing e decreasing;
23
Ferramentas do Sistema
• Autômatos Celulares – Regras• Growing:
•Havendo 3 nodos crescendo, torna nodo inativo crescente (ativo).
• Decreasing:•Havendo 3 nodos decrescendo, torna nodo ativo decrescente (inativo).
24
Roteiro e Cronograma
• Esta sessão visa mostra as atividades que foram desempenhadas e aquelas que ainda serão, juntamente com o cronograma de atividades que determina o período em que cada atividade deve ser realizada.
25
Roteiro e Cronograma
Atividades Descrição1 Disciplinas do primeiro período
2 Disciplinas do segundo período
3 Coleta e estudos das referências bibliográficas;Estudos em artigos para construção de um modelo híbrido para classificação e/ou predição.
4 Disciplina: Tópicos Avançados em Inteligência Computacional IIDesenvolvimento da técnica para a construção do sistema.
5 Coleta de base de dados e implementação do sistema.
6 Continuidade da Implementação do Sistema;Revisão das referências bibliográficas e trabalhos relacionados;Avaliação do sistema implementado.
7 Finalização do sistema e escrita de artigos.
8 Início da escrita da dissertação.
9 Término da escrita da dissertação
26
Roteiro e Cronograma
Atividades concluídas Atividades em andamento Atividades ainda não realizadas
27
Referências
[1] A. A. Salah e Y. Al-Salqan, “Meta-Learning Evolutionary Artificial Networks: by Means of Cellular Automata”, IEEE Computer Society, 2005, International Conference on Computational Intelligence for Modelling.
[2]J.-C. Chen et al. “Pattern differentiation of glandular cancerous cells and normal cells with cellular automata and evolutionary learning” Expert Systems with Applications 34, 2006
[3] R. C. Eberhart e J. Kennedy, “A new optimizer using particle swarm theory,” in Proc. 6th Int. Symp. Micro Mach. Human Sci., Nagoya, Japan, 1995, pp. 39–43.
[4] S.-T. Hsieh, T.-Y. Sun, C.-C. Liu e S.-J Tsai, “Efficient Population Utilization Strategy for Particle Swarm Optimizer” em Proc. IEEE Trans. Systems, Man and Cyberneetics, Vol 39, No 2, Abril de 2009.
[5] S. Wolfram, em "A New Kind of Science”, 2002. Champaign, IL: Wolfram Media.
[6] R. Rudy; em “The Lifebox, The Seashell and The Soul, 2005” Basic Books (Thunder’s Mouth Press): New York.
[7] S.F.P. Sarmago, J. R. Prado “Otimização por Colônia de Partículas”
[8] G.Gutierrez, P. Isasi, J.M. Molina, A. Sanchis, I.M Galvan, “Evolutionary cellular configurations for designing feedforward neural network architectures”, Computer Science, Vol. 2084, Springer, Germany, 2001
[9] Molina, J.M., Galvan. I, isasi. P, SAnchis. A. “Grammars and cellular automata for evolving neural networks architectures”. 2000 IEEE International Conference on Systems, Man, and Cybernetics.
[10] S. Wolfram. “Theory and Applications of Cellular Automata”. World Scientific, Singapore, 1988.
[11] J. V. Neumann and A. W. Burks. “Theory of Self-Reproducing Automata”. University of Illinois Press, Champaign, IL, 1966.
28
Referências
[12] G. F. Miller, P. M. Todd and S. U. Hedge. “Designing Neural Networks Using Genetic Algorithms”. In Proc. Of the third Internaticonal conferente on genetic algorithms and their applications. San Mateo, CA, USA, 1989.
[13] A. Abraham, “Optimization of Evolutionary Neural Networks Using Hybrid Learning Algorithms”, IEEE 2002 Joint International Conference on Neural Networks, Vol. 3, IEEE Press, New York, 2002.
[14] X Yao, “A review of Evolutionary Artificial Neural Networks”, Inernational Journal of Intelligent Systems, 1993.
[15] Haykin, Simon. Redes Neurais. Princípios e prática. Bookman, 2001.
[16]. X Yao. “Evolving Artificial Neural Networks”. Proceedings of IEEE 87 (9 Suppl. 1) (1999) 423–1447.
[17]. A. Abraham, “Meta-Learning Evolutionary Artificial Neural Networks”, Neurocomputing Journal, Elsevier Science, Netherlands, Vol. 56c, pp. 1-38, 2004