Upload
internet
View
122
Download
1
Embed Size (px)
Citation preview
© LES/PUC-Rio
Agenda
• Introdução
• Aprendizado Supervisionado
• Aprendizado Não-Supervisionado
• Aprendizado por Reforço
• Aplicações
• Referências
Introdução
• Aprendizado de Máquina (do inglês, Machine Learning) é a área de Inteligência Artificial cujo objetivo é o desenvolvimento de técnicas computacionais sobre processo de aprendizado (BISHOP, 2007).
© LES/PUC-Rio
Introdução
• Aprender pode ser caracterizado como a capacidade de obter melhor desempenho pela experiência.
© LES/PUC-Rio
“Um programa aprende a partir da experiência E, em relação a uma classe de tarefas T, com me-
dida de desempenho P, se seu desempenho em T, medido por P, melhora com E”
MITCHELL, 1997
Introdução
• Detecção de bons clientes para um cartão de crédito
– Tarefa T: classificar potenciais novos clientes como bons ou maus pagadores;
– Medida de Desempenho P: porcentagem de clientes classificados corretamente;
– Experiência de Treinamento E: uma base de dados histórica em que os clientes já conhecidos são previamente classificados como bons ou maus pagadores.
© LES/PUC-Rio
Introdução
• A idéia por trás da aprendizagem é que as percepções devem ser usadas não apenas para agir, mas, também para melhorar a habilidade do agente (RUSSEL & NORVIG, 2004).
© LES/PUC-Rio
?
Am
bie
nte
Agente
Sensores
Atuadores
Percepções
Ações
Introdução
• No modelo simples de AM, representado abaixo, o ambiente fornece alguma informação para um elemento de aprendizagem (HAYKIN, 2001):
– O elemento de aprendizagem utiliza, então, esta informação para aperfeiçoar a base de conhecimento, e finalmente, o elemento de desempenho utiliza a base de conhecimento para executar a sua tarefa.
© LES/PUC-Rio
Armazenar conhecimento;Aplicar o conhecimento;Adquirir novo conhecimento.
Formas de Aprendizagem
• O campo de Aprendizado de Máquina distingue três casos:
– Aprendizado Supervisionado;
– Aprendizado Não-Supervisionado;
– Aprendizado por Reforço.
© LES/PUC-Rio
Aprendizado Supervisionado
• É fornecida uma referência do objetivo a ser alcançado:
– o algoritmo de aprendizado recebe o valor de saída desejado para cada conjunto de dados de entrada apresentado.
• Envolve o aprendizado de uma função a partir de exemplos de sua entrada e saída.
• Para rótulos discretos, esse problema é chamado de classificação e para valores contínuos como regressão.
• Exemplos de algoritmos: Árvores de Decisão, Redes Neurais (BP), SVM, TBL.
© LES/PUC-Rio
Vetor de
entrada
Aprendizado Supervisionado
© LES/PUC-Rio
Algoritmo de
Aprendizado
Saídacalculada
Saídadesejada
Erro
• Procedimento básico de treinamento:
1. Coletar um grande conjunto de exemplos.
2. Dividir este conjunto em dois sub-conjuntos distintos: conjunto de treinamento e conjunto de teste.
3. Treinar o algoritmo de aprendizado junto ao conjunto de treinamento.
4. Simular o algoritmo de aprendizado treinado no conjunto de testes e medir a porcentagem de exemplos corretamente classificados.
5. Repetir os passos de 1 a 5 para diferentes tamanhos de conjuntos de treinamento e diferentes conjuntos de treinamento
© LES/PUC-Rio
Aprendizado Supervisionado
Aprendizado Não-Supervisionado
• É fornecido somente o conjunto de dados de entrada:
– Não existe “a” saída desejada.
• Envolve a aprendizagem de padrões na entrada quando não são apresentados valores de saída específicos.
• Em geral, é utilizado para encontrar aglomerados de conjuntos de dados semelhantes entre si (clusters).
• Exemplos de algoritmos: C-means, K-means, KNN, Redes Neurais (SOM).
© LES/PUC-Rio
Aprendizado Não-Supervisionado
© LES/PUC-Rio
Entrada
Vizinhança
Atualização
SOM (Self-Orgazining Map)
Aprendizado por Reforço
• Aprendizado a partir da interação “learner–environment”:
– Muitas vezes é impraticável o uso de aprendizagem supervisionada.
• Baseado em “tentativa e erro”.
• Existe processo de busca (exploration) no espaço
• Aprende a escolher ações apenas interagindo com o ambiente.
• Através das interações, o agente descobre as relações de causa e efeito.
© LES/PUC-Rio
Aprendizado por Reforço
• O agente recebe do ambiente um valor de resposta (recompensa/reforço).
• Esta recompensa avalia o desempenho do agente durante o processo de aprendizado.
© LES/PUC-Rio
SUTTON, R. S. & BARTO, A. G. (1998)
Aprendizado por Reforço
• Agente motorista de taxi:
– Falta de gorjeta no fim da viagem;
– Multa pesada por avançar sinal;
– Bater na traseira de um carro
• O reforço fornece alguma indicação ao agente de que seu comportamento é desejável ou não.
• Em geral inclui o subproblema de aprender como o ambiente funciona.
© LES/PUC-Rio
Aplicações
• Os métodos de Aprendizado de Máquina têm sido empregados em problemas como:
– Veículos autônomos que aprendem a dirigir em vias expressas.
– Reconhecimento da fala.
– Detecção de fraudes em cartões de crédito.
– Estratégias para a construção de jogos.
– Programas de Mineração de Dados que descobrem regras gerais em grandes bases de dados.
– Sistemas biométricos.
– Sistemas financeiros.
© LES/PUC-Rio
Referências
• BISHOP, C. M. (2007). Pattern Recognition and Machine Learning. Springer.
• HAYKIN, S. (2001). Redes Neurais: princípios e prática. Porto Alegre: Bookman.
• MITCHELL, T. (1997). Machine Learning. McGraw Hill.
• RUSSELL, N., & NORVIG, P. (2004). Inteligência Artificial (2 ed.). Rio de Janeiro: Elsevier.
• SUTTON, R. S. & BARTO, A. G. (1998), Reinforcement Learning: An Introduction. MIT Press.
© LES/PUC-Rio