Probabilistic SVM Algorithm
Laércio Nascimento Mesquita
2015.2 Picos – PI 18/02/2016
Roteiro
--- Introdução
--- Aprendizado de Máquina (AM)
-- Aprendizado não-supervisonado (descritivo)
-- Aprendizado Supervisonado (preditivo)
--- Support Vector Machine (SVM)
--- Aplicações
--- Referências
Introdução
l Até os anos 70 a Inteligência Artificial era vista como uma disciplina
meramente teórica;
l Dificuldade de aquisição do conhecimento por parte de especialistas;
l Dificuldade na resolução de problemas complexos;
l Necessidade de ferramentas sofisticadas;
O que é Aprendizado de
Máquina?
fonte: http://migre.me/t15Mw
Aprendizado de Máquina
“A capacidade de melhorar o desempenho na realização de de alguma tarefa por meio da experiência (MITCHELL 1997).”
fonte:http://migre.me/t15We
Aprendizado de Máquina
Algumas áreas de pesquisa têm dado contribuições diretas e significativas no avanço a AM, como Probabilidade, Estatística Teoria da Computação Neurociência, Teoria da Informação.
Aprendizado de Máquina
Aprendizado Indutivo
SupervisionadoNão
supervisionado
Classificação Regressão
Sumarização Agrupamento Associação
Hierarquia de aprendizado.
Aprendizado Não - supervisionado
Algoritmo KNN
Aprendizado Supervisionado
Modelo de Estimação de Função
Modelo de Estimação de Função, Santos(2002) p. 20.
Modelo de Estimação de Função
l Seja (x 1 , y 1 ),... , (x i , y i ) , tal que x R n e y {− ∈ ∈1, 1 }, i = 1, ..., N, onde N é o número de instâncias do treinamento, x é o vetor de entrada e y é a classificação desejada. O objetivo é estimar uma função F: R n -> {-1 ou 1}, usando os exemplos de treinamento, e aplicá-la nos exemplos de teste, não utilizados anteriormente, com o objetivo de que sejam classificados corretamente.
Modelo de Estimação de Função
l Problemas:l Overfitting → onde a complexidade da função
obtida é superior a necessidade do problema; l Underfitting → onde a complexidade da função
obtida é inferior a necessidade do problema.
Modelo de Estimação de Função
l
(a) sobre-ajuste, (b) sub-ajuste, (c) função de aproximação maisadequada.
Support Vector Machine - (SVM)
Support Vector Machine
The original SVM algorithm was invented by Vladimir N. Vapnik and Alexey Ya. Chervonenkis in 1963. In 1992, Bernhard E. Boser, Isabelle M. Guyon and Vladimir N. Vapnik suggested a way to create nonlinear classifiers by applying the kernel trick to maximum-margin hyperplanes (VAPNIK 1998).
Support Vector Machine
l Valores discretos e valores contínuos;l Ex1: Sexo { masculino, feminino} – Problema de
Classificação;l Ex2: Peso { 80.4, 50.2, 93.5 … } - Problema de
Regressão ou em classicação em caso de pesado ou leve;
l Em classificação se k = 2, diz-se ser um problema binário, para k>2 problema multiclasse.
Support Vector Machine
l Máquinas de vetor de suporte (SVM)(VAPNIK, 1998) têm obtido sucesso em um grande número de aplicações.
l A SVM constrói um hiperplano com várias dimensões que separa de forma otimizada os dados em duas categorias.
Support Vector Machine
Hiperplano de separação Ótimo, Lima(2014), p. 06.
Teoria de Aprendizado Estatístico
Teoria de Aprendizado Estatístico
Que a mágica comece!
Teoria de Aprendizado Estatístico
Minimização do risco. Sousa (2002).
Teoria de Aprendizado Estatístico
Risco empírico da função R (f). Oliveira Junior (2010), p. 07.
Teoria de Aprendizado Estatístico
l Na equação, h denota a dimensão VC (Vapnik-Chervonenkis) da classe de funções a qual f pertence e n representa a quantidade de instâncias de treinamento. A dimensão VC, mede a capacidade das funções contidas em F. Quanto maior for o valor de VC, mais complexas são as funções de classificação.
Representação da dimensão VC(Vapnik-Chervonenkis) . Oliveira Junior (2010), p. 07.
Teoria de Aprendizado Estatístico
Funções Kernel
Funções Kernel
As funções de kernel têm a finalidade de projetar os vetores de características de entrada em um espaço de características de alta dimensão para classificação de problemas que se encontram em espaços não linearmente separáveis.
Funções Kernel
Transformação de um problema linear mente separável.
Funções Kernel
Funções Kernels mais utilizadas.
Funções kernels mais utilizados.
Funções Kernel
Separação usando função de kernel linear
D(x) = w T x + b
Funções Kernel
Aplicação de uma função RBF em clusters .Oliveira Junior (2010), p. 11.
Aplicações
Aplicações de Aprendizado de Máquina
-- Reconhecimento de palavras faladas;
-- Predição de taxas de cura de pacientes com diferentes
doenças;
-- Detecção do uso fraudulento de cartões de crédito;
-- Condução de automóveis de forma autônoma em rodovias;
-- Diagnóstico de câncer por meio de análise de dados de
expressão gênica.
Referência
Lima, B. V. A. de .Rotulação de Dados com Aprendizado Semi-Supervisionado. Dissertação de Mestrado na área de Ciência da Computação. (Programa de Pós-Graduação em Ciência da Computação) – Universidade Federal do Piauí, Teresina, 2014.
Oliveira Junior, G. M. de. Máquina de Vetores Suporte: estudo e análise de parâmetros para otimização de resultado. Trabalho de graduação na área de Ciência da Computação. Universidade Federal de Pernambuco, Recife, 2010.
Santos, E. M. dos. Teoria e Aplicação de Support Vector Machines à Aprendizagem e Reconhecimento de Objetos Baseado na Aparência. Dissertação de Mestrado na área de Modelos Computacionais e Cognitivos. (Programa de Pós-Graduação em Informática da Universidade Federal da Paraíba) - Universidade Federal da Paraíba, Paraíba, 2002.
VAPNIK. N, Statistical Learning Theory. New York: John Wiley & Sons, 1998.
Dúvidas?Obrigado!