Kernel

Introduo Motivao Estimao de Densidades Anlise Discriminante Experimentos Concluses Referncias

Mtodo Kernel: Estimao de Densidades e Classificao dePadres

Marcelo Rodrigo Portela Ferreira

Departamento de Estatstica, UFPB

Centro de Informtica, UFPE

15 de abril de 2009

Ferreira, M. R. P. DE - UFPB / CIn - UFPE

Mtodo Kernel: Estimao de Densidades e Classificao de Padres


Estrutura da Apresentao

1 Motivao2 Estimao de Densidades pelo Mtodo Kernel

(i) Caso Univariado(ii) Caso Multivariado

3 Anlise Discriminante Kernel4 Experimentos5 Concluses




Kernel (1)

NO o ncleo celular

NO o ncleo de um sistema operacional

NO o ncleo/espao nulo de uma matriz A : {x : Ax = 0}




Kernel (2)

Uma funo K : Rp R tal queK(x) 0Rp

K(x)dx = 1K simtrica em torno de 0




Motivao

Na metodologia clssica, faz-se alguma suposio sobre a forma funcionalparamtrica dos dados

Com uma forma paramtrica imposta, tudo que resta estimar osparmetros atravs dos dados (Mxima verossimilhana, por exemplo)

Muitas vezes, a suposio acerca da forma funcional paramtrica pode sermuito restritiva ou, em alguns casos, inadequada

Abordagens no-paramtricas permitem-nos lidar com um nmero maiorde situaes




Estimao de Densidades pelo Mtodo Kernel

A funo densidade de probabilidade um conceito fundamental emestatstica

Uma varivel aleatria X com funo de distribuio F ditaabsolutamente contnua se existir uma funo no negativa f tal queF (x) = P (X x) = x f(t)dt, x R. Neste caso, dizemos que f afuno densidade de probabilidade de X e deve satisfazer

+ f(x)dx = 1

Especificar a funo densidade de X nos fornece uma descrio natural dasua distribuio, e permite que probabilidades associadas a X possam serencontradas atravs da relao

P (a < X < b) =

ba

f(x)dx, para todo a < b.




Nosso foco: estimao de funes densidade atravs do mtodo kernel

Outros tipos de estimadores no-paramtricos de funes densidadeincluem: histogramas, polgonos de frequncia, splines, estimadoresbaseados em sries ortogonais e estimadores baseados em verossimilhanapenalizada (Silverman 1986; Scott 1992; Simonoff 1996)

O estimador kernel pode ser pensado como uma generalizao dohistograma




Histogramas

Mtodo no-paramtrico mais antigo de estimao de densidades

Dada uma origem x0 e um comprimento de intervalo h, definimos osretngulos do histograma como sendo os intervalos[x0 + (r 1)h, x0 + rh) para valores inteiros positivos e negativos de rEmpiricamente a idia e contar o nmero de observaes que estocontidas em cada intervalo

Sem perda de generalidade, seja o intervalo [h/2, h/2). A probabilidadede uma observao pertencer ao intervalo [h/2, h/2) dada porP (X [h/2, h/2)) = h/2h/2 f(x)dx, onde f a densidade de XUma aproximao natural para a probabilidade acima P (X [h/2, h/2)) 1

n#{Xi [h/2, h/2)}

Dessa forma, uma estimativa para f seria

f(x) =1

nh#{Xi [h/2, h/2)}, x [h/2, h/2)




Este estimador no contnuo e depende fortemente da escolha de h,conhecido como parmetro de suavizao

Variando o valor de h obtemos diferentes formas de fh(x). Nos extremos,digamos, quando h 0, temos uma representao muito ruidosa dosdados. Na situao oposta, quando h, temos uma representaomuito suave dos dados

A idia do histograma serve como base para um estimador de densidadesmais geral conhecido como estimador naive (Silverman 1986). Seja Xuma v.a. com densidade f . Ento,

f(x) = limh0

1

2hP (x h < X < x+ h)

Para h fixo, podemos estimar P (x h < X < x+ h) pela proporo deobservaes da amostra pertencentes ao intervalo (x h, x+ h). Dessemodo, um estimador natural de f , escolhendo h pequeno,

f(x) =1

2nh#{Xi (x h, x+ h)}




Para expressar este estimador de forma mais clara, seja a funo peso w:

w(x) =

{12

se |x| < 10 caso contrrio.

(1)

Ento, fcil ver que uma estimativa para f neste caso dada por

f(x) =1

n

ni=1

1

hw

(xXi

h

)(2)

A partir de (1) podemos notar que o estimador (2) construdocolocando-se um retngulo de largura 2h e altura (2nh)1 em cadaobservao e ento somando para obter a estimativa fNo difcil notar que f no uma funo contnua e tem derivada nulaem todos os pontos exceto nos pontos de salto X hO estimador de densidades baseado em uma funo kernel obtidosubstituindo a funo peso w por uma funo no-negativa k, denominadafuno kernel, satisfazendo a condio

K(x)dx = 1

Usualmente, mas no sempre, K ser uma funo densidade deprobabilidade simtrica (Por exemplo, a funo densidade de probabilidadenormal)




Estimao de Densidades Univaridas pelo Mtodo Kernel

No caso univariado o estimador kernel para uma amostra aleatriaX1, . . . , Xn retirada de uma distribuio com densidade comum f , podeser definido como

f(x;h) =1

nh

ni=1

K

(xXi

h

)=

1

n

ni=1

Kh (xXi) , (3)

onde h o parmetro de suavizao, positivo e no-aleatrio, e K afuno kernel, no-negativa, satisfazendo a condio

+ K(x)dx = 1

A relao entre K e Kh dada por Kh(t) = h1K(h1t)

Em cada ponto, uma funo kernel dimensionada Kh com massa deprobabilidade n1 colocada. Estas so ento somadas para fornecer acurva composta

A escolha da funo kernel no crucial para a performance do mtodo, e mais razovel escolher um kernel que auxilie na eficincia computacional(Silverman 1986; Epanechnikov 1969)




Tabela: Funes kernel comumente utilizadas com dados univariados

Funo kernel Forma analtica, K(x)

Retangular 12para |x| < 1, 0 caso contrrio

Triangular 1 |x| para |x| < 1, 0 caso contrrio

Biweight 1516(1 x2)2 para |x| < 1, 0 caso contrrio

Normal 12pi

exp(x2

2

)Epanechnikov 3

4

(1 x2/5)/5 para |x| < 5, 0 caso contrrio




Figura: Estimativa da densidade univariada pelo mtodo kernel. Linha slida:densidade estimada; Linhas tracejadas: funes kernel individuais. A amostra composta pelos valores X1 = 1.0, X2 = 0.8, X3 = 0.6, X4 = 0.5, X5 = 1.2.Funo kernel: gaussiana

2 1 0 1 2

0.0

0.1

0.2

0.3

0.4

0.5

0.6

x

dens

idad

e es

timad

a




Estimao de Densidades Multivaridas pelo Mtodo Kernel

A extenso para dados multivariados direta, com o estimador dedensidades p-dimensional, para uma amostra aleatria X 1, X 2, . . . , X nretirada de uma densidade comum f , definido por

f(x) = 1nhpn

i=1

K

(1

h(x X i)

), (4)

onde x = (x1, x2, . . . , xp) e X i = (Xi1, Xi2, . . . , Xip), i = 1, 2, . . . , nA funo kernel multivariada K(x) agora uma funo definida no espaop-dimensional, satisfazendo

RpK(x)dx = 1

Usualmente K ser uma funo densidade de probabilidade unimodalradialmente simtrica




Exemplos de funes kernel multivariadas so a distribuio normal padromultivariada

K(x) = (2pi)p/2 exp(12xx),

e a funo kernel Bartlett-Epanechnikov

K(x) ={

(1xx)(p+2)2cp para |x| < 10 caso contrrio,

onde

cp =pip/2

((p/2) + 1)

o volume de uma esfera unitria p-dimensional




O uso de um nico parmetro de suavizao em (4) implica que a funokernel colocada em cada ponto dimensionada igualmente em todas asdirees e isso pode ser inadequado em muitas situaes

Uma forma da estimativa da funo de densidade de probabilidadecomumente utilizada a soma do produto de funes kernel (sem,contudo, a implicao de independncia entre as variveis)

f(x) = 1n 1h1 hpn

i=1

pj=1

Kj

(xj Xij

hj

), (5)

onde existem diferentes parmetros de suavizao associados com cadavarivel. Pode-se assumir algum kernel univariado para os Kj ,j = 1, . . . , p. Usualmente, a mesma forma assumida para todos os Kj .




Uma forma geral para o estimador de densidades multivariado, para umaamostra aleatria X 1, X 2, . . . , X n, retirada de uma densidade comum f , dada por

f(x) = f(x;H) = 1nn

i=1

KH(x Xi), (6)onde KH = |H|1/2K(H1/2x) a funo kernel dimensionada e H uma matrix no-aleatria, simtrica, positiva-definida, denominada matrizsuavizao

A idia bsica do caso univariado, de colocar uma funo kernel commassa de probabilidade n1, tambm vlida no caso multivariado




Figura: Estimativa da densidade bivariada pelo mtodo kernel. Linha slida: curvas denvel da densidade estimada; Linhas tracejadas: curvas de nvel das funes kernelindividuais; Amostra: X 1 = (7, 3), X 2 = (2, 4), X 3 = (4, 4), X 4 = (5, 2),X 5 = (5.5, 6.5); Funo kernel: gaussiana; Matriz de suavizao: H =

[1 0.7

0.7 1

]

x

y

0 2 4 6 8 10

02

46

810

x

y

0 2 4 6 8 10

02

46

810




Escolha do Parmetro de Suavizao

O critrio de erro mais amplamente utilizado nesta rea de pesquisa o(Erro Quadrtico Integrado Mdio) (EQIM) (Rosenblatt 1956), definidocomo

EQIM(f(;H)) = E{

Rp

[f(x;H) f(x)]2dx}

(7)

Nosso objetivo encontrar H tal que o EQIM seja minimizado, ou seja,

HEQIM = arg minHH

EQIM(f(;H)), (8)

onde H o espao das matrizes simtricas, positivas-definidas dedimenso (p p)Contudo, o EQIM apresenta forma fechada apenas se f uma mistura dedistribuies normais e K a funo kernel normal, e dessa forma,encontrar HEQIM , em geral, extremamente difcil(Wand and Jones 1995)




O Erro Quadrtico Integrado Mdio Assinttico (EQIMA) umaaproximao assinttica do EQIM. Uma expresso para o EQIMA,derivada por (Wand and Jones 1995),

EQIMA(f(;H)) = 1nR(K)|H|1/2 + 1

42(K)

2

Rp

tr2(HD2f(x))dx,(9)

onde R(v) =Rp

v(x)2 para alguma funo integrvel quadrada v;2(K)Ip = Rp

xxK(x), com 2(K)


A expresso (10) chamada de seletor do parmetro de suavizao

Existem diversas metodologias que podem ser utilizadas para selecionar oparmetro de suavizao atravs de (10), dentre as quais, um mtodoconhecido como plug-in e o mtodo de mnimos quadrados por validaocruzada (LSCV, sigla em ingls)

Um estudo detalhado sobre mtodos de seleo do parmatro desuavizao pode ser encontrado em (Duong 2004)




Anlise Discriminante No-paramtrica

De acordo com a regra de Bayes, ns alocamos uma observao para aclasse com maior probabilidade a posteriori:

x alocado para a classe j se j = arg maxj{1,...,J}pijfj(x).As probabilidades a priori pij , quando desconhecidas, podem ser estimadasusando pij = nj/n, j = 1, . . . , J , com

Jj=1 nj = n

Na metodologia paramtrica so feitas suposies sobre as densidades fj .

Usualmente, supe-se que os dados seguem distribuio normal,entretanto, esta suposio pode ser muito restritiva ou at mesmoinadequada

Na anlise discriminante no-paramtrica ns relaxamos essa suposiopara, dessa forma, poder lidar com casos mais complexos




2 0 2 4

2

02

4

x

y




5 0 5 10

5

05

x

y




A abordagem kernel para anlise discriminante estimar a densidade fj decada classe j e alocar uma observao de acordo com a regra:

x alocado para a classe j se j = arg maxj{1,...,J} pij fj(x),onde fj(x) a estimativa da densidade pelo mtodo kernel correspondentea j-sima classe




2 0 2 4

2

02

4

x

y

25

25

50

50 75

75

25

25

50

50

75

75




5 0 5 10

5

05

x

y




Suporte Computacional: R




Gratuito (disponvel em http://www.R-project.org)

Cdigo aberto

ColaborativoCentenas de pacotes implementados

AER: Applied Econometrics with RAMORE: A MORE flexibly neural networks packageAdMit: Adaptive Mixture of Student-t distributionsarules: Mining Association Rules and Frequent Itemsetsanapuce: Tools for microarray data analysisbetareg: Beta Regressionboot: Bootstrap R FunctionsBayesTree: Bayesian Methods for Tree Based Modelsclass: Functions for ClassificationclusterGeneration: Random cluster generation (with specified degree ofseparation)experiment: R package for designing and analyzing randomizedexperimentsFactoMiner: Factor Analysis and Data Mining with Rforeign: Read Data Stored by Minitab, S, SAS, SPSS, Stata, Systat,dBase, ...geoR: Analysis of geostatistical data




HiddenMarkov: Hidden Markov Models

intervals: Tools for working with points and intervals

JGR: Java Gui for R

kernlab: Kernel-based Machine Learning Lab

ks: Kernel density estimate for multivariate data

lodplot: Plot a genome scan

mcmc: Markov Chain Monte Carlo

nnet: Feed-forward Neural Networks and Multinomial Log-Linear Models

outliers: Tests for outliers

polspline: Polynomial spline routines

qcc: Quality Control Charts

ROCR: Visualizing the performance of scoring classifiers

survival: Survival analysis, including penalised likelihood

tree: Classification and regression trees

urca: Unit root and cointegration tests for time series data

VaR: Value at Risk estimation

e a lista cresce a cada dia...




ks: Kernel density estimate for multivariate data

> ## bivariate example

> data(unicef)

> H.scv fhat plot(fhat, drawpoints=TRUE, drawlabels=FALSE, col=3, lwd=2)

50 100 150 200 250 300

4045

5055

6065

70

Under5

Ave

life

exp




> plot(fhat, display="persp", border=NA, col="grey96",

+ shade=0.75)

Under5

Ave life exp

Density function




> plot(fhat, display="image", col=rev(heat.colors(100)))

100 0 100 200 300 400

3040

5060

7080

Under5

Ave

life

exp




Uma funo particularmente til do pacote ks a rmvnorm.mixt com a qualpodemos gerar dados oriundos de misturas de distribuies gaussianasmultivariadas.> mus Sigmas props x plot(x, xlab = "x", ylab = "y")




2 1 0 1 2

4

3

2

1

01

2

x

y




> mus Sigmas props x plot(x, xlab = "x", ylab = "y")




3 2 1 0 1 2 3

01

23

x

y




Experimentos Numricos

Foram gerados dados simulando problemas com duas classes em seiscenrios distintos

Amostras de treinamento de tamanhos 50, 100, 500 e 1000, gerados apartir de distribuies normais ou de misturas de distribuies normais

Amostras de teste independentes, fixas, de tamanho 1000

1000 rplicas de Monte Carlo

Foram comparados os mtodos discriminante linear, quadrtico e kernel

Mtrica de comparao: taxa de erro no conjunto de teste

Todos os resultados foram obtidos atravs da linguagem R




Voltando...

Cenrios Distribuio

A 1 : f1 N

([1

1

];

[49

1445

1445

49

]); 2 : f2 N

([1

1

];

[49

0

0 49

])

B 1 : f1 N

([1

1

];

[23

15

15

13

]); 2 : f2 N

([1

12

];

[23

15

15

13

])

C 1 : f1 N

([112

];

[23

15

15

49

]); 2 : f2 N

([1

12

];

[23

15

15

49

])

D1 : f1

12

N

([32

32

];

[45

12

12

45

])+ 1

2N

([1212

];

[45

12

12

45

]);

2 : f2 12

N

([3232

];

[45

12

12

45

])+ 1

2N

([12

12

];

[45

12

12

45

])

E1 : f1

12

N

([320

];

[112

14

14

1

])+ 1

2N

([320

];

[112

14

14

1

]);

2 : f2 N

([0

0

];

[49

15

15

49

])

F1 : f1

12

N

([320

];

[210

14

14

310

])+ 1

2N

([320

];

[310

14

14

310

]);

2 : f2 N

([0

0

];

[45

25

25

1

])




A

X1

X 2

3 2 1 0 1 2 3

3

2

1

01

23

B

X1

X 2

3 2 1 0 1 2 3

3

2

1

01

23

C

X1

X 2

3 2 1 0 1 2 3

3

2

1

01

23

D

X1

X 2

3 2 1 0 1 2 3

3

2

1

01

23

E

X1

X 2

3 2 1 0 1 2 3

3

2

1

01

23

F

X1X 2

3 2 1 0 1 2 3

3

2

1

01

23




3 2 1 0 1 2 3

3

2

1

01

23

4

X1

X 2

12

6 4 2 0 2 4

4

20

24

6X1

X 2

12




Tabela: Resultados para os cenrios A, B e C

Cenrio Mtodo Estatsticas n = 50 n = 100 n = 500 n = 1000

A

LDAMdia 0,6233 0,5664 0,5033 0,5039

D. P. 0,3017 0,2440 0,1081 0,0717

QDAMdia 0,3746 0,3381 0,3117 0,3025

D. P. 0,1790 0,0926 0,0451 0,0206

KDAMdia 1,8073 0,6713 0,3413 0,3244

D. P. 3,6037 1,0796 0,0962 0,0655

B

LDAMdia 1,0867 0,9642 0,9050 0,9088

D. P. 0,2814 0,1514 0,0736 0,0706

QDAMdia 1,3149 1,0702 0,9087 0,9052

D. P. 0,4757 0,2514 0,0746 0,0687

KDAMdia 1,5593 1,2551 0,9925 0,9410

D. P. 0,6088 0,3606 0,1576 0,1185

C

LDAMdia 4,8170 4,6447 4,5223 4,5146

D. P. 0,4767 0,3727 0,2348 0,1913

QDAMdia 4,9875 4,7300 4,5377 4,5195

D. P. 0,6089 0,4236 0,2559 0,2101

KDAMdia 2,5351 2,2039 1,8838 1,8341

D. P. 1,0339 0,7230 0,3798 0,2880




Tabela: Resultados para os cenrios D, E e F

Cenrio Mtodo Estatsticas n = 50 n = 100 n = 500 n = 1000

D

LDAMdia 43.3035 44.5808 46.3690 46.6073

D. P. 2.6130 2.0645 0.5990 0.3108

QDAMdia 43.1092 44.0681 46.0483 46.4462

D. P. 2.6529 1.9639 0.7543 0.4151

KDAMdia 24.7502 19.9339 16.3670 16.1180

D. P. 6.4371 3.3978 0.6678 0.5049

E

LDAMdia 47.8123 48.3086 49.2980 49.5784

D. P. 3.2952 2.4899 1.4873 1.2574

QDAMdia 12.3440 10.0298 7.9060 7.7968

D. P. 4.0999 2.4674 0.6965 0.4928

KDAMdia 10.4084 7.5744 5.9294 5.9421

D. P. 3.8523 2.0576 0.5980 0.4642

F

LDAMdia 48.8693 49.1778 49.6406 49.6833

D. P. 2.4543 1.9858 1.1794 1.0829

QDAMdia 23.3331 21.6190 20.0978 19.8070

D. P. 4.6566 3.7946 2.1063 1.6127

KDAMdia 17.8189 15.4789 13.5814 13.1674

D. P. 2.8313 1.5302 0.5391 0.3796




Concluses

Desempenho superior do mtodo kernel em situaes complexas (cenriosD, E e F)

Desempenho similar aos mtodos linear e quadrtico em situaes debaixa complexidade (cenrios A, B e C)

Teoria bastante desenvolvida e consolidada

Implementaes em linguagem R




Referncias Bibliogrficas

Duong, T. (2004).Bandwidth selectors for multivariate kernel density estimation.Ph. D. thesis, University of Western Australia, School of Mathematics and Statistics.

Epanechnikov, V. A. (1969).Non-parametric estimation of a multivariate probability density.Theory of Probability and its Applications 14, 153158.

Rosenblatt, M. (1956).Remarks on some nonparametrics estimates of a density function.The Annals of Mathematical Statistics. 27, 832837.

Scott, D. W. (1992).Multivariate Density Estimation: Theory, Practice, and Visualization.New York: John Wiley & Sons.

Silverman, B. W. (1986).Density Estimation for Statistics and Data Analysis.London: Chapman & Hall.

Simonoff, J. S. (1996).Smoothing Methods in Statistics.New York: Springer-Verlag.

Wand, M. P. and M. C. Jones (1995).Kernel Smoothing.London: Chapman & Hall.



Introduo

Motivao

Estimao de Densidades

Anlise Discriminante

Experimentos

Concluses

Referncias

Documents

Kernel