COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO …COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOS Uma Aplicação a Dados Reais Coeficiente de Correlação de Pearson r

LEAD

COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS CLASSIFICAÇÃO COM DADOS

OMISSOSOMISSOSUma Aplicação a Dados Reais

Ana Lorga da SilvaAna Lorga da Silva1,2,31,2,3, Helena Bacelar, Helena Bacelar--NicolauNicolau2,32,3 e e GilbertGilbert SaportaSaporta44

1Universidade Lusófona de Humanidades e Tecnologias,Departamento de Economia e Gestão

2Universidade de Lisboa, FPCE, Laboratório de Estatística e Análise de Dados3Centro de Estatística e Aplicações da Universidade de Lisboa

Linha de Investigação de Análise de Dados Multivariados4Departamento de Estatística, CNAM, Paris

2

LEAD COEFICIENTE DE AFINIDADCOEFICIENTE DE AFINIDADEE EM CLASSIFICAÇÃO EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS

Uma Aplicação a Dados Reais

Estrutura do TrabalhoEstrutura do Trabalho::

Análise Classificatória Hierárquica AscendenteAnálise Classificatória Hierárquica AscendenteDados OmissosDados Omissos

Dados SimuladosDados SimuladosDados ReaisDados Reais

3

LEAD COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS


CLASSIFICAÇÃO HIÉRARQUICA CLASSIFICAÇÃO HIÉRARQUICA ASCENDENTEASCENDENTE

4

LEAD COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS


MMMÉÉÉTTTOOODDDOOOSSS CCCLLLÁÁÁSSSSSSIIICCCOOOSSS AL / AMP Coeficiente de Afinidade Básico SL / UIM CL / USM AL / AMP Coeficiente de Bravais-Pearson SL / UIM CL / USM

5



MMMÉÉÉTTTOOODDDOOOSSS PPPRRROOOBBBAAABBBIIILLLÍÍÍSSSTTTIIICCCOOOSSS

SL Coeficiente de Afinidade Centrado e Reduzido pelo método WW AVL AVB

6



DADOS OMISSOS DADOS OMISSOS

7

LEAD

COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS


Tipo de Dados OmissosTipo de Dados Omissos::MAR :

[ ]ijMM =

( ) ( )Pr , Probs mis obsob M X X ob M X=

é um indicador dos dados omissos,

=omisso é se,0

observado é se,1

ij

ijij x

xM

8

LEADCOEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM

CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOSUma Aplicação a Dados Reais

Padrões de Dados OmissosPadrões de Dados OmissosMONÓTONOS: NÃO MONÓTONOS:

- dado observado

- dado omisso

9



Métodos de ImputaçãoMétodos de Imputação::

“Implícita”:“Implícita”:

ListwiseListwise

PairwisePairwise

“Explícita”“Explícita”::

EMEM

OLSOLS

NIPALSNIPALS

IMIM

PLS2PLS2

10



IIMMPPUUTTAAÇÇÃÃOO MMÚÚLLTTIIPPLLAA Imputações

m = 1 , 2, 3 a11 a12 a13 a21 a22 a23 a31 a32 a33 a41 a42 a43 a51 a52 a53 a61 a62 a63

a11 a21 a31 a41 a51 a61

a12 a22 a32 a42 a52 a62

a13 a23 a33 a43 a53 a63

11

LEAD

COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCOM DADOS OMISSOS


IM VM IM VM

IM CONSENSO IM CONSENSO

1

1

22

33

44

55

X S

X S

X S

X S

X S

sS U Dendrograma

mSSm

kk

= ∑

=1

12



I.I. Dados Originalmente CompletosDados Originalmente CompletosII.II. Dados IncompletosDados IncompletosIII.III. Dados “completos” por Métodos de ImputaçãoDados “completos” por Métodos de Imputação

Coeficiente de Spearman (1%) // Comparar Ultramétricas

I. com II.I. com II.

CompararComparar

I. com III.I. com III.

13



Dados SimuladosDados SimuladosDados completos com distribuição Multinormal

1000 indivíduos, 5 variáveis

Estruturas:

10%, 15%, 20% (sobre o total) de Dados Omissos em duas

Variáveis

Dados Omissos, segundo a condição MAR

14

LEADLEAD

Coeficiente de Afinidade sr =1

0102030405060708090

100

10% AL 15% AL 20% AL 10% SL 15% SL20% SL 10% CL15% CL20% CL

Listwise Pairwise EM OLS NIPALS IMvm IMcons PLS2

COEFICIENTE DE AFINIDADE EM COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOSCLASSIFICAÇÃO COM DADOS OMISSOS


15



LEAD

Coeficiente de Correlação de Pearson sr =1

0102030405060708090

100

10% AL 15% AL 20% AL 10% SL 15% SL 20% SL 10% CL 15% CL 20% CL

Listwise Pairwise EM OLS NIPALS IMSvm IMcons PLS2

16



LEAD

Coeficiente de Afinidade Centrado e Reduzido pelo Método WW sr =1

0102030405060708090

100

10%AVL

15%AVL

20%AVL

10%SL

15%SL

20%SL

10%AVB

15%AVB

20%AVB

Listwise EM OLS NIPALS IMvm IMcons PLS2

17



Dados ReaisDados ReaisDados completos com distribuição Multinormal

181 indivíduos, 5 variáveis

Estruturas:Estruturas:

10%, 15%, 20% (sobre o total) de Dados Omissos em duas Variáveis

Dados Omissos, segundo a condição MAR

- B-P Mét. Clássicos

- C. A. cr WW Mét. Prob.

- C. A. Mét. Clássicos

x3,x4,x5,x1,x2 x3,x4,x5,x1,x2

18



Utilizam-se dados de um estudo efectuado com adolescentes Portugueses (Geada(1998)). Esse estudo pretende avaliar o efeito do clima familiar no desenvolvimento da personalidade e nos comportamentos “desviantes”, utilizando-o como prevenção do uso de drogas.

“Some longitudinal studies on deviant behaviours have shown that there is a logical continuity between instances of this type of in childhood, adolescence and adulthood” (Geada(1998))

A classificação hierárquica ascendente é uma metodologia que pode complementar o estudo efectuado.

19



LEAD

Variáveis:- Transgressividade- Delinquencia- Autoconceito- Aptidão para gerir o Stress - Clima Familiar

GRUPOS (2):

{transgressividade, delinquência} /

{autoconceito, aptidão para gerir o stress, clima familiar}

20



LEAD

MÉTODOS CLÁSSICOSMÉTODOS CLÁSSICOS

Coeficiente de

Afinidade

Coeficiente de

Pearson

MD métodos AL SL CL AL SL CL listwise sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

pairwise sr =1 sr =1 sr =1 sr > 'sr sr < 'sr sr > 'sr

EM sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

10% OLS sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

IMcons sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

IMvm sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

PLS2 sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

21



LEAD

Coeficiente

de Afinidade

Coeficiente de

Pearson

MD métodos AL SL CL AL SL CL listwise

sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr pairwise

sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr EM

sr > 'sr sr > 'sr sr =1 sr > 'sr sr > 'sr sr > 'sr

15% OLS sr > 'sr sr > 'sr sr =1 sr > 'sr sr > 'sr sr > 'sr

IMcons sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

IMvm sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

PLS2 sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

22



LEAD

Coeficiente

de Afinidade

Coeficiente de

Pearson

MD métodos AL SL CL AL SL CL listwise

sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr pairwise

sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr EM

sr > 'sr sr > 'sr sr > 'sr sr > 'sr sr > 'sr sr > 'sr20% OLS

sr > 'sr sr > 'sr sr =1 sr > 'sr sr > 'sr sr > 'sr IMcons

sr =1 sr > 'sr sr =1 sr > 'sr sr > 'sr sr > 'sr IMvm

sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr PLS2

sr =1 sr =1 sr =1 sr > 'sr sr > 'sr sr > 'sr

23



MÉTODOS PROBABILÍSTICOSMÉTODOS PROBABILÍSTICOS C. A. C.R.

WW

MD métodos AVL SL AVB listwise

sr < 'sr sr =1 sr < 'sr

EM sr < 'sr sr =1 sr < 'sr

OLS sr < 'sr sr =1 sr < 'sr

10% NIPALSsr < 'sr sr =1 sr < 'sr

IMcons sr > 'sr sr =1 sr > 'sr

IMvm sr > 'sr sr =1 sr > 'sr

PLS2 sr < 'sr sr =1 sr < 'sr

listwise sr < 'sr sr =1 sr < 'sr listwise

sr =1 sr =1 sr =1

EM sr < 'sr sr =1 sr < 'sr EM

sr < 'sr sr < 'sr sr < 'sr OLS

sr < 'sr sr =1 sr < 'sr OLS sr < 'sr sr < 'sr sr < 'sr

15% NIPALSsr < 'sr sr =1 sr < 'sr 20% NIPALS

sr < 'sr sr < 'sr sr < 'sr IMcons

sr > 'sr sr =1 sr > 'sr IMcons sr > 'sr sr =1 sr > 'sr

IMvm sr > 'sr sr =1 sr > 'sr IMvm

sr > 'sr sr =1 sr > 'sr PLS2

sr < 'sr sr =1 sr < 'sr PLS2 sr =1 sr =1 sr =1

24



CONCLUSÕES:CONCLUSÕES:O O Coeficiente de Afinidade BásicoCoeficiente de Afinidade Básico revelarevela--se mais robusto que o coeficiente de se mais robusto que o coeficiente de PearsonPearsonO ACHA, O ACHA, SLSL é muito estável em relação ao é muito estável em relação ao CAcrCAcr, pelo método , pelo método WWWWO O métodométodo de IM de IM vmvm / / consensoconsenso pareceparece ser ser globalmenteglobalmente o o melhormelhor métodométodo de de imputaçãoimputaçãoOs resultados obtidos com os dados reais Os resultados obtidos com os dados reais não contrariam os “não contrariam os “resultados esperados”.resultados esperados”.

Documents

COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO …COEFICIENTE DE AFINIDADE EM CLASSIFICAÇÃO COM DADOS OMISSOS Uma Aplicação a Dados Reais Coeficiente de Correlação de Pearson r