Chi-i-anden Test

Chi-i-anden Test

Repetition

Goodness of Fit

Uafhængighed i Kontingenstabeller

Chi-i-anden Test

Chi-i-anden test omhandler data, der har form af antal eller frekvenser.

Antag, at n observationer kan inddeles i k kategorier.

Lad Oi være antallet af observationer, der falder i den i’te kategori.

Lad Ei være det forventede antal obser-vationer i’te kategori under antagelse af, at en given H0 hypotese er sand.

Chi-i-anden Teststørrelse Oi er faktiske antal observationer i i’te kategori og Ei er

det forventede antal observationer under H0. Chi-i-anden teststørrelsen er givet ved

k

i i

ii

E

EOX

1

22 )(

Når stikprøvestørrelsen vokser og k fastholder, så nærmer X2 sig en Chi-i-anden fordeling.

Bemærk: For at chi-i-anden approksimationen er god skal alle Ei være mindst 5, dvs. vi forventer mindst 5 observationer i hver kategori.

Chi-i-anden Test for Goodness of Fit Vi opstiller en hypotese om at data x1,…,xn er en

stikprøve fra en bestemt fordeling, fx. multinomial- eller normalfordelingen.

Vi bestemmer, hvordan hvert xi tilhører en af k kategorier.

Under antagelse af at H0 er sand udregner vi hvor mange xi’er vi forventer falder i den j’te kategori, Ej.

Via X2-teststørrelsen sammenligner vi dette med det faktiske observerede antal Oi.

Goodness of Fit: Multinomial fordelingen Multinomial fordelingen er en udvidelse af binomial

fordelingen. For multinomial fordelingen gælder

at en observation kan falde i en af k forskellig kategorier. sandsynligheden for at en observation falder i den i’te

kategori er pi.

summen af pi’erne er 1.

Konsekvens: Har vi n observationer, så er det forventede antal observationer i den i’te kategori Ei=npi.

Goodness of Fit: Multinomial

Nul-hypotesen og alternativ hypotesen:H0: Sandsynligheden for hændelserne H1, H2...,Hk er givet ved p1,p2,...,pk

H1: Sandsynligheden for de k hændelser er ikke specificeret ved nul-hypotesen.

Nul-hypotesen og alternativ hypotesen:H0: Sandsynligheden for hændelserne H1, H2...,Hk er givet ved p1,p2,...,pk

H1: Sandsynligheden for de k hændelser er ikke specificeret ved nul-hypotesen.

H0: Antag ens sandsynligheder, p1= p2 = p3 = p4 =0.25 og n=80Preference Tan Brown Maroon Black TotalObserved 12 40 8 20 80Expected(np) 20 20 20 20 80(O-E) -8 20 -12 0 0

3449.112)3,01.0(

4.3020

2)0(20

2)12(20

2)20(20

2)8(

1

2)(2

k

i iEiEiO

H0 afvises på signifikansniveau 0.01.H0 afvises på signifikansniveau 0.01.

Goodness of Fit: Multinomial

SPSS: Analyze → Nonparametric Tests → Chi-square…

Hvis de ’expected counts’ er forskellige, så kan de indsættrs her

Goodness of Fit: Multinomial SPSS:

Observede og forventede ’counts’

Teststørrelse og p-værdi

Goodness of Fit: Normalfordeling Hypotese: Data x1,…,xn, følger en en standard

normalfordeling (N(0,σ2) ). Ide: Vi inddeler normalfordelingen i k ”bidder”.

50-5

0.4

0.3

0.2

0.1

0.0z

f(z)

Partitioning the Standard Normal Distribution

-1 1

-0.44 0.44

0.1700

0.1713

0.15870.1587

0.1700

0.1713

Vi udregner sandsynligheden for at standard normalfordelt tal falder i den j’te ”bid”.

Dernæst kan vi ”genbruge” multinomal eksemplet.

Goodness of Fit: Normalfordeling Vi anvender følgende inddeling: -1, -0.44, 0, 0.44 og 1. Vi har da 6 kategorier:

1. kategori: Z ≤ -1 2. kategori: -1 < Z ≤ -0.44 3. kategori: -0.44 < Z ≤ 0 4. kategori: 0 < Z ≤ 0.44 5. kategori: 0.44 < Z ≤ 1 6. kategori: 1 < Z

Hvad er sandsynligheden for at Z er i 5. kategori? Det samme som P[0.44 < Z ≤ 1] = ”Areal af 5. område i

figuren” = 0,1713. (Kan findes vha. tabel)

50-5

0.4

0.3

0.2

0.1

0.0z

f(z)

Partitioning the Standard Normal Distribution

-1 1

-0.44 0.44

0.1700

0.1713

0.15870.1587

0.1700

0.1713

Goodness of Fit: Normalfordeling Vi kan bestemme sandsynligheden pi for den i’te

kategori. Vi har da 6 sandsynligheder

1. kategori: p1 = 0,1578 2. kategori: p2 = 0,1713 3. kategori: p3 = 0,1700 4. kategori: p4 = 0,1700 5. kategori: p5 = 0,1713 6. kategori: p6 = 0,1578

Har vi n observationer, forventer vi Ei=npi observationer i den i’te kategori.

Vi kan nu udregne X2 teststørrelsen.

50-5

0.4

0.3

0.2

0.1

0.0z

f(z)

Partitioning the Standard Normal Distribution

-1 1

-0.44 0.44

0.1700

0.1713

0.15870.1587

0.1700

0.1713

Kontingenstabeller

Hidtil: Følger en kategorisk variabel en given fordeling?

Nu: Er to kategoriske variable uafhængige? Fx uafhængighed mellem følgende to kategoriske

variable: Jobtype (4 kategorier, Uden, Lavt-, mellem og højtlønnet)

Helbred (5 kategorier: meget dårligt til meget godt)

Værktøj: Kontingenstabeller (cross-tabs) I en kontingenstabel er hver ”celle” et antal /

frekvens.

Kontingenstabeller

Første kategoriske variable (Helbred) Anden

kategoriske variable

(Jobtype)

1

2

3

4

c = 5

Række Total

1 O11 O12 O13 O14 O15 R1 2 O21 O22 O23 O24 O25 R2 3 O31 O32 O33 O34 O35 R3

r = 4 O41 O42 O43 O44 O45 R4 kolonne

Total

C1

C2

C3

C4

C5

n

Første kategoriske variable (Helbred) Anden

kategoriske variable

(Jobtype)

1

2

3

4

c = 5

Række Total

1 O11 O12 O13 O14 O15 R1 2 O21 O22 O23 O24 O25 R2 3 O31 O32 O33 O34 O35 R3

r = 4 O41 O42 O43 O44 O45 R4 kolonne

Total

C1

C2

C3

C4

C5

n

Kontingstabellen består af r rækker og c kolonner. Første kategoriske variabel (Helbred) har c kategorier. Anden kategoriske variabel (Jobtype) har r kategorier.

Oij er antallet af observationer (personer), hvor Helbred er tilhører i’te Helbreds-kategori og Jobtype j’te Jobtype.

Celle (3,4)

Kontingenstabel Første kategoriske variable (Helbred)

Anden kategoriske

variable (Jobtype)

1

2

3

4

c = 5

Række Total

1 O11 O12 O13 O14 O15 R1 2 O21 O22 O23 O24 O25 R2 3 O31 O32 O33 O34 O35 R3

r = 4 O41 O42 O43 O44 O45 R4 kolonne

Total

C1

C2

C3

C4

C5

n

Første kategoriske variable (Helbred) Anden

kategoriske variable

(Jobtype)

1

2

3

4

c = 5

Række Total

1 O11 O12 O13 O14 O15 R1 2 O21 O22 O23 O24 O25 R2 3 O31 O32 O33 O34 O35 R3

r = 4 O41 O42 O43 O44 O45 R4 kolonne

Total

C1

C2

C3

C4

C5

n

Ri er rækketotalen, dvs. totale antal observationer af Jobtype = i.

P( i ) = P( Jobtype = i ) = ”Sandsynlighed for at en tilfældig valgt person har Jobtype i”

P( i ) = Ri / n = ”antal med Jobtype = i / total antal personer”.

Kontingenstabel Første kategoriske variable (Helbred)

Anden kategoriske

variable (Jobtype)

1

2

3

4

c = 5

Række Total

1 O11 O12 O13 O14 O15 R1 2 O21 O22 O23 O24 O25 R2 3 O31 O32 O33 O34 O35 R3

r = 4 O41 O42 O43 O44 O45 R4 kolonne

Total

C1

C2

C3

C4

C5

n

Første kategoriske variable (Helbred) Anden

kategoriske variable

(Jobtype)

1

2

3

4

c = 5

Række Total

1 O11 O12 O13 O14 O15 R1 2 O21 O22 O23 O24 O25 R2 3 O31 O32 O33 O34 O35 R3

r = 4 O41 O42 O43 O44 O45 R4 kolonne

Total

C1

C2

C3

C4

C5

n

Cj er kolonnetotalen, dvs. totale antal observationer af Helbred = j.

P( j ) = P( Helbred = j ) = ”Sandsynlighed for at en tilfældig valgt person har Helbred=j”

P( j ) = Cj / n = ”antal med Helbred = j / total antal personer”.

Test for uafhængighed

X2 teststørrelsen er

dvs. en sum over alle rækker og søjler. X2 følger approksimativt en Χ2-fordeling med (r-1)(c-1)

frihedsgrader. Eij er det forventede antal observationer i celle (i,j) under

antagelse af, at H0 er sand (uafhængighed). Hvis P( i ∩ j ) er sandsynligheden for at en tilfældig valgt

person er i celle (i,j), da er Eij = n P( i ∩ j ).

c

j

r

i ij

ijij

E

EOX

1 1

22 )(

Kontingenstabel: Uafhængighed Lad P( i ∩ j ) = P( Jobtype = i og Helbred = j ) Under H0 (uafhængighed) gælder (pr definition):

P( i ∩ j ) = P( i )P( j ) Forventede frekvens er (som ved multinomial)

Eij = n P( i ∩ j ) Fra før har vi: P( i ) = Ri / n og P( j ) = Cj / n .

Dvs. Eij = n (Ri / n )( Cj / n ) = RiCj / n.

Kontingenstabel: Eksempel To kategoriske variabel:

Industry: Service eller Nonservice Result: Profit eller LossResult * Industry Crosstabulation

42 18 60

28,8 31,2 60,0

70,0% 30,0% 100,0%

6 34 40

19,2 20,8 40,0

15,0% 85,0% 100,0%

48 52 100

48,0 52,0 100,0

48,0% 52,0% 100,0%

Count

Expected Count

% within Result

Count

Expected Count

% within Result

Count

Expected Count

% within Result

Profit

Loss

Result

Total

Service Nonservice

Industry

Total

SPSS: Analyze → Descriptive Statistics → Crosstabs Forventede frekvenser og række procenter tilvælges under ’Cells’.

Kontingenstabel: Eksempel H0: Industry og Result er uafhængige

H1: Der er en sammenhæng ml Industry og Result. For 2×2 tabeller anvendes en kontinuitets korrektion

(såkaldt Yates korrektion) af teststørrelsen X2:

c

j

r

i ij

ijij

E

EOX

1 1

2

25.0

c=2 kolonner og r=2 rækker: (c-1)(r-1)=1 frihedsgrader. Yates korrigeret X2 = 26,92. Kritisk værdi: Χ2

0.05(1) = 3,84

Da 29,92 > 3,84 forkaster vi H0 – dvs. vi accepterer hypotesen om, at Industry og Result er afhængige.

Kontingenstabel: Eksempel I SPSS vælges ’Chi-square’ i ’Statistics’ menuen i

’Crosstabs’.

Chi-Square Tests

29,087b 1 ,000

26,925 1 ,000

31,349 1 ,000

,000 ,000

28,796 1 ,000

100

Pearson Chi-Square

Continuity Correctiona

Likelihood Ratio

Fisher's Exact Test

Linear-by-LinearAssociation

N of Valid Cases

Value dfAsymp. Sig.

(2-sided)Exact Sig.(2-sided)

Exact Sig.(1-sided)

Computed only for a 2x2 tablea.

0 cells (,0%) have expected count less than 5. The minimum expected count is19,20.

b.

Resultat i SPSS. Bemærk ’Continuity Correction’:

Chi-i-anden Test af Andele

Hidtil: Vi har spurgt n personer og analyseret sammenhængen mellem to kategoriske variable, fx helbred og jobtype.

Nu: Er andelen af forskellige af bestemte kategorier ens for en række forskellige populationer?

Eksempler: Er andelen der stemmer hhv, ”til venstre”, ”i midten”,

”til højre” den samme for 18-25 årige, 26-35 årige, 36-65 årige og over 65 år?

Er andelen af personer med grøn tandbørste den samme blandt hjemløse og ikke-hjemløse?

Chi-i-anden Test af Andele

Fremgangsmåde: Vi bestemmer hvor mange tilfældigt udvalgte vi vil spørge i hver population (fx i hver aldersgruppe).

Dvs. vi fastlægger kolonne-totalerne. Meget nyttig, hvis en af populationerne naturligt er

meget mindre end de andre, fx hjemløse.

Chi-i-anden Test af Andele

Selvom vi kolonne totalerne er fastlagte ændrer ikke ved udregning af teststørrelsen eller antal frihedsgrader!!

Vi har stadig

Hvor Eij er udregnet som før og X2 følger en Χ2 fordeling med (r-1)(c-1) frihedsgrader.

Dvs. Eij = RiCj / n.

c

j

r

i ij

ijij

E

EOX

1 1

22 )(

Test af andele: Eksempel Er andelen af skades-anmeldelser den samme i tre

aldersgrupper? 100 tilfældige kunder udvalgt i hver aldersgruppe. Claim * Age Crosstabulation

40 35 60 135

45,0 45,0 45,0 135,0

60 65 40 165

55,0 55,0 55,0 165,0

100 100 100 300

100,0 100,0 100,0 300,0

Count

Expected Count

Count

Expected Count

Count

Expected Count

Skade

Skadefri

Claim

Total

Alder<=25 25<Alder<50 Alder>=50

Age

Total

Forventede frekvenser: Eij = RiCj / n. Antal frihedsgrader: (c-1)(r-1) = (3-1)(2-1) = 2 Kritisk værdi: Χ2

0,05(2) = 5,99. Teststørrelse: X2 =

Uduelige piger… eller…? Vi har spurgt 1000 kvinde og 1000 mandlige

kandidater om de har gennemførte deres studie på normeret tid.

Resultat: Mænd 72,5% Kvinder 57,5%

Forskellen er statistisk signifikant!

Stratificeret Analyse Vi har også spurgte om hvilket fakultet folk har

studeret ved (INS eller Samf). Vi udfører nu analyses separat for hvert fakultet: (Vi siger vi stratificerer efter fakultet)

Simpsons Paradoks

Internt på de to fakulteter er der ingen forskel mellem mænds og kvinders gennem-førsels procent!

Bemærk: Kvinder vil hellere læse et studie, der er svært at gennemføre på tid.

Mænd er lige modsat…

Flyskræk! Passer overskriften?

Politiken 6/12-’07

Er du tryg ved at flyve? Ja: 86% i 2005 og 83% i

2007 Vi antager de har spurgt

1000 tilfældige personer begge år.

Dvs. 860 svarede ja i 2005 og 830 i 2007.

H0 hypotese: Andelen af utrygge er den samme de to år!

Flyskræk! Da det er en 2×2 tabel

bruger vi Yates korrektionen:

Kritisk værdi:

Χ20,05(1) = 3,84

Teststørrelse:

X2 =

Observerede frekvenser Oij

Tryg? 2005 2007 Total

Ja 830 860 1690

Nej 170 140 310

Total 1000 1000 2000

Forventede frekvenser Eij

Tryg? 2005 2007 Total

Ja 845 845 1690

Nej 155 155 310

Total 1000 1000 2000

c

j

r

i ij

ijij

E

EOX

1 1

2

25.0