1

Generelle lineære modeller

Regressionsmodeller:

Én kvantitativ afhængig variabel: Y

En eller flere uafhængige variable: X1,..,Xk

Uafhængige variable Analyse

Én binær variabel t-test Én kategorivariabel med mere end to kategorier

Ensidet variansanalyse

To eller flere kategorivariable

To- eller flersidede variansanalyser

En eller flere kvantitative variable

Lineær regression

Kategorivariable og kvantitative variable

Generelle lineære modeller

2

Læseprøve resultater

OS400

400.0300.0

200.0100.0

0.0

Kontrolklasse - maj 1972An

tal e

leve

r7

6

5

4

3

2

1

0

OS400

400.0300.0

200.0100.0

0.0

Forsøgsklasse - maj 1972

Anta

l ele

ver

7

6

5

4

3

2

1

0

Figur 10.5 Læseprøveresultater i kontrol- og forsøgsklassen før

forsøg med undervisning i Danmark

3

OS400

400.0300.0

200.0100.0

0.0

Kontrolklasse - oktober 1973

Anta

l ele

ver

7

6

5

4

3

2

1

0

OS400

400.0300.0

200.0100.0

0.0

Forsøgsklasse - oktober 1973

Anta

l ele

ver

6

5

4

3

2

1

0

Figur 10.6 Læseprøveresultater i kontrol- og forsøgsklasse efter

forsøgsundervisning i Danmark

4

1981

Venstre-højre position

højre98765432venstre

Proc

ent

40

30

20

10

0

1990

Venstre-højre position

højre98765432venstre

Proc

ent

40

30

20

10

0

Ændrede danskernes politiske holdninger sig i perioden 1981 – 1990?

Når det drejer sig om politik, tale man om ”venstreorienteret” og ”højreorienteret”. Hvor på denne skala ville De placere Dem selv?

5

Tilfredshed med jobbet i 1981 og 1990

1981

Tilfredshed med job

tilfreds9.00

8.007.00

6.005.00

4.003.00

2.00utilfreds

Proc

ent

40

30

20

10

0

1990

Tilfredshed med job

tilfreds9.00

8.007.00

6.005.00

4.003.00

2.00utilfreds

Proc

ent

40

30

20

10

0

6

Student’s t-test Det overordnede problem:

Sammenligning af middelværdier i to grupper Formelle modelforudsætninger: • Fordelingerne antages at være normalfordelte inden

for hver gruppe • Spredningen antages at være den samme inden for

hver gruppe Et ekstra problem:

Sammenligning af spredningen i to grupper Yderligere: • Er modelforudsætningerne kritiske? • Hvordan kan de kontrolleres? • Hvad gør man, hvis de ikke holder?

7

Figur 10.9 Den ideelle t-test problematik: To varianshomogene normalfordelinger med forskellige

middelværdier.

8

t-test

Baseret på forholdet mellem forskellen mellem gruppernes gennnemsnit og dennes standard error:

t M MVn

Vn

M M

Vn n

=−

+=

−

+

1 2

1 2

1 2

1 2

1 1

t M Mn V n V

n n n n

=−

− + −+ −

+

1 2

1 1 2 2

1 2 1 2

1 12

1 1( ) ( )( )

Hvis observationerne er normalfordelte i hver af de to grup-per er den eksakte fordelt en såkaldt t-fordeling. Hvis observationerne ikke er normalfordelte er t-testet kun approksimativt t-fordelt.

t-testet er derfor robust overfor afvigelser fra normal-fordelingen

9

Tabel 10.7 Fordelingsindikatorer for læseprøveresultater

fra forsøget med undervisning af grønlandske elever i Danmark.

Tidspunkt Klasse n Middel-

værdi Standard- afvigelse

Maj 1972 Kontrol 28 117.25 42.31 Forsøg 35 113.20 43.04

Oktober 1973

Kontrol 28 145.04 42.70

Forsøg 35 176.83 55.83

t-tests

t p Læseprøveresultater før forsøg 0.374 0.710 Læseprøveresultater efter forsøg -2.490 0.016

Spørgsmål: Er varianserne (spredningerne) ens?

10

Læseprøveresultater før forsøgsundervisning.

Tabel 10.10 Levenes test. Et t-test for absolutte forskelle

Klasse

Elevnummer.

OS400 oktober 1973

Middelværdi

Absolut forskel

Kontrol 1 211 145.04 65.96 2 156 145.04 10.96 3 103 145.04 42.04 . . . . . . . . 28 191 145.04 45.96

Middelværdi 35.25 Standard afv. 23.13

Forsøg 1 262 176.83 85.17 2 132 176.83 44.83 3 213 176.83 36.17 . . . . . . . . 35 205 176.83 28.17 Middelværdi 45.77 Standard afv. 31.00

t = -1.493 p = 0.141

Levenes teststørrelse rapporteres sometider som en kvadreret teststørrelse,

F = t2 = 2.229, p = 0.141,

11

t-testet for forskellige varianser

Middelværdier, M1 og M2, og tilhørende varianser, V1 og V2, i to forskellige grupper.

Var(M1) = V1/n1 Var(M2) = V2/n2

Variansen på forskellen på de to middelværdier er lig med

Var(M2-M1) = V2/n1+ V1/n2 Nul-hypotesen:

E(M1) = E(M2) ⇔ E(M2 –M1)= E(M2)-E(M1) = 0

Var(M2 –M1) = 2

2

1

1

nV

nV

+

hvor

Vi er lig variansen i gruppe nr.i ni er lig antallet af personer i gruppe nr. i

12

Teststørrelse

2

2

1

1

21

nV

nV

MMt+

−=

t er en standardiseret teststørrelse:

Variansen er lig med 1 Middelværdien er lig med 0, hvis hypotesen holder

t er tilnærmelsesvist fordelt som en såkaldt t-fordeling, hvis antallet af personer i de to grupper er stort

13

Tabel 10.7 Fordelingsindikatorer for læseprøveresultater

fra forsøget med undervisning af grønlandske elever i Danmark.

Tidspunkt Klasse n Middel-

værdi Standard- afvigelse

Maj 1972 Kontrol 28 117.25 42.31 Forsøg 35 113.20 43.04

Oktober 1973

Kontrol 28 145.04 42.70

Forsøg 35 176.83 55.83

Tallene fra tabel 10.7 i formlen for t-testet.

2

2

1

1

21

nV

nV

MMt+

−=

F.eks.

t = − + =( . . ) . . .117 25 11320 42 3128

43 0435

0 3752 2

som er klart insignifikant p = 0.709.

14

t-testets nul-hypotese

Figur 10.8 Hypotesestrukturen bag t-testet

En strategi for t-test

1) I det første trin testes det, om de to varianser er ens. 2) I det andet trin afprøves middelværdihypotesen.

Måden det sker på afhænger af, om varianshypotesen blev forkastet eller accepteret.

• Hvis spredningshypotesen blev forkastet,

foretages et t-test baseret på separate estimater af de to forskellige varianser.

• Hvis spredningshypotesen blev accepteret, foretages et t-test med et fælles variansestimat

Nul-hypotese: Ingen ændringer i fordelingen af jobtilfredsheden fra 1981 til 1990

Middelværdihypotese: Den gennemsnitlige jobtilfredshed er den samme i 1981 og 1990

Spredningshypotese: Variansen i fordelingen af jobtil-fredsheden er den samme i 1981 og 1990.

15

Tabel 10.8 Fordelingsindikatorer for to spørgsmål fra

værdiundersøgelserne i 1981 og 1990

Spørgsmål År n Middel-værdi

Standard-afvigelse

Hvor tilfreds er De med Deres arbejde?

1981 697 8.30 1.91

1990 655 8.24 1.66

Placering på politisk venstre-højre skala?

1981 974 5.63 1.88

1990 934 5.74 1.90

T-test resultater for forskelle på middelværdierne. Levenes test t-test t p Læseprøve før forsøg

F = 2.29 p = 0.141 samme varians

0.374 0.710

Læseprøve efter forsøg

F = 2.23 p = 0.141 samme varians

-2.490 0.016

Jobtilfredshed F = 14.21 p = 0<0.0005 forsk.

varians 0.634 0.526

Politisk holdning

F = 6.10 p = 0.014 forsk. varians

-1.329 0.184

16

Reformulering af t-testet

2121

2211

21

n1

n1

)2nn(V)1n(V)1n(

MMt+

−+−+−−

=

Bemærk, at

21

21

21

1

21

2

21 nnnn

nnn

nnn

n1

n1 +

=+=+

Det samlede gennemsnit kan beregnes som et vægtet gen-nemsnit af gennemsnitsværdierne for de enkelte grupper,

21

2211

nnMnMnM

++

=

17

t M Mn V n V

n nn n

n n

2 1 22

1 1 2 2

1 2

1 2

1 2

=−

++

+

( )

M M M n M n Mn n

nn n

M M1 11 1 2 2

1 2

2

1 21 2− = −

++

=+

−( )

M M M n M n Mn n

nn n

M M2 21 1 2 2

1 2

1

1 22 1− = −

++

=+

−( )

Således, at

n

n nM M n n

nM M2

1 21 2

2 1 2

21

2

+− =

+−( ) ( ) ( )

og n

n nM M n n

nM M1

1 21 2

2 1 2

12

2

+− =

+−( ) ( ) ( )

18

( ) ( ) ( ) ( ) ( )M M n nn

M M n nn

M M1 22 1 2

21

2 1 2

12

2− =+

− ++

−

=+

− + −( ) ( ( ) ( ) )n n

n nn M M n M M1 2

1 21 1

22 2

2

t2 er derfor lig med

t

n nn n

n M M n M M

n V n Vn n

n nn n

2

1 2

1 21 1

22 2

2

1 1 2 2

1 2

1 2

1 2

1 12

=

+

− + −

− + −+ −

+

( ( ) ( ) )

( ) ( )

Dvs.

t n M M n M Mn V n V

n n

2 1 12

2 22

1 1 2 2

1 2

1 12

=− + −− + −

+ −

( ( ) ( ) )( ) ( )

t-testet kan derfor udtrykkes som en funktion af forskellene mellem middelværdierne indenfor grupperne og den samle-de middelværdi.

19

Fra t-testet til den ensidede variansanalyse

Formlen for t2 kan umiddelbart generaliseres til situationer hvor man skal sammenligne mere end to grupper. I den forbindelse foretages der flere terminologiske skift:

1) Analysen omtales som en ensidig variansanalyse. 2) Antallet af grupper minus 1, ng-1, omtales som

antallet af frihedsgrader mellem grupperne. Antallet af frihedsgrader mellem grupperne i et t-test er altså lig med 1.

3) Antallet af personer minus antallet af grupper omtales

som antallet af frihedsgrader mellem personerne. 4) t2 omdøbes til en F-test størrelse, idet der samtidig

divideres med antallet af frihedsgrader mellem grupperne, F = t2/(ng-1).

5) Tælleren i F omtales som variationen mellem

grupperne. 6) Tælleren i nævneren omtales som variationen

indenfor grupperne. Selvom der tales om en variansanalyse, er der altså stadig tale om en analyse af forskelle mellem middelværdier i forskellige grupper.

20

Den ensidede variansanalyse.

Tabel 10.13 Den gennemsnitlige politiske holdning i tre aldersgrupper i 1981 og 1990

Alder Antal Middelværdi Stand.afv. 18-29 332 5.57 1.80 30-60 1110 5.48 1.86 61+ 466 6.26 1.88

Er der forskellig politisk holdning i forskellige aldersgrupper?

Et typisk variansanalyse problem. Variansanalysens forudsætning:

1) Normalfordelinger inden for grupperne. 2) Varianshomogenitet.

Analysen er robust overfor afvigelser fra 1), men ikke overfor afvigelser fra 2). Antagelsen om varianshomogenitet kan afprøves ved hjælp af Levenes test på samme måde som for t-testet.

21

Konventionel afrapportering af resultater fra en variansanalyse:

Tabel 10.14 Variansanalyse af sammenhængen mellem alder og politisk holdning

Uafhængig variabel

Sum af kvadrat-

afvigelser

df

gennem-snitlig

kvadrat-afvigelse

F

p

Alder Mellem grupper

202.38

2

101.19

29.3

.000

Indenfor grupper

6578.94

1905

3.45

Total

6781.32

1907

Alt andet end F-testværdien og p-værdien

skal betragtes som uinteressante mellemregninger. Konklusion: Højsignifikant forskel på grupperne Hvad med varianshomogeniteten:

Levenes test: F = 0.314. p = 0.73. Varianshomogeniteten accepteres.

22

Multiple (post hoc) sammenligninger Figur 10.10 Fire alternativer til nul-hypotesen om uafhængighed

mellem alder og politiske holdning MCA-analysen

Tabel 10.15 Parvise sammenligninger af aldersgrupper mht. politisk holdning

Sammenligning

af t-test df p konklusion

18-29 mod 30-60

0.796 1440 0.426 De to grupper er ens

18-29 mod 61+ -5.143 796 0.000 de to grupper er forskellige

30-60 mod 61+ -7.510 1574 0.000 de to grupper er forskellige

Nul-hypotesens alternativer

Alle tre aldersgrupper er forskellige

De 18-29 - åri-ge og de 30-60-årige er hold-ningsmæssigt ens, men afvi-ger fra den æld-ste gruppe

Den yngste og den ældste grup-pe er holdnings-mæssigt ens, men afviger fra de 30-60-årige

De 30-60 årige ligger på samme niveau, som den ældste gruppe, men afviger fra den yngste

23

Tabel 10.16 Gennemsnitlig politisk holdning i to aldersgrupper

Alder Middelværdi Standardfejl 95 % konfidensinterval 18-60 5.50 0.0487 5.40 – 5.60 61+ 6.26 0.0872 6.09 – 6.43

Problemer med multiple test

Tabel 10.17 Antal parvise sammenligninger i en MCA-analyse

Antal grupper Antal parvise sammenligninger 3 3 4 6 5 10 6 15 7 21 8 28 9 36 10 45

Stor risiko for fejl af type I, når der er mange grupper

24

Bonferroni metoden

Acceptabel samlet risiko for type I fejl = α

Samlet antal parvise sammenligninger = k ⇔

Risiko for type I fejl for et enkelt test = α/k

25

Endnu et eksempel

Tabel 10.18 Den gennemsnitlige politiske holdning i fem aldersgrupper i 1981 og 1990

Alder Antal Middelværdi Stand.afv. 18-29 332 5.57 1.80 30-44 663 5.16 1.84 45-60 447 5.96 1.80 61-75 297 6.29 1.86 76+ 169 6.20 1.93

Levenes test:

F = 0.94, p = 0.44 Variansanalysen:

F = 27.87, p = 0.000

26

Tabel 10.19 LSD- og Bonferroni analyser Sammenligning

p-værdi Forskel i flg. LSD

Forskel i flg. Bonferroni

18-29 & 30-44 0.001 ja ja 18-29 & 45-60 0.004 ja ja 18-29 & 61-75 0.000 ja ja 18-29 & 76+ 0.000 ja ja

30-44 & 45-60 0.000 ja ja 30-44 & 61-75 0.000 ja ja 30-44 & 76+ 0.000 ja ja

45-60 & 61-75 0.018 ja nej 45-60 & 76+ 0.145 nej nej 61-75 & 76+ 0.631 nej nej

LSD-metodens resultater tegner et logisk inkonsistent bille-de af sammenhængen mellem alder og politisk holdning:

1) De 61-75-årige og de ældste er holdningsmæssigt

ens 2) De 45-60-årige og de ældste er holdningsmæssigt

ens

Tabel 10.20 Gennemsnitlig politisk holdning i tre aldersgrupper

Alder Middelværdi Standardfejl 95 % konfidensinterval 18-29 5.57 0.0989 5.38 – 5.76 30-44 5.16 0.0714 5.02 – 5.30 45+ 6.11 0.0612 5.99 – 6.23