View
228
Download
0
Category
Preview:
Citation preview
Beschrijvende en inferentiële statistiek
College 9 – Anouk den Hamer – Hoofdstuk 12 (12.5 geen
tentamenstof)
1
Vandaag
• Uitwerking oude tentamenopgaven• Overzicht toetsen• Regressie• R²
2
3
4
5
Totaal
Observed 30 25 70 125
Expected 50 25 50
(obs-exp)^2 / exp 8 0 8
Observed 70 25 30 125
Expected 50 25 50
(obs-exp)^2 / exp 8 0 8
Totaal 100 50 100 250
3225
)2525(
50
)5070(
50
)5070(
25
)2525(
50
)5030( 222222
etc
6
7
8
9
Wanneer gebruik je welke toets?
10
Wanneer je een specifieke waarde verwacht voor de nulhypothese:
• Bij een proportie: Binomial Test. Hoe in SPSS? Analyze – Nonparametric Tests – Legacy Dialogs – Binomial. Variabele naar test variabele list slepen – test proportion invullen – bij options descriptives aanvinken.
• Bij een gemiddelde: One Sample T test. Hoe in SPSS? Analyze – Compare Means – One Sample T test. Variabele naar test variabele slepen – test value invullen – bij options hoef je niks te veranderen.
11
Wanneer je twee groepen wilt vergelijken:• Onafhankelijke groepen: Independent T-test. Hoe in SPSS?
Analyze – Compare Means – Independent T-test. De variabele die uit de 2 groepen bestaat is je grouping variable. Vul bij define groups de waarden van deze groepen in (vaak 1 en 2). De afhankelijke variabele komt in test variabele.
• Afhankelijke groepen: Dependent T-test. Hoe in SPSS? Analyze – Compare Means – Paired Samples T-test. Dubbelklik op de variabele van de voormeting en dubbelklik daarbij op de variabele van de nameting.
12
Wanneer je categorische variabelen wilt vergelijken:• Chi-square: Analyze – Descriptive Statistics – Crosstabs.
Variabele in row en variabele in colom (maakt niet uit welke waar). Bij statistics chi-square aanvinken. Bij cells observed, expected en adjusted standardized aanvinken.
13
Wanneer je wilt weten wat de invloed van een of meer continue onafhankelijke variabelen op een continue afhankelijke variabele is:
• Enkelvoudige regressie: Analyze > Regression > Lineair. Dependent is Y en Independent X.
• Meervoudige regressie: Analyze > Regression > Lineair. Dependent is Y en bij Independent kun je alle X-en invullen.
14
Wanneer je wilt weten of een schaal in je vragenlijst betrouwbaar is:
• Betrouwbaarheidsanalyse: Analyze > Scale > Reliability analysis. Alle items in itemsbox zetten. Bij statistics aanvinken: onder “descriptives for” item, scale en scale if item deleted, en onder “summaries” correlations. Ok.
15
Bestand te vinden op BB (Course Documents).
16
Tabellen
• Tabel A: z-verdeling met z-scores en p-waardes• Tabel B: t-verdeling met df’s en kritieke t-waardes• Tabel C: chi-square verdeling met df’s en kritieke chi-square
waardes
• Tabel B:Ervan uitgaande dat je toetst bij een significantieniveau van .05:• Bij een eenzijdige toets ga je op zoek naar de kritieke t-
waarde bij t.05 (want 5% verdeeld over één staart)• Bij een tweezijdige toets ga je op zoek naar de kritieke t-
waarde bij t.025 (want 5% verdeeld over twee staarten)17
Tot nu toe:• X is categorisch: z-toets, t-toetsen, chi-sqaure toets
Vandaag:• X is continu (of kwantitatief) en Y is continu: regressie
X Y
18
Regressie
• Met regressie ga je proberen een waarde van Y te voorspellen aan de hand van X
• Bij regressie zijn X en Y beide kwantitatief!• Enkelvoudige regressie: 1 X en 1 Y• Meervoudige regressie: meerdere X-en en 1 Y • Voorbeeld enkelvoudige regressie: je wilt weten of
percentage single parents in een stad (X) verband houdt met de violent crime rate (Y)
19
Scatterplot
20
Regressie
1) Je wilt Y dmv X kunnen voorspellen met een formule.2) Je probeert Y zo goed mogelijk te voorspellen, maar je kunt
niet vermijden dat je Y niet helemaal precies voorspelt.3) We hebben het wederom over de associatie tussen
variabelen.4) De sterkte van de associatie tussen X en Y wordt uitgedrukt
door de correlatie.5) Naast de sterkte van de associatie wil je weten hoe goed X Y
voorspelt (met de R-square).6) We willen weten of onze X een significante invloed heeft op Y.
21
Regressie
1) Je wilt Y dmv X kunnen voorspellen met een formule.
22
Regressieformule
• Formule: • a is het intercept en b de slope• Intercept (a of α): de waarde van Y als X 0 is• Slope (b of β): de helling van de lijn. Dus de
hoeveelheid Y die erbij komt als X één waarde omhoog gaat
• Bij een positieve b is er een positief verband en bij een negatieve b is er een negatief verband
bxay ˆ
23
Wat is het intercept? En wat is de slope?
Intercept: bij X = 0, Y = 0. Het intercept is dus 0Slope: bij X = 8 stijgt Y met 1000 (van 0 naar 1000). 1000/8 is
125. De slope is dus 125 24
Invullen in formule
• De formule:• Dus:
– Y-hat = 0 + 125x, oftewel gewoon 125x– Stel dat een stad een single parent percentage van 10
heeft, hoe hoog is de crime rate dan?– 0 + 125*10 = 1250
bxay ˆ
25
Intercept verandert
26
xbay α: intercept• Als α verandert terwijl b constant blijft resulteert dat in parallelle lijnen.
Slope verandert
27
xbay
b: slope.• Als b verandert terwijl α constant blijft resulteert dat in geroteerde lijnen.
Regressie
2) Je probeert Y zo goed mogelijk te voorspellen, maar je kunt niet vermijden dat je Y niet helemaal precies voorspelt.
28
Residuals• Probeert zo goed mogelijk te schatting hoe de lijn loopt• Je hebt echter altijd predictions errors ,ofwel residuals: de verticale
afstand tussen een observatie en de lijn, het verschil tussen de y die je voorspelt met je formule en de geobserveerde y
29
Regressielijn en residuals
• Regressielijn met zo klein mogelijke residuals: least squares line
• Least squares line: lijn met de kleinste sum of squared residuals:– sum of squared residuals =– …dus de som van de gekwadrateerde residuals
Waarom geen least residuals line, maar least squares line? Als je de residuals niet kwadrateert, dan vallen de positieve residuals weg tegen de negatieve residuals. (-3 + 3 = 0, terwijl -32 + 32 = 18)
22 )ˆ()( yyresidual
30
Model
• De regressielijn of de formule wordt ook wel een model genoemd
• Het model kan Y niet exact voorspellen, maar is een benadering van de relatie tussen X en Y
31
Regressie
3) We hebben het wederom over de associatie tussen variabelen.
32
Associatie
• De slope (de b) geeft aan of de associatie positief of negatief is
• De correlatie geeft de sterkte van de associatie
33
Regressie
4) De sterkte van de associatie tussen X en Y wordt dus uitgedrukt door de correlatie.
34
Regressie
5) Naast de sterkte van de associatie wil je weten hoe goed X Y voorspelt (met de R-square).
35
R-square
• De correlatie geeft aan hoe sterk het verband is en de R-square geeft aan in hoeverre X in staat is Y te voorspellen.
• Waarom wil je dat weten? • Stel dat de R-square heel laag is, dan weet je dat je ook
met andere variabelen rekening moet houden wil je Y goed kunnen voorspellen.
36
• Zo meteen de formule voor de R-square
37
We zagen net…
• least squares line 22 )ˆ()( yyresidual
38
RSS = alle groene streepjes kwadrateren en bij elkaar optellen
RSS = residual sum of squares
Regressielijn met de voorspelde y
39
• Je wilt weten hoeveel de voorspelde y’s afwijken van de geobserveerde y’s (RSS)
• En je wilt kunnen verklaren waarom er observaties zijn die afwijken van het gemiddelde van y
40
TSS = alle groene streepjes kwadrateren en bij elkaar optellen
TSS = total sum of squares
Gemiddelde y
41
• Nodig voor de formule van de R-square
42
Formule R²
• R² = (TSS - RSS)/TSS• TSS (total sum of sqaures): hoeveel de geobserveerde y’s
afwijken van het gemiddelde van y ( )• RSS (residual sum of squares): hoeveel de geobserveerde
y’s afwijken van de voorspelde y ( )• MSS (model sum of squares): TSS-RSS, dus de variantie
verklaard door het model
•
y
y
TSSMSS
TSSRSSTSS
yy
yyyyR
2
222
)(
)ˆ()(
43
• Met de R² wil je weten hoeveel beter de regressielijn (waarbij je rekening houdt met X) Y voorspelt dan wanneer je alleen de gemiddeldelijn van Y had gebruikt.
• M.a.w.: je wilt weten hoeveel variantie van Y verklaard wordt door X.
• Stel dat een R² 0.40 is, dan is de error als je de voorspelde Y gebruikt (met X in de formule) 40% kleiner dan de error als je de gemiddelde y gebruikt (dus zonder X).
• Dus 40% van de variantie in Y wordt voorspeld door X
44
Theoretisch geeft de R² de reductie in error als je de regressielijn gebruikt ipv de gemiddeldelijn.
Praktisch geeft de R² aan hoeveel variantie van Y verklaard wordt door X.
45
Eigenschappen R²
• R² ligt tussen 0 en 1• Hoe dichter bij 1, hoe sterker de associatie
46
47
48
Regressie
6) We willen weten of onze X een significante invloed heeft op Y.
49
Toetsen van regressiecoëfficiënten (de slopes)
• Als de regressielijn horizontaal loopt, betekent dit dat bij welke waarde van X dan ook, je steeds dezelfde Y vindt. Y hangt dus niet van X af. De regressiecoëfficiënt (of slope of b of ß) is 0.
• Dus: als de onafhankelijke variabele X effect heeft op de afhankelijke variabele Y, dan verwachten we een regressiecoëfficiënt b die significant afwijkt van nul: positief of negatief.
• Bij toetsen van slopes toets je of de slope significant van 0 afwijkt
50
51
Output (onderste tabel)
Intercept (a) = 49.779 (de constante is altijd het intercept)Slope (b) = 6.273
Beta = slope / standaarddeviatie, dus de gestandaardiseerde slope. Als je het standaardiseert, heb je geen last meer van verschillende meeteenheden (belangrijk bij meervoudige regressie).
xbxay *273.6779.49ˆ
52
Output
We zien dat de correlatie tussen X en Y .86 is (correlatie wordt met R aangegeven) en de R² = .73, dus 73% van de variantie van Y wordt veklaard door X. Hier is X aantal uren studie en Y tentamencijfer.
53
54
55
56
MSS
57
58
59
Output
• R-squared: MSS/TSS = 2318.001/3172.500 = 0.7307• MSS + RSS = TSS, dus 2318+854=3172• df regression + df residual = df total, dus 1+8=9• MSS / df regression = mean square regression, dus 2318 / 1 = 2318• RSS / df residual = mean square residual (ook wel mean square error genoemd),
dus 854 / 8 = 106
MSS
RSS
TSS
k = aantal x-en
N – 1 – k, hier was n = 10
n - 1
60
• Mean square regression: gemiddelde per onafhankelijke variabele van• Mean square residual: gemiddelde gekwadrateerde residual, dus van • F = (mean square regression) / (mean square residual), dus 2318 / 106 = 21.7• F is de gekwadrateerde t-waarde uit de coefficiententabel. Wortel 21.7 = 4.658• De F-test is een andere manier om te zien of X een significante invloed op Y heeft
(wat je met de t-statistic ook kon doen)• Waarom? Komt in volgend hoofdstuk aan bod.
2)ˆ( yy 2)ˆ( yy
61
Conditionele verdeling
• Conditionele verdeling in regressie: verdeling van y bij specifieke waardes van x.
• Stel dat x opleiding is en y inkomen, dan kijkt regressie hoe het conditionele gemiddelde van y verandert door opleiding.
62
Omdat de voorspelde y een schatting is, heb je bij ieder punt van x bij y een conditionele verdeling.
63
Conditionele standaard deviatie σMeet hoe ‘ver’ de geobserveerde y van de voorspelde y
af ligt. σ weten we niet. Dus gebruiken we:
)1(
ˆ2
kn
yys
Maar er is nog een standaard deviatie:
1
2
n
yysy
Dat is de marginale standaard deviatie en die negeert alle waardes van x.
64
Conditionele en marginale s.d.
• Conditionele standaard deviatie: variantie van inkomen bij een specifiek aantal jaar van opleiding.
• Marginale standaard deviatie: variantie van inkomen, los van aantal jaren opleiding.
65
)1(
ˆ2
kn
yys
862,156,251 6,2512
ˆ
78)1( 832,19624ˆ2
2
sn
yy
kndfyy
Slechte titel! = conditionele sd
Conditionele standaard deviatie
Conditionele en marginale s.d.
• Conditionele standaard deviatie: variantie van inkomen bij een specifiek aantal jaar van opleiding.
• Marginale standaard deviatie: variantie van inkomen, los van aantal jaren opleiding.
67
673,20 367,4271
791 95.337612
2
ysn
yy
ndfyy
1
2
n
yysy
Marginale standaard deviatie
Conditionele en marginale s.d.
• Conditionele standaard deviatie: variantie van inkomen bij een specifiek aantal jaar van opleiding.
• Marginale standaard deviatie: variantie van inkomen, los van aantal jaren opleiding.
s = 15.9 < sy = 20.7
Hoe groter de verhouding tussen s/ sy , hoe sterker de associatie tussen x en y.
De conditionele sd is altijd kleiner dan de marginale sd
69
Inferentie in regressieAssumpties:1. Random steekproef.2. Formule:3. Conditionele verdeling van y voor elke waarde van x is
normaal (dus normaal verdeeld, klokvormig).4. Identieke conditionele standaard deviatie voor elke waarde
van x (constante variantie of homoscedasticiteit).
xbayE
70
Inferentie in regressie• Benoem de hypotheses:H0: β=0
Ηα: β≠0 (of β<0, β>0)
• Vind de test statistic:
b
t
2
ˆ waar ,
2
2
n
yys
xx
s
Sigma beta = standard error van de slopes = conditionele standaard deviatie
71
72
Wat moeten jullie weten van de output?
• Kijk altijd eerst naar de coefficiententabel. Je moet weten waar je het intercept, de slope, de t-waarde en de p-waarde vindt. Daarnaast moet je weten wat de beta betekent.
• Daarna de model summarytabel. Hierin moet je de correlatie kunnen vinden, evenals de R-square.
• Als laatste de ANOVA-tabel. De cijfers onder sum of squares en df moeten jullie begrijpen. De rest (vooralsnog) alleen weten hoe je ze berekent (dus stel dat je bv de TSS niet weet, hoe kan je daar toch achter komen? Idem voor als je bv de F-waarde niet weet).
73
Huiswerkopdracht
• Ik ben benieuwd of het aantal minuten dat een student per dag tv kijkt verband houdt met zijn/haar cijfer voor het tentamen van BIS
• Mijn hypothese: hoe meer minuten een student per dag tv kijkt, hoe lager zijn/haar tentamencijfer voor BIS
• Gebruik de data van de Georgia Student Survey (zie op BB onder Course Documents). Beschouw CGPA (college GPA) als tentamencijfer BIS.
• Voer dit in SPSS in, maak een scatterplot en voer een regressie-analyse uit
• Trek je conclusie omtrent de hypothese
74
Hoe in SPSS?
• Scatterplot: Graphs > Legacy Dialogs > Scatter/dot > Simple. Vul X en Y as in.
• Regressie: Analyze > Regression > Lineair. Dependent is Y en Independent X.
75
76
77
78
79
Recommended