1

STATISIK

LV Nr.: 0021

WS 2005/06

15. November 2005

2

Regressionsanalyse

• Linear Mehrfachregression– Eine abhängige Variabel Y – Mehrere unabhängige Variabeln x1,…,xk-1.

• Modell: Yi = β0 + β1x1 + β2x2 + …+ βk-1xk-1 + εi für i=1,…,n– β0 … Absolutglied, Interzept– βj … Steigungsparameter (j=1,…,k-1)– xj … unabhängige Variable (j = 1,…,k-1)– εi … Störterm, zufälliger Fehler

3

Regressionsanalyse

• Beispiel: Körpergröße soll durch die Körpergröße der Eltern erklärt werden. – Abhängige Variable: Y = Größe,

– Unabhängige Variablen: X1 = Größe Mutter und X2 = Größe Vater

– Modell: yi = β0 + β1x1 + β2x2 + εi

4

Regressionsanalyse

• Matrixschreibweise:

Y = Xβ + ε– Y … n1 Vektor der abhängigen Variable– X … nk Matrix der unabhängigen Variable,

X=[1:Xj] mit j=1,…,k-1

– β … k1 Parametervektor, β=[β0:βj]´ mit j=1,…,k-1

– ε … n1 Vektor der zufälligen Störungen

5

Regressionsanalyse

• Annahmen: (1) E(ε) = 0

(2) Var(ε) = σ²

(3) Cov(ε) = E(εε´) = σ²I

(4) X nicht stochastisch

(5) rang(X) = k (X sind nicht linear abhängig)

6

Regressionsanalyse

• Kleinste Quadrate Schätzung:

• Minimierung der Abweichungsquadratsumme

• (Y-Xb)‘(Y-Xb) = (yi-xi.b)² min

7

Regressionsanalyse

• Normalengleichungssystem:

(X´X)b = X´y

• Daraus ergibt sich als Kleinste Quadrate Schätzer für β:

b = (X´X)-1X´y

b … k1 Vektor der Schätzer

8

Regressionsanalyse

• Konsequenzen aus den Normalgleichungen:

• X‘e = 0

• Ŷ‘e = 0

• e = MY mit M = I – X(X‘X)-1X‘

9

Regressionsanalyse

• Statistische Eigenschaften:

• E(e) = 0

• VC(e) = σ²M ( σ²I = VC(ε))

• E(b) = β

• VC(b) = σ²(X‘X)

10

Regressionsanalyse

• Schätzung von σ²:

• E(s²) = σ²

• Schätzung der Varianz-Kovarianz Matrix von b:

VC(b)est. = s²(X‘X)-1 (unverzerrt für VC(b))

eekn

1s2

11

Regressionsanalyse

• Gauss-Markov Theorem:– Y=Xβ+ε– Es gelten Ann. 1-4 und β k ist beliebig – b* sei ein linearer unverzerrter Schätzer für β

• VC(b) VC(b*), d.h. VC(b*)-VC(b) ist nichtnegativ definit. – Var(bi) Var(bi*) für alle i = 1, ..., k

– Man sagt: b ist BLUE– c‘b ist der BLUE für die Linearkombination c‘β

12

Regressionsanalyse

• Ein Schätzer b* für β heißt linear, falls b*=DY, wobei D eine nichtzufällige kn Matrix ist.

• Ein Schätzer b* für β heißt unverzerrt, falls E(b*) = β.

13

Regressionsanalyse

• Tests der Regressionskoeffizienten:

• Einseitige Hypothesen: – H0: βi β* (z.B. 0) gegen H1: βi < β*

– H0: βi β* (z.B. 0) gegen H1: βi > β*

• Zweiseitige Hypothese: – H0: βi = β* (z.B. 0) gegen H1: βi β*

14

Regressionsanalyse

• Teststatistik: – T = (bi - β*) / sbi

• Testverteilung:– T ~ tn-k

• Entscheidung: Lehne H0 ab, wenn T im kritischen Bereich liegt.

15

Regressionsanalyse

• Konfidenzintervalle der Parameter:

• Wahrscheinlichkeitsintervall:– P(bi – t sbi β bi + t sbi) = 1 – α für i = 1,...,k

• Konfidenzintervall: – [bi – t sbi ; bi + t sbi] für i = 1,...,k

mit t = t1- α/2;n-k

16

Regressionsanalyse

• Beispiel Körpergröße:– Modell: Y = β0 + β1X1 + β2X2

• Parameterschätzer und p-Werte: – b0 = 81,24; p-Wert = 0,015

– b1 = 0,545; p-Wert = 0,005

– b2 = 0,008; p-Wert = 0,87

– Körpergröße der Mutter hat einen positiven Einfluss auf die Körpergröße des Kindes

17

Regressionsanalyse

• Quadratsummen: – SST = (yi -y)² = nsy² = Y‘AY

– SSE = (ŷi -ŷ)² = nsŷ² = Ŷ‘A Ŷ

– SSR = ei² = ns² = e‘Ae

– wobei A = (In – (1/n)ii‘)

• Quadratsummenzerlegung: – SST = SSE + SSR

18

Regressionsanalyse

• F-Test: – Prüft, ob zw. der abhängigen Variable Y und

den unabhängigen Variablen X2,…,Xk ein linearer Zusammenhang besteht.

– H0: β2 = β3 = … = βk = 0

• Mittlere quadratische Abweichungen: – MQE = SSE / (k-1)– MQR = SSR / (n-k)

19

Regressionsanalyse

• Teststatistik:– F = MQE / MQR

– F ~ F(k-1),(n-k)

• Entscheidung: – F > F(k-1),(n-k) lehne H0 ab, d.h. es besteht eine

lineare Abhängigkeit zw. Y und X.

20

Regressionsanalyse

• Lineares multiples Bestimmtheitsmaß: – R² = SSE / SST = 1 – SSR / SST – Es gilt: 0 R² 1

• Linearer multipler Korrelationskoeffizient: – r = +R², absolute Größe (unterschiedliche

Vorzeichen der einzelnen Koeffizienten mögl.)

21

Regressionsanalyse

• Lineares partielles Bestimmtheitsmaß: – Regressoren X2, ...,Xk: r²Y,X2,...,Xk =

SSE(X2,...,Xk) / SST

– Zusätzliche erklärende Variable Xk+1: r²Y,X2,...,Xk,Xk+1 = SSE(X2,...,Xk,Xk+1) / SST

– Zusätzliche (durch Xk+1) erklärte Abweichungsquadratsumme: SSE(Xk+1|X2,...,Xk) = SSE(X2,..., Xk,Xk+1) – SSE(X2,...,Xk) = (r²Y,X2,...,Xk,Xk+1 – r²Y,X2,...,Xk,Xk+1) SST

22

Regressionsanalyse

• Lineares partielles Bestimmtheitsmaß: – Quotient der zusätzlichen erklärten

Abweichungsquadratsumme zu der bisher nicht erklärten Abweichungsquadratsumme:

– r²Y(k+1),X2,...,Xk = SSE(Xk+1|X2,...,Xk) / SSR(X2,...,Xk)

= (r²Y,X2,...,Xk+1 – r²Y,X2,...,Xk) / (1 – r²Y,X2,...,Xk)

wobei SSR(X2,...,Xk) = SST – SSE(X2,...,Xk)

23

Regressionsanalyse

• Partieller F-Test:– f = MQE(Xk+1|X2,...,Xk) / MQR(X2,...,Xk,Xk+1)

– MQE(Xk+1|X2,...,Xk)=SSE(Xk+1|X2,...,Xk)/(k-2)

– MQR(X2,...,Xk+1)=SSR(X2,...,Xk+1)/(n-k)

– f ~ F(k-2),(n-k)

24

Regressionsanalyse

• Adjusted R²: berücksichtigt die Anzahl der Koeffizienten– adj. R² = (1-k)/(n-k) + (n-1)/(n-k) R²– Es gilt: (1-k)/(n-k) adj. R² 1

25

Regressionsanalyse

• Variablenselektion:– Wie viele bzw. welche erklärenden Variablen

sollen in das Modell aufgenommen werden?

• Kriterium?– R² => Wähle Modell mit größten R² => immer

Modell mit allen möglichen Variablen – Unsinn!– Adj. R² => Wähle Modell mit dem größten Wert

des korrigierten Bestimmtheitsmaßes. – AIC, BIC => Wähle Modell mit kleinsten Wert

von AIC (Akaike‘s Information Criterion) bzw. BIC (Bayesian Information Criterion)

26

Regressionsanalyse

• Vorwärtsauswahl– Einfachregressionen zw. Y und Xi (i=2,…,k)

– Sind alle Variablen nicht signifikant, Abbruch.– Sind einige Variablen signifikant, wählt jene

mit dem höchsten F-Wert. – Variable mit höchstem partiellen F-Wert (und >

als ein kritischer Wert) ins Modell aufnehmen– usw.

27

Regressionsanalyse

• Rückwärtsauswahl– Umkehrung des Verfahrens der Vorwärt-

Selektion. – Modell mit allen erklärenden Variablen– Sind alle Variablen signifikant, Modell mit

allen Variablen. – Sind Variable nicht signifikant, schließe jene

mit dem kleinsten partiellen F-Wert aus. – usw.

28

Regressionsanalyse

• Schrittweise Auswahl– Prüfe ob ein linearer Zusammenhang vorliegt– Wähle jene Variable mit dem höchsten linearen

Einfachkorrelationskoeffizienten. – Wähle jene Variable mit dem höchsten

signifikanten partiellen F-Wert– Prüfe alle Variablen im Modell auf Signifikanz,

bei nicht-signifikanten schließe jene aus, die den kleinsten partiellen F-Wert besitzen.

– usw.

29

Regressionsanalyse

• Prognose:

• Ziel: bei gegebenen Werten der unabhängigen Variablen, zugehörige Werte der abhängigen Variable prognostizieren. – Schätzung des Erwartungswertes E(yf)

– Schätzung eines Einzelwertes yf an der Stelle xf.

30

Regressionsanalyse

• Geg. xf. (weitere Werte von X)

• Ges. zugehöriger Wert yf von Y und/oder mittleres Verhalten E(yf) = xf.b

• Weitere Annahmen:– yf = xf.β + εf

– E(εf) = 0

– E(εf²) = σ²

– E(εf ,εi) = 0 für alle i = 1,…,n

– xf. nicht stochastisch

31

Regressionsanalyse

• Parameter bekannt: – Prognose der Einzelwerte: ŷf = xf.β

– Prognose des Erwartungswertes: E(ŷf) = xf.β

• Parameter unbekannt: – Prognose der Einzelwerte: ŷf = xf.b

ŷf ist ein unverzerrter Prediktor für yf

– Prognose des Erwartungswertes: E(ŷf) = xf.b

E(ŷf)ist ein unverzerrter Prediktor für E(yf)

32

Regressionsanalyse

• Prognose Erwartungswert E(ŷf) = xf.β

• Varianz des durchschnittlichen Prognosewertes sŷf²

• Ist σ² unbekannt, wird es ersetzen durch s² (s² = 1/(n-k) e‘e)

2 -1f f f fˆVar(y -E(y ))=σ x (X X) x

33

Regressionsanalyse

• Prognose Einzelwert ŷf = xf.β

• Prognosefehler: ef = yf – ŷf

• Varianz des individuellen Prognosewertes sf²

• Ist σ² unbekannt, wird es ersetzen durch s² (s² = 1/(n-k) e‘e)

2 -1f f f f fˆVar(e )=Var(y -y )=σ 1+x (X X) x

34

Regressionsanalyse

• 1-α Konfidenzintervall für E(ŷf):

[ŷf – t sŷf ; ŷf + t sŷf]

t = t1-α;n-k

• 1-α Prognoseintervall für ŷf:

[ŷf – t syf ; ŷf + t syf]

t = t1-α;n-k

35

Regressionsanalyse

• Nichtlineare Regression:

• Nichtlineare Regressionsfunktion– Gelten die üblichen Annahmen, gelten die

Eigenschaften für die KQ Schätzer

36

Regressionsanalyse

• Nichtlinearer Einfachregression als lineare Zweifachregression ansehen– z.B. yi= β1+β2xi+ β3xi² +εi setze x=x1 und x²=x2,

und interpretiere yi= b1+b2x1i+ b3x2i im Sinne der linearen Zweifachregression

• Variablentransformation – Linearisierung – Anwendung d. linearen Regressionsanalyse– z.B. Potenzfunktion: yi = β1·xi

β2·εi Logarithmieren ergibt lineare Funktion (linear in den Parametern): log(yi)=log(β1)+β2log(xi)+log(εi)