Upload
ilse-sauer
View
108
Download
1
Embed Size (px)
Citation preview
1
Matrix-Algebra
Grundlagen
1. Matrizen und Vektoren
•Matrix ist ein rechteckiges Schema von Zahlen angeordnet in Zeilen und Spalten
•genauer: eine Matrix der Ordnung bzw. Dimension
ist eine Menge an
Elementen angeordnet in n Zeilen und
k Spalten
)( kn )( kn
2
nkMMn
k
k
ij
aaaa
aaaa
aaaa
a
321
2232221
1131211
][A
][ ija ist das Element, welches in der i-ten Zeile und j-ten Spalte der Matrix A steht
die Dimension der Matrix, also die Anzahl der Zeilen und Spalten, wird oft unterhalb der Matrix angegeben
Bsp.
4223
7122A
32
Matrizen und Vektoren 1
3
•mehrelementige Matrizen mit nur einer Zeile oder Spalte heißen Vektoreneine Matrix der Ordnung (1×k) bildet einen
k-dimensionalen Zeilenvektor
),,( 1 ikii aaa
Bsp.
7142 x
eine Matrix der Ordnung (n×1) bildet einen n-dimensionalen Spaltenvektor
nj
j
j
a
a
a 1
Bsp.
5
14
3
x1 3
3 1
Matrizen und Vektoren 2
4
•transponierte Matrix
-schreibt man bei der Matrix A die i-te Zeile als i-te Spalte (i = 1, . . . , n), so erhält man die transponierte (k×n) Matrix
'A
nkkkk
n
n
aaaa
aaaa
aaaa
321
2322212
1312111'A
Bsp.
1763
2212
341
A
1723
624
3121
A '
33 33
transponierte Matrix
5
Skalar und quadratische Matrix
•Skalar-eine einzelne Zahl, also sozusagen eine (1×1) Matrix
•quadratische Matrix-eine Matrix A heißt quadratisch, sofern n = k gilt
Bsp.
1763
2212
341
A n=k=333
-Eine quadratische Matrix A heißt untere (obere) Dreiecksmatrix, falls für i < j (i > j).
0ija
Bsp.
1763
0212
001
A
1700
220
341
A untere Dreiecksmatrix
obere Dreiecksmatrix
6
•symmetrische Matrix
-eine quadratische Matrix ist symmetrisch, falls
, es gilt
'AA AA ''
Bsp.
1763
652
321
A ' A
1763
652
321
1763
652
321
A
'
''
symmetrische Matrix
7
Diagonalmatrix 1
•Diagonalmatrix-eine quadratische Matrix A mit für
Diagonalmatrix hat also oberhalb und unterhalb der Hauptdiagonalen nur Nullen. Auf der Hauptdiagonalen stehen beliebige Elemente.
jiaij 0
Spezialfall: Einheitsmatrix I
100
010
001
I alle Hauptdiagonalelementebesitzen den Wert Eins
8
Diagonalmatrix 2
-Skalar-Matrix:
ist eine Diagonal-Matrix, deren Diagonalelemente alle gleich sind
als Beispiel ist die Varianz- Kovarianz-Matrix desStörterms des klassischen Regressionsmodells zu nennen
2
2
2
0 0
var-cov(u) 0 0
0 0
9
Eine (n×n) Matrix A, die der Bedingung genügt, heißt
idempotent
nAAA 2
Bsp.
121
242
121
6
1A
idempotente Matrix
2
2
1 2 1 1 2 1 1 2 11 1
A 2 4 2 2 4 2 2 4 26 36
1 2 1 1 2 1 1 2 1
6 -12 6 1 2 11 1
= -12 24 -12 2 4 236 6
6 -12 6 1 2 1
10
2. Elementare Matrixoperationen
Elementare Matrixoperationen
•Addition und Subtraktion von Matrizen
-nur für Matrizen gleicher Ordnung sind Addition und Subtraktion erklärt
ijij
nknknn
kk
kk
ba
baba
baba
baba
11
222121
111111
BA :
11
Bsp.
4113
734B
4223
7122A
C8436
14154
4113
734
4223
7122BA
323232
C0110
092
4113
734
4223
7122BA
323232
Addition und Subtraktion
wichtig: Anzahl der Zeilen und Spalten beider Matrizen müssen gleich sein
CBA
12
Skalar-Multiplikation 1
•Skalar-Multiplikation
-für Matrizen A, B und C gleicher Ordnung gilt
''' BABA
BABA
CBACBA
ABBA
-eine (n × k) Matrix A wird mit einem Skalar multipliziert, indem man jedes Matrixelement
mit multipliziert
)( ija
13
Bsp.
1763
2212
341
A 3λ
51189
6636
9123
1763
2212
341
3
1763
2212
341
λA
es gelten die Rechengesetze
γ(λA)λ(γA))A(
Skalar)ein sei (γγA λAγ)A(λ
λBλAB)λ(A
λA)λA(
AλλA''
Skalar-Multiplikation 2
14
Matrizen-Multiplikation 1
•Matrizen-Multiplikation
-Für Matrizen A und B ist nur dann ein Produkt C=AB erklärt, wenn die Spaltenzahl von A mit der Zeilenzahl von B übereinstimmt
-Sind A = und B = zwei solche Matrizen, etwa der Ordnung (n×k) bzw. (k×p), dann ist
)( ija )( jla
pnjpnjjlnjjnj
jpijjlijjij
jjjljjj
bababa
bababa
bababa
AB
1
1
11111
15
Bsp.
23
11
10
61
B
32
402
321A
22
2332
166
114
141062140012
131261130211
11
10
61
402
321AB
Matrizen-Multiplikation 2
16
-Das Produkt aus einer (n×k) Matrix A und
einer (k×p) Matrix B ist demnach eine (n×p)
Matrix C mit dem Element
-Aber:
jl
k
j ijil bac
1
32
402
321A
22
14
12B
das Produkt AB ist hier nicht definiert!
Matrizen-Multiplikation 3
17
-Insbesondere ergibt die Multiplikation einer (1×p) Matrix (Zeilenvektor) mit einer (p×1) Matrix (Spaltenvektor) einen Skalar
-Sind und zwei Vektoren mit jeweils n Elementen, dann bezeichnet man den Skalar bzw. als Skalarprodukt der beiden Vektoren
',1 ),( nxxx '
,1 ),( nyyy yx '
xy '
n
iii
n
n
n
n yx
x
x
yyxy
y
y
xxyx1
1
1'
1
1' ,,,,
Bsp.
5
3
2
x 21530332
1
0
3
532'
yx
1
0
3
y
Matrizen-Multiplikation 4
18
Zwei Vektoren x und y, deren Skalarprodukt Null ist, heißen zueinander orthogonal
0 ' yxyx
Matrizen-Multiplikation 5
1 4x y
2 2
Bsp.
' 4x y 1 2 0
2
y
1 3 5-1
2x
1x
x
y
-3-5
3
5
-3
-5
19
-Inneres Produkt: i
n
ii
nn
nn ba
b
b
aaba
1
1
1
11
'
Bsp. 11
12
21
' 2354315
341
ba
Ergebnis ist ein Skalarprodukt
nnnnn
n
nn
nn baba
baba
bb
a
a
ab
1
111
11
1
1'-Äußeres
Produkt:
44
21
12
'
204
53
5*41*4
5*13*153
4
1
baBsp.
Ergebnis ist eine Matrix
Matrizen-Multiplikation 6
20
-für die Matrizenmultiplikation gelten folgende Rechenregeln, sofern alle auftretenden Produkte erklärt sind
''''
'''
CBC(ABC)
AB(AB)
ABCA(BC)(AB)C
AB)BABA((AB)
ACABC)A(B
()
-Matrizenmultiplikation ist nicht kommutativBAAB
Matrizen-Multiplikation 7
21
Determinante einer Matrix 1
•Determinante
-die Determinante det(A) einer (n×n) Matrix A sei wie folgt definiert
-wobei diejenige Matrix ist, die aus der (n×n) Matrix A hervorgeht, wenn man die i-te Zeile und die j-te Spalte streicht
-das oben genannte Produkt wird auch als Kofaktor von genannt
n
i ijji
ij Aa
a
1
*
11
)det()1(det(A)
n 1
n 1, 1 j n,
*ijA
ijijji CA )det()1( *
ija
22
Determinante einer Matrix 2
•Determinante einer (2×2) Matrix
das Produkt der Nebendiagonalelemente wird vom Produkt der Hauptdiagonalelemente subtrahiert
211222112221
1211
2221
1211det aaaaaa
aa
aa
aa
Bsp. 153141145
31
145
31det
23
•Determinante einer (3×3) Matrixermittelt man durch Anfügen der ersten beiden Spalten auf der rechten Seite der Matrix zu einem (3 × 5) Schema
333231
232221
131211
aaa
aaa
aaa
3231333231
2321232221
1211131211
aaaaa
aaaaa
aaaaa
auf dieses Schema findet die Sarrus‘sche Regel Anwendung
332112322311312213322113312312332211det aaaaaaaaaaaaaaaaaa(A)
3432331212
332232411
432
313
221
det
Bsp.
Determinante einer Matrix 3
24
Determinante einer Matrix 4
-für die Determinante einer (n×n) Matrix A bzw. B gilt
)det()det(
)det()det(
)det()det()det'
AA
AA
BA(AB
n
-eine Matrix, deren Determinante einen Wert von 0 annimmt heißt singuläre Matrix
-nimmt hingegen die Determinante einen von 0 verschiedenen Wert an, so spricht man von einer nicht- singulären Matrix für diese existiert die inverse
Matrix nicht
25
Inverse einer Matrix 1
•Inverse einer Matrix
zu jeder regulären (n×n) Matrix existiert eine eindeutig bestimmte (n×n) Matrix mit der Eigenschaft:
1AA
nIAAAA 11 heißt Inverse von
1A A
-die Regularität von A ist nicht nur eine hinreichende, sondern auch eine notwendige Bedingung für die Existenz der inversen Matrix
-invertierbar sind demnach nur die quadratischen Matrizen mit von Null verschiedener Determinante
A 1Aist regulär existiert
26
Inverse einer Matrix 2
•Vorgehensweise
1. Bilde die Determinante von A
2. Ersetzte jedes Element von A durch seinen Kofaktor, um so die Kofaktor-Matrix zu erhalten
3. Transponiere die Kofaktor-Matrix, um so die adjungierte Matrix zu erhalten
4. Dividiere jedes Element der adjungierten Matrix durch die Determinante von A
ija
27
Inverse einer Matrix 3
Bsp.
312
475
321
A
Schritt 1: bilden, wie zuvor beschiebenA
24523141273
153242371
312
475
321
A
Schritt 2: man erhält das Element , indem man die i-te Zeile und die j-te Spalte der Matrix A streicht
ijc
28
-im Bsp.: erhalte das Element , indem man die 1. Zeile und die 1. Spalte der Matrix streicht,
ist dann eine (2×2) Matrix
11cA
11c
312
475
321
A
31
47c11
Führt man das für alle Elemente aus, so erhält man die Kofaktor-Matrix CJedes Element, für die die Summe i+j ungerade ist, erhält ein negatives Vorzeichen
Inverse einer Matrix 4
29
Schritt 4: jedes Element von (adj A) wird durch die Determinante von A dividiert
243
243
249
2411
243
247
2413
243
2417
339
1137
13317
24
11A
Inverse einer Matrix 6
nIAAAA 11
30
Skalare Kenngrößen von Matrizen
3. Skalare Kenngrößen von Matrizena) Rang einer Matrix
Zur Definition des Ranges einer Matrix werden die Begriffe Linearkombination (LK) von Vektoren und lineare Unabhängigkeit benötigtAls LK der n Vektoren bezeichnet man einen Term der Gestalt
wobei
1n a,,a
Man sagt, ein Vektor b lässt sich als LK der Vektoren
darstellen, wenn gilt:
1n a,,a
31
-nun berechnet man für jedes Element die Determinanteijc
31113
333
9717
C
Schritt 3: dir Kofaktor-Matrix C wird nun transponiert, um die adjungierte
Matrix (adj A)
339
1137
13317
A) (adj
Inverse einer Matrix 5
32
Die Vektoren heißen linear unabhängig, wenn sich der Nullvektor nur als triviale LK dieser Vektoren darstellen lässt, d.h., wenn gilt:
1n a,,a
keiner der Vektoren lässt sich als LK der anderen darstellen
Im Falle linearer Abhängigkeit der Vektoren existiert hingegen eine Darstellung des Nullvektors als nicht-triviale LK ( für mindestens ein i)
Folglich lässt sich mindestens einer der Vektoren als LK der anderen darstellen
1n a,,a
1n a,,a
Rang einer Matrix 1
33
•Die Maximalzahl linear unabhängiger Spaltenvektoren (Zeilenvektoren) einer Matrix A heißt Spaltenrang (Zeilenrang) dieser Matrixder Spaltenrang stimmt stets mit dem Zeilenrang überein
deshalb spricht man nur vom Rang einer Matrix A
•der Rang einer (n × k) Matrix A kann offenbar nicht größer als die kleinste der Zahlen n und k sein
Rang einer Matrix 2
34
-eine (n × k) Matrix A hat vollen Rang, wenn
Regeln:
Rang einer Matrix 3
35
-Bei quadratischen Matrizen gilt: Falls A keinen vollen Spaltenrang hat, so ist die Determinante von A Null
Bsp.1 3
A rg(A) 1, det(A) 02 6
Konsequenz: Matrizen ohne vollen Rang (“singuläre“ Matrizen) sind nicht invertierbar
-für beliebige Matrizen gilt: 'rg(A A) rg(A)
Konsequenz: falls X keinen vollen Spaltenrang hat, ist singulär OLS funktioniert nicht
'(X X)
Rang einer Matrix 4
36
b) Eigenwerte und Eigenvektoren
-A sei eine (n×n) Matrix
-ein (n×1) Vektor x 0 heißt Eigenvektor von A, falls mit einem geeigneten Skalar gilt
-der Vektor x wird genauer als ein zu gehörender Eigenvektor bezeichnet
-den Skalar nennt man Eigenwert der Matrix A
Eigenwerte und Eigenvektoren 1
37
Die Gleichung lässt sich wie folgt umformen:
für hat dieses System nur dann eine
Lösung, wenn die Matrix singulär ist,
d.h. wenn gilt
0
die Bestimmung der Nullstellen vonliefert die Eigenwerte von A
Eigenwerte und Eigenvektoren 2
heißt charakteristisches Polynom
38
Eigenwerte und Eigenvektoren 3
Bsp.1 2
A2 3
-die Eigenwerte findet man durch Lösen von
-die Eigenwerte sind:
39
-Wie erhält man die Eigenvektoren?
Für erhält man den Eigenvektor 1x
11
12
x1 2 2 5 00
x2 3 0 2 5
11 12
11 12
3,23607x 2x 0
2x 1,23607x 0
führt zu 2 Bestimmungsgleichungen, wobei eine überflüssig ist, da beide Gleichungen linear abhängig sind
Eigenwerte und Eigenvektoren 4
40
-so erhält man aus der 2. Gleichung den Eigenvektor 1x
121
12
0,618035xx
x
Offensichtlich gibt es nicht nur einen Eigenvektor, sondern unendlich viele parallele. Man wählt beliebig einen aus der Lösungsmenge, z.B. = 1:
12x
1
0,618035x
1
Eigenwerte und Eigenvektoren 5
41
-analog führt man diese Prozedur für den 2. Eigenwert durch, um so den Eigenvektor zu erhalten
2x
21
22
x1 2 2 5 00
x2 3 0 2 5
2
1,618035x
1
Eigenwerte und Eigenvektoren 6
42
Beweis:
1 2 0,618035 0,6180352 5
2 3 1 1
2,618038 2,618038
4, 23606 4,23606
für ,1x
Eigenwerte und Eigenvektoren 7
43
Eigenwerte und Eigenvektoren 8
•Bei symmetrischen Matrizen, wie in diesem Beispiel, sind die zu verschiedenen Eigenwerten gehörenden Eigenvektoren stets zueinander orthogonal '
1 2
1,618035x x 0,618035 1 0
1
44
c) Definitheit von (quadratischen) Matrizen
Definitheit von Matrizen 1
Definition:
-eine (n×n) Matrix A heißt positiv definit (kurz: p.d.), wenn für alle Vektoren z gilt: , bzw. positiv semidefinit (p.s.d.), wenn
'z Az 0'z Az 0
-eine (n×n) Matrix A heißt negativ definit (kurz: n.d.), wenn für alle Vektoren z gilt: , bzw. negativ semidefinit (n.s.d.), wenn
'z Az 0'z Az 0
-falls A weder positiv-semidefinit noch negativ-semidefinit ist, dann heißt A indefinit
45
Bsp.
Definitheit von Matrizen 2
1 ' 2 21 2
2
zAz z Az z 2z 0, für alle z 0
2z
1
2
z1 0A z
z0 2
A ist positiv definit
46
-Beurteilung anhand der Eigenwerte
Definitheit von Matrizen 3
die Definitheit einer symmetrischen Matrixkann mit Hilfe ihrer Eigenwerte bestimmt werden
'A A
seien die Eigenwerte der symmetrischen Matrix
dann giltA ist:positiv definit
positiv semidefinit
negativ definit
negativ semidefinit
47
Anwendung der Matrizenrechnung
•Im Rahmen eines linearen Regressionsmodells soll nun die Anwendung der Matrizenrechnung aufgezeigt werden
Regressionsmodell
abhängige Variable Y
k-1 erklärende Variablen
Parameter
Störterm
ikikiii uXXXY 33221
i = 1,2,...,n
kXXX ,...,, 32
k ,...,, 32
u
Anzahl der Beobachtungen n
4. Anwendung der Matrizenrechnung
48
•Die 1. Gleichung lässt sich auch ausführlicher darstellen, wie folgt:
nknknnN
kk
kk
uXXXY
uXXXY
uXXXY
33221
2232322212
1131321211
Für jede Beobachtung lässt eine solche Gleichung aufstellen
i = 1,2,...,n
Regressionsmodell 1
49
Dieses Gleichungssystem lässt sich auch in Matrixschreibweise darstellen
1n 1k k n 1n
u X
1
1
1
1
2
1
2
1
32
13222
3221
2
1
y
u
u
u
XXX
XXX
XXX
Y
Y
Y
kknnn
k
kn
n
1
1
1
1
nu
k
nX
ny
Spaltenvektor von Beobachtungen der abhängigen VariablenMatrix mit n Beobachtungen der k-1 Variablen bis , die 1. Spalte bestehend aus 1 gibt das Absolutglied wiederSpaltenvektor der unbekannten ParameterSpaltenvektor der n Störterme
kXX 2
k ,...,, 32
iu
Regressionsmodell 2
50
•im Rahmen des linearen Regressionsmodells werden die unbekannten Parameter geschätzt
k ,...,, 32,1
ikikiii uXXXY
33221
in kurzer Schreibweise:
Y X u
1n 1k k n 1n
X
1
1
1
1
2
1
2
1
32
13222
3221
2
1
uy
u
u
u
XXX
XXX
XXX
Y
Y
Y
kknnn
k
kn
n
in Matrixnotation:
Regressionsmodell 3
51
^
ist ein (k×1) Spaltenvektor der OLS-Schätzungder Regressionskoeffizienten
ist der (n×1) Spaltenvektor der n Residuen
u
•man erhält den OLS-Schätzer, indem man die Residuenquadratsumme minimiert
u ist der Abstand zwischen dem tatsächlichen Wert von y
und dem geschätzten Wert
y
in Hinblick auf die Schätzung der Parameter soll dieser Abstand minimiert werden bzw. die Summe über alle Beobachtungen
y
x1x 2x 3x 4x 5x
3
y 3y
3
u
Regressionsmodell 4
52
Anwendungsbeispiel 1
Daten Pro-Kopf Konsumausgaben, Pro-Kopf Einkommen, Zeit,1673 1839 11688 1844 21666 1831 31735 1881 41749 1883 51756 1910 61815 1969 71867 2016 81948 2126 92048 2239 102128 2336 112165 2404 122257 2487 132316 2535 142324 2595 15
Y 2X3X
53
Regressionsmodell
iiii uXXY
33221
in Matrixnotation:
u X y
1525951
1425351
1324871
1224041
1123361
1022391
921261
820161
719691
619101
518831
418811
318311
218441
118391
2324
2316
2257
2165
2128
2048
1948
1867
1815
1756
1749
1735
1666
1688
1673
115115115115
15
14
13
12
11
10
9
8
7
6
5
4
3
2
1
3
2
1
u
u
u
u
u
u
u
u
u
u
u
u
u
u
u
Anwendungsbeispiel 2
54
OLS-Schätzer für die Parameter:
a) berechnen
b) berechnen
c) berechnen
d) Parametervektor bestimmen
XX '
' 1X X
yX '
Anwendungsbeispiel 3
Schrittfolge
55
23323
32222
32
22
3323
3222
3121
2333231
2232221'
1
1
1
1
1111
iiii
iiii
ii
nn
n
n
XXXX
XXXX
XXn
XX
XX
XX
XX
XXXX
XXXXXX
1240144,272120
144,27268,923895,31
120895,3115
1525951
1425351
1324871
1224041
1123361
1022391
921261
820161
719691
619101
518831
418811
318311
218441
118391
151413121110987654321
259525352487240423362239212620161969191018831881183118441839
111111111111111
a)
Anwendungsbeispiel 4
56
1
1'
1240144,272120
2721446892251331895
1203189515
XX
Schritt 1: Determinante bilden
306223760
1240272144120
2721446892251331895
1203189515
'
XX
Bestimmung der Inverse gemäß der zuvor beschriebenen Schrittfolge
b)
Anwendungsbeispiel 5
57
16546670254760409331320
25476042006892520
409331320689252081,14015593
6892251331895
3189515
27214431895
12015
124068922513
12031895
272144120
3189515
1240120
12015
1240272144
12031895
272144120
6892251331895
1240120
27214431895
1240272144
27214468922513
C
10
Schritt 2: Kofaktor-Matrix bestimmen
Anwendungsbeispiel 6
58
Schritt 3: adjungierte Matrix bilden
16546670254760409331320
2547604200689252
40933132068925281,14015593
A) (adj
10
'C
Schritt 4: inverse Matrix bilden
054031,00008319,0336707,1
0008319,00000137,00225082,0
336707,10225082,037,23277
X)(X 1'
Anwendungsbeispiel 7
59
c)
2324
2316
2257
2165
2128
2048
1948
1867
1815
1756
1749
1735
1666
1688
1673
151413121110987654321
259525352487240423362239212620161969191018831881183118441839
111111111111111
247934
62905821
29135
yX '
Anwendungsbeispiel 8
60
d)
247934
62905821
29135
054031,00008319,0336707,1
0008319,00000137,00225082,0
336707,10225082,037,23277
'1'
yXXX
04356,8
74198,0
28625,300
Anwendungsbeispiel 9
i 2i 3iY 300,28625 0,74198X 8,04356X
•geschätzte Gleichung: