c:\d\doku\linalg\linalg.txt, 7. Dezember 2015

Probleme aus der linearen Algebra

1. Lineare Gleichungssysteme

Losung eines Systems aus n Gleichungen mit n Unbekannten. Ein solches Gleichungssystem laßt sich konventionell(linke Seite) und in Matrizenform Ax = b (rechte Seite) schreiben. Diese Matrizenschreibweise ist zunachst nur eineAbkurzung fur ein ausgeschriebenes Gleichungssystem, stellt sich aber spater als wertvolle neue Rechenart heraus.

a1,1x1 + a1,2x2 + . . .+ a1,nxn = b1a2,1x1 + a2,2x2 + . . .+ a2,nxn = b2

. . .an,1x1 + an,2x2 + . . .+ an,nxn = bn

⇐⇒ Ax = b mit A = (ai,j) =

a1,1 a1,2 a1,3 . . . a1,na2,1 a2,2 a2,3 . . . a2,n

. . .an,1 an,2 an,3 . . . an,n

, x =

x1

x2

. . .xn

, b =

b1b2. . .bn

Oft (und in dieser Schrift) wird die in Gleichungssystemen relevante Information in Form der sog. erweiterten MatrixE aufgefuhrt, in der die Matrix A und der Vektor b zusammengefaßt sind. Alle Rechnungen mit Gleichungssystemenkonnen einfacher mit dieser erweiterten Matrix durchgefuhrt werden. Unter der Diagonalen versteht man die nDiagonalelemente [ a1,1 a2,2 . . . ak,k . . . an,n ], die in E markiert sind. Unter der Subdiagonalen versteht mandie n− 1 Elemente [ a2,1 a3,2 . . . ak,k−1 . . . an,n−1 ] unterhalb der Diagonalen.

E = [A b ] =

a1,1 a1,2 a1,3 . . . a1,n b1a2,1 a2,2 a2,3 . . . a2,n b2a3,1 a3,2 a3,3 . . . a3,n b3...

.

.....

. . ....

.

..an,1 an,2 an,3 . . . an,n bn

Manchmal schreibt man eine Matrix A als ,,Zeilenvektor“ ihrer Spaltenvektoren, manchmal auch umgekehrt als,,Spaltenvektor“ ihrer Zeilenvektoren. Der ,,freie“ Index wird durch einen · bezeichnet.

A = [ a·1 a·2 . . . a·n ] =

a1·a2·...

an·

2. Matrizen

Matrizen hangen eng mit Abbildungen zusammen: Hat man in einem Vektorraum V der Dimension m eine Basisb1, b2, . . . bm gewahlt, so kann jeder Vektor x ∈ V als Linearkombination dieser Basisvektoren x = x1b1 + x2b2 +. . . + xmbm dargestellt werden. Manchmal identifiziert man der Einfachheit halber sogar den Vektor x mit seinen

Komponenten bezuglich dieser Basis: x =

x1

x2...

xm

. Das ist genaugenommen nicht ganz korrekt, da bei einem Basis-

wechsel derselbe Vektor andere Komponenten hat; es kann jedoch gerechtfertigt werden, da zwischen den verschiedenenDarstellungen (der Vektor und seine Reprasentation durch die Komponenten) ein Isomorphismus existiert. In einemzweiten Vektorraum W der Dimension n mit der Basis c1, c2, . . . cn hat jeder Vektor y ∈ W die Darstellung alsLinearkombination y = y1c1 + y2c2 + . . .+ yncn.Eine Abbildung A : V 7−→ W , die jedem Vektor x ∈ V einen Bildvektor y ∈ W zuordnet – A : x ∈ V 7−→ y ∈ W –kann nach der Wahl von Basen in V und W auch als Satz von n reellwertigen Funktionen von m reellen Variablenbeschrieben werden:

A : x = x1b1 + x2b2 + . . .+ xmbm =

x1

x2

..

.xm

∈ V 7−→ y = y1b1 + y2b2 + . . .+ ynbn =

y1y2...yn

=

f1(x1, x2, . . . xm)f2(x1, x2, . . . xm)

.

..fn(x1, x2, . . . xm)

∈ W

Im wichtigen Spezialfall einer linearen Abbildung (Vektorraum-Homomorphismus) reduzieren sich die reellwertigenFunktionen fj(. . . , xi, . . .) auf je ein Skalarprodukt:

A : x = x1b1 + x2b2 + . . .+ xmbm =

x1

x2

..

.xm

∈ V 7−→ y =

y1y2...yn

=

a1,1x1 + a1,2x2 + . . .+ a1,mxm

a2,1x1 + a2,2x2 + . . .+ a2,mxm

..

.an,1x1 + an,2x2 + . . .+ an,mxm

∈ W

Solche linearen Abbildungen konnen als rechteckige n × m-Matrizen A = (aj,i) dargestellt werden. Stimmen dieDimension der beiden Vektorraume V und W uberein (n = m), so ist die Abbildungsmatrix quadratisch. Wie beiVektoren identifiziert man oft die Abbildung A mit ihrer zugehorigen Matrix nach Wahl einer Basis.

2. Matrizen 2

Eine zweite Anwendung von Matrizen tritt beim Basiswechsel auf: Sind in einem Vektorraum V der Dimensionm zwei verschiedene Basen b1, b2, . . . bm und b1, b2, . . . bm gegeben, so kann jeder Vektor x ∈ V auf zwei Arten alsLinearkombination der Basisvektoren x = x1b1 + x2b2 + . . . + xmbm = x1b1 + x2b2 + . . . + xmbm dargestellt werden.Da das auch fur die Basisvektoren selbst gilt, kann auch jeder Basisvektor als Linearkombination der jeweils anderenBasis geschrieben werden:

b1 = a1,1b1 + a1,2b2 + . . .+ a1,mbmb2 = a2,1b1 + a2,2b2 + . . .+ a2,mbm

..

.bm = am,1b1 + am,2b2 + . . .+ am,mbm

b1 = a1,1b1 + a1,2b2 + . . .+ a1,mbmb2 = a2,1b1 + a2,2b2 + . . .+ a2,mbm

..

.bm = am,1b1 + am,2b2 + . . .+ am,mbm

In Matrixschreibweise schaut das Ganze gleich viel freundlicher aus: b = Ab und b = Ab. Dabei sind b und b keineVektoren, sondern haben Vektoren als Komponenten. Die Matrizen A und A sind quadratisch. Mit denselben MatrizenA und A erhalt man auch den Ubergang zwischen den Komponenten des Vektors x in den beiden Basen (Beweis durchEinsetzen!): x = Ax und x = Ax. In diesem Fall sind beide Matrizen regular, d.h. die inverse Matrix existiert. DerZusammenhang zwischen A und der inversen Matrix A = A−1 folgt weiter unten.

Bei jeder Matrix muß man also unterscheiden, ob sie einfach so, ohne weitere Interpretation, verwendet wird, ob sienach Basiswahl die Abbildungsmatrix einer linearen Abbildung zwischen Vektorraumen ist, ob sie zum Basiswechselin einem Vektorraum benutzt wird oder ob sie vielleicht noch eine andere Bedeutung hat.

3. Die transponierte Matrix

Die einfachste Manipulation mit Matrizen ist das Transponieren: Von einer n ×m-Matrix A werden die Spalten inderselben Reihenfolge zeilenweise angeschrieben. Die entstandene Matrix AT heißt die zu A transponierte Matrix.

A =

a1,1 a1,2 a1,3 . . . a1,ma2,1 a2,2 a2,3 . . . a2,m

. . .an,1 an,2 an,3 . . . an,m

7−→ AT =

a1,1 a2,1 a3,1 . . . an,1

a1,2 a2,2 a3,2 . . . an,2

a1,3 a2,3 a3,3 . . . an,3

. . .a1,m a2,m a3,m . . . an,m

Diese Operation kann auch als Spiegelung der Matrix an der Diagonalen interpretiert werden. Die einfachste

Anwendung ist das platzsparende Anschreiben von Vektoren in transponierter Form: x =

x1

x2...xn

= [x1 x2 x3 . . . xn ]T.

In der linearen Algebra bekommt die transponierte Matrix eine eigenstandige Bedeutung als Abbildungsmatrix derzugehorigen adjungierten Abbildung nach Einfuhrung des Dualraumes oder eines Skalarproduktes in euklidischenRaumen.

4. Matrizenrechnung

Die Addition und Subtraktion von Matrizen erfolgt elementweise. Eine Matrix kann mit einer Zahl multipliziertwerden, was ebenfalls elementweise geschieht.

Etwas komplizierter ist die Matrizenmultiplikation. Das Produkt Ax einer Matrix mit einem Vektor kann zunachstals Abkurzung fur ein ausgeschriebenes Gleichungssystem betrachtet werden, stellt sich aber spater als eine neue, invielen Anwendungen sinnvolle Rechenart heraus.

Zwei Matrizen A und B konnen miteinander multipliziert werden (sind multiplizierbar), wenn in der ersten Matrix Agenau soviele Spalten vorkommen, wie die zweite Matrix B Zeilen hat. Dann hat die Produktmatrix C = AB sovieleZeilen wie die erste Matrix A und soviele Spalten wie die zweite B. Jede einzelne Zahl ci,j der Produktmatrix wird als

Skalarprodukt der Zeile [ ai,1 ai,2 . . . ai,k . . . ai,n ] und der Spalte

b1,j. . .bn,j

berechnet: ci,j = ai,1b1,j + ai,2b2,j +

. . . ai,kbk,j + . . .+ ai,nbn,j .

a1,1 a1,2 . . . a1,k . . . a1,na2,1 a2,2 . . . a2,k . . . a2,n...

..

.. . .

..

....

ai,1 ai,2 . . . ai,k . . . ai,n...

.

.....

. . .

am,1 am,2 . . . am,k . . . am,n

·

b1,1 b1,2 . . . b1,j . . . b1,pb2,1 b2,2 . . . b2,j . . . b2,p...

..

.. . .

..

....

bk,1 bk,2 . . . bk,j . . . bk,p...

.

.....

. . .

bn,1 bn,2 . . . bn,j . . . bn,p

=

c1,1 c1,2 . . . c1,j . . . c1,pc2,1 c2,2 . . . c2,j . . . c2,p...

..

.. . .

..

....

ci,1 ci,2 . . . ci,j . . . ci,p...

.

.....

. . .

cm,1 cm,2 . . . cm,j . . . cm,p

4. Matrizenrechnung 3

Das Matrizenprodukt ist assoziativ (A · (B ·C) = (A ·B) ·C), aber im allgemeinen nicht kommutativ (A ·B = B ·A).Es gilt (AB)T = BTAT . Fur die Inverse einer Matrix gilt eine ahnliche Formel: (AB)−1 = B−1A−1.

Das Matrizenprodukt AB laßt sich interpretieren als die Abbildungsmatrix der aus zwei Einzelabbildungen A und Bzusammengesetzten Abbildung. In Gleichungssystemen in der Schreibweise Ax = b ist die Multiplikation der MatrixA mit dem Vektor x ein Spezialfall dieses Produkts. Auch das Skalarprodukt xy zweier Vektoren x und y wird oft alsMatrixprodukt xT y des Zeilenvektors xT und des Spaltenvektors y geschrieben.

Die Berechnung eines Matrizenprodukt ist aufwendig: fur das Produkt AB einer m × n-Matrix A mit einer n × o-Matrix B mussenmo Zahlen des Produktes berechnet werden; jede einzelne erfordert nMultiplikationen, was insgesamtmno Multiplikationen, bez. 2mno flops ergibt. Bei quadratischen n × n-Matrizen sind das n3 Multiplikationen. Wirwerden sehen, dass die Inverse einer Matrix ahnlich aufwendig ist und ebenfalls O(n3) Operationen braucht. DieseRechenzeitschranke gilt fur alle praktisch verwertbaren Algorithmen. Es gibt schnellere Algorithmen: Der Strassen-Algorithmus (1969) benotigt O(n2.81) flop, ist jedoch numerisch instabil und lohnt sich nur fur grosse Matrizen mitn > 100. Noch schneller ist der Coppersmith/Winograd-Algorithmus mit O(n2.376); er ist jedoch nur von theoretischemInteresse (1990). Seit 2010 gibt es mehrere weitere Versuche die Rechenzeit des Matrixprodukts zu drucken: AndrewJames Stothers, 2010; Virginia Vassilevska Williams, 2014, O(n2.373).

Werden zwei multiplizierbare Matrizen passend in einzeln multiplizierbare Teilmatrizen (Blocke) unterteilt, dann kanndas Produkt auch blockweise berechnet werden. Diese Aussage erleichtert viele Beweise.

Numerisch werden Blockoperationen auch zur Beschleunigung durch Verkurzung der Speicherzugriffszeit verwendet;dabei wird die Blockgroße an den Cache angepasst.

C = AB =

[A1,1 A1,2

A2,1 A2,2

]·[B1,1 B1,2

B2,1 B2,2

]=

[C1,1 = A1,1 ·B1,1 +A1,2 ·B2,1 C1,2 = A1,1 ·B1,2 +A1,2 ·B2,2

C2,1 = A2,1 ·B1,1 +A2,2 ·B2,1 C2,2 = A2,1 ·B1,2 +A2,2 ·B2,2

]Dabei mussen die Dimensionen stimmen; deshalb ist in der folgenden Ubersicht die Grosse der Matrizen und Block-matrizen angegeben. Es gilt: m = m1 +m2, n = n1 + n2 und p = p1 + p2.

[m× p] = [m× n][n× p] =

[m1× n1 m1× n2m2× n1 m2× n2

]·[n1× p1 n1× p2n2× p1 n2× p2

]=

[m1× p1 m1× p2m2× p1 m2× p2

]

5. Spezielle Matrixtypen

siehe z.B. http://www.ee.ic.ac.uk/staff/dmb/matrix/special.html

Schon in den vorhergehenden Abschnitten kamen vielfaltige verschiedene Matrixtypen vor: rechteckige, quadratische,transponierte. . .Beim tieferen Eindringen stoßt man auf weitere Typen, deren Vielfalt hier nur angedeutet werdenkann:

Eine Matrix A ist (alphabetisch, ev. mit kurzer Definition):

Bandmatrix, aij = 0, außer i = j + k, k1 ≤ k ≤ k2Bidiagonalmatrix (obere, untere)Blockmatrix,Definit (positiv oder negativ; Gegenteil: indefinit)Derogatorisch, wenn mehr als ein Jordanblock in der Jordanschen Normalenform existiert oder wenn zum selben Ei-genwert mehr als ein Eigenvektor existiert.Diagonal dominantDiagonalmatrix, wenn aij = 0 fur i = jDreiecksmatrix (obere, untere, strikte, nilpotente oder unipotente)Dunn besetzt (sparse, viele Nullen, die spezielle numerische Techniken gestatten)Einheitsmatrix (identity),Frobeniusmatrix (strikte unipotente Dreiecksmatrix, manchmal auch nur mit einer Spalte = 0)Gaussmatrix (seltene Bezeichnung fur Frobeniusmatrix; tritt bei Gausselimination auf)Hankelmatrix,Hermitesch, wenn AH = AHessenbergmatrix, siehe obere/untere H.Hilbertmatrix,Idempotent, wenn A2 = AIndefinit (Gegenteil definit)Involutorisch, wenn A2 = INegativ definit (xTAx < 0, x = 0)

5. Spezielle Matrixtypen 4

Negativ semidefinit (xTAx ≤ 0, x = 0)Nichtderogatorisch, wenn Minimalpolynom und charakteristisches Polynom ubereinstimmen oder wenn das Minimal-polynom den Grad n hat.Nichtnegativ, wenn aij ≥ 0; analog weitere Ungleichungennilpotent, siehe strikt nilpotentNormal, wenn AHA = AAH

obere Bidiagonalmatrix, aij = 0, außer i = j, i = j − 1obere Dreiecksmatrix (upper triangle, aij = 0, i > j — links unten, meist R oder U genannt)obere Hessenbergmatrix, aij = 0, i > j + 1 — links untenOrthogonal, wenn ATA = I, wenn A−1 = AT

Permutationsmatrix, aij = 0Positiv, wenn aij > 0; analog weitere UngleichungenPositiv definit (xTAx > 0, x = 0)Positiv semidefinit (xTAx ≥ 0, x = 0)Quadratisch (gleichviele Zeilen und Spalten)Rechteckig (verschieden viele Zeilen und Spalten)Regular (invertierbar, die Inverse existiert)Schiefhermitesch (antihermitesch), wenn AH = −ASchiefsymmetrisch (antisymmetrisch), wenn AT = −ASemidefinit (positiv oder negativ; definit, indefinit)Singular (nicht invertierbar, die Inverse existiert nicht)Sparse (dunn besetzt)spd, symmetrisch positiv definitstrikte nilpotente Dreiecksmatrix (aij = 0, i = j)strikte unipotente Dreiecksmatrix (auch Frobeniusmatrix, Gaussmatrix, normierte Matrix, aij = 1, i = j)Symmetrisch, wenn AT = AToplitzmatrix,Tridiagonalmatrix,unipotent, siehe strikt unipotentUnitar, wenn AHA = I, wenn A−1 = AH

untere Bidiagonalmatrix, aij = 0, außer i = j, i = j + 1untere Dreiecksmatrix (lower triangle, aij = 0, i < j — rechts oben, meist L genannt)untere Hessenbergmatrix, aij = 0, i < j − 1 — rechts oben, oft H genannt)

Eigenschaften mit vielen Nullen:

Bandmatrix Bidiagonalmatrix Blockmatrix Dunn besetzt (sparse) Diagonalmatrix Dreiecksmatrix Einheitsmatrix(identity) Hessenbergmatrix Tridiagonalmatrix

Mathematisch definierte Eigenschaften:

Diagonal dominant Diagonalmatrix Dreiecksmatrix Einheitsmatrix (identity) Hankelmatrix Hermitesch Hessenbergma-trix Hilbertmatrix Idempotent Indefinit Involutorisch Negativ definit Nichtnegativ Normal Orthogonal Positiv definitRegular Schiefhermitesch (antihermitesch) Schiefsymmetrisch (antisymmetrisch) Singular Symmetrisch ToplitzmatrixTridiagonalmatrix Unitar untere Bidiagonalmatrix untere Dreiecksmatrix

Matrizen mit speziellen Werten:

Einheitsmatrix (identity) Hankelmatrix Hilbertmatrix Toplitzmatrix

Bandmatrix Bidiagonalmatrix Blockmatrix Dunn besetzt (sparse) Diagonal dominant Diagonalmatrix Dreiecksma-trix Einheitsmatrix (identity) Hankelmatrix Hermitesch Hessenbergmatrix Hilbertmatrix Idempotent Indefinit Invo-lutorisch Negativ definit Nichtnegativ Normal Orthogonal Positiv definit Regular Schiefhermitesch (antihermitesch)Schiefsymmetrisch (antisymmetrisch) Singular Symmetrisch Toplitzmatrix Tridiagonalmatrix Unitar untere Bidiago-nalmatrix untere Dreiecksmatrix

6. Gau�elimination zur L�osung von Gleichungssystemen

Mit elementaren Umformungen kann das Gleichungssystem so vereinfacht werden, daß es direkt losbar wird.

6.1. Elementare Umformungen 5

6.1. Elementare Umformungen

Folgende elementare Umformungen lassen die gesuchte Losung x unverandert und durfen deshalb zur Losung verwendetwerden:

(i) Vertauschen zweier Gleichungen Vertauschen zweier Zeilen in A und b(ii) Multiplikation einer Gleichung mit einer Zahl α = 0 Multiplikation einer Zeile in A und b mit einer Zahl

α = 0(iii) Addition des Vielfachen einer Gleichung zu einer an-

derenAddition des Vielfachen einer Zeile von A und b zueiner anderen

(iv) Vertauschen zweier Spalten (mit den Variablen) Vertauschen zweier Spalten von A und der analogenZeilen von x

Mit diesen Umformungen kann das Gleichungssystem in endlich vielen Schritten gelost werden.

6.2. Reduktion der ersten Spalte in n− 1 Schritten

Die erste Zeile bleibt unverandert; zu den folgenden Zeilen wird jeweils ein Vielfaches l der ersten Zeile addiert, so daßder Wert in der ersten Spalte (der Koeffizient von x1) jeder Zeile Null wird. Genauer: Zur Zeile Nr. (i) wird die mitli,1 = − ai,1

a1,1multiplizierte Zeile Nr. (1) addiert.

a1,1 a1,2 . . . a1,n b1a2,1 a2,2 . . . a2,n b2...

.

.....

.

..ai,1 ai,2 . . . ai,n bi...

..

....

..

.an,1 an,2 . . . an,n bn

(1)

(2)

.

..(i)

..

.(n)

(1) bleibt

(2):=(2)+l2,1(1), l2,1=−a2,1a1,1

..

.

(i):=(i)+li,1(1), li,1=−ai,1a1,1

..

.

(n):=(n)+ln,1(1), ln,1=−an,1a1,1

a1,1 a1,2 . . . a1,n b10 a2,2 + l2,1a1,2 . . . a2,n + l2,1a1,n b2 + l2,1b1...

.

.....

.

..0 ai,2 + li,1a1,2 . . . ai,n + li,1a1,n bi + li,1b1...

..

....

..

.0 an,2 + ln,1a1,2 . . . an,n + ln,1a1,n bn + ln,1b1

Dieser Schritt erzeugt in der ersten Spalte unterhalb des ersten Elements (d.h. unterhalb der Diagonalen) lauter Nullen.

6.3. Reduktion der folgenden Spalten

Der komplette erste Schritt kann insgesamt (n− 1)-mal auf die verkleinerten Untermatrizen angewendet werden. Beider Durchfuhrung Nr. (j) bleibt die Zeile Nr. (j) (und alle vorhergehenden) unverandert; zu jeder der folgenden ZeilenNr. (i) wird die mit li,j = − ai,j

aj,jmultiplizierte Zeile Nr. (j) addiert. Dabei entstehen in der Spalte Nr. (j) unterhalb

der Diagonale lauter Nullen.

a1,1 a1,2 a1,3 . . . a1,n b1a2,1 a2,2 a2,3 . . . a2,n b2a3,1 a3,2 a3,3 . . . a3,n b3

. . .an,1 an,2 an,3 . . . an,n bn

⇒

a1,1 a1,2 a1,3 . . . a1,n b10 a′2,2 a′2,3 . . . a′2,n b′20 a′3,2 a′3,3 . . . a′3,n b′3

. . .0 a′n,2 a′n,3 . . . a′n,n b′n

⇒

a1,1 a1,2 a1,3 . . . a1,n b10 a′2,2 a′2,3 . . . a′2,n b′20 0 a′′3,3 . . . a′′3,n b′′3

. . .0 0 a′′n,3 . . . a′′n,n b′′n

⇒

⇒

a1,1 a1,2 a1,3 . . . a1,n b10 a′2,2 a′2,3 . . . a′2,n b′20 0 a′′3,3 . . . a′′3,n b′′3

. . .0 0 0 . . . a′′n,n b′′n

⇒ . . . ⇒

a1,1 a1,2 a1,3 . . . a1,n b10 a′2,2 a′2,3 . . . a′2,n b′20 0 a′′3,3 . . . a′′3,n b′′3

. . .

0 0 0 . . . a(n−1)n,n b

(n−1)n

=

r1,1 r1,2 r1,3 . . . r1,n c10 r2,2 r2,3 . . . r2,n c20 0 r3,3 . . . r3,n c3

. . .0 0 0 . . . rn,n cn

Dieser Schritt erzeugt in der gesamten Matrix unterhalb der Diagonalen lauter Nullen. Die so veranderte Matrix Aund die rechte Seite b bekommen die neue Bezeichnung [R|c]. Eine Matrix R, die unterhalb der Diagonalen nur Nullenhat, heißt rechte obere Dreiecksmatrix (daher das R!). Analog heißt eine Matrix, die oberhalb der Diagonalen nurNullen hat, eine linke untere Dreiecksmatrix und wird meist mit L bezeichnet.

6.4. Losung des Gleichungssystems (Backsubstitution)

Das modifizierte Gleichungssystem kann direkt gelost werden. Da in den Einzelschritten zur Modifizierung nur dieelementaren Veranderungen verwendet wurden, ist die Losung des modifizierten System auch Losung des Originalsy-stems. Die Losung berechnet sich in n Schritten: Die Zahl xn = cn

rn,nist aus der letzten Gleichung ablesbar. Mit dem

jetzt bekanntem xn kann aus der vorletzten Gleichung xn−1 =cn−1−rn−1,nxn

rn−1,n−1berechnet werden. Allgemein: Sind die

Werte xn, xn−1, . . . , xi+1 bekannt, so berechnet sich xi =ci−(ri,i+1xi+1+ri,i+2xi+2+...+ri,nxn)

ri,i. Die Unbekannten xn, . . .,

x2, x1 werden also von unten nach oben ermittelt.

6.4. Losung des Gleichungssystems (Backsubstitution) 6

rn,nxn=bn ⇒ xn = cn/rnn

. . .... =

.

.....

ri,ixi+ . . .+ri,nxn =ci ⇒ xi =(ci − (ri,i+1xi+1 + ri,i+2xi+2 + . . . ri,nxn)

)/ri,i

. . . . . .... =

..

....

r2,2x2 ++ . . .+r2,ixi+ . . .+r2,nxn=c2 ⇒ x2 =(c2 − (r2,3x3 + r2,4x4 + . . . r2,nxn)

)/r2,2

r1,1x1 + r1,2x2 ++ . . .+r1,ixi+ . . .+r1,nxn=c1 ⇒ x1 =(c1 − (r1,2x2 + r1,3x3 + . . . r1,nxn)

)/r1,1

6.5. Speicherung der Faktoren

Statt der vielen Nullen kann man unterhalb der Diagonale die in den Schritten 1. und 2. berechneten Faktoren−li,j = ai,j

a1,1speichern. Sie werden spater noch benotigt.

a1,1 a1,2 a1,3 . . . a1,n b1a2,1 a2,2 a2,3 . . . a2,n b2a3,1 a3,2 a3,3 . . . a3,n b3

. . .an,1 an,2 an,3 . . . an,n bn

⇒ . . . ⇒

r1,1 r1,2 r1,3 . . . r1,n c1−l2,1 r2,2 r2,3 . . . r2,n c2−l3,1 −l3,2 r3,3 . . . r3,n c3

. . .−ln,1 −ln,2 −ln,3 . . . rn,n cn

6.6. Rechenzeit und Stabilitat

Die Rechenzeit der Gausselimination wird am besten rekursiv bestimmt. Man kann Operationen mit reellen Zahlen(+, −, ∗, /) getrennt bestimmen, ihre Summe angeben oder einfacher die Anzahl der fma (fused multiply add) oderinneren Schleifenoperationen berechnen.

Sei Cn die Anzahl der Operationen der Gausselimination einer n× n-Matrix. Diese Zahl wird fur die außeren Schrittbestimmt:

Cn = (n−1)(1D+n(1M+1S))+Cn−1+(n−1)(1M+1A)+1S+1D = nD+(n(n−1)+(n−1))M+(n(n−1)+1)S+(n−1)A+Cn−1 = nD+(n+1)(n−1)M+(n(n−1)+1)S+(n−1)A+Cn−1 = nD+(n2−1)M+(n2−n+1)S+(n−1)A+Cn−1 ≈ n2fma+Cn−1

Ergebnis: Die Rechenzeit ist etwa 13n

3 fma-Operationen.

7. Pivotsuche

Das Verfahren bricht zusammen, wenn eines der Diagonalelemente aj,j Null ist, da durch diese Zahlen dividiert werdenmuß. Das kann durch Teilpivotsuche oder Totalpivotsuche verhindert werden (engl. pivot Drehpunkt, Drehachse). DiePivotsuche wird nur fur den ersten Schritt (also fur a1,1 = 0) beschrieben, der auf die Gesamtmatrix angewendet wird.Fur die Manipulation der Untermatrizen ist er analog zu ubernehmen!

7.1. Teilpivotsuche

Bei der Teilpivotsuche wird in der ersten Spalte das betragsgroßte Element gesucht, das in der Zeile r steht (|ar,1| ≥|ai,1|). Diese Zeile r mit dem betragsgroßten Element in der ersten Spalte wird mit der ersten Zeile vertauscht. Dabeidarf die Vertauschung der Zeilen 1 und r des Vektors b nicht vergessen werden! Dadurch kommt das betragsgroßteElement der ersten Spalte in die erste Zeile an die Stelle von a1,1. Ist diese Zahl auch nach der Vertauschung nochNull, so sind alle Elemente der ersten Spalte Null und die Matrix ist singular oder nicht regular. In diesem Fall wirdentweder die Rechnung abgebrochen oder mit Totalpivotsuche fortgefuhrt.

7.2. Totalpivotsuche

Aufwendiger ist die Totalpivotsuche, bei der in der gesamten Matrix das betragsgroßte Element gesucht wird, das inZeile r und Spalte s steht (|ar,s| ≥ |ai,j |). Jetzt werden die Zeilen 1 und r und anschließend die Spalten 1 und s derMatrix vertauscht. Im Vektor x der Unbekannten mussen wegen der Spaltenvertauschung der Matrix die Zeilen 1 unds vertauscht werden. Wie bei der Teilpivotsuche darf im Vektor b die Vertauschung der Zeilen 1 und r nicht vergessenwerden. Durch die Vertauschungen kommt das betragsgroßte Element der gesamten Matrix in die erste Zeile und dieerste Spalte an die Stelle von a1,1. Ist diese Zahl auch nach der Vertauschung noch Null, so sind alle Elemente derMatrix Null und die Matrix ist singular oder nicht regular. Die Rechnung wird jetzt abgebrochen oder wie bei uber-und unterbestimmten Gleichungssystemen beschrieben fortgesetzt.

Gegen die Totalpivisuche spricht die benotigte Rechenzeit, da eine Untermatrix nach dem Betragsmaximum durchsuchtwerden muss.

8. Beispiel einer Gaußelimination 7

8. Beispiel einer Gau�elimination

4× 4-Matrix und rechte Seite

11 7 10 10 389 18 12 15 548 17 7 14 4613 8 8 18 47

Gaußelimination

Schritt 1: Die Elemente unterhalb der Diagonalen in Spalte 1 werden eliminiert

Total-Pivotsuche ergibt betragsgroßtes Element 18 in Zeile 2 und Spalte 2

Matrix nach Pivotvertauschung:

18 9 12 15 547 11 10 10 3817 8 7 14 468 13 8 18 47

Spaltenreduktion

Zu Zeile 2 wird die mit −718 multiplizierte Zeile 1 addiert

Zu Zeile 3 wird die mit −1718 multiplizierte Zeile 1 addiert

Zu Zeile 4 wird die mit −49 multiplizierte Zeile 1 addiert

Matrix nach Spaltenreduktion:

18 9 12 15 54718

152

163

256 17

1718

−12

−133

−16 −5

49 9 8

3343 23

Schritt 2: Die Elemente unterhalb der Diagonalen in Spalte 2 werden eliminiert

Total-Pivotsuche ergibt betragsgroßtes Element 343 in Zeile 4 und Spalte 4

Matrix nach Pivotvertauschung:

18 15 12 9 5449

343

83 9 23

1718

−16

−133

−12 −5

718

256

163

152 17

Spaltenreduktion

Zu Zeile 3 wird die mit 168 multiplizierte Zeile 2 addiert

Zu Zeile 4 wird die mit −2568 multiplizierte Zeile 2 addiert

Matrix nach Spaltenreduktion:

18 15 12 9 5449

343

83 9 23

1718

−168

−7317

−2568

−31768

718

2568

7417

28568

58168

Schritt 3: Die Elemente unterhalb der Diagonalen in Spalte 3 werden eliminiert

Total-Pivotsuche ergibt betragsgroßtes Element 7417 in Zeile 4 und Spalte 3

Matrix nach Pivotvertauschung:

18 15 12 9 5449

343

83 9 23

718

2568

7417

28568

58168

1718

−168

−7317

−2568

−31768

Spaltenreduktion

Zu Zeile 4 wird die mit 7374 multiplizierte Zeile 3 addiert

Matrix nach Spaltenreduktion:

18 15 12 9 5449

343

83 9 23

718

2568

7417

28568

58168

1718

−168

−7374

1115296

1115296

9. Aquilibrierung 8

9. �Aquilibrierung

Die Pivotsuche ergibt numerisch ungunstige Ergebnisse, wenn die Zeilen als Ganzes nicht vergleichbar groß, d.h. nichtungefahr gleich groß sind. Das ist der Fall, wenn eine Zeile insgesamt sehr große, eine andere sehr kleine Werte aufweist.Um die Zeilen vergleichbar zu machen, sollten vor jeder Pivotsuche alle Zeilen durch ihre jeweilige Zeilenbetragssummeni dividiert werden. Die folgende Formel stellt das fur die Zeile i dar:

ai,1x1 + ai,2x2 + . . .+ ai,jxj + . . .+ ai,nxn = bi ni :=n∑

j=1

|ai,j | →ai,1

nix1 +

ai,2

nix2 + . . .+

ai,j

nixj + . . .+

ai,n

nixn =

bi

ni

Die Pivotsuche wird dann fur die so modifizierte Matrix durchgefuhrt.

10. Numerisch singul�are Matrizen

Matrizen sind nicht erst als singular zu betrachten, wenn eine Spalte genau Null ist, sondern schon wenn die Elementeeiner Spalte nahe genug bei Null liegen. Dieses nahe genug bei Null kann erst im Rahmen einer konkreten Problem-stellung prazisiert werden. Geht die Matrix A z.B. direkt oder indirekt aus einer physikalischen Messung hervor, dieetwa zwei Dezimalstellen Genauigkeit liefert, so sollte die Matrix schon dann als singular betrachtet werden, wennnach der Pivotsuche mit Aquilibrierung der Betrag eines Diagonalelementes |ai,i| ≤ ε = 10−2 ist. In jedem Fall stelltdie Maschinengenauigkeit (in C FLT_EPSILON, DBL_EPSILON und LDBL_EPSILON aus <float.h>; bei IEEE754-single1,19e-7 und bei IEEE754-double 2,22e-16) eine absolute Grenze fur ε dar.

11. Gau�-Jordan-Elimination

Hier wird zusatzlich auch der jeweils obere Teil der Matrix eliminiert, so daß am Ende nur die Diagonalelementeubrigbleiben. Das ist zunachst mehr Aufwand, der aber die Losung vereinfacht. In parallelen Systemen skaliert dieseVariante besser sowohl bei der Elimination, als auch bei der Berechnung der Losung.

a1,1 a1,2 a1,3 . . . a1,n b1a2,1 a2,2 a2,3 . . . a2,n b2a3,1 a3,2 a3,3 . . . a3,n b3

. . .an,1 an,2 an,3 . . . an,n bn

⇒

a1,1 a1,2 a1,3 . . . a1,n b10 a′2,2 a′2,3 . . . a′2,n b′20 a′3,2 a′3,3 . . . a′3,n b′3

. . .0 a′n,2 a′n,3 . . . a′n,n b′n

⇒

a′1,1 0 a′1,3 . . . a′1,n b′10 a′2,2 a′2,3 . . . a′2,n b′20 0 a′′3,3 . . . a′′3,n b′′3

. . .0 0 a′′n,3 . . . a′′n,n b′′n

⇒

⇒

a′′1,1 0 0 . . . a′′1,n b′′10 a′′2,2 0 . . . a′′2,n b′′20 0 a′′3,3 . . . a′′3,n b′′3

. . .0 0 0 . . . a′′′n,n b′′′n

⇒ . . . ⇒

a(n−1)1,1 0 0 . . . 0 b

(n−1)1

0 a(n−1)2,2 0 . . . 0 b

(n−1)2

0 0 a(n−1)3,3 . . . 0 b

(n−1)3

. . .

0 0 0 . . . a(n−1)n,n b

(n−1)n

=

r1,1 0 0 . . . 0 c10 r2,2 0 . . . 0 c20 0 r3,3 . . . 0 c3

. . .0 0 0 . . . rn,n cn

Mit Abspeichern der Faktoren ergibt sich:

a1,1 a1,2 a1,3 . . . a1,n b1a2,1 a2,2 a2,3 . . . a2,n b2a3,1 a3,2 a3,3 . . . a3,n b3

. . .an,1 an,2 an,3 . . . an,n bn

⇒

r1,1 −l1,2 −l1,3 . . . −l1,n c1−l2,1 r2,2 −l2,3 . . . −l2,n c2−l3,1 −l3,2 r3,3 . . . −l3,n c3

. . .−ln,1 −ln,2 −ln,3 . . . rn,n cn

Die Rechenzeit der Gauss-Jordan-Elimination wird am besten direkt bestimmt.

Sei Cn die Anzahl der Operationen der Gausselimination einer n× n-Matrix.

Ergebnis: Die Rechenzeit ist etwa 12n

3 fma-Operationen.

12. Beschreibung der Gau�-Elimination mit Matrizen

Das beschriebene Verfahren zur Losung von Gleichungssystemen kann einfacher und eleganter direkt mit Matrizen-operationen formuliert werden und ist dann leichter zu lernen und anzuwenden. Bei konkreten Rechnungen greiftman jeoch meist wieder auf die direkte Durchfuhrung zuruck. Zur Matrizenbeschreibung benotigt man spezielleMatrixtypen.

12.1. Die Einheitsmatrix I 9

12.1. Die Einheitsmatrix IDie Einheitsmatrix ubernimmt bei Matrizen eine ahnliche Rolle wie die Zahl 1 bei Zahlen. Multipliziert man eineZahl α mit 1, so kommt wieder α heraus (1 · α = α · 1 = α). Multipliziert man eine Matrix A mit I, so kommt wiederdie ursprungliche Matrix A heraus (I ·A = A · I = A). Die Einheitsmatrix enthalt in der Diagonalen die Zahl 1, sonstuberall die Zahl 0:

I =

1 0 . . . 00 1 . . . 0...

..

.. . .

..

.0 0 . . . 1

Die transponierte Einheitsmatrix ist wieder die Einheitsmatrix IT = I.

12.2. Inverse Matrizen

Inverse Matrizen A−1 ubernehmen bei Matrizen eine ahnliche Rolle wie die inverse Zahlen 1/α bei Zahlen. Multipliziertman eine Zahl α mit ihrem Inversen 1/α, so kommt 1 heraus (α ·α−1 = 1). Multipliziert man eine Matrix A mit ihrerinversen Matrix A−1, so kommt die Einheitsmatrix I heraus (A ·A−1 = A−1 ·A = I). Bei Zahlen gibt es nur fur α = 0eine Inverse. Bei Matrizen haben nur sog. regulare oder nichtsingulare Matrizen eine inverse Matrix.

Die Berechnung der Inversen einer allgemeinen Matrix folgt weiter unten. Fur spezielle Matrizen kann man dieInverse direkt angeben. So hat die Einheitsmatrix sich selbst als Inverse (I · I = I, also I−1 = I). Die Inverse A−1

einer orthonormalen Matrix A ist die zu A transponierte Matrix AT = A−1 – hier haben Sie eine erste Anwendungder Matrizentransponierung. Dabei ist eine orthonormale Matrix eine Matrix, deren Spaltenvektoren paarweiseaufeinanderstehende senkrecht stehende Einheitsvektoren sind. Diese Behauptung ist ubrigens leicht einzusehen:Wenn e1, e2, . . . , en paarweise aufeinander senkrecht stehende Einheitsvektoren sind, dann ist e2i = eiei = 1 und

eiej = 0, falls i = j. Wird A = [ e1 e2 . . . en ] aus diesen Spaltenvektoren gebildet, dann ist AT =

eT1eT2...eTn

die aus

denselben Vektoren zeilenweise gebildete Matrix. Im Produkt ATA treten genau die Skalarprodukte eiej auf, also istATA = I. Nicht so einfach ist der Beweis, daß auch AAT = I gilt.

Die regularen (nichtsingularen) Matrizen zusammen mit dem Matrixprodukt bilden mathematisch eine nichtabelscheGruppe mit der Einheitsmatrix I als Einselement.

12.3. Permutationsmatrizen

Permutationsmatrizen Pi,j bewirken die Vertauschung zweier Zeilen einer Matrix A, wenn sie von links mit der Matrixmultipliziert werden (Pi,j · A) und die Vertauschung zweier Spalten, wenn sie von rechts mit der Matrix multipliziertwerden (A · Pi,j). Da das zweimalige Vertauschen derselben Zeilen bez. Spalten die Operation wieder ruckgangigmacht, sind Permutationsmatrizen zu sich selbst invers (P−1

i,j = Pi,j , da = Pi,j · Pi,j = P 2i,j = I).

Permutationsmatrizen entstehen aus der Einheitsmatrix I durch Vertauschung genau der beiden Zeilen (oder Spalten),die auch in der Matrix A vertauscht werden sollen.

Pi,j =

1 0 . . . 0 . . . 0 . . . 00 1 . . . 0 . . . 0 . . . 0...

..

.. . .

..

.. . .

..

.. . .

..

.0 0 . . . 0 . . . 1 . . . 0 Zeile i...

.

... . .

.

... . .

.

... . .

.

..0 0 . . . 1 . . . 0 . . . 0 Zeile j...

.

... . .

.

... . .

.

... . .

.

..0 0 . . . 0 . . . 0 . . . 1

In Pi,j ·A sind die zwei Zeilen i und j von A vertauscht; in A · Pi,j sind die zwei Spalten i und j von A vertauscht.

Allgemeinere Permutationsmatrizen P entstehen ebenfalls aus der Einheitsmatrix I durch Permutieren einer beliebigen

Anzahl von Zeilen: I =

eT1eT2...eTn

→ P =

eTπ(1)eTπ(2)...

eTπ(n)

. Als orthonormale Matrizen haben sie als Inverse ihre transponierte:

P−1 = PT = [ eπ(1) eπ(2) . . . eπ(n) ]. Werden Permutationsmatrizen von links mit einer Matrix A multipliziert,bewirken sie in A dieselbe Zeilenpermutation, wie die, aus der sie auch bestehen; werden ihre transponierten (= ihreInversen) von rechts mit A multipliziert, bewirken sie in A dieselbe Spaltenpermutation, wie die Zeilenpermutation,aus der sie bestehen.

12.4. Dreiecksmatrizen und Frobenius- oder Gaussmatrizen 10

12.4. Dreiecksmatrizen und Frobenius- oder Gaussmatrizen

Dreicksmatrizen enthalten oberhalb oder unterhalb der Diagonale nur 0 als Eintrag. Ist aij = 0, i > j, so liegt einerechte obere (right upper) Dreiecksmatrix R vor. Ist aij = 0, i < j, so liegt eine linke untere (lower left) DreiecksmatrixL vor. Beide Matrizengruppen bilden abgeschlossene Strukturen, Summe und Produkt R = R1 + R2 und ProduktR = R1 ·R2 haben dieselbe Form. Weitere Nullen erzeugen noch speziellere Matrizen.

Hat zusatzlich die Diagonale nur 1 als Eintrag, heißt die Dreiecksmatrix unipotent, hat sie nur 0 als Eintrag nilpotent.

L =

∗ 0 . . . 0∗ ∗ . . . 0...

.... . .

...∗ ∗ . . . ∗

, R =

∗ ∗ . . . ∗0 ∗ . . . ∗...

.... . .

...0 0 . . . ∗

Luni =

1 0 . . . 0∗ 1 . . . 0...

.... . .

...∗ ∗ . . . 1

, Rnil =

0 ∗ . . . ∗0 0 . . . ∗...

.... . .

...0 0 . . . 0

Eine Frobeniusmatrix Fj,l (manchmal auch Gaussmatrix) ist eine unipotente linke untere Dreiecksmatrix mit genaueiner Spalte j. Steht in dieser Spalte genau eine Zahl = 0 in Zeile i, so handelt es sich um eine spezielle FrobenusmatrixFi,j,λ.

Fj,∗ =

1 0 . . . 0 0 . . . 00 1 . . . 0 0 . . . 0...

.... . .

... 0. . . 0

0 . . . 1 0 . . . 0 Zeile j0 . . . ∗ 1 . . . 0...

.... . .

......

. . . 00 0 . . . ∗ 0 . . . 1

Fi,j,λ =

1 0 . . . 0 0 . . . 0 . . . 00 1 . . . 0 0 . . . 0 . . . 0...

.... . .

... 0. . . 0 . . . 0

0 . . . 1 0 . . . 0 . . . 0 Zeile j0 . . . 0 1 . . . 0 . . . 0...

.... . .

......

. . . 0 . . . 00 . . . λ 0 . . . 1 . . . 0 Zeile i...

.... . .

......

. . . 0 . . . 00 0 . . . 0 0 . . . 0 . . . 1

,

Spezielle Frobeniusmatrizen Fi,j,λ bewirken die Addition des λ-fachen der Zeile j zur Zeile i, wenn sie von links miteiner Matrix multipliziert werden. Ihre Inversen sind direkt angebbar: F−1

i,j,λ = Fi,j,−λ

Allgemeine Frobeniusmatrizen Fj,l bewirken die Addition von Vielfachen (jeder Faktor steht an entsprechender Stelleim Vektor l) der Zeile j zu allen Zeilen unterhalb der Diagonalen, wenn sie von links mit einer Matrix multipliziertwerden. Ihre Inversen sind direkt angebbar: F−1

j,l = Fj,−l

Produkte und inverse folgen einfachen Regeln.

12.5. Gaußelimination

Die Gaußelimination ist mit Permutationsmatrizen und Frobeniusmatrizen leicht beschreibbar: Aus Ax = b wird nachder ersten Pivotsuche ein aquivalentes System P1AP1P1x = P1b. Dabei vertauscht P1 zwei Zeilen des Gleichungssy-stems und P1 zwei Variable (also zwei Spalten der Matrix). Die erste Spalte im vertauschten System unterhalb derDiagonalen wird zu 0, wenn man das permutierte Gleichungssystem mit einer geeigneten Frobeniusmatrix multipliziert:F1,lP1AP1P1x = F1,lP1b.

Diese beiden Schritte werden jetzt sukkzessive n− 1-mal wiederholt und fuhren zum aquivalenten Gleichungssystem

Fn−1,lPn−1 . . . F2,lP2F1,lP1AP1P2 . . . Pn−1Pn−1 . . . P2P1x = Fn−1,lPn−1 . . . F2,lP2F1,lP1b

Dir Permutationsmatrizen Pj lassen sich nach rechts bis zur Matrix A ,,durchschieben“, wenn man die jeweils betroffe-nen Frobeniusmatrizen nach folgendem Rezept modifiziert. (Normalerweise darf man Produkte in Matrizengleichungennicht vertauschen!)

PjFj−1,l = Fj−1,l = Fj−1,lPjPj = Fj−1,lPj

12.5. Gaußelimination 11

Dabei ist Fj−1,l = PjFj−1,l das ausmultiplizierte Produkt und keine Frobeniusmatrix mehr. Um wieder eineFrobeniusmatrix zu bekommen, vertauscht man zusatzlich zwei Spalten und behalt eine Permationsmatrix ubrig.Dieser Vorgang geschieht auf der linken und auf der rechten Seite des Gleichungssystems.

Fn−1,lPn−1 . . . PjFj−1,lPj−1 . . . F2,lP2F1,lP1AP1P2 . . . Pn−1Pn−1 . . . P2P1x = . . . b

Fn−1,lPn−1 . . . Fj−1,lPj . . . Pj−1F2,lP2F1,lP1AP1P2 . . . Pn−1Pn−1 . . . P2P1x = . . . b

Es ist klar, daß man dieses ,,Durchschieben“ mit allen Permutationsmatrizen machen kann und so zur einfacherenForm kommt:

Fn−1,l . . . Fj−1,l . . . F2,lF1,lPn−1PjPj−1P2P1AP1P2 . . . Pn−1Pn−1 . . . P2P1x = . . . b

Schließlich werden die Einzelmatrizen zu großeren Einheiten zusammenmultipliziert und neu benannt. Dabei wirdberucksichtigt, dass wie geplant eine rechte obere Dreichsmatrix R ubrigbleibt:

FPAP−1P x = FPb

RPx = FPb

mit

F = Fn−1,l . . . Fj−1,l . . . F2,lF1,l

P = Pn−1PjPj−1P2P1

P = Pn−1 . . . P2P1

P−1 = P1P2 . . . Pn−1

L = F−1 = F1,lF2,l . . . Fj−1,l . . . Fn−1,l

R = FPAP−1

Mit Einfuhrung der neuen Matrizen L und R gilt:

FPAP−1 = R

PAP−1 = F−1R = LR

Deshalb spricht man von der LR-Zerlegung einer Matrix. Die Matrizen L, F , Fj,l und Fj,l sind alles unipotente linkeuntere Dreiecksmatrizen. Die Matrix R ist eine rechte obere Dreiecksmatrix.

Man zerlegt also eine geeignet permutierte Matrix PAP in eine linke untere und eine rechte obere Dreieckematrix LR.

Mit einer Teilpivotsuche werden die Matrizen P zur Einheitsmatrix I.

12.6. Gauß-Jordan-Elimination

Hier verwendet man keine Frobeniusmatrizen, sondern ,,nach oben erweiterte“ naturlich ,,jetzt-nicht-mehr-Frobenius“-Matrizen, um direkt eine Diagonalmatrix zu erzeugen:

Fj,∗ =

1 0 . . . ∗ 0 . . . 00 1 . . . ∗ 0 . . . 0...

.... . .

... 0. . . 0

0 . . . 1 0 . . . 0 Zeile j0 . . . ∗ 1 . . . 0...

.... . .

......

. . . 00 0 . . . ∗ 0 . . . 1

FPAP−1P x = FPb

DP−1x = FPb

12.6. Gauß-Jordan-Elimination 12

mit

F = Fn−1,l . . . Fj−1,l . . . F2,lF1,l

P = Pn−1PjPj−1P2P1

P = Pn−1 . . . P2P1

P−1 = P1P2 . . . Pn−1

G = F−1 = F1,lF2,l . . . Fj−1,l . . . Fn−1,l

D = FPAP−1

Mit Einfuhrung der neuen Matrizen G und R gilt:

FPAP−1 = R

PAP−1 = F−1D = GD

Dieses Verfahren skaliert bei Parallelisierung hervorragend.

12.7. Losen von Gleichungssystemen mit Dreiecks- und Diagonalmatrizen

12.8. Beispiel

Beim praktischen Rechnen speichert man die Matrizen F implizit und R explizit in der Matrix A. Zur Zeitoptimierungwerden Vertauschungen nicht explizit durchgefuhrt, sondern nur die Zeilen- und Spaltenreihenfolge in Indexfelderngespeichert.

4× 4-Matrix und rechte Seite:

11 7 10 10 389 18 12 15 548 17 7 14 4613 8 8 18 47

Matrix nach vollstandiger Gaußelimination:

18 15 12 9 5449

343

83 9 23

718

2568

7417

28568

58168

1718

−168

−7374

1115296

1115296

Matrix wie sie ohne Vertauschungen gespeichert ist:

28568

−718

7417

−2568

9 18 12 151115296

−1718

7374

168

9 −49

83

343

Aus der Matrix mit Vertauschungen ist die Matrix R ablesbar: R =

18 15 12 90 34

383 9

0 0 7417

28568

0 0 0 1115296

Die Matrix G muss mit Matrixprodukten berechnet werden: G =

1 0 0 0−49 1 0 0−718

−2568 1 0

−1718

168

7374 1

Die Permutationsmatrizen werden nicht direkt gespeichert, sondern besser als Reihenfolge der Zeilen und Spalten ingetrennten Feldern abgelegt.

Zeilenreihenfolge: 1 3 0 2

Spaltenreihenfolge: 1 3 2 0

Daraus konnen die Permutationsmatrizen und die permutierte Matrix bestimmt werden: P =

0 1 0 00 0 0 11 0 0 00 0 1 0

, P =

0 0 0 11 0 0 00 0 1 00 1 0 0

PA=

9 18 12 1513 8 8 1811 7 10 108 17 7 14

PAP=

18 15 12 98 18 8 137 10 10 1117 14 7 8

12.8. Beispiel 13

Aus der in A gespeicherten Matrix G kann die Frobeniusmatrix F und die linke untere Dreiecksmatrix L berechnet

werden: G =

1 0 0 0−49 1 0 0−718

−2568 1 0

−1718

168

7374 1

F =

1 0 0 0−49 1 0 0

−23102

−2568 1 0

−521444

−103296

7374 1

L =

1 0 0 049 1 0 0718

2568 1 0

1718

−168

−7374 1

Das Produkt LR ist gleich PAP : L =

1 0 0 049 1 0 0718

2568 1 0

1718

−168

−7374 1

R =

18 15 12 90 34

383 9

0 0 7417

28568

0 0 0 1115296

LR=

18 15 12 98 18 8 137 10 10 1117 14 7 8

13. Vektor- und Matrixnormen

Eine Vektornorm ∥ · ∥ in einem Vektorraum V ist eine Abbildung x→ ∥x∥, V → IR mit den Eigenschaften

(i) x = 0⇒ ∥x∥ > 0; ∥0∥ = 0

(ii) ∥αx∥ = |α| · ∥x∥(iii) ∥x+ y∥ ≤ ∥x∥+ ∥y∥Alle Vektornormen in endlichdimensionalen Raumen, speziell im IRn und Cn sind aquivalent, d.h. fur zwei beliebigeNormen ∥ · ∥a und ∥ · ∥b existieren Konstante M und m mit

m∥x∥a ≤ ∥x∥b ≤M∥x∥a fur alle x ∈ V

Spezialfalle von Vektornormen sind Matrixnormen – die Menge aller linearen Abbildungen zwischen zwei Vektorraumenist ja selbst auch ein Vektorraum. Eine Matrixnorm ∥ · ∥ ist eine Abbildung A→ ∥A∥ mit den Eigenschaften

(i) A = 0⇒ ∥A∥ > 0; ∥0∥ = 0

(ii) ∥αA∥ = |α| · ∥A∥(iii) ∥A+B∥ ≤ ∥A∥+ ∥B∥Da Matrizen fast nie alleine, sondern immer im Zusammenhang mit Vektoren vorkommen, spielen bei Matrixnormenzwei zusatzliche Eigenschaften eine Rolle:

(iv) Eine Matrixnorm ∥A∥ ist submultiplikativ :⇔ ∥AB∥ ≤ ∥A∥ ∥B∥(v) Eine Vektornorm ∥x∥ und eine Matrixnorm ∥A∥ sind vertraglich :⇔ ∥Ax∥ ≤ ∥A∥ ∥x∥In der Numerik verwendet man verschiedene Vektornormen und zu ihnen vertragliche, submultiplikative Matrixnormen.

Zu einer vorgegebenen Vektornorm ∥x∥ ist die Grenznorm lub(A), auch induzierte Norm genannt, fur Matrizen oftbesonders gunstig. Diese sog. Grenznorm ist definiert durch

lub(A) = maxx=0

∥Ax∥∥x∥

= max∥x∥=1

∥Ax∥

Die Grenznorm ist submultiplikativ und mit der vorgegebenen Vektornorm ∥ · ∥ vertraglich. Sie ist die kleinste allermit ∥ · ∥ vertraglichen Normen und kann als großte Abbildungsdehnung von A interpretiert werden. lub(I) = 1.

Beispiele fur Vektornormen:Vektornorm Name Vertr. Matrixn. Grenznorm

∥x∥p := p√∑n

i=1 |xi|p, 1 ≤ p <∞ Holdern. (lp-N.)p = 1: ∥x∥1 :=

∑ni=1 |xi| Summennorm lub1(A) := max1≤j≤n

∑ni=1 |ai,j |

p = 2: ∥x∥2 :=√∑n

i=1 |xi|2 Euklidische Norm Frobenius-N. lub2(A) :=√ϱ(AHA)

p =∞: ∥x∥∞ := max1≤i≤n |xi| Maximumnorm lub∞(A) := max1≤i≤n

∑nj=1 |ai,j |

Beispiele fur Matrixnormen:Matrixnorm Name Submultiplikativ Vertraglich ∥I∥∥A∥p := p

√∑ni,j=1 |ai,j |p, 1 ≤ p <∞ Holdernormen

p = 1: ∥A∥1 :=∑n

i,j=1 |ai,j | n

p = 2: ∥A∥2 :=√∑n

i,j=1 |ai,j |2 =√

Spur(AHA) Frobeniusnorm ja zu ∥ · ∥2√n

(Schurnorm)(Erhard-Schmidt-N.)

p =∞: ∥A∥∞ := max1≤i,j≤n |ai,j | Maximumnorm nein 1lub1(A) := max1≤j≤n

∑ni=1 |ai,j | Spaltensummennorm ja zu ∥ · ∥1 1

lub2(A) :=√ϱ(AHA) Spektralnorm ja zu ∥ · ∥2 1

lub∞(A) := max1≤i≤n

∑nj=1 |ai,j | Zeilensummennorm ja zu ∥ · ∥∞ 1

13. Vektor- und Matrixnormen 14

∥A∥2, lub1(A) und lub∞(A) konnen problemlos berechnet werden.

Die in Anwendungen wichtige Spektralnorm lub2(A) :=√

ϱ(AHA) ist definiert durch den Spektralradius ϱ(AHA) derMatrix AHA, das ist der betragsgroßte Eigenwert der Matrix AHA, also

ϱ(AHA) = max1≤i≤n

|λi|, AHAxi = λixi

Ihre Berechnung benotigt einen iterativen Prozess. In der Praxis verwendet man oft folgende Abschatzungen:

lub2(A) ≤√lub1(A) lub∞(A)

1√nlub1(A) ≤ lub2(A) ≤

√n lub1(A)

1√nlub∞(A) ≤ lub2(A) ≤

√n lub∞(A)

lub2(A) ≤ ∥A∥2 ≤√n lub2(A)

Wenn klar ist, welche Norm gemeint ist oder wenn eine Ergebnis fur alle Normen gilt, wird die Norm nicht weitergekennzeichnet.

14. Fehlerabsch�atzungen; Die Kondition einer Matrix

Normen konnen benutzt werden, um Storungen von Vektoren und Matrizen durch Meß- oder Rundungsfehler zuerfassen. Falls x eine numerische Approximation des Vektors x ist, bezeichnet man

εa := ∥x− x∥ = ∥∆x∥

als absoluten Fehler und

εr :=∥x− x∥∥x∥

=∥∆x∥∥x∥

als relativen Fehler.

Sei x die Losung des Gleichungssystems Ax = b.

Falls b durch ∆b gestort ist, so wird auch die Losung x gestort und es gilt A(x+∆x) = b+∆b und es folgt

∥∆x∥∥x∥

≤ ∥A∥ · ∥A−1∥∥∆b∥∥b∥

= cond(A)∥∆b∥∥b∥

Falls A durch ∆A gestort ist, wird auch die Losung x gestort und es gilt (A+∆A)(x+∆x) = b und es folgt

∥∆x∥∥x∥

≤ cond(A)

1− cond(A)∥∆A∥∥A∥

∥∆A∥∥A∥

=S

1− Smit S = cond(A)

∥∆A∥∥A∥

Weil sie in allen Fehlerrechnungen auftaucht, wird die wichtige Zahl

cond(A) = ∥A∥ · ∥A−1∥

die Kondition einer Matrix genannt. Ihr Große ist ein Maß fur die Verstarkung von Fehlern. Matrizen mit schlechterKondition, d.h. großer Kondition haben numerisch ein sehr ungunstiges Verhalten.

Beispiel: Hilbertmatrizen H = (hi,j), hi,j = 1i+j−1 haben bekannt ungunstige Kondition und dienen daher oft als

Testmatrizen. Die folgenden Konditionszahlen wurden mit der Spektralnorm berechnet:i Hi cond(Hi)1 H1 = [ 1 ] 1

2 H2 =

[1 1

212

13

]3.71772006393171 · 102

3 H3 =

1 12

13

12

13

14

13

14

15

2.74635499069269 · 105

4 H4 2.40676089354978 · 1085 H5 2.27154153585063 · 10116 H6 2.23443199203816 · 10147 H7 3.17134366929904 · 1017

14. Fehlerabschatzungen; Die Kondition einer Matrix 15

Will man ein Gleichungssystem losen, das aus einer 5×5-Hilbertmatrix mit der Kondition 2 ·1011 besteht, und rechnetman mit 16-stelliger Genauigkeit, so wird der relative Fehler im Bereich cond(A) · 10−16 ≈ 10−5 liegen. Mehr als5 Stellen des Ergebnisses sollte man also nicht glauben. Ist die rechte Seite wegen Meßfehlern nur mit etwa dreiDezimalstellen Genauigkeit erfaßt, so besteht die Losung nur noch aus Rechnerphantasien (cond(A) · 10−3 ≈ 1013)!

Selbstverstandlich ist es numerisch ungunstig, wenn beim Losen eines Gleichungssystems aus einer Matrix mit guterd.h. kleiner Kondition eine Matrix mit schlechterer Kondition wird. Bei der Gaußelimination ohne Pivotsuche wirdstatt des Originalsystems Ax = b nach der LR-Zerlegung A = LR das Ersatzsystem LRx = b in zwei SchrittenLu = b,Rx = u gelost. Das auflosbare System Rx = u sollte nicht wesentlich schlechtere Kondition haben, wie dasOriginalsystem. Da cond(R) = ∥R∥ · ∥R−1∥ = ∥L−1A∥ · ∥A−1L∥ ≤ ∥L−1∥ · ∥A∥ · ∥A−1∥ · ∥L∥ = cond(A) cond(L)wird die Konditionsverschlechterung durch cond(L) bestimmt. Es gilt fur die Frobeniusmatrizen mit |li,j | ≤ 1 und dieMaximumnorm cond(L) ≤ 4. Die Konditionsverschlechterung halt sich also in (oft) ertraglichen Grenzen.

Hier wird jedoch der Grund fur die Suche nach besseren Verfahren deutlich, bei denen die Konditionsverschlechterungkleiner bleibt. Da fur die Spektralnorm und unitare Matrizen U (mit UHU = I) die Kondition cond(U) = 1ist, sind unitare Matrizen geeignete Kandidaten fur solche Verbesserungen. Spezielle unitare Matrizen sind dieHouseholdermatrizen, die im nachsten Kapitel besprochen werden.

15. Die Householdertransformation

Statt Permutations- und Frobeniusmatrizen konnen beliebige regulare Matrizen P zur Transformation eines Glei-chungssystems Ax = b in rechte obere Dreiecksgestalt Rx = c dienen.

A0, b0 → A1 = P1A0, b1 = P1b0 → . . .→ Ai = PiAi−1, bi = Pibi−1 . . .

Gesucht sind Tranformationsmatrizen mit lub(PA) = lub(A). Dazu bieten sich unitare Matrizen (PHP = I) an, furdie mit der Spektralnorm gilt lub(P ) = 1, also

lub(A) = lub(PHPA) ≤ lub(PH) lub(PA) = lub(PA) ≤ lub(P ) lub(A) = lub(A)

Nach Householder wahlt man spezielle Matrizen der Form P = I − 2wwH mit wHw = 1, w ∈ Cn. Fur den reellenFall konnen Transformationen mit diesen Matrizen als Spiegelung an einer Achse durch den Ursprung senkrecht zumVektor w interpretiert werden.

16. Weitere Probleme der elementaren linearen Algebra

16.1. Lineare Gleichungssysteme mit mehreren rechten Seiten

Die Matrix kann mit mehreren rechten Seiten erweitert werden. Dann kann die Losung simultan berechnet werden.

16.2. Berechnung der inversen Matrix

Die Matrix wird mit einer Einheitsmatrix erweitert. Nach Durchfuhrung einer Gausselimination (A = LR) oderHouseholdertransformation (A = QR) liegt rechts dann die Inverse vor.

Verfugt man uber eine schnelle Matrixmultiplikation, dann kann die Inverse auch iterativ berechnet werden.

Die Matrix-Iteration

X0 = αAT , α ∈ (0,2

λmax(AAT ))

16.2. Berechnung der inversen Matrix 16

Xn+1 = Xn(2I −AXn)

konvergiert gegen die Inverse A−1 = limn→∞

Xn. Statt des großten Eigenwertes von AAT kann

R = max

n∑j=1

(AAT )ij ≥ λmax(AAT )

und α = 2R verwendet werden.

Die Konvergenz ist quadratisch und damit schnell, wenn der Startwert gut ist. Gute Startwerte, also deutlich bessereals der vorgeschlagene, sind also unverzichtbar.

16.3. Berechnung der Determinante einer Matrix

16.4. Uber- und unterbestimmte Gleichungssysteme; singulare Matrizen

16.5. Ausgleichsrechnung

16.6. Nichtlineare Gleichungssysteme; das Newtonverfahren 17

16.6. Nichtlineare Gleichungssysteme; das Newtonverfahren

17. Die Simplexmethode

18. Eigenwerte und Eigenvektoren

18.1. Problem

In Mathematik und Physik tritt haufig das Problem auf, zu einer gegebenen quadratischen Matrix A einen Vektorx = 0 und eine Zahl λ zu bestimmen, so daß die Gleichung Ax = λx erfullt ist.

Ax = λx⇔ Ax = λIx⇔ (A− λI)x = 0⇔ det(A− λI) = 0

Ein solches λ heißt Eigenwert der Matrix A, der zugehorige Vektor x heißt Eigenvektor zum Eigenwert λ.

Ist x Eigenvektor zum Eigenwert λ, so ist fur irgendein α = 0 auch αx Eigenvektor zum Eigenwert λ. Sind x1 undx2 Eigenvektoren zum Eigenwert λ, so ist x1 + x2 Eigenvektor zum Eigenwert λ. Die Eigenvektoren zum Eigenwert λbilden also einen Vektorraum, in dem sich eine Basis bestimmen laßt.

Anwendungen der Physik sind Hauptachsentransformationen zur Bestimmung von Tragheitsmomenten oder die Be-stimmung der moglichen Meßwerte als Eigenwerte der zugehorigen Operatoren in der Quantenmechanik. Anwendungender Mathematik sind die Bestimmung des Kegelschnitts aus der allgemeinen Kegelschnittgleichung Ax2+Bxy+Cy2+Dx+Ey+F = 0 und die Vereinfachung der Quadrikgleichung Ax2+By2+Cz2+Dxy+Exz+Fxz+Gx+Hy+Iz+J = 0.

Eigenwerte lassen sich gut veranschaulichen, wenn die Matrix A als lineare Abbildung eines Vektorraumes in sichselbst bezuglich einer fest gewahlten Basis interpretiert wird. Die Eigenvektoren sind dann genau die Vektoren, diedurch die Abbildung nur verlangert werden. Die Eigenwerte sind die Verlangerungsfaktoren.

Drehungen in der Ebene um einen Punkt mit der Abbildungsmatrix

[cos(φ) − sin(φ)sin(φ) cos(φ)

]haben keine Eigenwerte (oder

jedenfalls nur komplexe); also wird durch eine Drehung auch kein Vektor der Ebene verlangert. Drehungen im Raumum eine Gerade haben jeden Vektor der Drehachse (eindimensionaler Unterraum) als Eigenvektor zum Eigenwert 1;Vektoren auf der Drehachse bleiben also einfach liegen. In diesem speziellen Fall sind Vektoren auf der Drehachsealso sogar Fixpunkte der Abbildung. Eigenvektoren sind also auch eine Verallgemeinerung von Fixpunkten einerAbbildung.

18.2. Rechenregeln

Falls p(x) = γ0 + γ1x + γ2x2 + . . . + γm−1x

m−1 + γmxm ein beliebiges Polynom ist, so besitzt die Matrix p(A) =γ0I + γ1A+ γ2A

2 + . . .+ γm−1Am−1 + γmAm den Eigenvektor x zum Eigenwert p(λ).

Insbesondere hat die Matrix αA den Eigenwert αλ und die Matrix A+ τI den Eigenwert λ+ τ . Die letzte Eigenschaftist fur die Shifttechniken wichtig. Fur inverse Matrizen gilt die Aussage (und ihre Polynom-Verallgemeinerung): Istλ = 0, dann hat A−1 den Eigenwert λ−1.

Es gilt: det(A− λI) = det((A− λI)T ) = det(AT − λI) also ist λ Eigenwert von AT .

Es gilt: det(A− λI) = det((A− λI)T ) = det((A− λI)H) = det(AH − λI) also ist λ Eigenwert von AH .

18.3. Ahnlichkeitstransformationen

Ist T eine nichtsingulare Matrix mit der Inversen T−1 so kann die Eigenwertgleichung umgeformt werden in

Ax = λx⇔ T−1ATT−1x = λT−1x⇔ T−1ATy = λy,mit y = T−1x

Also ist jeder Eigenwert λ zum Eigenvektor x der Matrix A auch Eigenwert zum Eigenvektor y = T−1x der MatrixT−1AT . Eine Transformation A → A′ = T−1AT heißt Ahnlichkeitstransformation. Ahnlichkeitstransformationenandern die Eigenwerte einer Matrix nicht. Die Eigenvektoren werden linear transformiert.

Ahnlichkeitstransformationen sind Aquivalenzrelationen. Zwei Matrizen A und A′ heißen ahnlich, wenn es einenichsingulare Matrix T gibt, die A ahnlich in A′ transformiert.

Ahnlichkeitstransformationen werden zum Berechnen der Eigenwerte und Eigenvektoren verwendet. Kann eine MatrixA mit einer oder mehreren Ahnlichkeitstransformationen in eine einfachere Matrix A′ transformiert werden, in derdie Eigenwerte ablesbar oder einfacher berechenbar sind, so sind damit auch die Eigenwerte von A bekannt. Die

18.3. Ahnlichkeitstransformationen 18

Eigenvektoren von A′ konnen dann ebenfalls berechnet werden und mit der oder den Ahnlichkeitstransformationenrucktransformiert werden.

A =: A0

x := x0 = T1x1

→←

A1 := T−11 A0T1

x1 = T2x2

→←

. . .

. . .→←

Ai := T−1i Ai−1Ti

xi := Ti+1xi+1

→←

. . .

. . .→←

A′ := An := T−1n An−1Tn

xn := x→←

λ, x := xn

↓

Meistens erfolgt die Berechnung in zwei Schritten: Zunachst wird die Matrix mit endlich vielen Ahnlichkeitstrans-formationen in eine einfachere Gestalt (Hessenberggestalt, Tridiagonalgestalt) gebracht. Dann werden die Eigenwertedurch unendlich viele Ahnlichkeitstransformationen iterativ berechnet. Nach Erreichen einer vorgegebenen Genauig-keit wird die Iteration abgebrochen. Nach Berechnung der Eigenvektoren der transformierten Matrix werden diesemit denselben zwei Schritten rucktransformiert.

18.4. Charakteristisches Polynom und Frobeniussche Normalform

Das Eigenwertproblem laßt sich umformen in Ax = λx ⇔ Ax = λIx ⇔ (A − λI)x = 0 ⇔ det(A − λI) =0 ⇔ φ(λ) = 0. Die letzte Gleichung vereinfacht sich auf der linken Seite immer zu einem Polynom φ(λ) =det(A− λI) = (−1)n(λn +αn−1λ

n−1 +αn−2λn−2 + . . .+α2λ

2 +α1λ1 +α0λ

0) = (−1)n(λ− λ1)(λ− λ2) . . . (λ− λn) =(−1)n(λ−λ1)

σ1(λ−λ2)σ2 . . . (λ−λk)

σk , dem charakteristischen Polynom der Matrix A. Dieses Polynom hat genau nkomplexe Nullstellen λi, die gleichzeitig die Eigenwerte der Matrix sind. Rechnet man nur die wirklich verschiedenenNullstellen λi des charakteristischen Polynoms, so erhalt man eventuell nur k ≤ n Nullstellen mit den sog. algebraischenVielfachheiten σi = σi(λi). Ist man nur an den reellen Eigenwerten interessiert, so mussen diese heraussortiert werdenEine Matrix hat im allgemeinen weniger als n reelle Eigenwerte. Hat eine Matrix nur reelle Komponenten ai,j sohat das charakteristische Polynom nur reelle Koeffizienten αi und entweder reelle oder paarweise konjugiert komplexeNullstellen. Dasselbe gilt dann fur die Eigenwerte.

Die Koeffizienten des charakteristischen Polynoms konnen in endlich vielen Schritten berechnet werden. Sie sindBestandteil der sog. Frobeniussche Normalform der Matrix. Sie ist der Matrix ahnlich, geht also durch eine Ahnlich-keitstransformation aus der Matrix hervor. Diese Ahnlichkeitstransformation kann ebenfalls in endlich vielen Schrittenberechnet werden. Sie wird hier nur der Vollstandigkeit halber erwahnt und hat kaum numerische Bedeutung. Auchdie Berechnung des charakteristischen Polynoms ist numerisch kaum von Interesse. Speziell die Eigenwerte einer Ma-trix sollten nie uber die Nullstellen des charakteristischen Polynoms berechnet werden, da sich die Rundungsfehlerbose aufschaukeln konnen. Einzige Ausnahme von dieser Faustregel bilden quadratische 2 × 2-Matrizen mit einemquadratischen charakteristischen Polynom.

18.5. Algebraische und geometrische Vielfachheiten

Wie eben erwahnt, hat eine Matrix genau n eventuell ubereinstimmende Eigenwerte λi. Stimmen mehrere dieserEigenwerte uberein, so heißt der mehrfach vorkommende Eigenwert mehrfacher Eigenwert λiund die Zahl, wie oft erauftritt, seine algebraische Vielfachheit σi = σi(λi).

Zu jedem Eigenwert λi gehoren Eigenvektoren xi, die einen Unterraum L(λi) ⊆ Cn bilden, die Losungsmenge deshomogenen Gleichungssystems (A−λiI)xi = 0 mit der singularen Matrix A−λiI. Dieser Unterraum hat die Dimensionρi(λi) ≥ 1, d.h. man findet mindestens einen (sonst ware λi kein Eigenwert), aber moglicherweise mehrere (ρi) linearunabhangige Eigenvektoren. Meistens berechnet man ein Orthonormalsystem von ρi Eigenvektoren, wenn man in Leine Basis einzieht. Die Dimension ρi des Losungsraumes L heißt geometrische Vielfachheit des Eigenwertes λ.Es gilt: 1 ≤ ρi(λi) ≤ σi(λi) ≤ n. Alle Gleichheitszeichen konnen auftreten, wie spezielle Beispiele zeigen.

A = µI;φ(λ) = det(A− λI) = (µ− λ)n = 0;λ = µ;σ(λ) = ρ(λ) = n

A =

µ 1 0 . . . 0 00 µ 1 . . . 0 00 0 µ . . . 0 0...

..

....

. . ....

..

.0 0 0 . . . µ 10 0 0 . . . µ

;φ(λ) = det(A− λI) = (µ− λ)n = 0;λ = µ;σ(λ) = n; ρ(λ) = 1

18.5. Algebraische und geometrische Vielfachheiten 19

Die letzte Matrix hat auch theoretische Bedeutung und heißt Jordan-Kastchen. Eine Matrix, die wenigstens einenEigenwert λi hat, bei dem ρi(λi) < σi(λi) ist heißt defekte Matrix; der den Defekt verursachende Eigenwert heißt de-fekter Eigenwert. Bei einer nichtdefekten Matrix A kann man im Cn stets eine Basis finden, die nur aus Eigenvektorenvon A besteht. Bei einer defekten Matrix ist das nicht mehr moglich, da bei einigen Eigenwerten zu wenige Eigenvek-toren existieren. Defekte Matrizen in den Anwendungen sind eher selten; falls sie Ihnen begegnen, sei erwahnt, daßman die fehlenden Eigenvektoren durch sog. Hauptvektoren ersetzen muß. (siehe auch Jordansche Normalform)

18.6. Schursche Normalform

Jede Matrix A laßt sich ahnlich in eine obere Dreiecksmatrix transformieren, die in der Diagonalen die (nicht notwendigverschiedenen) im allgemeinen komplexen Eigenwerte der Matrix enthalt. Die Transformationsmatrix T ist eine unitareMatrix. Die entstehende obere Dreiecksmatrix heißt Schursche Normalform der Matrix. Sie oder eine numerischeApproximation wird oft zur Gewinnung der Eigenwerte berechnet. Das sagt ein Satz von Schur aus:

Fur jede n× n-Matrix A existiert eine unitare n× n-Matrix U , d.h. eine Matrix U mit UHU = I, so daß

U−1AU = UHAU =

λ1 ⋆ ⋆ . . . ⋆0 λ2 ⋆ . . . ⋆0 0 λ3 . . . ⋆...

..

....

. . ....

0 0 0 . . . λn

Da die Eigenwerte auch bei reellen Matrizen konjugiert komplex sein konnen, ist die Schursche Normalform im allge-meinen nur mit komplexen unitaren Transformationsmatrizen U zu erreichen. Das macht auch bei der numerischenAuswertung der Eigenwerte reeller Matrizen Probleme: Entweder wird die gesamte Rechnung komplex durchgefuhrt– sie muß dann Operationen enthalten, die auch nichtreelle Zahlen produzieren; Shifttechniken mit komplexen Zahlensind dazu geeignet – oder die Rechnung bleibt reell, dann gibt es leider spezielle Organisations- und Konvergenzpro-bleme.

18.7. Jordansche Normalform und Hauptvektoren

Verzichtet man auf die Eigenschaft, daß die Transformationsmatrix T unitar sein soll, so lassen sich noch mehr Nullenerzeugen. (Logisch: Je allgemeiner die Transformationsmatrix T , umso spezieller kann die entstehende TransformierteT−1AT sein!) Jede Matrix A laßt sich mit einer regularen Transformationsmatrix T in die Jordansche Normalformahnlich transformieren. Auch die Jordansche Normalform enthalt in der Diagonalen die Eigenwerte der Matrix,oberhalb der Diagonalen nur Nullen oder Einsen und sonst nur Nullen. Sie kann in die sog. Jordan-Kastchen gegliedertwerden.

18.8. Fehlerabschatzung

Fuhrt man zur Berechnung von Eigenwerten λ der Matrix A eine Ahnlichkeitstransformation B = T−1AT durch undbetrachtet man die Matrix A durch Fehler ∆A gestort, so gilt: B +∆B = T−1(A+∆A)T,∆B = T−1(∆A)T,∆A =T (∆B)T−1. Fur alle Vektornormen ∥ · ∥ und die zugehorige Grenzennorm lub(·) gilt also lub(B) ≤ cond(T ) lub(A)und lub(∆A) ≤ cond(T ) lub(∆B). Es folgt

lub(∆A)

lub(A)≤ (cond(T ))2

lub(∆B)

lub(B)

Der Fehler wachst also bei der Ahnlichkeitstransformation mit (cond(T ))2 an. Um ein grenzenloses Anwachsen derRundungsfehler zu vermeiden, sollte cond(T ) also moglichst 1 oder wenigstens begrenzt sein. Fur die euklidischeNorm und Householdermatrizen T gilt cond(T ) = 1; sie sind als gut geeignet zu betrachten. Fur die Maximumnormund Frobeniussche Eliminationsmatrizen ist cond(T ) ≤ 4; die Konditionsverschlechterung halt sich wenigstens in

18.8. Fehlerabschatzung 20

abschatzbaren Grenzen; der Wert 4 wird in der Praxis glucklicherweise nicht oft erreicht (Ware das der Fall, gabe esbei jeder Einzeltransformation eine Konditionsverschlechterung um den Faktor 42 = 16!). Beide Falle werden meistensnoch als gutartig betrachtet.

19. Hessenbergmatrizen

Eine obere Hessenbergmatrix ist eine Matrix, die im unteren linken Dreieck bis (ausschließlich) zur Subdiagonalen

nur Nullen enthalt. Diese spezielle Form ist wichtig, weil sie leicht (in endlich vielen Ahnlichkeitstransformationen) zujeder Matrix zu berechnen ist, und weil in dieser Form die Eigenwertiterationen sehr viel schneller durchfuhrbar sind,als in einer vollen Matrix.

H =

⋆ ⋆ ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆⋆ ⋆ ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆0 ⋆ ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆0 0 ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆...

.

.....

. . .. . .

.

.....

.

.....

0 0 0 0. . . ⋆ ⋆ ⋆ ⋆

0 0 0 0 . . . ⋆ ⋆ ⋆ ⋆0 0 0 0 . . . 0 ⋆ ⋆ ⋆0 0 0 0 . . . 0 0 ⋆ ⋆

⇐⇒ hi,k = 0 fur k ≤ i− 2

19.1. Reduktion auf Hessenberggestalt mit dem EliminationsverfahrenMit einer Abwandlung des Gaußschen Eliminationsverfahrens kann eine Matrix A in n−2 Schritten auf Hessenbergge-stalt transformiert werden. Die Matrix A =: A0 wird dazu mit n−2 Frobeniusmatrizen Gi und PermutationsmatrizenPi = Pi,j ahnlich transformiert – A =: A0 → A1 := G−1

1 P−11 A0P1G1 → A2 := G−1

2 P−12 A1P2G2 → . . . → Ai−1 →

Ai := G−1i P−1

i Ai−1PiGi → . . . → An−2 = H – bis sie Hessenberggestalt H erreicht hat. Es genugt, den Schritt i zubeschreiben. Wenn die Matrix Ai−1 bereits Hessenberggestalt in den Spalten 1 . . . i − 1 besitzt, laßt sie sich in neunTeile partitionieren:

Ai−1 =

⋆ ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆⋆ ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆0 ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆...

..

.. . .

. . ....

..

....

..

....

. . ....

0 0 0. . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆

0 0 0 . . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆0 0 0 . . . 0 ⋆ ⋆ ⋆ ⋆ . . . ⋆0 0 0 . . . 0 0 ⋆ ⋆ ⋆ . . . ⋆0 0 0 . . . 0 0 0 ⋆ ⋆ . . . ⋆...

..

.. . .

. . ....

..

....

..

....

. . ....

0 0 0 . . . 0 0 0 ⋆ ⋆ . . . ⋆

=

H d C

cT α bT

0 a B

Dabei ist H eine (i− 1)× (i− 1)-Hessenbergmatrix; cT = [ 0 0 . . . 0 γ ] das Vielfache eines Einheitsvektors imIRi−1; B und C sind i.a. vollbesetzte Matrizen; a ∈ IRn−i, b und d sind i.a. vollbesetzte Vektoren.

Falls zufallig a = 0 oder a = ke1 = [ k 0 . . . 0 ]T, so ist im Schritt i nichts zu tun; die Matrix hat in Spalte i

bereits Hessenberggestalt. Achtung: Im Gegensatz zum Eliminationsverfahren zum Losen von Gleichungssystemenendet das Verfahren hier nicht mit der Fehlermeldung singulare Matrix. Im Gegenteil: Dieser Fall ist hier besondersangenehm, da entweder in einem Schritt nichts zu tun ist (a = ke1) oder sogar zusatzlich die Eigenwertberechnung

deutlich vereinfacht wird (a = 0), weil die Eigenwerte von

[H dcT α

]und B getrennt bestimmt werden konnen. Dieser

Fall wird spater behandelt.

Falls a linear unabhangig von e1 ist, gibt es wie beim Gaußschen Eliminationsverfahren eine (n − i) × (n − i)-Permutationsmatrix Pi = Pi,j und eine (n − i) × (n − i)-Frobeniusmatrix Gi, die den Vektor a in die Form a →G−1

i P−1i a = ke1 ∈ IRn−i bringen. Beide Matrizen werden mit Hilfe derselben Partitionierung wie bei Ai−1 zu vollen,

regularen n× n-Matrizen erganzt:

Pi → Pi =

I 0 00 1 0

0 0 Pi

Gi → Gi =

I 0 00 1 0

0 0 G−1i

Jetzt wird die Matrix Ai−1 ahnlich mit Pi und Gi in die Matrix Ai transformiert. Dabei entsteht auch in Spalte i eineHessenbergspalte (in der Rechnung ist jeweils das nachste berechnete Matrizenprodukt mit · markiert).

Ai−1 =

H d CcT α bT

0 a B

→ Ai = G−1i P−1

i Ai−1PiGi =

19.1. Reduktion auf Hessenberggestalt mit dem Eliminationsverfahren 21

=

I 0 00 1 0

0 0 G−1i

I 0 00 1 0

0 0 Pi

·H d CcT α bT

0 a B

I 0 00 1 0

0 0 Pi

I 0 00 1 0

0 0 Gi

=

=

I 0 00 1 0

0 0 G−1i

H d CcT α bT

0 Pia PiB

· I 0 00 1 0

0 0 Pi

I 0 00 1 0

0 0 Gi

=

=

I 0 00 1 0

0 0 G−1i

·H d CPi

cT α bT Pi

0 Pia PiBPi

I 0 00 1 0

0 0 Gi

=

=

H d CPi

cT α bT Pi

0 G−1i Pia G−1

i PiBPi

· I 0 00 1 0

0 0 Gi

=

H d CPiGi

cT α bT PiGi

0 G−1i Pia G−1

i PiBPiGi

=

H d CPiGi

cT α bT PiGi

0 ke1 G−1i PiBPiGi

Wunschgemaß erscheint statt a der Vektor ke1 ∈ IRn−i in der Spalte i, d.h. auch in Spalte i sind alle Elementeunterhalb der Subdiagonalen Null; die bereits fertige Hessenbergmatrix H wird nicht zerstort und bei den von denTransformationen ansonsten betroffenen Gebieten der Matrix spielen die Anderungen keine Rolle.

Bei der Transformation mit der Permutationsmatrix Pi wurden erst die Zeilen i und j > i und anschließend dieselbenSpalten i und j von Ai−1 getauscht. Es wurde Gebrauch von der Regel P−1

i = Pi gemacht, die fur alle Permutations-matrizen gilt.

Bei der Transformation mit der Frobeniusmatrix Gi wurden erst Vielfache der i+1-ten Zeile zu den folgenden addiert,um in der Spalte i unterhalb der Subdiagonale Nullen zu erzeugen. Anschließend wurden dieselben Vielfachen deri+ 1-ten Spalte von den folgenden Spalten subtrahiert (einmal G−1

i von links, einmal Gi von rechts!).

19.2. Reduktion auf Hessenberggestalt mit dem HouseholderverfahrenWie mit dem Gaußschen Eliminationsverfahrens kann eine Matrix A auch nach Householder in n − 2 Schritten aufHessenberggestalt transformiert werden. Die Matrix A =: A0 wird dazu mit n − 2 Householdermatrizen Pi ahnlichtransformiert – A =: A0 → A1 := P−1

1 A0P1 → A2 := P−12 A1P2 → . . . → Ai−1 → Ai := P−1

i Ai−1Pi → . . . →An−2 = H – bis sie Hessenberggestalt H erreicht hat. Householdermatrizen sind unitar und haben die spezielle

Gestalt Pi = P−1i = I − 2wwH . Dabei wird w so gewahlt, daß Pia = ke1 = [ k0 . . . 0 ]

Tfur einen vorgegebenen Vektor

a. Es genugt, den Schritt i zu beschreiben. Wenn die Matrix Ai−1 bereits Hessenberggestalt in den Spalten 1 . . . i− 1besitzt, laßt sie sich in neun Teile partitionieren:

Ai−1 =

⋆ ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆⋆ ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆0 ⋆ ⋆ . . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆...

.

... . .

. . ....

.

.....

.

.....

. . ....

0 0 0. . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆

0 0 0 . . . ⋆ ⋆ ⋆ ⋆ ⋆ . . . ⋆0 0 0 . . . 0 ⋆ ⋆ ⋆ ⋆ . . . ⋆

0 0 0 . . . 0 0 ⋆ ⋆ ⋆ . . . ⋆0 0 0 . . . 0 0 0 ⋆ ⋆ . . . ⋆...

.

... . .

. . ....

.

.....

.

.....

. . ....

0 0 0 . . . 0 0 0 ⋆ ⋆ . . . ⋆

=

H d C

cT α bT

0 a B

Dabei ist H eine (i− 1)× (i− 1)-Hessenbergmatrix; cT = [ 0 0 . . . 0 γ ] das Vielfache eines Einheitsvektors imIRi−1; B und C sind i.a. vollbesetzte Matrizen; a ∈ IRn−i, b und d sind i.a. vollbesetzte Vektoren.

Falls zufallig a = 0 oder a = ke1 = [ k 0 . . . 0 ]T, so ist im Schritt i nichts zu tun; die Matrix hat in Spalte i

bereits Hessenberggestalt. Achtung: Im Gegensatz zum Householderverfahren zum Losen von Gleichungssystemenendet das Verfahren hier nicht mit der Fehlermeldung singulare Matrix. Im Gegenteil: Dieser Fall ist hier besondersangenehm, da entweder in einem Schritt nichts zu tun ist (a = ke1) oder sogar zusatzlich die Eigenwertberechnung

deutlich vereinfacht wird (a = 0), weil die Eigenwerte von

[H dcT α

]und B getrennt bestimmt werden konnen. Dieser

Fall wird spater behandelt.

Falls a linear unabhangig von e1 ist, gibt es wie beim Householderverfahren zur Losung von Gleichungssystemen eine(n − i) × (n − i)-Householdermatrix Pi, die den Vektor a in die Form a → P−1

i a = ke1 ∈ IRn−i bringt. Sie wird mitHilfe derselben Partitionierung wie bei Ai−1 zu einer vollen, unitaren n× n-Matrizen erganzt:

Pi → Pi =

I 0 00 1 0

0 0 Pi

19.2. Reduktion auf Hessenberggestalt mit dem Householderverfahren 22

Jetzt wird die Matrix Ai−1 ahnlich mit Pi in die Matrix Ai transformiert. Dabei entsteht auch in Spalte i eineHessenbergspalte (in der Rechnung ist jeweils das nachste berechnete Matrizenprodukt mit · markiert).

Ai−1 =

H d CcT α bT

0 a B

→ Ai = P−1i Ai−1Pi =

I 0 00 1 0

0 0 Pi

·H d CcT α bT

0 a B

I 0 00 1 0

0 0 Pi

=

=

H d CcT α bT

0 Pia PiB

· I 0 00 1 0

0 0 Pi

=

H d CPi

cT α bT Pi

0 Pia PiBPi

=

H d CPi

cT α bT Pi

0 ke1 PiBPi

Wunschgemaß erscheint statt a der Vektor ke1 ∈ IRn−i in der Spalte i, d.h. auch in Spalte i sind alle Elementeunterhalb der Subdiagonalen Null; die bereits fertige Hessenbergmatrix H wird nicht zerstort und bei den von denTransformationen ansonsten betroffenen Gebieten der Matrix spielen die Anderungen keine Rolle.

Bei der Transformation wurden die letzten i+ 1 Zeilen und anschließend die letzten i+ 1 Spalten transformiert.

20. Numerische Eigenwertberechnungen

In diesem Abschnitt wird gezeigt, wie die Eigenwerte numerisch berechnet werden konnen.

20.1. Eigenwertiterationen mit dem LR-Verfahren von Rutishauser

Die Grundidee des Verfahrens von Rutishauser ist sehr einfach: Meistens (manchmal) gibt es zu einer beliebigvorgegebenen n×n-Matrix A eine direkte LR-Zerlegung ohne Pivotsuche A = LR in eine linke untere Dreiecksmatrix

L =

1 0 . . . 0⋆ 1 . . . 0...

.... . .

...⋆ ⋆ . . . 1

und eine rechte obere Dreiecksmatrix R =

⋆ ⋆ . . . ⋆0 ⋆ . . . ⋆...

.... . .

...0 0 . . . ⋆

. Die Matrix L hat in der Diagonalen

nur die Werte 1, eine Eigenschaft, die hier fur alle LR-Zerlegungen zutreffen muß! Die Berechnung einer solchenZerlegung wurde beim Gaußschen Eliminationsverfahren beschrieben. Ausgehend von der Matrix A =: A0 =: L0R0

berechnet man die Matrix A1 := R0L0 aus dem kommutierten Produkt R0L0. Diese Matrix ist zu A ahnlich, dennes gilt, L0 ist regular und A1 = R0L0 = L−1

0 AL0. Meistens (manchmal) kann man weitere Matrizen nach demselbenAlgorithmus berechnen und es ergibt sich eine Folge von Matrizen A =: A0 → A1 → A2 → . . . → Ai =: LiRi →Ai+1 := RiLi =: Li+1Ri+1 . . ., die alle untereinander und zu A ahnlich sind.

Uberraschender ist schon, daß dieser Algorithmus ein sinnvolles Ergebnis liefert, denn es gilt der Satz:

Falls fur eine beliebige Matrix A

(i) das beschriebene Verfahren durchfuhrbar ist, d.h. falls alle LR-Zerlegungen Ai = LiRi existieren

(ii) die Eigenwerte von A paarweise betragsverschieden sind, d.h. |λ1| > |λ2| > . . . > |λn|

(iii) fur alle Matrizen der Jordanschen Normalenform der Matrix A Dreieckszerlegungen existieren, d.h. fur X,Y := X−1, A = XDY , D = diag(λ1, λ2, . . . , λn) existieren X = LXRX und Y = LY RY

dann konvergieren die Matrizenfolgen Ai, Ri und Li elementweise und es gilt:

limi→∞

Ai = limi→∞

Ri =

λ1 ⋆ . . . ⋆0 λ2 . . . ⋆...

.

... . .

.

..0 0 . . . λn

, limi→∞

Li = I

Der Satz laßt die folgenden Fragen offen: a) Die Voraussetzungen des Satzes treffen bei reellen Matrizen mit konjugiertkomplexen Eigenwerte nicht zu – diese waren betragsgleich. b) Die Konvergenz des Verfahrens ist i.a. linear und

damit unbefriedigend. Die Konvergenzgeschwindigkeit ist abschatzbar durch lij,k = O((λj

λk)i) und damit sehr gering,

wenn | λj

λk| ≈ 1. c) Die Konvergenzgeschwindigkeit ist in den verschiedenen Teilen der Matrix sehr verschieden. d)

Die Durchfuhrung ist fur vollbesetzte Matrizen sehr aufwendig und benotigt 23n

3 Operationen pro Schritt. e) DieVoraussetzung der Existenz aller LR-Zerlegungen ist sehr einschrankend.

20.1. Eigenwertiterationen mit dem LR-Verfahren von Rutishauser 23

zu a) Die Voraussetzungen lassen sich abschwachen, so daß auch die Berechnung konjugiert komplexer und andererbetragsgleicher Eigenwerte moglich ist. Falls |λ1| > |λ2| > . . . > |λr| = |λr+1| > . . . > |λn|, so gilt:

limi→∞

Ai =

λ1 ⋆ . . . ⋆ • • ⋆ . . . ⋆λ2 . . . ⋆ • • ⋆ . . . ⋆

. . ....

.

.....

.

... . .

.

.

.λr−1 • • ⋆ . . . ⋆

αi βi ⋆ . . . ⋆γi δi ⋆ . . . ⋆

λr+2 . . . ⋆

. . ....λn

Die mit einem • markierte Zone und die quadratische Untermatrix

[αi βi

γi δi

]konvergiert nicht, jedoch konnen in

jedem Schritt die Eigenwerte dieser Untermatrix bestimmt werden. Sie konvergieren gegen die gesuchten Eigenwerte,auch wenn sie konjugiert komplex sind.

zu b) Die Konvergenzgeschwindigkeit kann durch Einsatz von Shifttechniken entscheidend gesteigert werden. Dazubenotigt man Approximationen p eines Eigenwertes λn (p ≈ λn), die jedoch zwanglos wahrend der Berechnung inder Diagonalen von Ai entstehen. Statt Ai wird die Matrix Ai = Ai − pI zerlegt (Ai = Ai − pI = LiRi). Ai+1

wird mit Ai+1 = RiLi + pI = L−1i (A − pI)Li + pI = L−1

i ALi berechnet und bleibt ahnlich zu Ai. Lediglich die

Konvergenzgeschwindigkeit ( λn−pλn−1−p )

i ist deutlich großer, wenn p eine gute Approximation von λn ist. p = pi kann

in jedem Schritt neu ermittelt werden. Die ersten pi werden zu 0 gesetzt, bis das Verfahren zu konvergieren beginnt.

Die Shifttechnik startet (pi := a(i)n,n = 0), wenn |1 − a(i−1)

n,n

a(i)n,n

| ≤ ε < 1. Eine oft gute Wahl von ε ist ε = 13 . Neuere

Arbeiten (Watkins: Fundamentals of Matrix Computations, 2010) zeigen, daß solche Shifts konsequent vom erstenSchritt angewendet werden sollten.

zu c) Mit Shifttechniken wird dieser Effekt sogar noch deutlicher und kann zu weiterer Beschleunigung der Berechnungeingesetzt werden. Dann ist die Konvergenzgeschwindigkeit namlich in der letzten Zeile hoch und fuhrt schnell zu

Matrizen der Form Ai ≈[A a0 λn

]Numerisch werden die Nullen naturlich nie exakt erreicht; es genugt, wenn

|a(i)n−n−1| ≤ ε lub(A) ist. ε muß wieder der aktuellen numerischen Situation angepaßt werden. Ist dieser Zustanderreicht, kann auf die Rechnung mit der vollen Matrix verzichtet werden; die Rechnung wird lediglich mit derverkleinerten Matrix A fortgesetzt, was naturlich wesentlich schneller geht. (Diese Reduktion der Matrix entsprichtdem Abdividieren von bereits gefundenen Polynomnullstellen bei der Nullstellenberechnung von Polynomen.) Eineahnliche Reduktion in kleinere Matrizen kann erfolgen, wenn bei der Hessenbergreduktion eine Spalte komplett Nullist.

zu d) Der Aufwand des Verfahrens kann massiv reduziert werden, wenn das Verfahren nur auf dunn besetzte Matrizenangewandt wird. Es bietet sich eine Reduktion von vollbesetzten Matrizen auf Hessenberggestalt an. Sind noch spezi-ellere Reduktionen moglich, so sollten sie auch genutzt werden. Bei symmetrischen Matrizen ist das Tridiagonalgestalt.zu e) Der echte Schwachpunkt des LR-Verfahrens – die Notwendigkeit der LR-Zerlegbarkeit vieler Matrizen, vondenen manche meistens nicht einmal bekannt sind (X, Y ) – konnte bisher nicht beseitigt werden. Eine LR-Zerlegungmit Teilpivotsuche (PA = LR, PAP = LRP , L−1PAPL = L−1LRPL = RPL) konvergiert schon bei sehr einfachenBeispielen uberhaupt nicht mehr, sondern produziert zyklische Matrizenfolgen; die Teilpivotsuche ist also keine Losung.

A1 =

[1 32 0

], (1− λ)(−λ)− 6 = 0, λ1 = 3, λ2 = −2

P1 =

[0 11 0

], P1A1 =

[2 01 3

]=

[1 012

1

] [2 00 3

]= L1R1

A2 = R1P1L1 =

[2 00 3

] [0 11 0

] [1 012

1

]=

[2 00 3

] [12

11 0

]=

[1 23 0

]P2 =

[0 11 0

], P2A2 =

[3 01 2

]=

[1 013

1

] [3 00 2

]= L2R2

A3 = R2P2L2 =

[3 00 2

] [0 11 0

] [1 013

1

]=

[3 00 2

] [13

11 0

]=

[1 32 0

]= A1

In diesem Beispiel ware das Grundverfahren ohne Pivotsuche sogar durchfuhrbar!.

A1 =

[1 32 0

]=

[1 02 1

]·[1 30 −6

]= L1R1 → A2 = R1L1 = A2 =

[7 3

−12 −6

]=

=

[1 0

−1.714285714286 1

]·[7 30 −8.571428571429 · 10−1

]= L2R2 → A3 = R2L2 =

20.1. Eigenwertiterationen mit dem LR-Verfahren von Rutishauser 24

A3 =

[1.8571428571429 31.4693877551020 −8.571428571429 · 10−1

]=

=

[1 0

7.9120879120879 · 10−1 1

]·[1.8571428571429 3

0 −3.230769230769

]= L3R3 → A4 = R3L3 =

A10 =

[3.0882378285222 3

−1.496583523311 · 10−1 −2.088237828522

]=

=

[1 0

−4.846076003243 · 10−2 1

]·[3.0882378285222 3

0 −1.942855548425

]= L10R10 → A11 = R10L10 =

A100 =

[3 3

−2.049712022150 · 10−17 −2

]=

=

[1 0

−6.832373407167 · 10−18 1

]·[3 30 −2

]= L100R100 → A101 = R100L100 =

A200 =

[3 3

−5.041583248495 · 10−35 −2

]=

Die Konvergenz der Matrizenfolge ist deutlich zu sehen. Den beschriebenen Nachteil hat die nun folgendeQR-Methodeglucklicherweise nicht.

20.2. Eigenwertiterationen mit dem QR-Verfahren von Francis

Die Grundidee des Verfahrens von Francis ist dieselbe wie beim LR-Verfahren: Zu einer beliebig vorgegebenen n× n-Matrix A gibt es eine QR-Zerlegung A = QR in eine unitare Matrix U und eine rechte obere Dreiecksmatrix R =⋆ ⋆ . . . ⋆0 ⋆ . . . ⋆...

.... . .

...0 0 . . . ⋆

. Die Berechnung solcher Zerlegungen wurde beim Householderverfahren beschrieben. Ausgehend

von der Matrix A =: A0 =: Q0R0 berechnet man die Matrix A1 := R0Q0 aus dem kommutierten Produkt R0Q0.Diese Matrix ist zu A ahnlich, denn es gilt, Q0 ist regular und A1 = R0Q0 = Q−1

0 AQ0. Die folgenden Matrizenwerden nach demselben Algorithmus berechnet und es ergibt sich eine Folge von Matrizen A =: A0 → A1 → A2 →. . .→ Ai =: QiRi → Ai+1 := RiQi =: Qi+1Ri+1 . . ., die alle untereinander und zu A ahnlich sind.

Ahnlich wie beim LR-Verfahren gilt:

Falls fur eine beliebige Matrix A

(i) die Eigenwerte von A paarweise betragsverschieden sind, d.h. |λ1| > |λ2| > . . . > |λn|

(ii) fur die Matrix Y der Jordanschen Normalenform der Matrix A eine LR-Dreieckszerlegung (kein Druckfehler; esheißt wirklich L!) existiert, d.h. fur X, Y := X−1, A = XDY , D = diag(λ1, λ2, . . . , λn) existiert Y = LY RY

dann konvergieren die Matrizenfolgen Ai, Ri und Qi bis auf Phasenfaktoren. Das heißt, es gibt Phasenmatrizen

Si = diag(eiφ(i)1 , . . . , eiφ

(i)n ) mit

limi→∞

SHi−1AiSi−1 = lim

i→∞SHi RiSi−1 =

λ1 ⋆ . . . ⋆0 λ2 . . . ⋆...

.

... . .

.

..0 0 . . . λn

limi→∞

SHi−1QiSi = I

Die Voraussetzung (ii) ist nicht fur die Konvergenz notwendig, sondern garantiert lediglich das geordnete Erscheinender Eigenwerte. Gilt diese Voraussetzung nicht, so konvergiert die Methode trotzdem, lediglich die Reihenfolge derEigenwerte andert sich.

Die Phasenfaktoren storen nicht, da in der Grenzmatrix von Ai die Eigenwerte in der Diagonalen von den Phasenfak-toren unbeeinflußt bleiben.

Im wesentlichen berechnet dieses Verfahren also die Schursche Normalform einer Matrix.

Wie beim LR-Verfahren gibt es noch die folgenden Fragen: a) Die Voraussetzungen des Satzes treffen bei reellenMatrizen mit konjugiert komplexen Eigenwerte nicht zu – diese waren betragsgleich. b) Die Konvergenz des Verfahrens

ist i.a. linear und damit unbefriedigend. Die Konvergenzgeschwindigkeit ist abschatzbar durch l(i)j,k = O((

λj

λk)i) und

damit sehr gering, wenn | λj

λk| ≈ 1. c) Die Konvergenzgeschwindigkeit ist in den verschiedenen Teilen der Matrix sehr

verschieden. d) Die Durchfuhrung ist fur vollbesetzte Matrizen sehr aufwendig und benotigt 23n

3 Operationen proSchritt.

20.2. Eigenwertiterationen mit dem QR-Verfahren von Francis 25

zu a) Die Voraussetzungen lassen sich abschwachen, so daß auch die Berechnung konjugiert komplexer und andererbetragsgleicher Eigenwerte moglich ist. Falls |λ1| > |λ2| > . . . > |λr| = |λr+1| > . . . > |λn|, so gilt:

limi→∞

Ai =

λ1 ⋆ . . . ⋆ • • ⋆ . . . ⋆λ2 . . . ⋆ • • ⋆ . . . ⋆

. . ....

..

....

..

.. . .

..

.λr−1 • • ⋆ . . . ⋆

αi βi ⋆ . . . ⋆γi δi ⋆ . . . ⋆

λr+2 . . . ⋆

. . ....λn

Die mit einem • markierte Zone und die quadratische Untermatrix

[αi βi

γi δi

]konvergiert nicht, jedoch konnen in

jedem Schritt die Eigenwerte dieser Untermatrix bestimmt werden. Sie konvergieren gegen die gesuchten Eigenwerte,auch wenn sie konjugiert komplex sind.

zu b) Die Konvergenzgeschwindigkeit kann durch Einsatz von Shifttechniken entscheidend gesteigert werden. Dazubenotigt man Approximationen p eines Eigenwertes λn (p ≈ λn), die jedoch zwanglos wahrend der Berechnung inder Diagonalen von Ai entstehen. Statt Ai wird die Matrix Ai = Ai − pI zerlegt (Ai = Ai − pI = QiRi). Ai+1

wird mit Ai+1 = RiQi + pI = Q−1i (A − pI)Qi + pI = Q−1

i AQi berechnet und bleibt ahnlich zu Ai. Lediglich die

Konvergenzgeschwindigkeit ( λn−pλn−1−p )

i ist deutlich großer, wenn p eine gute Approximation von λn ist. p = pi kann

in jedem Schritt neu ermittelt werden. Die ersten pi werden zu 0 gesetzt, bis das Verfahren zu konvergieren beginnt.

Die Shifttechnik startet (pi := ain,n = 0), wenn |1 − ai−1n,n

ain,n| ≤ ε < 1. Eine oft gute Wahl von ε ist ε = 1

3 . Neuere

Arbeiten (Watkins: Fundamentals of Matrix Computations, 2010) zeigen, daß solche Shifts konsequent vom erstenSchritt angewendet werden sollten.

zu c) Mit Shifttechniken wird dieser Effekt sogar noch deutlicher und kann zu weiterer Beschleunigung der Berechnungeingesetzt werden. Dann ist die Konvergenzgeschwindigkeit namlich in der letzten Zeile hoch und fuhrt zu Matrizen der

Form Ai ≈[A a0 λn

]Numerisch werden die Nullen naturlich nie exakt erreicht; es genugt, wenn |a(i)n,n−1| ≤ ε lub(A) ist.

ε muß wieder der aktuellen numerischen Situation angepaßt werden. Ist dieser Zustand erreicht, kann auf die Rechnungmit der vollen Matrix verzichtet werden; die Rechnung wird lediglich mit der verkleinerten Matrix A fortgesetzt, wasnaturlich wesentlich schneller geht. (Diese Reduktion der Matrix entspricht dem Abdividieren von bereits gefundenenPolynomnullstellen bei der Nullstellenberechnung von Polynomen.) Eine ahnliche Reduktion in kleinere Matrizen kannerfolgen, wenn bei der Hessenbergreduktion eine Spalte komplett Null ist.

zu d) Der Aufwand des Verfahrens kann massiv reduziert werden, wenn das Verfahren nur auf dunn besetzte Matrizenangewandt wird. Es bietet sich eine Reduktion von vollbesetzten Matrizen auf Hessenberggestalt an. Sind noch spezi-ellere Reduktionen moglich, so sollten sie auch genutzt werden. Bei symmetrischen Matrizen ist das Tridiagonalgestalt.

20.3. Shift-Techniken

20.4. Spezielle Matrizen

20.4.1. Reelle Matrizen mit komplexen Eigenwerten 26

20.4.1. Reelle Matrizen mit komplexen Eigenwerten

20.4.2. Hermitesche Matrizen

20.5. Berechnung von Matrixnormen

21. Indirekte Verfahren f�ur Gleichungssysteme

Grundidee: Gegeben sind n,A, b, x0; Gesucht sind xl, x∗ mit Ax∗ = b und liml→∞ xl = x∗. In vielen Fallen gilt sogar

scharfer xµ = x∗, µ ≤ n. Dann liegt streng genommen gar kein Iterationsverfahren mehr vor. Es wird auch endlicheIteration genannt.

Mit εl = x∗ − xl wird der Fehler und mit rl = b−Axl = Aεl das Residuum im Iterationsschritt l bezeichnet.

Da n sehr groß (≫ 106) werden kann, will man numerische Konvergenz bereits um Großenordnungen unterhalb von

n: ∥xm − x∗∥ < 10−15 oder ∥x∗−xm∥∥x∗∥ < 10−15 fur m ≥ m0,m0 ≪ n.

Die Erkenntnis, daß das moglich ist, verdanken wir den großen zeitgenossischen Numerikern (unvollstandig, alphabe-tisch) Chan, Fletcher, Fokkema, Freund, Golub, Hestenes, Nachtigall, Saad, Schultz, Sleijpen, Sonneveld, Stiefel, vander Vorst und vielen anderen.

Die heutigen Losungsverfahren fur lineare Gleichungssysteme lassen sich klassifizieren: Zunachst unterscheidet mandie direkten (LR, QR, Cholesky) und die iterativen Verfahren.

21. Indirekte Verfahren fur Gleichungssysteme 27

Wie schon erwahnt, sind iterative Verfahren streng genommen auch direkt, weil sie nicht nur konvergieren, sondernschon nach endlich vielen Schritten die exakte Losung produzieren. Die Berechtigung der Einstufung als Iterations-verfahren beruht auf den verwendeten analytischen Methoden der Konvergenzbeweise und der Beobachtung, dass dienumerische Konvergenz schon weit vor der Produktion der exakten Lsung erfolgt.

Die iterativen Verfahren werden wieder unterteilt: Die Splitting-Methoden (Gesamtschritt- oder Jakobi-, Einzelschritt-oder Gauss-Seidelverfahren, SOR, SSOR) zerlegen die Matrix in Teilmatrizen, um iterative Verfahren meist alsFixpunktiteration zu gewinnen.

Die Krylov-Verfahren verwenden einen sehr allgemeinen Ansatz (CG, CR, MINRES, SYMMLQ, GMRES, BICG,BICGSTAB, QMR). Interessanterweise konnen alle bekannten Verfahren als Krylovverfahren interpretiert werden.Umgekehrt konnen manche Krylovverfahren auch klassisch hergeleitet werden (steilster Abstieg).

Die Splittingverfahren werden heute nicht mehr zur Losung verwendet, da sie den Krylovverfahren unterlegen sind.Sie tauchen jedoch zur Stabilisierung als Prakonditionierer wieder auf.

Unter Prakonditionierung versteht man die Modifikation der Matrizen, um numerisch gunstigere Eigenschaften oderstabilere Konvergenz zu erzielen.

Die Iterationsverfahren lassen die Matrix A unverandert. Die Matrix wird bei der Durchfuhrung nur als Operatorverwendet, um zu gegebenem x eines oder mehrere der Produkte Ax, ATx, AHx oder A∗x, zu berechnen. Somitmuss die Originalmatrix oder eine modifizierte Matrix nicht einmal gespeichert werden, sondern kann als Funktionop(int n, const double*x, double*y) implementiert werden. Hat die Matrix regulare Strukturen, kann das sehrviel Rechenzeit und Speicherplatz sparen. Ahnliches gilt fur Prakonditionsmatrizen.

Ein Spezialfall sind die Mehrgitterverfahren. Sie setzen zusatzliche Strukturen zwischen den Elementen der beteiligtenVektoren x voraus, die bei Differentialgleichungen auftauchen. Die Losung wird hier beschleunigt, wenn man dieDimension n der Raume gezielt vergroßert und verkleinert und fehlende Elemente aus den in der Struktur benachbartenschatzt. Zusatzlich werden dabei im Frequenzraum der Losung nach einer Fouriertransformation gezielt die hoch- bez.niederfrequenten Anteile des Fehlers reduziert, was den Mehrgitterverfahren zusatzliche Berechtigung verschafft.

direkt splitting Krylov multigridA transformiert konstant konstant konstantA explizit auch als Operatorn klein < 1000 groß großε 1-0 → 0 → 0 → 0

abbrechbar nein ja ja ja

21.1. Splitting-Verfahren

21.1.1. Definition

21.1.2. Jacobi-Verfahren

21.1.3. Gauss-Seidel-Verfahren

21.1.4. Successive overrelaxation (SOR)

21.1.5. Symmetric successive overrelaxation (SSOR)

21.2. Projektionsmethoden in Krylov-Raumen

Grundidee: Bei Projektionsmethoden wird die Naherungslosung xl ∈ x0+K statt im gesamten Raum in einem affinenUnterraum gesucht. Um moglichst schnell zur echten Losung x∗ zu kommen, wird das neue Residuum rl = b − Axl

orthogonal zu einem geeignet zu wahlenden Unterraum L bestimmt. rl = b−Axl ⊥ L.

Wahlt man K = L, heißt die Projektionsmethode orthogonal und die Orthogonalitatsbedingung Galerkin-Bedingung.Im allgemeinen Fall spricht man von einer schiefen Projektionsmethode. Hier benotigt man andere Bedingungenzur Konstruktion von Losungen wie die Minimierung des Residuums, was sich im Namen vieler Verfahren (minres)ausdruckt.

21.2. Projektionsmethoden in Krylov-Raumen 28

Bei einer Krylov-Methode wird der affine Unterraum K = Kl als Krylovraum gewahlt:

Kl+1(A, r0) = span{r0, Ar0, A2r0, . . . Alr0}

Es gilt: K1 ⊆ K2 ⊆ K3 ⊆ . . .

Dabei kommen Eigenvektoren ins Spiel, da Aix unter bestimmten Voraussetzungen gegen einen Eigenvektor (mitbetragsgroßtem Eigenwert) konvergiert. Deshalb spielen Eigenlosungen bei den Konvergenzbeweisen eine Rolle.

In der Literatur sind Krylovverfahren unter mehreren Bezeichnungen zu finden: Semiiterative Methoden (Varga 1962,Young 1967), Polynombasierte Verfahren,

siehe Gutknecht: A General Framework for Recursions for Krylov Space Solvers, 2005http://www.sam.math.ethz.ch/sam_reports/reports_final/reports2005/2005-09.pdf

21.2.1. Der Standard-Krylovsolver

Der Standard-Krylovsolver wahlt bei gegebenem beliebigem x0 jede Iteration xl+1 als

xl+1 = x0 + k, k ∈ Kl+1(A, r0)

xl+1 = x0 + k0r0 + k1Ar0 + . . . kl+1Al+1r0 = x0 + p(A)r0

mit einem geeignetem Polynom p(t) mit A als formalem Argument.

Dann erfullt das Residuum die Bedingung

rl+1 = b−Ax0 −Ap(A)r0 = r0 −Ap(A)r0 = (I −Ap(A))r0 = q(A)r0

mit einem zweiten Polynom q(t) = 1− tp(t) und der Eigenschaft q(0) = 1.

Eine kurze Betrachtung weist den weiteren Weg: Will man schnelle Konvergenz erreichen, so mussen die Residuenschnell klein werden. Spannt man im Krylovraum eine Basis bi aus Eigenvektoren und jeweils zugehorigen Eigenwertenλi auf (Abi = λibi, bibj = δij), kann man r0 =

∑ρibi und die weiteren Residuen schreiben als

rl+1 = q(A)r0 = q(A)∑

ρibi =∑

ρiq(A)bi =∑

ρiq(λi)

∥rl+1∥2 =∑

ρ2i (q(λi))2

Eine Minimierung gelingt, wenn wir Polynome q(t), q(0) = 1 finden, die Nullstellen und weitgehend betragskleineWerte bei den Eigenwerten der Matrix haben.

Iterative Solver entstehen durch gezielte Suche nach solchen Polynomen.

21.2.2. Ubersicht uber die wichtigsten Solver

SPD (symmetrisch positiv definit): CG, CR (Hestenes, Stiefel, 1952)

Symmetrisch indefinit: minres, symmlq (Paige, Saunders, 1975)

General, AT verfugbar: QMR (Freund, Nachrigall, 1991)

General, keine Speicherengpaße: gmres (Saad, Schultz, 1986)

General: cgs (Sonneveld, 1989), bicgstab, bicgstab(l) (van der Vorst, 1992), bicgstab(l) (Sleijpen, Fokkema, 1993),gmres(k), tfqmr (Freund, 1993), qmrcgstab (Chan, 1994)

Allgemein gilt: Man wahle zunachst nach der Matrix eine geeignete Verfahrensgruppe, entscheide sich fur ein passendesund wechsle bei Erfolglosigkeit. Fur jedes Verfahren gibt es eine Matrix, wo es seine Starken ausspielt und eine andere,wo es versagt. Die eine Empfehlung existiert nicht.

Die ganzen Abkurzungen: Conjugate Gradients and Residuals (cg, cr); MINimal RESidual (minres), Symmetric LQ-decomposition (so ahnlich wie QR nur links herum – symmlq; Quasi Minimal Residual (qmr); Generalized MinimalRESidual (gmres); Conjugate Gradient sQuared; BI-Conjugate Gradient; Transpose Free Quasi Minimal Residual;STABilized;

Naturlich existieren noch weitere Vorlaufer, die wenig verwendet werden, weitere Varianten, andere Zusammenset-zungen der Ideen uvam. CGNE, CGNR, BICG, Cebyshev, Arnoldi, bicgstabtfqmr, BiOres, BiOmin, BiOdir, FOM,Hessenberg, Lanczos, Ores, Omin, Odir, Richardson

Muss man alles selber programmieren? Ja und Nein! In fast allen wichtigen Fallen hat man Spezialprobleme,bei deren Losung man einen Solver braucht, auswahlt und selbst einbaut. Also ja! Zum Experimentieren gibtes die meisten Solver als Fortrancode, manchmal als C-Code oder in weiteren Sprachen - Matlab. Viel liegt als

21.2.2. Ubersicht uber die wichtigsten Solver 29

leicht implementierbarer Pseudocode vor. Und naturlich sollte man bei Bedarf auch auf Libraries zuruckgreifen: lis,Templates, itsol, . . .Idealerweise enthalten fertige Libraries auch guten parallelen Code: PetSC, Parpre (Netlib), Hips, . . .

siehe:http://www-users.cs.umn.edu/~saad/software/

http://www.netlib.org/utk/papers/iterative-survey/

http://www.netlib.org/linalg/html_templates/Templates.html

Kurzanleitung:

A Symmetrisch positiv definit: CG, CR

A Symmetrisch indefinit: MinRes, SymmLQ

A unsymmetrisch, ausreichend Speicher: GMRes

A unsymmetrisch, Speicher knapp: BiCGStab, QMR

21.2.3. Losung des Minimierungsproblems

Zur Minimierung des Residuums im Krylovraum, bez. zur Approximation der Eigenwerten der Matrix durch einPolynom der Form q(t) = 1− tp(t) gibt es vier Ansatze:

1. Ritz-Galerkin: xl wird so konstruiert, dass das Residuum rl orthogonal zum aktuellen Krylovraum liegt: rl =b−Axl ⊥ Kl(A, r0)

2. Minimal residual: xl wird so konstruiert, dass das Residuum rl uber dem aktuellen Krylovraum minimiert wird:∥rl∥ = min∥r∥, r ∈ Kl(A, r0)

3. Petrov-Galerkin: xl wird so konstruiert, dass das Residuum rl orthogonal zu einem anderen noch zu wahlendenRaum liegt: rl = b−Axl ⊥ L

4. Minimal error: xl ∈ ATKl(AT , r0) wird so konstruiert, dass der Fehler ∥xl − x∗∥ minimal wird

van der Vorst: p. 26, p. 33 ff

Hier deutet sich an, dass in verhaltnismaßig großen Raumen eine Orthogonalbasis berechnet werden muss. Das istrechenzeit- und speicheraufwendig.

21.2.4. FOM und Arnoldi

Die besten Ergebnisse (schnelle Konvergenz) sind zu erwarten, wenn man die Orthogonalbasis so genau wie moglichberechnet. Das geschieht in der full orthogonalization method (FOM) mit verschiedenen Algorithmen (Gram-Schmidt,Stieltjes, Householder).

Bei allgemeinen Matrizen wurde das mit Stieltjes-Orthogonalisierung von Arnoldi 1951 vorgeschlagen. Fur symmetri-sche Matrizen geht das mit wesentlich weniger Rechenaufwand (Lanczos 1950).

In beiden Fallen gibt es Konvergenzbeweise.

Wenn der Speicheraufwand fur die Orthogonalbasis des Krylovraumes zu groß wird, kann der Algorithmus nichtmehr fortgesetzt werden. Will man nicht einfach aufgeben, kann man den ganzen Algorithmus nach Loschung derso muhsam berechneten Orthogonalbasis mit der letzten erhaltenen Naherung fortsetzen (restarted FOM). Hier liegtkein allgemeiner Konvergenzbeweis mehr vor.

21.2.5. Krylov-Code

Verschiedene Fundstellen im Internet bieten unter diversen Bedingungen Code fur Krylov-Solver an.

http://www.staff.science.uu.nl/~vorst102/software.html; gmresr, bicgstab(l)http://www.cerfacs.fr/6-25716-Software.php; CG, gmres; kommerziell oder kostenfrei nach Anmeldunghttp://aam.mathematik.uni-freiburg.de/IAM/Research/projectskr/lin_solver/

http://math.nist.gov/iml%2b%2b/; Richardson, Chebyshev, CG, CGS, BiCG, BiCGSTAB, GMRES, QMR; C++

21.3. Prakonditionieren

22. Iterative Eigenwertberechnungen

23. Literatur 30

23. Literatur

Es gibt relativ viele, unterschiedliche Lehrbucher zu den Themen Numerische Mathematik, Matrizenrechnung undEigenwerte. Ich habe viele Ergebnisse aus den folgenden Lehrbuchern entnommen:

J. Stoer, R: Bulirsch: Einfuhrung in die numerische Mathematik

Das Buch von Stoer/Bulirsch wendet sich an Mathematiker, ist sehr ausfuhrlich und enthalt strenge Beweise. DasKapitel uber Eigenwerte ist nicht vollstandig und fordert leider die Beschaftigung mit der zitierten Originalliteratur.Insbesondere ist das QR-Verfahren recht knapp und ohne die wichtigen Sonderfalle fur reelle Matrizen mit konjugiertkomplexen Eigenwerten dagestellt.

W.H. Press, B.P. Flannery, S.A. Teukolsky, W.T. Vetterling: Numerical Recipes

Die Numerical Recipes wenden sich an den Anwender numerischer Methoden und sind eine Fundgrube, falls manschnell grundliches Wissen benotigt, ohne sich jahrelang in mathematischen Details verlieren zu wollen. Sie konnenauch einzelne Kapitel lesen; das Buch setzt nicht auf jeder Seite die Durcharbeitung des gesamten vorherigen Stoffesvoraus.

D. S. Watkins: Fundamentals of Matrix Computations

D. S. Watkins: The Matrix Eigenvalue Problem

Der Inhalt dieses Buches befasst sich mit allen numerischen Aspekten von Matrixrechnungen. Es ist vollstandig,aktuell, ausfuhrlich und hervorragend verstandlich. Wer solides Wissen sucht und das Buch durcharbeitet, ist dann anseinem Ziel. Wer nicht von Deckel zu Deckel lesen will, kann das ihn interessierende suchen und trotzdem verstehen(etwas was man nicht von jedem Mathematiklehrbuch sagen kann!)

A. Meister: Numerik linearer Gleichungssysteme

Das Buch behandelt die klassischen und modernen Verfahren kompakt und verstandlich.

Y. Saad: Iterative Methods for Sparse Linear Systems

Der Titel sagt alles uber das Buch. Man findet auf 500 Seiten auch viele kleine praktische Tipps.

B. Fischer: Polynomial based iteration methods for symmetric linear systems

Hier steht der Zugang uber den Polynomansatz im Vordergrund.

Henk A. van der Vorst: Iterative Krylov Methods for Large Linear Systems

Knapp, pragnant, vollstandig, gut.

24. Bibliotheken und Sprachen zur linearen Algebra

http://www.netlib.org/utk/people/JackDongarra/la-sw.html 2013http://www.netlib.org/utk/papers/iterative-survey/ Stand 1997http://www-users.cs.umn.edu/~saad/software/

http://www.comp-phys.org/software/ietl/

PETSc

Trilinos

Hypre

MUMPS

SuperLU

SuiteSparse - UMFPACK

Intel MKL

Matrix Template Library

Matlab

SciPhy.Sparse

Mathematica

Lis

Eigen

ietl

24.1. blas und LAPACK 31

24.1. blas und LAPACK

http://www.ews.uiuc.edu/~mrgates2/docs/cblas.pdf

http://www.netlib.org/lapack/lug/node145.html

http://wrgrid.group.shef.ac.uk/documents/hpc/blasquickref.pdf

http://wrgrid.group.shef.ac.uk/documents/hpc/blasquickref.html

http://www.netlib.org/lapack/index.html

24.2. PETSc

24.3. Trilinos

24.4. Intel MKL

24.5. matlab

Inhalt

1. Lineare Gleichungssysteme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2. Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

3. Die transponierte Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

4. Matrizenrechnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

5. Spezielle Matrixtypen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

6. Gau�elimination zur L�osung von Gleichungssystemen . . . . . . . . . . . . . . . . . . . . . 4

6.1. Elementare Umformungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

6.2. Reduktion der ersten Spalte in n− 1 Schritten . . . . . . . . . . . . . . . . . . . . . . . . 5

6.3. Reduktion der folgenden Spalten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

6.4. Losung des Gleichungssystems (Backsubstitution) . . . . . . . . . . . . . . . . . . . . . . . 5

6.5. Speicherung der Faktoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

6.6. Rechenzeit und Stabilitat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

7. Pivotsuche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

7.1. Teilpivotsuche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

7.2. Totalpivotsuche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

8. Beispiel einer Gau�elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

9. �Aquilibrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

10. Numerisch singul�are Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

11. Gau�-Jordan-Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

12. Beschreibung der Gau�-Elimination mit Matrizen . . . . . . . . . . . . . . . . . . . . . . 8

12.1. Die Einheitsmatrix I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

12.2. Inverse Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

12.3. Permutationsmatrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

12.4. Dreiecksmatrizen und Frobenius- oder Gaussmatrizen . . . . . . . . . . . . . . . . . . . . . 10

12.5. Gaußelimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

12.6. Gauß-Jordan-Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

12.7. Losen von Gleichungssystemen mit Dreiecks- und Diagonalmatrizen . . . . . . . . . . . . . . 12

12.8. Beispiel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

24.5. matlab 32

13. Vektor- und Matrixnormen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

14. Fehlerabsch�atzungen; Die Kondition einer Matrix . . . . . . . . . . . . . . . . . . . . . . . 14

15. Die Householdertransformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

16. Weitere Probleme der elementaren linearen Algebra . . . . . . . . . . . . . . . . . . . . . . 15

16.1. Lineare Gleichungssysteme mit mehreren rechten Seiten . . . . . . . . . . . . . . . . . . . . 15

16.2. Berechnung der inversen Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

16.3. Berechnung der Determinante einer Matrix . . . . . . . . . . . . . . . . . . . . . . . . . 16

16.4. Uber- und unterbestimmte Gleichungssysteme; singulare Matrizen . . . . . . . . . . . . . . . 16

16.5. Ausgleichsrechnung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

16.6. Nichtlineare Gleichungssysteme; das Newtonverfahren . . . . . . . . . . . . . . . . . . . . 17

17. Die Simplexmethode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

18. Eigenwerte und Eigenvektoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

18.1. Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

18.2. Rechenregeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

18.3. Ahnlichkeitstransformationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

18.4. Charakteristisches Polynom und Frobeniussche Normalform . . . . . . . . . . . . . . . . . . 18

18.5. Algebraische und geometrische Vielfachheiten . . . . . . . . . . . . . . . . . . . . . . . . 18

18.6. Schursche Normalform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

18.7. Jordansche Normalform und Hauptvektoren . . . . . . . . . . . . . . . . . . . . . . . . . 19

18.8. Fehlerabschatzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

19. Hessenbergmatrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

19.1. Reduktion auf Hessenberggestalt mit dem Eliminationsverfahren . . . . . . . . . . . . . . . . 20

19.2. Reduktion auf Hessenberggestalt mit dem Householderverfahren . . . . . . . . . . . . . . . . 21

20. Numerische Eigenwertberechnungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

20.1. Eigenwertiterationen mit dem LR-Verfahren von Rutishauser . . . . . . . . . . . . . . . . . 22

20.2. Eigenwertiterationen mit dem QR-Verfahren von Francis . . . . . . . . . . . . . . . . . . . 24

20.3. Shift-Techniken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

20.4. Spezielle Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

20.4.1. Reelle Matrizen mit komplexen Eigenwerten . . . . . . . . . . . . . . . . . . . . . . 26

20.4.2. Hermitesche Matrizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

20.5. Berechnung von Matrixnormen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

21. Indirekte Verfahren f�ur Gleichungssysteme . . . . . . . . . . . . . . . . . . . . . . . . . . 26

21.1. Splitting-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

21.1.1. Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

21.1.2. Jacobi-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

21.1.3. Gauss-Seidel-Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

21.1.4. Successive overrelaxation (SOR) . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

21.1.5. Symmetric successive overrelaxation (SSOR) . . . . . . . . . . . . . . . . . . . . . . 27

21.2. Projektionsmethoden in Krylov-Raumen . . . . . . . . . . . . . . . . . . . . . . . . . . 27

21.2.1. Der Standard-Krylovsolver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

21.2.2. Ubersicht uber die wichtigsten Solver . . . . . . . . . . . . . . . . . . . . . . . . . 28

21.2.3. Losung des Minimierungsproblems . . . . . . . . . . . . . . . . . . . . . . . . . . 29

21.2.4. FOM und Arnoldi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

21.2.5. Krylov-Code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

21.3. Prakonditionieren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

24.5. matlab 33

22. Iterative Eigenwertberechnungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

23. Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

24. Bibliotheken und Sprachen zur linearen Algebra . . . . . . . . . . . . . . . . . . . . . . . 30

24.1. blas und LAPACK . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

24.2. PETSc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

24.3. Trilinos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

24.4. Intel MKL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

24.5. matlab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31