NICHTLINEARE GLEICHUNGSSYSTEME - mathematik…kanzow/ne/NE_07.pdf · NICHTLINEARE GLEICHUNGSSYSTEME Christian Kanzow Julius{Maximilians{Universit at W urzburg Institut f ur Mathematik

$Page 1: NICHTLINEARE GLEICHUNGSSYSTEME - mathematik…kanzow/ne/NE_07.pdf · NICHTLINEARE GLEICHUNGSSYSTEME Christian Kanzow Julius{Maximilians{Universit at W urzburg Institut f ur Mathematik$
NICHTLINEARE

GLEICHUNGSSYSTEME

Christian Kanzow

Julius–Maximilians–Universitat WurzburgInstitut fur MathematikAm Hubland97074 Wurzburg

e-mail: [email protected]: http://www.mathematik.uni-wuerzburg.de/˜kanzow

Vorlesungsskript, Sommersemester 2007

Stand: 17. Juli 2007


Inhaltsverzeichnis

1 Skalare Probleme 1

1.1 Bisektionsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Newton–Verfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3 Sekantenverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.4 Regula falsi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

1.5 Eigenwerte symmetrischer Tridiagonalmatrizen . . . . . . . . . . . . . 18

2 Newton–Verfahren 23

2.1 Das lokale Newton–Verfahren . . . . . . . . . . . . . . . . . . . . . . 23

2.2 Ein globalisiertes Newton–Verfahren . . . . . . . . . . . . . . . . . . 28

2.3 Anwendung auf nichtlineare Randwertaufgaben . . . . . . . . . . . . 32

2.4 Das vereinfachte Newton–Verfahren . . . . . . . . . . . . . . . . . . . 33

2.5 Die inverse Iteration als Newton–Verfahren . . . . . . . . . . . . . . . 36

3 Inexakte Newton–Verfahren 41

3.1 Idee inexakter Newton–Verfahren . . . . . . . . . . . . . . . . . . . . 41

3.2 Konvergenz inexakter Newton–Verfahren . . . . . . . . . . . . . . . . 42

3.3 Iterative Losung linearer Gleichungssysteme . . . . . . . . . . . . . . 47

4 Quasi–Newton–Verfahren 49

4.1 Herleitung des Broyden–Verfahrens . . . . . . . . . . . . . . . . . . . 49

4.2 Lineare Konvergenz des Broyden–Verfahrens . . . . . . . . . . . . . . 53

4.3 Superlineare Konvergenz des Broyden–Verfahrens . . . . . . . . . . . 58

4.4 Implementation des Broyden–Verfahrens . . . . . . . . . . . . . . . . 65

4.5 Limited–Memory Broyden–Verfahren fur große Probleme . . . . . . . 69

4.6 Das Verfahren von Schubert . . . . . . . . . . . . . . . . . . . . . . . 74

5 Trust–Region–Verfahren 81

5.1 Ein Trust–Region–Verfahren . . . . . . . . . . . . . . . . . . . . . . . 81

5.2 Globale Konvergenz des Trust–Region–Verfahrens . . . . . . . . . . . 84

5.3 Lokale Konvergenz des Trust–Region–Verfahrens . . . . . . . . . . . . 87

5.4 Zur Losung des Trust–Region–Teilproblems . . . . . . . . . . . . . . . 91

5.5 Dogleg– und Double Dogleg–Strategien . . . . . . . . . . . . . . . . . 100

i

ii INHALTSVERZEICHNIS

6 Homotopie–Verfahren 107

6.1 Idee und Probleme von Homotopie–Verfahren . . . . . . . . . . . . . 1076.2 Implementation eines Homotopie–Verfahrens . . . . . . . . . . . . . . 110

Literatur 115

Kapitel 1

Skalare Probleme

1.1 Bisektionsverfahren

Wir beginnen zunachst mit einem Beispiel fur das Auftreten von nichtlinearen Glei-chungen: Sie sind gerade in einem Restaurant und bitten die Bedienung, ihr halbku-gelformiges Glas (andere Formen des Glases machen die Rechnung nur noch kom-plizierter!) noch einmal zur Halfte zu fullen. Dies stellt die Bedienung jedoch vorerhebliche Probleme!

Um dies einzusehen, betrachten wir einen Schnitt durch das halbkugelformigeGlas, wie er in der Abbildung 1.1 dargestellt ist.

h

Abbildung 1.1: Schnitt durch ein halbkugelformiges Glas

Das Volumen eines Kugelsegmentes in Abhangigkeit von der Hohe h betragtbekanntlich

V (h) =π

3h2(3r − h), (1.1)

wobei r > 0 den Radius der Halbkugel bezeichnet. Das Volumen der Halbkugel istsomit

VHK := V (r) =2π

3r3. (1.2)

1

2 KAPITEL 1. SKALARE PROBLEME

Gesucht ist also die Hohe h, fur die

V (h) =1

2VHK

gilt. Einsetzen der beiden Ausdrucke (1.1) und (1.2) liefert die Gleichung

r3 = h2(3r − h),

die sich offenbar zuh3 − 3rh2 + r3 = 0 (1.3)

umformulieren lasst. Um ihrem Wunsch gerecht zu werden, musste die Bedienungalso zunachst eine Losung dieser nichtlinearen Gleichung finden!

Wir wollen uns jetzt allgemein mit dem Problem auseinandersetzen, fur einegegebene Funktion f : R→ R eine Losung der Gleichung

f(x) = 0 (1.4)

zu finden. Man spricht daher auch von einem Nullstellenproblem. Ist f hierbei eineaffin–lineare Funktion, also

f(x) = ax + b

mit a ∈ R \ {0} und b ∈ R, so ist die Losung von (1.4) offenbar eindeutig bestimmtdurch

x = −b/a.Ist f hingegen ein quadratisches Polynom der Gestalt

f(x) = x2 + px+ q

mit p, q ∈ R, so erhalt man durch quadratische Erganzung

f(x) =(

x+p

2

)2

− p2

4+ q.

Aus der Forderung f(x) = 0 ergibt sich somit

(

x +p

2

)2

=p2

4+ q

und hieraus durch Wurzelziehen die bekannte pq-Formel

x1,2 = −p2±√

p2

4− q

fur die (moglicherweise komplexen) Nullstellen eines quadratischen Polynoms. Ent-sprechende Formeln gibt es auch fur die Nullstellen von Polynomen dritten undvierten Grades. Die sehen aber schon ziemlich kompliziert aus und werden in derPraxis kaum benutzt. Mit Methoden der Algebra lasst sich ferner zeigen, dass es fur

1.1. BISEKTIONSVERFAHREN 3

Polynome funften und hoheren Grades im Allgemeinen keine derartig geschlossenenAusdrucke fur die zugehorigen Nullstellen gibt. Außerdem muss die Funktion f in(1.4) naturlich kein Polynom sein, sondern darf beliebig kompliziert sein und bei-spielsweise auch sin-, cos- oder exp-Terme enthalten. In all diesen Fallen wird manletztlich auf numerische Verfahren zur Bestimmung einer Nullstelle der Gleichung(1.4) zuruckgreifen. Wir werden in diesem und den folgenden Abschnitten einigegeeignete Verfahren vorstellen.

Dazu beginnen wir mit dem Bisektionsverfahren zur Losung der Gleichung (1.4).Hierfur sei die Funktion f : R → R zumindest als stetig vorausgesetzt (f brauchtauch nur auf einem Intervall [a, b] definiert zu sein). Die Idee des Bisektionsver-fahrens ist dann denkbar einfach: Man beginnt mit einem Intervall [a0, b0], so dassfur die zugehorigen Funktionswerte f(a0)f(b0) < 0 gilt, d.h., die Funktion hat inden Randpunkten a0 und b0 verschiedene Vorzeichen. Aufgrund des Zwischenwert-satzes existiert in dem Intervall [a0, b0] dann mindestens eine Nullstelle von f . Seinun c0 := (a0 + b0)/2 der Mittelpunkt des Intervalles [a0, b0]. Wir setzen dann ent-weder [a1, b1] = [a0, c0], falls f(a0) und f(c0) verschiedene Vorzeichen haben, oder[a1, b1] = [c0, b0] anderenfalls. Auf diese Weise wird stets garantiert, dass auch dasneue Intervall [a1, b1] eine Nullstelle der Funktion f enthalt, siehe Abbildung 1.2.

f

a bc0 0 0

[a , b ]=[a , c ]1 1 0 0

Abbildung 1.2: Veranschaulichung des Bisektionsverfahrens

Man fahrt auf diese Weise fort und erhalt somit eine Folge von Intervallen [ak, bk],so dass in jedem dieser Intervalle eine Nullstelle von f liegt. Man beachte dabei, dasssich die Intervalllangen stets halbieren:

|bk+1 − ak+1| =1

2|bk − ak| ∀k = 0, 1, 2, . . .

Fur hinreichend große k ergibt sich somit eine beliebig gute Naherung fur eine Null-stelle von f .

Algorithmisch lasst sich das Bisektionsverfahren beispielsweise wie folgt umset-zen:

FUNCTION Nullstelle = Bisektion (a,b)


eps = 1E-4;

WHILE ABS(b-a) > eps

c = (a+b)/2;

IF f(a) ∗ f(c) > 0 THEN

a = c;

ELSE

b = c;

END

END

Nullstelle = (a+b)/2;

RETURN

Der obige Pseudocode geht davon aus, dass zwei Punkte a, b ∈ R mit f(a)f(b) < 0ubergeben werden (was man besser uberprufen sollte!) und bestimmt dann ein In-tervall, welches hochstens von der Lange eps ist, in dem sich dann eine Nullstelle be-findet. Die Variable Nullstelle enthalt am Ende die Schatzung fur die tatsachlicheNullstelle von f . Ferner sollte man im Programm sicherheitshalber noch abfragen,ob der Mittelpunkt c nicht zufallig schon eine Nullstelle ist.

Wendet man das Bisektionsverfahren auf die Funktion

f(x) := x3 − 3x2 + 1

(das ist die Funktion aus (1.3) mit Radius r = 1) an, so ergibt sich fur a0 = 0, b0 = 1der in der Tabelle 1.1 wiedergegebene Iterationsverlauf. Das Verfahren bricht nach14 Iterationen mit der Information ab, dass f eine Nullstelle in dem Intervall

[0.65264892578125, 0.65270996093750]

besitzt. Man beachte ubrigens, dass sich das Startintervall [a0, b0] = [0, 1] hier innaturlicher Weise aus dem Zusammenhang ergibt, dass aber tatsachlich auch

f(a0)f(b0) = f(0)f(1) = 1 · (−1) < 0

gilt.Der Graph der Funktion f ist der Vollstandigkeit halber auch in der Abbildung

1.3 wiedergegeben, wobei wir uns dort nur den Verlauf von f auf dem Intervall[−1,+3] anschauen. Man sieht, dass f insgesamt drei Nullstellen besitzt, von denenaber nur eine in dem letztlich interessierenden Intervall [0, 1] liegt.So schon das Bisektionverfahren auch sein mag, es hat gewisse Nachteile: Zum einenkonvergiert es relativ langsam (der Abbruchparameter eps sollte deshalb nicht zuklein gewahlt werden), zum anderen muss man geeignete Punkte a, b ∈ R mitf(a)f(b) < 0 als Startwerte finden. Manchmal existieren solche Punkte aber garnicht! Beispielsweise hat die Funktion f(x) = x2 eine doppelte Nullstelle in x = 0;wegen f(x) ≥ 0 fur alle x ∈ R wird man keine a, b ∈ R mit f(a)f(b) < 0 findenkonnen. Auf solche Probleme lasst sich das Bisektionsverfahren daher nicht anwen-den.

1.2. NEWTON–VERFAHREN 5

k ak bk0 0.000000000000000E+00 0.000000000000000E+001 5.000000000000000E–01 1.000000000000000E+002 5.000000000000000E–01 7.500000000000000E–013 6.250000000000000E–01 7.500000000000000E–014 6.250000000000000E–01 6.875000000000000E–015 6.250000000000000E–01 6.562500000000000E–016 6.406250000000000E–01 6.562500000000000E–017 6.484375000000000E–01 6.562500000000000E–018 6.523437500000000E–01 6.562500000000000E–019 6.523437500000000E–01 6.542968750000000E–01

10 6.523437500000000E–01 6.533203125000000E–0111 6.523437500000000E–01 6.528320312500000E–0112 6.525878906250000E–01 6.528320312500000E–0113 6.525878906250000E–01 6.527099609375000E–0114 6.526489257812500E–01 6.527099609375000E–01

Tabelle 1.1: Iterationsverlauf beim Bisektionsverfahren

1.2 Newton–Verfahren

In diesem Abschnitt betrachten wir das Nullstellenproblem

f(x) = 0

mit einer Funktion f : R→ R, die zumindest als stetig differenzierbar vorausgesetztwird. Die Idee besteht darin, zu einer gegebenen Naherung xk an eine Nullstelle x∗ dienachste Iterierte xk+1 so zu bestimmen, dass sie der um den Punkt xk linearisiertenGleichung (Taylor–Polynom ersten Grades mit Entwicklungspunkt xk)

f(xk) + f ′(xk)(x− xk) = 0

genugt. Hieraus ergibt sich die Rechenvorschrift fur das sogenannte Newton–Verfahren

xk+1 = xk −f(xk)

f ′(xk)∀k = 0, 1, 2, . . . ,

wobei x0 ein geeigneter Startwert sei.Anschaulich lasst sich das Newton–Verfahren wie folgt interpretieren: Sei xk wie-

der eine gegebene Naherung fur eine Nullstelle x∗ von f . Dann legen wir im Punktxk die Tangente an die Funktion f (diese Tangente ist gerade die oben angegebenelinearisierte Funktion: T (x) = f(xk)+f

′(xk)(x−xk)). Die Nullstelle dieser Tangenteliefert dann die nachste Iterierte, vergleiche Abbildung 1.4.

Wir wollen als Nachstes die Konvergenzeigenschaften des Newton–Verfahrensuntersuchen. Zu diesem Zweck formulieren wir zunachst folgendes Lemma.


−1 −0.5 0 0.5 1 1.5 2 2.5 3−3

−2.5

−2

−1.5

−1

−0.5

0

0.5

1

Abbildung 1.3: Graph der Funktion f(x) = x3 − 3x2 + 1

fx xx* k+1 k

Abbildung 1.4: Zur Interpretation des Newton–Verfahrens

Lemma 1.1 Sei x∗ eine Nullstelle von f mit f ′(x∗) 6= 0. Dann gelten die folgendenAussagen:

(a) Es existieren Konstanten ε > 0 und c > 0 mit f ′(x) 6= 0 und 1/|f ′(x)| ≤ c furalle x ∈ (x∗ − ε, x∗ + ε).

(b) Es ist

limx→x∗

|f(x)− f(x∗)− f ′(x)(x− x∗)||x− x∗|

= 0.

Beweis: Teil (a) ergibt sich unmittelbar aus der Voraussetzung f ′(x∗) 6= 0 undder Stetigkeit von f ′. Wir kommen daher zum Beweis von Teil (b): Da f in x∗differenzierbar ist, gilt

limx→x∗

|f(x)− f(x∗)− f ′(x∗)(x− x∗)||x− x∗|

= 0. (1.5)


Also folgt unter Verwendung der Dreiecksungleichung

limx→x∗

|f(x)− f(x∗)− f ′(x)(x− x∗)||x− x∗|

≤ limx→x∗

|f(x)− f(x∗)− f ′(x∗)(x− x∗)||x− x∗|

+ limx→x∗

|f ′(x)− f ′(x∗)| |x− x∗||x− x∗|

= limx→x∗

|f(x)− f(x∗)− f ′(x∗)(x− x∗)||x− x∗|

+ limx→x∗

|f ′(x)− f ′(x∗)|

= 0,

denn der erste Term verschwindet wegen (1.5), und der zweite Term verschwindetaufgrund der Stetigkeit von f ′ im Punkt x∗. 2

Das folgende Resultat enthalt nun die wesentlichen Konvergenzeigenschaften desNewton–Verfahrens. Dabei gehen wir implizit davon aus, dass das Verfahren nichtschon nach endlich vielen Schritten in einer Nullstelle abbricht.

Satz 1.2 (Lokaler Konvergenzsatz fur das Newton–Verfahren)Sei x∗ eine Nullstelle von f mit f ′(x∗) 6= 0. Dann existiert ein ε > 0, so dass furalle Startwerte x0 ∈ (x∗ − ε, x∗ + ε) die folgenden Aussagen gelten:

(a) Das Newton–Verfahren ist wohldefiniert (d.h., es ist f ′(xk) 6= 0 fur alle k) underzeugt eine Folge {xk}, die gegen die Nullstelle x∗ konvergiert.

(b) Es ist

limk→∞

|xk+1 − x∗||xk − x∗|

= 0.

Beweis: Wegen Lemma 1.1 (a) existieren Konstanten ε1 > 0 und c > 0 mit

1/|f ′(x)| ≤ c (1.6)

fur alle x ∈ (x∗ − ε1, x∗ + ε1). Wegen Lemma 1.1 (b) existiert ferner ein ε2 > 0 mit

|f(x)− f(x∗)− f ′(x)(x− x∗)| ≤1

2c|x− x∗| (1.7)

fur alle x ∈ (x∗− ε2, x∗ + ε2). Setze nun ε := min{ε1, ε2}, und wahle einen Startwertx0 aus dem Intervall (x∗ − ε, x∗ + ε). Dann existiert

x1 = x0 − f(x0)/f′(x0),

und wegen (1.6) und (1.7) gilt

|x1 − x∗| = |x0 − x∗ − f(x0)/f′(x0)|

≤ |f(x0)− f(x∗)− f ′(x0)(x0 − x∗)|/|f ′(x0)|


≤ c |f(x0)− f(x∗)− f ′(x0)(x0 − x∗)|

≤ 1

2|x0 − x∗|.

Insbesondere liegt daher auch x1 in dem Intervall (x∗ − ε, x∗ + ε). Induktiv ergibtsich hieraus, dass xk existiert und der Ungleichung

|xk − x∗| ≤1

2|xk−1 − x∗| ≤ . . . ≤

(1

2

)k

|x0 − x∗|

genugt. Also ist die Folge {xk} wohldefiniert und konvergiert gegen die Nullstelle x∗von f , womit die Behauptung (a) bewiesen ist.

Wir kommen daher zum Nachweis der Aussage (b). Unter nochmaliger Verwen-dung des Lemmas 1.1 ergibt sich

limk→∞

|xk+1 − x∗||xk − x∗|

= limk→∞

|xk − x∗ − f(xk)/f′(xk)|

|xk − x∗|

= limk→∞

|f(xk)− f(x∗)− f ′(xk)(xk − x∗)||f ′(xk)| |xk − x∗|

≤ c limk→∞|f(xk)− f(x∗)− f ′(xk)(xk − x∗)|

= 0,

also die Behauptung (b). 2

Eine gegen einen Punkt x∗ konvergente Folge {xk} mit der Eigenschaft

limk→∞

|xk+1 − x∗||xk − x∗|

= 0 (1.8)

nennt man superlinear konvergent. In diesem Sinne ist das Newton–Verfahren gemaßSatz 1.2 also superlinear konvergent, allerdings nur lokal, d.h., bei guter Wahl desStartwertes x0. Der Grenzwert (1.8) besagt anschaulich, dass der Abstand der (k+1)-ten Iterierten xk+1 zur Nullstelle x∗ wesentlich kleiner ist als der Abstand der k-tenIterierten zu der Losung x∗. Superlinear konvergente Folgen sind also (lokal) sehrschnell konvergent.

Unter geringen Zusatzvoraussetzungen an die Glattheit der Funktion f kann mansogar die lokal quadratische Konvergenz des Newton–Verfahrens beweisen, d.h., furjede durch das Newton–Verfahren erzeugte Folge {xk} (mit gutem Startwert) gilt

|xk+1 − x∗| ≤ c|xk − x∗|2

fur alle hinreichend großen k, wobei c > 0 hierbei eine von k unabhangige Konstanteist.

Wir illustrieren das numerische Verhalten des Newton–Verfahrens wieder an demBeispiel

f(x) := x3 − 3x2 + 1.


Als Startvektor wahlen wir x0 = 1, das Abbruchkriterium ist |f(xk)| ≤ ε mitε = 10−6. Die Tabelle 1.2 gibt zu jeder Iteration k den Naherungswert xk sowieden Funktionswert f(xk) aus. Das Verfahren bricht nach nur drei Iterationen ab,die Folge der Funktionswerte {f(xk)} konvergiert in diesem Beispiel offenbar qua-dratisch gegen Null.

k xk f(xk)0 1.000000000000000E+00 -1.000000000000000E+001 6.666666666666667E–01 -3.703703703703720E–022 6.527777777777778E–01 -1.955804183813026E–043 6.527036468361320E–01 -5.724778651128304E–09

Tabelle 1.2: Iterationsverlauf beim Newton–Verfahren

Das Newton–Verfahren konvergiert hier also wesentlich schneller als das Bisektions-verfahren. Ferner kann man mit dem Newton–Verfahren haufig eine sehr hohe Ge-nauigkeit erreichen. Allerdings liefert das Newton–Verfahren keine Abschatzung, wieweit die augenblickliche Iterierte xk noch von der Nullstelle x∗ entfernt ist. Fernerist das Newton–Verfahren lediglich ein lokal konvergentes Verfahren. Bei schlech-ter Wahl des Startwertes x0 kann es durchaus eine divergente Folge erzeugen. DerLeser moge sich das anschaulich an dem Beispiel der Funktion f(x) = arctan(x)selbst uberlegen. Daruber hinaus ist das Newton–Verfahren lediglich auf stetig dif-ferenzierbare Funktionen anwendbar (und benotigt in jeder Iteration auch den Wertder Ableitung), wahrend das Bisektionsverfahren auch fur nur stetige Abbildungenfunktioniert.

Benutzt man das Newton–Verfahren zur Nullstellenbestimmung bei Polynomen,so kann man unter gewissen Voraussetzungen und geeigneter Wahl des Startwertesauch globale Konvergenz beweisen. Der folgende Satz liefert ein derartiges Resultat.

Satz 1.3 Sei p ein reelles Polynom vom Grade r mit einer Nullstelle λ1 derart,dass λ1 ≥ Re(ξ) fur jede andere Nullstelle ξ ∈ C von p gelte. Dann ist die durch dasNewton–Verfahren mit einem Startwert x0 > λ1 erzeugte Folge {xk} streng monotonfallend und konvergiert gegen die Nullstelle λ1.

Beweis: Ohne Beschrankung der Allgemeinheit gehen wir davon aus, dass dasPolynom p den fuhrenden Koeffizienten 1 besitzt (anderenfalls dividiere man dasPolynom durch diesen Koeffizienten). Seien ferner λ1 ≥ λ2 ≥ . . . ≥ λ` die reellenNullstellen sowie ξ1, ξ1, . . . , ξm, ξm die Paare von konjugiert–komplexen Nullstellenvon p (so dass insbesondere `+ 2m = r gilt). Dann ist

p(x) =∏

i=1

(x− λi)m∏

i=1

(x− ξi)(x− ξi). (1.9)


Differentiation liefert

p′(x) =

(∑

i=1

1

x− λi+

m∑

i=1

(1

x− ξi+

1

x− ξi

))

p(x)

=

(∑

i=1

1

x− λi+ 2

m∑

i=1

x−Re(ξi)

(x− ξi)(x− ξi)

)

p(x),

(1.10)

denn ist

q(x) =r∏

i=1

(x− ηi)

ein beliebiges Polynom vom Grad r mit den Nullstellen ηi ∈ C, so ergibt sich durchInduktion nach r sehr leicht die Formel

q′(x) =

r∑

i=1

r∏

j=1j 6=i

(x− ηj) =

(r∑

i=1

1

x− ηi

)

q(x)

fur die Ableitung von q. Nun gilt fur jedes ξ ∈ C\R und x ∈ R

(x− ξ)(x− ξ) = x2 − 2xRe(ξ) + |ξ|2

> x2 − 2xRe(ξ) + (Re(ξ))2

= (x−Re(ξ))2

≥ 0.

Aus (1.9) folgt daherp(x) > 0 ∀x > λ1.

Entsprechend folgt aus (1.10) auch

p′(x) > 0 ∀x > λ1.

Beides zusammen liefert die Ungleichung

x− p(x)

p′(x)< x ∀x > λ1. (1.11)

Andererseits gilt wegen (1.10) unter Verwendung von

(∑

i=1

1

x− λi

+ 2m∑

i=1

x−Re(ξi)

(x− ξi)(x− ξi)

)

≥ 1

x− λ1

∀x > λ1

auch

x− p(x)

p′(x)≥ λ1 ∀x > λ1. (1.12)

Mittels vollstandiger Induktion ergibt sich aus (1.11) und (1.12) sofort, dass diedurch das Newton–Verfahren erzeugte Folge {xk} fur jeden Startwert x0 > λ1 streng

1.3. SEKANTENVERFAHREN 11

monoton fallt und durch λ1 nach unten beschrankt ist. Als monoton fallende undnach unten beschrankte Folge ist sie automatisch konvergent, etwa gegen x∗. Wegenxk ≥ λ1 fur alle k ∈ N ist dann x∗ ≥ λ1. Wir behaupten, dass sogar x∗ = λ1 gilt,womit alle Aussagen bewiesen waren. Der Beweis hiervon erfolgt durch Widerspruch.Ware namlich x∗ > λ1, so ergabe sich aus (1.11) unmittelbar

x∗ −p(x∗)

p′(x∗)< x∗.

Aus der Newton–Vorschrift ergibt sich aus Stetigkeitsgrunden jedoch die Gultigkeitder Gleichung

x∗ −p(x∗)

p′(x∗)= x∗

(man beachte hierbei, dass p′(x∗) > 0 gilt wegen x∗ > λ1). Dieser Widerspruch lie-fert die gewunschte Behauptung. 2

Handelt es sich bei der Nullstelle λ1 im Satz 1.3 um eine einfache Nullstelle desPolynoms p, so ist das Newton–Verfahren außerdem auch lokal schnell (quadratisch)konvergent.

Was die Voraussetzung uber die Lage der Nullstelle λ1 im Satz 1.3 betrifft, sowerfe man einen Blick auf die Abbildung 1.5. Dort sind die reellen und konjugiert–komplexen Nullstellen in der komplexen Ebene durch einen ausgemalten Punkt dar-gestellt. In der Situation der linken Abbildung ist hierbei die Voraussetzung desSatzes 1.3 erfullt, in der Situation der rechten Abbildung hingegen nicht.

Abbildung 1.5: Zur Verteilung der Nullstellen von p im Satz 1.3

1.3 Sekantenverfahren

Ein Nachteil des Newton–Verfahrens besteht darin, dass man in jedem Iterations-schritt die Ableitung f ′(xk) auszuwerten hat. Nun ist die Auswertung dieser Ab-leitung aber manchmal wesentlich aufwendiger als etwa eine Funktionsauswertung


von f , weshalb man gerne ein”ableitungsfreies“ Verfahren konstruieren mochte. Wir

stellen in diesem Abschnitt mit dem Sekantenverfahren eine solche Methode vor.Dazu geht man wieder von der Newton–Vorschrift

xk+1 = xk − f(xk)/f′(xk) ∀k = 0, 1, 2, . . . (1.13)

aus. Aufgrund der Definition der Ableitung gilt

f ′(xk) = limh→0

f(xk + h)− f(xk)

h.

Also liegt es nahe, den Ableitungswert von f in xk unter Verwendung eines be-tragsmaßig hinreichend kleinen hk zu approximieren in der Gestalt

f ′(xk) ≈f(xk + hk)− f(xk)

hk.

Ersetzt man f ′(xk) durch den rechts stehenden Ausdruck in der Newton–Vorschrift(1.13), so ergibt sich das so genannte Newton–Verfahren mit finiten Differenzen

xk+1 = xk −hkf(xk)

f(xk + hk)− f(xk)∀k = 0, 1, 2, . . . , (1.14)

wobei x0 wieder ein geeigneter Startwert sei. Bei dieser Variante des Newton–Verfahrens hat man die Funktion f in jeder Iteration allerdings nicht nur in demPunkt xk, sondern auch in dem benachbarten Punkt xk + hk auszuwerten; mankommt pro Iteration also auf zwei Funktionsauswertungen.

Wahlt man hk allerdings so, dass xk + hk = xk−1 gilt, so kommt man mit nureiner Funktionsauswertung pro Schritt aus, denn der Wert von f an der Stelle xk−1

ist ja bereits aus der (k − 1)-ten Iteration bekannt. Mit dieser Wahl von hk lautetdie Vorschrift (1.14) wie folgt:

xk+1 = xk −(xk−1 − xk)f(xk)

f(xk−1)− f(xk)∀k = 1, 2, . . . (1.15)

Man beachte, dass es sich hierbei um eine Drei–Term–Rekursion handelt: Zur Be-rechnung von xk+1 benotigt man die beiden unmittelbaren Vorganger xk und xk−1,so dass in der Vorschrift (1.15) drei aufeinander folgende Iterierte enthalten sind.Insbesondere hat man zu Beginn des Verfahrens zwei Startwerte x0 und x1 vorzu-geben.

Die Vorschrift (1.15) wird ublicherweise als Sekantenverfahren bezeichnet, daes die folgende anschauliche Interpretation erlaubt: Seien xk−1 und xk zwei Nahe-rungen fur eine Nullstelle x∗ von f . Legt man die Sekante durch die beiden Punkte(xk−1, f(xk−1)) und (xk, f(xk)), so ist die Nullstelle dieser Sekante gerade die nachsteIterierte xk+1 gemaß der Vorschrift (1.15), vergleiche die Abbildung 1.6.Formal lasst sich dies wie folgt einsehen: Sei s die gesuchte Sekante. Dann ist s eineaffine Funktion, etwa s(x) = mx + b, welche den beiden Interpolationsbedingungen

f(xk−1) = s(xk−1) = mxk−1 + b und


x x

f

x x1 2 * 0

Abbildung 1.6: Zur Interpretation des Sekantenverfahrens

f(xk) = s(xk) = mxk + b

genugt. Subtraktion dieser beiden Gleichungen liefert

m =f(xk)− f(xk−1)

xk − xk−1,

woraus sich durch Einsetzen in (beispielsweise) die erste Gleichung

b = f(xk)− xkf(xk)− f(xk−1)

xk − xk−1

ergibt. Die Forderung 0!= g(xk+1) liefert dann gerade die Formel (1.15) fur die neue

Iterierte xk+1.Wie wir gleich sehen werden, ist das Sekantenverfahren unter gewissen Voraus-

setzungen lokal superlinear konvergent. Hingegen wird man im Allgemeinen keinequadratische Konvergenz erwarten konnen, so dass das Sekantenverfahren lokal zu-meist etwas langsamer als das Newton–Verfahren ist. Wir illustrieren dieses Verhal-ten wieder an dem Beispiel

f(x) := x3 − 3x2 + 1.

Das Abbruchkriterium ist hier ebenfalls durch |f(xk)| ≤ ε mit ε = 10−6 gegeben.Die Konstruktion geeigneter Startwerte ist etwas komplizierter, da wir sowohl x0

als auch x1 vorgeben mussen, bevor wie die eigentliche Vorschrift (1.15) des Sekan-tenverfahrens anwenden konnen. Zu diesem Zweck wahlen wir x0 = 1 (wie beimNewton–Verfahren aus dem vorigen Abschnitt) und bestimmen x1 durch Anwen-dung eines Schrittes des Newton–Verfahrens mit finiten Differenzen, d.h., wir setzen

x1 = x0 −h0f(x0)

f(x0 + h0)− f(x0)


mit einem kleinen h0 (h0 = 10−8 in unserer Implementation), vergleiche (1.14).Die Tabelle 1.3 enthalt die zugehorigen Ergebnisse, wobei wir in jeder Iteration

k wieder den aktuellen Naherungswert xk fur die gesuchte Nullstelle x∗ sowie denzugehorigen Funktionswert f(xk) ausgeben. Die Tabelle 1.3 zeigt deutlich, dass auchdas Sekantenverfahren recht schnell konvergiert, allerdings benotigt es eine Iterationmehr als das Newton–Verfahren und ist somit in der Tat etwas langsamer.

k xk f(xk)0 1.000000000000000E+00 -1.000000000000000E+001 6.666666646408430E–01 -3.703703163484073E–022 6.538461536843276E–01 -3.015475221304520E–033 6.527098172791403E–01 -1.628435402212247E–054 6.527036474469659E–01 -7.336253604606213E–09

Tabelle 1.3: Iterationsverlauf beim Sekantenverfahren

Ansonsten hat das Sekantenverfahren ahnliche Vor– und Nachteile wie das Newton–Verfahren, nur dass es eben ohne die Verwendung von Ableitungen auskommt. Alsnicht ganz ungefahrlicher Nachteil kommt allerdings noch hinzu, dass im Nenner derIterationsvorschrift (1.15) die Gefahr der Ausloschung gegeben ist: Konvergiert diedurch das Sekantenverfahren erzeugte Folge {xk} namlich gegen eine Nullstelle x∗von f , so liegen die aufeinanderfolgenden Iterierten xk−1 und xk schließlich beliebigdicht beisammen. Aus Stetigkeitsgrunden gilt dies dann aber auch fur die zugehori-gen Funktionswerte f(xk−1) und f(xk), so dass im Nenner von (1.15) letztlich zweiweitgehend gleich große Zahlen voneinander subtrahiert werden.

Abschließend geben wir den schon angekundigten lokalen Konvergenzsatz fur dasSekantenverfahren an.

Satz 1.4 Sei f : [a, b] → R stetig differenzierbar und f ′ Lipschitz–stetig auf [a, b],etwa

|f ′(x)− f ′(y)| ≤ L|x− y| ∀x, y ∈ [a, b]

mit einer Konstanten L ≥ 0. Sei ferner x∗ ∈ (a, b) eine Nullstelle von f mit f ′(x∗) 6=0. Dann existieren ein ε > 0 und ein Intervall Iε := [x∗ − ε, x∗ + ε] ⊆ [a, b], so dassfur alle Startwerte x0, x1 ∈ Iε mit x0 6= x1 gelten:

(a) Das Sekantenverfahren ist wohldefiniert und erzeugt eine gegen x∗ konvergenteFolge {xk} ⊆ Iε.

(b) Es existiert eine Nullfolge {ck} ⊆ R+ mit ck+1 = O(cpk) fur p := (1 +√

5)/2 ≈1.618 derart, dass |xk − x∗| ≤ ck fur alle hinreichend großen k ∈ N gilt.

Beweis: (a) Wahle ε > 0 so klein, dass Iε := [x∗ − ε, x∗ + ε] ⊆ [a, b] und Lε ≤12|f ′(x∗)| gelten. Wegen

|f ′(x∗)| − |f ′(x)| ≤∣∣f ′(x∗)− f ′(x)

∣∣


≤ L|x∗ − x|≤ Lε

≤ 1

2|f ′(x∗)|

fur alle x ∈ Iε ist dann

1

2|f ′(x∗)| ≤ |f ′(x)| ∀x ∈ Iε. (1.16)

Seien nun xk−1, xk ∈ Iε mit xk−1 6= xk beliebig gegeben. Aus der Definition desSekantenverfahrens folgt unter Verwendung der Mittelwertsatze aus der Differential–und Integralrechnung die Darstellung

xk+1 − x∗ = xk − x∗ −xk − xk−1

f(xk)− f(xk−1)f(xk)

= (xk − x∗)f(xk)−f(xk−1)

xk−xk−1− f(xk)−f(x∗)

xk−x∗

f(xk)−f(xk−1)

xk−xk−1

= (xk − x∗)∫ 1

0[f ′(xk−1 + t(xk − xk−1))− f ′(x∗ + t(xk − x∗))] dt

f ′(ξk)

fur einen Zwischenpunkt ξk ∈ Iε. Unter Verwendung von (1.16) und der vorausge-setzten Lipschitz–Stetigkeit von f ′ folgt hieraus

|xk+1 − x∗| ≤2|xk − x∗||f ′(x∗)|

∫ 1

0

∣∣f ′(xk−1 + t(xk − xk−1))− f ′(x∗ + t(xk − x∗))

∣∣dt

≤ L

|f ′(x∗)||xk−1 − x∗|︸︷︷︸

≤ε

|xk − x∗|

≤ Lε

|f ′(x∗)|︸︷︷︸

≤ 12

|xk − x∗|

≤ 1

2|xk − x∗|.

Insbesondere ist daher auch xk+1 ∈ Iε und xk+1 6= xk. Induktiv ergibt sich somit dieBehauptung (a).

(b) Sei ε > 0 wie im Beweis von Teil (a) gewahlt. Setze c := L/|f ′(x∗)|. Dann istcε ≤ 1

2und

|xk+1 − x∗| ≤ c · |xk − x∗| · |xk−1 − x∗| ∀k ∈ N

aufgrund des Beweises von Teil (a). Definieren wir den Fehler

ek := c · |xk − x∗|


und setzen noch

δ := max{e0, e1} ≤ cε ≤ 1

2,

so erhalten wir hierausek+1 ≤ ekek−1

und folgliche2 ≤ δ2, e3 ≤ δ3, e4 ≤ δ5, . . . , ek ≤ δfk

mit der durchf0 := 1, f1 := 1, fk+1 := fk + fk−1 ∀k ≥ 1

definierten Folge der Fibonacci–Zahlen. Damit ist

|xk − x∗| ≤1

cδfk =: ck ∀k = 0, 1, . . . .

Somit ist nur noch zu zeigen, dass die Folge {ck} die gewunschten Eigenschaftenbesitzt. Wegen {fk} → ∞ handelt es sich zunachst um eine Nullfolge. Eine expliziteDarstellung fur die Fibonacci–Zahlen ist gegeben durch die Formel von Binet

fk =1√5

(

1 +√

5

2

)k+1

−(

1−√

5

2

)k+1

=1√5

[pk+1 − (−p)−(k+1)

]∀k ∈ N0,

siehe zum Beispiel [17]. Diese impliziert dann

fk+1 − pfk =1√5

[pk+2 − (−p)−(k+2) − pk+2 + (−1)k+1p−k

]

=(−1)k+1

√5

[p−(k+2) + p−k

]

und daherlim

k→∞

[fk+1 − pfk

]= 0

wegen p > 1. Aus der Darstellung

ck+1

cpk= cp−1δfk+1−pfk

folgt somit die Behauptung. 2

Zwecks Erlauterung der Aussage (b) des Satzes 1.4 sei erwahnt, dass eine Nullfolge{ck} ⊆ R+ mit der Eigenschaft ck+1 = O(c2k) fur alle hinreichend großen k ∈ N

gerade die quadratische Konvergenz dieser Folge gegen Null bedeuten wurde. Isthingegen lediglich ck+1 = O(cpk) fur ein p ∈ (1, 2), so hat man superlineare Konver-genz vorliegen. Im Satz 1.4 ist dabei speziell p = 1

2

(1 +√

5)≈ 1.618, so dass schon

relativ schnelle superlineare Konvergenz vorliegt (p liegt hier dichter an 2 als an 1).

1.4. REGULA FALSI 17

1.4 Regula falsi

Die so genannte regula falsi ist eine weitere Methode zur Losung des Nullstellenpro-blems

f(x) = 0

mit einer zumindest stetigen Funktion f : [a, b] → R. Sie entsteht durch eine ge-schickte Kombination des Bisektionsverfahrens mit dem Sekantenverfahren.

Analog zum Bisektionsverfahren bestimmt die regula falsi namlich ebenfalls eineFolge von Intervallen [ak, bk] mit f(ak)f(bk) < 0 fur alle k ∈ N, so dass f aufgrunddes Zwischenwertsatzes mindestens eine Nullstelle in jedem der Intervalle [ak, bk]besitzt. Insbesondere hat man zu Beginn wieder ein Ausgangsintervall [a0, b0] zufinden, so dass f verschiedene Vorzeichen in a0 und b0 hat.

In jedem Iterationsschritt bestimmt man dann wieder einen Zwischenpunkt ck ∈(ak, bk) und wahlt dann entweder [ak+1, bk+1] = [ak, ck] oder [ak+1, bk+1] = [ck, bk] alsneues Intervall, und zwar gerade so, dass die Vorzeichenbedingung f(ak+1)f(bk+1) <0 erfullt bleibt.

Anders als beim Bisektionsverfahren wird ck jedoch nicht als Mittelpunkt desIntervalles [ak, bk] genommen, sondern als Nullstelle der durch die beiden Punkte(ak, f(ak)) und (bk, f(bk)) gehenden Sekante. Dieses ck ist offenbar gegeben durch

ck = ak −(ak − bk)f(ak)

f(ak)− f(bk);

man beachte hierbei, dass die Nullstelle ck tatsachlich in dem Intervall (ak, bk) liegt.Die Berechnung von ck weist naturlich eine große Ahnlichkeit mit der Iterationsvor-schrift beim Sekantenverfahren auf: Ist namlich ak = xk und bk = xk−1, so entsprichtobiges ck gerade der nachsten Iterierten xk+1 beim Sekantenverfahren.

Algorithmisch lasst sich die regula falsi beispielsweise wie folgt umsetzen:

FUNCTION Nullstelle = Regulafalsi (a,b)

eps = 1E-6;

REPEAT

c = a-((a-b)*f(a))/(f(a)-f(b));

IF f(a) ∗ f(c) > 0 THEN

a = c;

ELSE

b = c;

END

UNTIL ABS(f(c)) < eps

Nullstelle = c;

RETURN

Dieser Pseudocode geht wieder davon aus, dass zwei Punkte a, b mit f(a)f(b) < 0ubergeben werden (was wiederum zu prufen ware) und bricht ab, sobald ein Intervall


[ak, bk] gefunden wird, dessen Lange kleiner als ε ist (mit ε = 10−4 in dem obigenPseudocode).

Durch diese Modifikation des Bisektionsverfahrens erhalt man zumeist eine schnel-lere Konvergenz, da das in der regula falsi mit eingebaute Sekantenverfahren zurBestimmung des Zwischenpunktes ck viel schneller konvergiert als das Bisektions-verfahren. Haufig wird bei der regula falsi ab einem bestimmten Iterationsindex kubrigens nur eine der Intervallgrenzen verandert, wahrend die andere Intervallgrenzefix bleibt (warum wohl?). Man beachte dabei, dass in einem solchen Fall die Langeder Intervalle [ak, bk] nicht notwendig gegen Null geht.

Wir illustrieren das numerische Verhalten der regula falsi wieder an dem Beispiel

f(x) := x3 − 3x2 + 1

mit dem Startintervall [a0, b0] := [0, 1]. Die Tabelle 1.4 gibt in jeder Iteration diedurch die regula falsi erzeugten Intervallgrenzen ak und bk an. Das Abbruchkriteriumist wie im obigen Pseudocode. Aus der Tabelle 1.4 liest man sofort ab, dass lediglichder linke Randpunkt ak verandert wird und stets gleich der Nullstelle ck ist.

k ak bk0 0.000000000000000E+00 1.000000000000000E+001 5.000000000000000E–01 1.000000000000000E+002 6.363636363636364E–01 1.000000000000000E+003 6.512968299711815E–01 1.000000000000000E+004 6.525855054733890E–01 1.000000000000000E+005 6.526937452196810E–01 1.000000000000000E+006 6.527028152952065E–01 1.000000000000000E+00

Tabelle 1.4: Iterationsverlauf bei der regula falsi

Im Hinblick auf die Ahnlichkeit der regula falsi mit dem Sekantenverfahren wird dasSekantenverfahren selbst in der Literatur manchmal auch als regula falsi bezeichnet.

1.5 Eigenwerte symmetrischer Tridiagonalmatri-

zen

Sei A ∈ Rn×n eine beliebige Matrix. Bekanntlich ist λ ∈ C genau dann ein Eigenwertvon A, wenn λ eine Nullstelle des zugehorigen charakteristischen Polynoms

pA(λ) := det(A− λI)

ist. Fur symmetrische Matrizen A sind alle Eigenwerte und somit alle Nullstellenvon pA außerdem reell, so dass wir im Prinzip jedes in diesem Kapitel besprocheneVerfahren auf die skalare Gleichung pA(λ) = 0 anwenden konnen.

1.5. EIGENWERTE SYMMETRISCHER TRIDIAGONALMATRIZEN 19

Die Bestimmung von Eigenwerten einer Matrix uber die Nullstellen des zugehori-gen charakteristischen Polynoms gilt in der Numerik im Allgemeinen jedoch als sehrinstabil (siehe z.B. Schwarz [19]) und wird daher meist nicht empfohlen. Oben-drein hat man bei der Anwendung der verschiedenen Verfahren aus diesem Kapitelmindestens die Funktionswerte pA(λ) und zum Teil auch die Ableitungen p′A(λ) zuberechnen, wobei momentan nicht klar ist, wie dies effizient geschehen kann.

Aus diesem Grunde beschranken wir uns in diesem Abschnitt auf die Behandlungvon symmetrischen Tridiagonalmatrizen. Es sei allerdings erwahnt, dass eine beliebi-ge symmetrische Matrix mittels orthogonaler Ahnlichkeitstransformationen stets aufeine solche Gestalt gebracht werden kann, vgl. [8]. Außerdem haben symmetrischeMatrizen bekanntlich stets reelle Eigenwerte.

Sei nun T := A eine symmetrische Tridiagonalmatrix. Dann hat T die Gestalt

T =

α1 β2

β2 α2. . .

. . .. . . βn

βn αn

∈ R

n×n (1.17)

mit gewissen Zahlen αi, βi ∈ R. Gilt hierbei βi = 0 fur einen Index i ∈ {2, . . . , n},so lasst sich die Bestimmung der Eigenwerte von T offenbar zuruckfuhren auf dieBestimmung der Eigenwerte von

T1 :=

α1 β2

β2 α2. . .

. . .. . . βi−1

βi−1 αi−1

und T2 :=

αi βi+1

βi+1 αi+1. . .

. . .. . . βn

βn αn

.

Die Berechnung der Eigenwerte von T gelingt in diesem Fall also durch die Be-stimmung der Eigenwerte von zwei Matrizen kleinerer Dimension, bei denen es sichebenfalls um symmetrische Tridiagonalmatrizen handelt. Aus diesem Grund werdenwir fur den Rest dieses Abschnittes ohne Beschrankung der Allgemeinheit davonausgehen, dass βi 6= 0 fur alle i ∈ {2, . . . , n} gilt.

Das folgende Resultat besagt, dass samtliche Eigenwerte von T dann verschiedensind. Damit sind auch die Nullstellen des charakteristischen Polynoms pT alle ein-fach, was fur die Anwendung etwa des Newton–Verfahrens von großter Bedeutungist, da diese Eigenschaft die lokal schnelle Konvergenz des Verfahrens garantiert.

Lemma 1.5 Sei T die symmetrische Tridiagonalmatrix aus (1.17) mit βi 6= 0 furalle i = 2, . . . , n. Dann sind samtliche Eigenwerte von T einfach.

Beweis: Fur jedes λ ∈ R sind wegen βi 6= 0 (i = 2, . . . , n) die ersten n− 1 Spaltender Matrix T − λI offenbar linear unabhangig. Also ist Rang(T − λI) ≥ n − 1 furalle λ ∈ R. Andererseits ist die Matrix T − λI fur jeden Eigenwert λ = λi singular.Daher gilt Rang(T−λiI) = n−1 fur alle Eigenwerte λi (i = 1, . . . , n) von T . Hierausfolgt

dim(Kern(T − λiI)

)= n−

(Rang(T − λiI)

)= n− (n− 1) = 1


aufgrund einer bekannten Dimensionsformel aus der linearen Algebra. Also ist derEigenraum Kern(T − λiI) von λi nur eindimensional. Also ist die geometrische unddaher auch die algebraische Vielfachheit des Eigenwertes λi gleich Eins. 2

Wir betrachten nun (beispielhaft) das Newton–Verfahren fur die skalare GleichungpT (λ) = 0. Dieses besitzt die Rekursionsschrift

λk+1 := λk −pT (λk)

p′T (λk), k = 0, 1, . . . ,

so dass wir uns uberlegen mussen, wie sich die Ausdrucke pT (λk) und p′T (λk) moglichsteinfach berechnen lassen. Eine Antwort hierauf gibt das nachste Resultat, wobei wirdort mit

Tk :=

α1 β2

β2 α2. . .

. . .. . . βk

βk αk

∈ R

k×k

die k-te Hauptabschnittsmatrix von T und mit

pk(λ) := det(Tk − λI)

das zugehorige charakteristische Polynom bezeichnen.

Lemma 1.6 (a) Fur die charakteristischen Polynome pk(λ) gelten die Rekursi-onsformeln

p1(λ) = α1 − λ,p2(λ) = (α1 − λ)(α2 − λ)− β2

2 ,

pk+1(λ) = (αk+1 − λ)pk(λ)− β2k+1pk−1(λ), k = 2, . . . , n− 1.

(b) Fur die Ableitungen p′k(λ) gelten die Rekursionsformeln

p′1(λ) = −1,

p′2(λ) = 2λ− α1 − α2,

p′k+1(λ) = −pk(λ) + (αk+1 − λ)p′k(λ)− β2k+1p

′k−1(λ), k = 2, . . . , n− 1.

Beweis: (a) Die Darstellung von p1(λ) und p2(λ) ist klar. Wegen

Tk+1 − λI =

α1 − λ β2

β2 α2 − λ . . .. . .

. . . βk

βk αk − λ βk+1

βk+1 αk+1 − λ

1.5. EIGENWERTE SYMMETRISCHER TRIDIAGONALMATRIZEN 21

ergibt sich fur pk+1(λ) durch Entwicklung nach der letzten Zeile die Darstellung

pk+1(λ) = det(Tk+1 − λI)

= −βk+1 det

α1 − λ β2

β2 α2 − λ . . .. . .

. . . βk−1

βk−1 αk−1 − λ 0βk βk+1

+ (αk+1 − λ)pk(λ).

Nochmalige Entwicklung nach der letzten Spalte liefert dann

pk+1(λ) = −β2k+1pk−1(λ) + (αk+1 − λ)pk(λ)

und damit gerade die Behauptung (a).

(b) Die Darstellungen von p′1(λ) und p′2(λ) sind klar. Die Rekursionsformel furp′k+1(λ) ergibt sich aus Teil (a), indem man in der dortigen Rekursionsformel einfachauf beiden Seiten die Ableitung nach λ bildet. 2

Bei der Anwendung des Lemmas 1.6 beachte man, dass die Werte pn(λ) und p′n(λ)mit den gesuchten Großen pT (λ) und p′T (λ) ubereinstimmen.

Will man mit dem Newton–Verfahren beispielsweise eine Naherung fur den großtenEigenwert von T bestimmen, so sollte man wegen Satz 1.3 mit einem Startwert λ0

beginnen, der (anschaulich) rechts von diesem großten Eigenwert liegt, da man indiesem Fall neben der lokal schnellen Konvergenz auch die globale Konvergenz desNewton–Verfahrens sichern kann. Das folgende Resultat gibt einen Hinweis fur dieWahl von λ0.

Lemma 1.7 Sei T die Tridiagonalmatrix aus (1.17). Dann gilt

|λj| ≤ max1≤i≤n

{|βi|+ |αi|+ |βi+1|

}

fur alle Eigenwerte λj von T , wobei wir formal β1 := βn+1 := 0 gesetzt haben.

Beweis: Wir betrachten die Maximumnorm ‖x‖∞ := max |xi| als Vektornorm. Diehierdurch induzierte Matrixnorm ist bekanntlich die Zeilensummennorm, so dass wir

‖T‖∞ = max1≤i≤n

{|βi|+ |αi|+ |βi+1|}

erhalten. Ist nun λj ein beliebiger Eigenwert von T mit zugehorigem Eigenvektorx 6= 0, so folgt aus Ax = λjx sofort

|λj| ‖x‖∞ = ‖λjx‖∞ = ‖Tx‖∞ ≤ ‖T‖∞‖x‖∞

und daher |λj| ≤ ‖T‖∞ wegen x 6= 0. Dies liefert die Behauptung. 2


Wir illustrieren das Verhalten des Newton–Verfahrens kurz an dem Beispiel derMatrix

T =

7 33 4 −5−5 2 2

2 5 77 2 10

10 −1

∈ R6×6.

Gemaß Lemma 1.7 wahlen wir als Startvektor

λ0 := max1≤i≤6

{|βi|+ |αi|+ |βi+1|

}= 19.

Das Newton–Verfahren liefert dann die Naherungswerte aus der Tabelle 1.5.

k λk p(λk)0 19.0000000000 6040500.00000000001 17.1339404733 1908697.78362084812 15.7518886631 573668.05653977633 14.8271962449 152568.04490976644 14.3393496528 28851.35744087515 14.1946661712 2064.02772979406 14.1826148012 13.50924876597 14.1825348789 0.00059134558 14.1825348754 0.0000000000

Tabelle 1.5: Newton–Verfahren fur Tridiagonalmatrix

Kapitel 2

Newton–Verfahren

2.1 Das lokale Newton–Verfahren

Wir untersuchen in diesem Abschnitt das (lokale) Newton–Verfahren zur Losungeines nichtlinearen Gleichungssystems

F (x) = 0 (2.1)

mit einer zumindest stetig differenzierbaren Funktion F : Rn → R

n. Zur Herleitungdes Newton–Verfahrens gehen wir davon aus, dass xk eine aktuelle Naherung fureine Nullstelle x∗ von (2.1) bezeichnet. Wir approximieren die nichtlineare Funktionlokal dann durch die Linearisierung

Fk(x) := F (xk) + F ′(xk)(x− xk)

um den Punkt xk und bestimmen die neue Naherung xk+1 fur x∗ dann als Nullstelleder linearisierten Funktion Fk. Dies fuhrt auf die Vorschrift

xk+1 = xk − F ′(xk)−1F (xk). (2.2)

Hierbei wird man die inverse Matrix F ′(xk)−1 im Allgemeinen naturlich nicht explizitbilden. Vielmehr bestimmt man in der Praxis zunachst einen Korrekturvektor dk alsLosung der so genannten Newton–Gleichung

F ′(xk)d = −F (xk)

und setzt anschließend xk+1 = xk + dk. Die so bestimmte Iterierte xk+1 stimmtoffenbar mit jener aus (2.2) uberein. Setzt man dies iterativ fort, so gelangt man zudem nachstehenden Verfahren.

Algorithmus 2.1 (Lokales Newton–Verfahren)

(S.0) Wahle x0 ∈ Rn, ε ≥ 0, und setze k := 0.

(S.1) Ist ‖F (xk)‖ ≤ ε: STOP.

23

24 KAPITEL 2. NEWTON–VERFAHREN

(S.2) Bestimme dk ∈ Rn durch Losen des linearen Gleichungssystems

F ′(xk)d = −F (xk).

(S.3) Setze xk+1 := xk + dk, k ← k + 1, und gehe zu (S.1).

Wir wollen in diesem Abschnitt die lokalen Konvergenzeigenschaften des Algorith-mus 2.1 untersuchen. Zu diesem Zweck erweisen sich die nachstehenden Begriffe alssehr hilfreich.

Definition 2.2 Sei {xk} ⊆ Rn eine gegen ein x∗ ∈ Rn konvergente Folge. Dannkonvergiert {xk} (mindestens)

(i) linear gegen x∗, falls ein c ∈ (0, 1) existiert mit

‖xk+1 − x∗‖ ≤ c‖xk − x∗‖ (2.3)

fur alle k ∈ N hinreichend groß.

(ii) superlinear gegen x∗, falls

‖xk+1 − x∗‖/‖xk − x∗‖ → 0 fur k →∞

gilt.

(iii) quadratisch gegen x∗, falls ein C ≥ 0 existiert mit

‖xk+1 − x∗‖ ≤ C‖xk − x∗‖2 (2.4)

fur alle k ∈ N.

Man beachte, dass wir in der Definition 2.2 explizit die Konvergenz der Folge {xk}gegen x∗ voraussetzen. Dies ware zum Teil gar nicht notig, da beispielsweise ausder definierenden Eigenschaft (2.3) der linearen Konvergenz wegen c ∈ (0, 1) au-tomatisch die Konvergenz der Folge {xk} gegen x∗ folgt. Dies gilt jedoch nicht imFalle der quadratischen Konvergenz, denn aus (2.4) alleine folgt nicht notwendig dieKonvergenz von {xk} gegen x∗. Beim Nachweis der quadratischen Konvergenz einerFolge hat man also zunachst zu zeigen, dass uberhaupt Konvergenz vorliegt.

Wir kommen nun zur Konvergenzuntersuchung des lokalen Newton–Verfahrensaus dem Algorithmus 2.1. Das Ziel besteht darin, unter geeigneten Voraussetzungendie lokal superlineare bzw. sogar quadratische Konvergenz zu beweisen. Hierzu be-darf es jedoch noch einiger Vorbereitungen. Dazu beginnen wir mit dem folgendenResultat.

Lemma 2.3 Seien A,B ∈ Rn×n mit ‖I − BA‖ < 1. Dann sind A und B regular,und es gilt die Abschatzung

‖A−1‖ ≤ ‖B‖1− ‖I − BA‖

(eine analoge Ungleichung ist auch fur B−1 erfullt).

2.1. DAS LOKALE NEWTON–VERFAHREN 25

Beweis: Sei M ∈ Rn×n zunachst eine beliebige Matrix mit ‖M‖ < 1. Fur jedesx ∈ Rn ist dann

‖(I −M)x‖ = ‖x−Mx‖ ≥ ‖x‖ − ‖Mx‖ ≥(1− ‖M‖

)‖x‖. (2.5)

Aus (I −M)x = 0 folgt daher x = 0, denn nach Voraussetzung ist 1 − ‖M‖ > 0.Also ist I −M regular. Speziell fur x := (I −M)−1y mit einem beliebigen y ∈ Rn

folgt aus (2.5) dann

‖y‖ ≥(1− ‖M‖

)‖(I −M)−1y‖ ∀y ∈ R

n.

Die Definition einer Matrixnorm impliziert daher

‖(I −M)−1‖ = maxy 6=0

‖(I −M)−1y‖‖y‖ ≤ 1

1− ‖M‖ . (2.6)

Damit haben wir gezeigt, dass die Ungleichung (2.6) fur jede Matrix M ∈ Rn×n mit‖M‖ < 1 erfullt ist. Wir wenden dieses Ergebnis nun auf die Matrix M := I − BAan, fur die ‖M‖ < 1 nach Voraussetzung erfullt ist. Aufgrund des gerade bewiesenenZwischenresultates ist I −M dann regular und genugt der Ungleichung

‖(I −M)−1‖ ≤ 1

1− ‖M‖ =1

1− ‖I − BA‖ . (2.7)

Wegen I−M = BA sind dann sowohl A als auch B regular. Aus A−1 = (I−M)−1Bfolgt mit (2.7) dann

‖A−1‖ ≤ ‖(I −M)−1‖ ‖B‖ ≤ ‖B‖1− ‖I − BA‖ ,

was gerade die Behauptung ist. 2

Als Konsequenz des obigen Lemmas zeigen wir nun, dass aus der Regularitat derJacobi–Matrix F ′(x∗) in einem Punkt x∗ ∈ R

n bereits die Regularitat der Jacobi–Matrix F ′(x∗) fur alle x ∈ Rn aus einer (hinreichend kleinen) Umgebung von x∗

folgt. Ferner ergibt sich, dass die entsprechenden Inversen gleichmaßig beschranktsind.

Lemma 2.4 Seien F : Rn → Rn stetig differenzierbar, x∗ ∈ Rn und F ′(x∗) re-gular. Dann existiert ein ε > 0, so dass auch F ′(x) fur alle x ∈ Kε(x

∗) regular ist.Außerdem existiert eine Konstante c > 0 mit

‖F ′(x)−1‖ ≤ c

fur alle x ∈ Kε(x∗).


Beweis: Aus Stetigkeitsgrunden existiert ein ε > 0 mit

‖F ′(x∗)− F ′(x)‖ ≤ 1

2‖F ′(x∗)−1‖

fur alle x ∈ Kε(x∗). Also ist

‖I − F ′(x∗)−1F ′(x)‖ ≤ ‖F ′(x∗)−1‖ · ‖F ′(x∗)− F ′(x)‖ ≤ 1

2

fur alle x ∈ Kε(x∗). Das Lemma 2.3 (mit A := F ′(x), B := F ′(x∗)−1) impliziert

daher, dass auch alle Jacobi–Matrizen F ′(x) mit x ∈ Kε(x∗) regular sind, und dass

diese der Ungleichung

‖F ′(x)−1‖ ≤ ‖F ′(x∗)−1‖1− ‖I − F ′(x∗)−1F ′(x)‖ ≤ 2‖F ′(x∗)−1‖

genugen. Die Behauptung folgt daher mit c := 2‖F ′(x∗)−1‖. 2

Als weitere Vorbereitung benotigen wir noch das nachstehende Resultat, bei demwir von den ublichen Landau–Symbolen Gebrauch machen. Zur Erinnerung hieranseien {αk} und {βk} zwei positive Nullfolgen. Dann schreibt man

αk = o(βk),

falls αk/βk → 0. Die Folge {αk} geht also deutlich schneller gegen Null als die Folge{βk}. Entsprechend schreibt man

αk = O(βk),

fallslim sup

k→∞

αk

βk

< +∞

gilt. Dies ist aquivalent dazu, dass eine Konstante c ≥ 0 existiert mit

αk

βk≤ c ∀k ∈ N.

Nach diesen Wiederholungen kommen wir nun zu unserem letzten Hilfsresultat.

Lemma 2.5 Seien F : Rn → Rn und {xk} ⊆ Rn eine gegen ein x∗ ∈ Rn konvergenteFolge. Dann gelten die folgenden Aussagen:

(a) Ist F stetig differenzierbar, so ist

‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖ = o(‖xk − x∗‖).

(b) Ist F stetig differenzierbar und F ′ lokal Lipschitz–stetig, so ist

‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖ = O(‖xk − x∗‖2).

2.1. DAS LOKALE NEWTON–VERFAHREN 27

Beweis: (a) Aus der Dreiecksungleichung ergibt sich

‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖≤ ‖F (xk)− F (x∗)− F ′(x∗)(xk − x∗)‖+ ‖F ′(x∗)− F ′(xk)‖ · ‖xk − x∗‖.

Da F nach Voraussetzung differenzierbar in x∗ ist, gilt

‖F (xk)− F (x∗)− F ′(x∗)(xk − x∗)‖ = o(‖xk − x∗‖).

Die Stetigkeit von F ′ in x∗ liefert außerdem

‖F ′(x∗)− F ′(xk)‖ → 0.

Zusammen ergibt sich gerade die Behauptung.

(b) Sei L > 0 die lokale Lipschitz–Konstante von F ′ in einer Umgebung von x∗. Ausdem Mittelwertsatz in der Integralform ergibt sich dann

‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖

=∥∥

∫ 1

0

F ′(x∗ + t(xk − x∗))(xk − x∗)dt− F ′(xk)(xk − x∗)∥∥

=∥∥

∫ 1

0

[F ′(x∗ + t(xk − x∗))− F ′(xk)]dt(xk − x∗)∥∥

≤∫ 1

0

∥∥F ′(x∗ + t(xk − x∗))− F ′(xk)

∥∥dt‖xk − x∗‖

≤ L‖xk − x∗‖∫ 1

0

∥∥(t− 1)(xk − x∗)

∥∥dt

=L

2‖xk − x∗‖2

fur alle hinreichend großen k ∈ N. 2

Nach diesen Vorbereitungen kommen wir nun zu dem Hauptresultat dieses Ab-schnitts.

Satz 2.6 Seien F : Rn → R

n stetig differenzierbar, x∗ ∈ Rn eine Nullstelle von F

und F ′(x∗) regular. Dann existiert ein ε > 0, so dass fur jeden Startwert x0 ∈ Kε(x∗)

gelten:

(a) Das lokale Newton–Verfahren aus dem Algorithmus 2.1 ist wohldefiniert underzeugt eine gegen x∗ konvergente Folge {xk}.

(b) Die Konvergenzrate ist superlinear.

(c) Die Konvergenzrate ist quadratisch, sofern F ′ zusatzlich lokal Lipschitz–stetigist.


Beweis: Wegen Lemma 2.4 existiert ein ε1 > 0, so dass die Jacobi–Matrizen F ′(x)fur alle x ∈ Kε1(x

∗) regular sind und der Ungleichung

‖F ′(x)−1‖ ≤ c

mit einer Konstanten c > 0 genugen. Ferner existiert wegen Lemma 2.5 (a) offenbarein ε2 > 0 mit

‖F (x)− F (x∗)− F ′(x)(x− x∗)‖ ≤ 1

2c‖x− x∗‖

fur alle x ∈ Kε2(x∗). Setze nun ε := min{ε1, ε2}, und wahle x0 ∈ Kε(x

∗). Dann istx1 wohldefiniert, und es gilt

‖x1 − x∗‖ = ‖x0 − x∗ − F ′(x0)−1F (x0)‖≤ ‖F ′(x0)−1‖ · ‖F (x0)− F (x∗)− F ′(x0)(x0 − x∗)‖≤ c 1

2c‖x0 − x∗‖

= 12‖x0 − x∗‖.

(2.8)

Also ist auch x1 ∈ Kε(x∗), und per Induktion folgt

‖xk − x∗‖ ≤(

1

2

)k

‖x0 − x∗‖

fur alle k ∈ N. Daher ist die Folge {xk} wohldefiniert und konvergiert gegen x∗, wasdie Aussage (a) beweist.

Zum Nachweis der Aussagen (b) und (c) bemerken wir zunachst, dass man analogzu (2.8) die Ungleichung

‖xk+1 − x∗‖ = ‖xk − x∗ − F ′(xk)−1F (xk)‖≤ ‖F ′(xk)−1‖ · ‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖≤ c‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖

erhalt, woraus sich wegen Lemma 2.5 und dem schon bewiesenen Teil (a) unmittel-bar die superlineare bzw. quadratische Konvergenz der Folge {xk} gegen x∗ ergibt. 2

2.2 Ein globalisiertes Newton–Verfahren

Gesucht sei weiterhin eine Losung des nichtlinearen Gleichungssystems

F (x) = 0

mit einer stetig differenzierbaren Funktion F : Rn → Rn. Das Newton–Verfahren ausdem vorigen Abschnitt ist lediglich ein lokal konvergentes Verfahren, d.h., startetman die Iteration in der Nahe einer Nullstelle, so konvergiert das Verfahren unter

2.2. EIN GLOBALISIERTES NEWTON–VERFAHREN 29

gewissen Voraussetzungen gegen diese Nullstelle (sogar sehr schnell). Hingegen wirdman im Allgemeinen keine Konvergenz mehr erwarten konnen, wenn man etwasweiter weg von der Nullstelle startet. Man kann sich dies sehr einfach am Beispielder arctan–Funktion veranschaulichen.

Damit stellt sich naturlich die Frage, wie man den Konvergenzbereich des Newton–Verfahrens (oder auch anderer lokal konvergenter Methoden) vergroßern kann, daman normalerweise nicht weiß, ob man tatsachlich in der Nahe einer Nullstelle star-tet, so dass der lokale Konvergenzsatz 2.6 greift. Prinzipiell gibt es zur Globalisierungdes Newton–Verfahrens (oder eben anderer lokaler Methoden) die folgenden Strate-gien:

• Globalisierung durch eine Schrittweitenstrategie

• Globalisierung durch einen Trust–Region–Ansatz

• Globalisierung mittels eines Homotopie–Verfahrens.

In diesem Abschnitt diskutieren wir kurz die erste Idee, wahrend die beiden anderenAnsatze zu einem spateren Zeitpunkt besprochen werden.

Zunachst formulieren wir das nichtlineare Gleichungssystem um als ein unre-stringiertes Minimierungsproblem der Gestalt

min f(x), x ∈ Rn,

mit der Zielfunktion f : Rn → R, die durch

f(x) :=1

2F (x)TF (x) =

1

2‖F (x)‖2

gegeben ist. Offenbar ist jede Nullstelle von F dann ein globales Minimum von f .Umgekehrt ist jedes Minimum x∗ von f mit f(x∗) = 0 auch eine Nullstelle von F .Allerdings kann f auch lokale Minima x∗ besitzen, fur die f(x∗) > 0 gilt. Diesehaben fur das eigentliche Nullstellenproblem dann keine weitere Bedeutung undsind leider der Grund dafur, dass die globalisierten Verfahren manchmal ebenfallsscheitern. Trotzdem sind diese globalisierten Verfahren oft erfolgreich, wenn daslokale Verfahren versagt, so dass sie hier beschrieben werden sollen.

Die wesentliche Idee zur Durchfuhrung einer Globalisierung mittels einer Schritt-weitenstrategie besteht darin, in jeder Iteration k die beiden folgenden Ideen durch-zufuhren:

• Bestimme eine Abstiegsrichtung dk von f in xk, also einen Vektor dk ∈ Rn mit∇f(xk)Tdk < 0.

• Bestimme eine Schrittweite tk > 0 mit (mindestens) f(xk + tkdk) < f(xk), und

setze xk+1 := xk + tkdk.


Die Bestimmung einer Abstiegsrichtung ist ziemlich einfach, sofern ∇f(xk) 6= 0 ist.Beispielsweise kann man dk := −∇f(xk) wahlen. Hierfur gilt dann

∇f(x)Tdk = −∇f(xk)T∇f(xk) = −‖∇f(xk)‖2 < 0.

Diese Wahl von dk fuhrt auf das Gradientenverfahren (Verfahren des steilsten Ab-stiegs) und ist in der numerischen Praxis meist sehr unbefriedigend, vergleiche [4].Das folgende Resultat liefert eine weitaus bessere Wahl.

Lemma 2.7 Seien F : Rn → Rn stetig differenzierbar, f(x) := 12F (x)TF (x) und

xk ∈ Rn ein gegebener Punkt mit F (xk) 6= 0 und F ′(xk) regular. Dann ist dieNewton–Richtung dk := −F ′(xk)−1F (xk) eine Abstiegsrichtung von f in xk.

Beweis: Aus

∇f(xk)Tdk = −F (xk)TF ′(xk)F ′(xk)−1F (xk) = −‖F (xk)‖2 < 0

folgt sofort die Behauptung. 2

Hat man eine Abstiegsrichtung gefunden, so sucht man als Nachstes eine geeigneteSchrittweite tk > 0, so dass zumindest f(xk + tkd

k) < f(xk) gilt. Um auch theore-tische Eigenschaften beweisen zu konnen, wird man etwas mehr fordern mussen alsdie bloße Verminderung des Zielfunktionswertes von f . Beliebt ist beispielsweise dieso genannte Armijo–Bedingung

f(xk + tkdk) ≤ f(xk) + tkσ∇f(xk)Tdk, (2.9)

wobei σ ∈ (0, 1) eine vorgegebene Konstante ist. Eine numerische Realisierung kannrecht einfach geschehen, indem man tk als die großte Zahl in {1, β, β2, β3, . . . , }wahlt, so dass die Armijo–Bedingung erfullt ist, wobei β ∈ (0, 1) ebenfalls ein festgegebener Parameter sei. Aufgrund des nachstehenden Resultates handelt es sichhierbei um einen endlichen (und somit durchfuhrbaren) Prozess.

Lemma 2.8 Seien β, σ ∈ (0, 1) gegeben, xk ∈ Rn und dk ∈ Rn eine Abstiegsrichtungvon f in xk. Dann existiert ein endlicher Index `k ∈ N derart, dass die Armijo–Bedingung (2.9) mit tk = β`k erfullt ist.

Beweis: Angenommen, es gibt keinen solchen endlichen Index. Dann ist

f(xk + β`dk) > f(xk) + β`σ∇f(xk)Tdk

und somitf(xk + β`dk)− f(xk)

β`> σ∇f(xk)Tdk

fur alle ` ∈ N. Mit `→∞ folgt hieraus

∇f(xk)Tdk ≥ σ∇f(xk)Tdk,

2.2. EIN GLOBALISIERTES NEWTON–VERFAHREN 31

da f stetig differenzierbar und somit richtungsdifferenzierbar ist. Wegen σ ∈ (0, 1)impliziert dies jedoch ∇f(xk)Tdk ≥ 0, was der vorausgesetzten Abstiegseigenschaftvon dk widerspricht. 2

Insgesamt konnen wir nach diesen Vorbereitungen das nachfolgende globalisierteNewton–Verfahren formulieren.

Algorithmus 2.9 (Globalisiertes Newton–Verfahren)

(S.0) Wahle x0 ∈ Rn, ρ > 0, p > 2, β ∈ (0, 1), σ ∈ (0, 12), ε ≥ 0, setze k := 0.

(S.1) Ist ‖∇f(xk)‖ ≤ ε: STOP.

(S.2) Finde eine Losung dk ∈ Rn der Newton–Gleichung

F ′(xk)d = −F (xk).

Ist dieses System nicht losbar oder ist die Bedingung

∇f(xk)Tdk ≤ −ρ‖dk‖p

nicht erfullt, so setze dk := −∇f(xk).

(S.3) Bestimme tk := max{β`∣∣ ` = 0, 1, 2, . . .

}mit

f(xk + tkdk) ≤ f(xk) + tkσ∇f(xk)Tdk.

(S.4) Setze xk+1 := xk + tkdk, k ← k + 1, und gehe zu (S.1).

Der Algorithmus 2.9 benutzt als Abstiegsrichtung stets die Newton–Richtung, soferndiese existiert und einer

”hinreichenden“ Abstiegsbedingung genugt; anderenfalls

wird der negative Gradient als Abstiegsrichtung gewahlt.

Man kann zeigen, dass jeder Haufungspunkt x∗ einer durch den Algorithmus 2.9(mit der theoretischen Wahl ε = 0) konstruierten Folge zumindest ein stationarerPunkt von f ist, also ∇f(x∗) = 0 gilt. Wegen ∇f(x∗) = F ′(x∗)TF (x∗) impliziertdies bereits F (x∗) = 0, sofern die Jacobi–Matrix F ′(x∗) regular ist, so dass wir indiesem Fall eine Losung des nichtlinearen Gleichungssystems erhalten. Ferner lasstsich zeigen, dass der Algorithmus 2.9 in der Nahe einer Nullstelle x∗ von F unter denVoraussetzungen des Satzes 2.6 die lokalen Konvergenzeigenschaften des Newton–Verfahrens aus dem Algorithmus 2.1 erbt. Insbesondere wird lokal also stets die volleSchrittweite tk = 1 akzeptiert.

Eine beliebte Wahl der Parameter im Algorithmus 2.9 ist gegeben durch

ρ = 10−8, β = 0.5, σ = 10−4, p = 2.1, ε = 10−6.


2.3 Anwendung auf nichtlineare Randwertaufga-

ben

Als Anwendung des Newton–Verfahrens betrachten wir in diesem Abschnitt dienichtlineare Randwertaufgabe

y′′ = f(t, y, y′), y(a) = ya, y(b) = yb,

wobei [a, b] ⊆ R ein kompaktes Intervall sei, ya, yb ∈ R die vorgeschriebenen Rand-werte sind und f : [a, b] × R× R → R eine zumindest stetige Funktion bezeichnet.Gesucht ist also eine zweimal stetig differenzierbare Funktion y : [a, b] → R mity(a) = ya, y(b) = yb und

y′′(t) = f(t, y(t), y′(t)

)∀t ∈ [a, b]. (2.10)

Zur numerischen Losung dieses Problems wahlen wir eine Zahl N ∈ N und fuhrendie diskreten Punkte

ti := a + ih ∀i = 0, 1, . . . , N + 1

mit der konstanten Schrittweite

h :=b− aN + 1

ein. Insbesondere sind dann t0 = a und tN+1 = b. Statt der kontinuierlichen Rand-wertaufgabe (2.10) betrachten wir dann das zugehorige diskretisierte Problem

y′′(ti) = f(ti, y(ti), y

′(ti))∀i = 1, . . . , N, y(t0) = ya, y(tN+1) = yb. (2.11)

Wir approximieren die hierin auftretenden Ableitungen nun mittels finiter Differen-zen, etwa durch

y′′(ti) ≈y(ti+1)− 2y(ti) + y(ti−1)

h2∀i = 1, . . . , N,

y′(ti) ≈y(ti+1)− y(ti−1)

2h∀i = 1, . . . , N.

Ersetzen wir die Ableitungen jetzt durch diese Differenzenquotienten in dem diskre-ten System (2.11), so erhalten wir

y(ti+1)− 2y(ti) + y(ti−1)

h2≈ f

(

ti, y(ti),y(ti+1)− y(ti−1)

2h

)

∀i = 1, . . . , N. (2.12)

Bezeichnen wir mit vi diejenigen Naherungen an die nicht bekannten Werte y(ti), furwelche in dem System (2.12) Gleichheit gilt, so gelangen wir zu dem nichtlinearenGleichungssystem

vi+1 − 2vi + vi−1 = h2f

(

ti, vi,vi+1 − vi−1

2h

)

∀i = 1, . . . , N, (2.13)

wobei noch v0 = ya, vN+1 = yb aufgrund der vorgegebenen Randwerte gilt. Diesist ein aus N Gleichungen bestehendes System in den ebenfalls N Unbekanntenv =

(v1, . . . , vN

)T ∈ RN .

2.4. DAS VEREINFACHTE NEWTON–VERFAHREN 33

Beispiel 2.10 Als konkretes Beispiel betrachten wir die nichtlineare Randwertauf-gabe

y′′ = f(t, y, y′), y(−3) = 0, y(3) = 0.2

auf dem Intervall [a, b] = [−3,+3] mit der Funktion

f(t, y, y′) := −1.5y − 0.5y2 − 2(y′)2 + 0.05t.

Mit h := 6/(N + 1) und ti := −3 + ih fur i = 0, 1, . . . , N + 1 lautet das System(2.13) dann

F (v) = 0

mit

F1(v) := v2 − 2v1 − h2

(

−1.5v1 − 0.5v21 − 2

( v2

2h

)2

+ 0.05t1

)

,

Fi(v) := vi+1 − 2vi + vi−1 − h2

(

−1.5vi − 0.5v2i − 2

(vi+1 − vi−1

2h

)2

+ 0.05ti

)

∀i = 2, . . . , N − 1,

FN (v) := 0.2− 2vN + vN−1 − h2

(

−1.5vN − 0.5v2N − 2

(0.2− vN−1

2h

)2

+ 0.05tN

)

.

Starten wir das Newton–Verfahren mit dem Vektor v := (0, . . . , 0)T ∈ RN furN = 47, so ergibt sich der Iterationsverlauf aus der Tabelle 2.1. Die zugehorigenNaherungswerte vi ≈ y(ti) finden sich in einigen ausgesuchten Punkten ti in derTabelle 2.2. Eine graphische Darstellung der Naherungslosung findet sich in derAbbildung 2.1.

k ‖F (xk)‖ ‖∇f(xk)‖0 0.2179316235 0.48495983541 0.0191452726 0.04193480622 0.0003855987 0.00042188173 0.0000056564 0.00001189984 0.0000000109 0.0000000241

Tabelle 2.1: Newton–Verfahren fur nichtlineare Randwertaufgabe (f(x) :=12F (x)TF (x))

2.4 Das vereinfachte Newton–Verfahren

Sei F : Rn → Rn weiterhin stetig differenzierbar. Zur Losung des nichtlinearenGleichungssystems

F (x) = 0


ti vi

-2.5 0.05651942-2.0 0.05917496-1.5 0.01396129-1.0 -0.06255787-0.5 -0.141634170.0 -0.186138550.5 -0.168479511.0 -0.092356701.5 0.011408062.0 0.037453172.5 0.17510056

Tabelle 2.2: Numerische Losung der Randwertaufgabe in einigen Punkten ti

benutzt das Newton–Verfahren die Iterationsvorschrift

xk+1 = xk + dk, k = 0, 1, . . . ,

wobei x0 ∈ Rn ein geeigneter Startvektor ist und dk eine Losung des Newton–Gleichung

F ′(xk)d = −F (xk)

darstellt. Zur Bestimmung von dk hat man daher in jeder Iteration ein linearesGleichungssystem mit der Koeffizientenmatrix F ′(xk) zu losen. Manchmal ist dieBerechnung von F ′(xk) aber zu teuer bzw. die Losung dieses linearen Gleichungssy-stems zu aufwendig. Beim so genannten vereinfachten Newton–Verfahren bestimmtman den Korrekturvektor dk ∈ R

n stattdessen als Losung des linearen Gleichungs-systems

F ′(x0)d = −F (xk), (2.14)

welches sich von der Newton–Gleichung darin unterscheidet, dass in jedem Itera-tionsschritt k stets dieselbe Matrix F ′(x0) auftritt. Beim vereinfachten Newton–Verfahren hat man diese Matrix daher nur einmal zu bestimmen. Außerdem brauchtman die Matrix nur einmal zu faktorisieren (mit einem Aufwand von im AllgemeinenO(n3) Rechenoperationen), um anschließend das lineare Gleichungssystem (2.14) miteinem Aufwand von lediglich O(n2) Flops losen zu konnen (im Wesentlichen tretenhierbei eine Vorwarts– und eine Ruckwartssubstitution auf). Der Rechenaufwandbeim vereinfachten Newton–Verfahren ist pro Iteration daher meist weitaus gerin-ger als beim eigentlichen Newton–Verfahren.

Der nachstehende Algorithmus enthalt eine formale Beschreibung des vereinfach-ten Newton–Verfahrens.

Algorithmus 2.11 (Vereinfachtes Newton–Verfahren)

(S.0) Wahle x0 ∈ Rn, ε ≥ 0 und setze k := 0.

2.4. DAS VEREINFACHTE NEWTON–VERFAHREN 35

−3 −2 −1 0 1 2 3−0.2

−0.15

−0.1

−0.05

0

0.05

0.1

0.15

0.2

Abbildung 2.1: Graphische Darstellung der Naherungslosung der Randwertaufgabe


(S.2) Bestimme dk ∈ Rn durch losen des linearen Gleichungssystems

F ′(x0)d = −F (xk).


Neben den erwahnten Vorteilen hat das vereinfachte Newton–Verfahren aus demAlgorithmus 2.11 naturlich auch einen gravierenden Nachteil: Man wird nicht mehrmit der lokal schnellen (superlinearen oder quadratischen) Konvergenz des Newton–Verfahrens rechnen konnen. Allerdings kann man immer noch lokal lineare Konver-genz beweisen, was wir in dem folgenden Resultat tun wollen.


n stetig differenzierbar, x∗ ∈ Rn eine Nullstelle von F

und F ′(x∗) regular. Dann existiert ein ε > 0, so dass fur jeden Startwert x0 ∈ Kε(x∗)

gelten:

(a) Das vereinfachte Newton–Verfahren aus dem Algorithmus 2.11 ist wohldefi-niert und erzeugt eine gegen x∗ konvergente Folge {xk}.

(b) Die Konvergenzrate ist linear.

Beweis: Der Beweis erfolgt weitgehend analog zu dem des Satzes 2.6: Wegen Lem-ma 2.4 existiert ein ε1 > 0, so dass die Matrizen F ′(x) fur alle x ∈ Kε1(x

∗) regularsind mit

‖F ′(x)−1‖ ≤ c


fur eine geeignete Konstante c > 0. Weiterhin gibt es wegen Lemma 2.5 (a) offenbarein ε2 > 0 mit

‖F (x)− F (x∗)− F ′(x)(x− x∗)‖ ≤ 1

4c‖x− x∗‖

fur alle x ∈ Kε2(x∗). Schließlich existiert aus Stetigkeitsgrunden ein ε3 > 0 mit

‖F ′(x)− F ′(y)‖ ≤ 1

4c

fur alle x, y ∈ Kε3(x∗). Setze nun ε := min{ε1, ε2, ε3}, und wahle x0 ∈ Kε(x

∗). Furbeliebiges xk ∈ Kε(x

∗) ergibt sich dann

‖xk+1 − x∗‖ = ‖xk − x∗ − F ′(x0)−1F (xk)‖≤ ‖F ′(x0)−1‖ · ‖F (xk)− F (x∗)− F ′(x0)(xk − x∗)‖≤ c‖F (xk)− F (x∗)− F ′(x0)(xk − x∗)‖≤ c‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖

+c ‖F ′(xk)− F ′(x0)‖︸︷︷︸

=0 fur k=0

·‖xk − x∗‖

≤ c1

4c‖xk − x∗‖+ c

1

4c‖xk − x∗‖

=1

2‖xk − x∗‖.

Induktiv ergibt sich hieraus, dass mit x0 auch alle Iterierten xk in der Kugel Kε(x∗)

liegen und damit insbesondere wohldefiniert sind. Ferner zeigt die obige Ungleichung

‖xk+1 − x∗‖ ≤ 1

2‖xk − x∗‖ ∀k ∈ N

sofort, dass die Folge {xk} mindestens linear gegen x∗ konvergiert. Damit sind dieAussagen (a) und (b) vollstandig bewiesen. 2

Wenden wir das vereinfachte Newton–Verfahren wieder auf das nichtlineare Rand-wertproblem aus dem Beispiel 2.10 an, so ergibt sich der Iterationsverlauf aus derTabelle 2.3. Das Verfahren benotigt also deutlich mehr Iterationsschritte als dasNewton–Verfahren selbst, dafur ist jede Iteration allerdings erheblich gunstiger, danur zu Beginn eine Matrix–Faktorisierung von F ′(x0) anfallt.

2.5 Die inverse Iteration als halb–vereinfachtes

Newton–Verfahren

Wir wollen in diesem Abschnitt zeigen, wie man mittels der Idee des vereinfachtenNewton–Verfahrens auf ein bekanntes Verfahren zur Bestimmung eines Eigenwertesund zugehorigen Eigenvektors einer gegebenen Matrix A ∈ Rn×n gelangt.

2.5. DIE INVERSE ITERATION ALS NEWTON–VERFAHREN 37

k ‖F (xk)‖0 0.21793162351 0.01914527262 0.00153692063 0.00050097654 0.00027305385 0.00014484726 0.00008792557 0.00004922338 0.00002894879 0.0000166767

10 0.000009765711 0.000005651512 0.000003296413 0.000001913314 0.000001114215 0.0000006474

Tabelle 2.3: Vereinfachtes Newton–Verfahren fur nichtlineare Randwertaufgabe

Bekanntlich ist λ genau dann ein Eigenwert von A, wenn

Av = λv

fur ein v 6= 0 gilt. Jedes solche v ist ein Eigenvektor von A zum Eigenwert λ. Damit v dann auch jedes nichttriviale Vielfache von v ein Eigenvektor ist, konnen wirfur einen solchen Eigenvektor beispielsweise noch die Bedingung

vTv = 1

hinzufugen. Dabei gehen wir davon aus, dass die Matrix A symmetrisch ist, sodass alle Eigenwerte reell sind und die Eigenvektoren ebenfalls reell gewahlt werdenkonnen.

Insgesamt erhalten wir aus den obigen Ausfuhrungen das Ergebnis, dass (v, λ)genau dann ein Eigenvektor–/Eigenwert–Paar von A ist, wenn (v, λ) eine Nullstelledes nichtlinearen Gleichungssystems

F (v, λ) = 0 mit F (v, λ) :=

(Av − λvvTv − 1

)

darstellt. Das Newton–Verfahren zur Bestimmung einer solchen Nullstelle benutztdie Iterationsvorschrift (

vk+1

λk+1

)

:=

(vk

λk

)

+

(∆vk

∆λk

)

, (2.15)


wobei(

∆vk

∆λk

)eine Losung der zugehorigen Newton–Gleichung

F ′(vk, λk)

(∆v

∆λ

)

= −F (vk, λk) (2.16)

darstellt. Wegen

F ′(vk, λk) =

(A− λkI − vk

2(vk)T 0

)

lasst sich die Newton–Gleichung (2.16) blockweise schreiben als

(A− λkI)∆vk −∆λk · vk = −(A− λkI)v

k, (2.17)

2(vk)T ∆vk = −(vk)Tvk + 1. (2.18)

Setzen wir die Matrix A− λkI einmal als regular voraus (sonst ware λk bereits einEigenwert von A) und multiplizieren wir (2.17) von links mit (A−λkI)

−1, so ergibtsich

∆vk = −vk + ∆λk(A− λkI)−1vk. (2.19)

Multiplizieren wir diese Gleichung von links mit 2(vk)T und beachten hierbei (2.18),so folgt

−(vk)Tvk + 1 = −2(vk)Tvk + 2∆λk(vk)T (A− λkI)

−1vk.

Hieraus ergibt sich

∆λk =1 + (vk)Tvk

2(vk)T (A− λkI)−1vk,

sofern der Nenner von Null verschieden ist. Einsetzen dieses Ausdrucks in (2.19)liefert die Formel

∆vk = −vk +1 + (vk)Tvk

2(vk)T (A− λkI)−1vk(A− λkI)

−1vk.

Mit (2.15) ergeben sich somit die Aufdatierungsvorschriften

vk+1 =1 + (vk)Tvk

2(vk)T (A− λkI)−1vk(A− λkI)

−1vk und (2.20)

λk+1 = λk +1 + (vk)Tvk

2(vk)T (A− λkI)−1vk(2.21)

Zur Durchfuhrung dieses Verfahrens hat man in jeder Iteration insbesondere einlineares Gleichungssystem der Gestalt

(A− λkI)d = vk

zu losen, was einen erheblichen Aufwand darstellt, da sich die Koeffizientenmatrixin jeder Iteration andert. Ersetzt man die Newton–Vorschrift (2.16) hingegen durchdie partiell vereinfachte Vorschrift

F ′(vk, λ0)

(∆v

∆λ

)

= −F (vk, λk),

2.5. DIE INVERSE ITERATION ALS NEWTON–VERFAHREN 39

die als Mittelweg zwischen dem Newton–Verfahren (mit F ′(vk, λk)) und dem verein-fachten Newton–Verfahren (mit F ′(v0, λ0)) angesehen werden kann, so erhalt manauf analoge Weise die Iterationsvorschriften

vk+1 =1 + (vk)Tvk

2(vk)T (A− λ0I)−1vk(A− λ0I)

−1vk und (2.22)

λk+1 = λk +1 + (vk)Tvk

2(vk)T (A− λ0I)−1vk. (2.23)

Hierbei hat man in jeder Iteration also ein lineares Gleichungssystem der Form

(A− λ0I)d = vk

zu losen, bei der sich die Koeffizientenmatrix nicht andert. Daher braucht man dieMatrix A−λ0I nur einmal zu faktorisieren, so dass sich die Vorschrift (2.22), (2.23)wesentlich effizienter implementieren lasst als die Vorschrift (2.22), (2.23).

Das Verfahren (2.22) hat eine starke Ahnlichkeit zu der aus der numerischenMathematik bekannten inversen Iteration von Wielandt, bei der die Aufdatierungs-vorschrift

vk+1 =(A− λ0I)

−1vk

‖(A− λ0I)−1vk‖benutzt wird, die sich von (2.22) lediglich in der (sowieso etwas willkurlichen) Nor-mierung des Vektors (A−λ0I)

−1vk unterscheidet, um bei moglichst guter Naherungλ0 an einen Eigenwert λ von A eine Approximation an einen zugehorigen Eigen-vektor zu finden. Insbesondere wird durch diesen Zugang motiviert, warum es sichbei der inversen Iteration von Wielandt um ein lokal relativ schnell konvergentesVerfahren handelt.


Kapitel 3

Inexakte Newton–Verfahren

3.1 Idee inexakter Newton–Verfahren

Wir betrachten weiterhin das nichtlineare Gleichungssystem

F (x) = 0

mit einer zumindest stetig differenzierbaren Funktion F : Rn → Rn. Das (lokale)Newton–Verfahren zur Losung dieses Problems erzeugt eine Folge {xk} unter Ver-wendung der Vorschrift xk+1 := xk + dk, wobei x0 ∈ Rn ein geeigneter Startvektorist und dk ∈ Rn eine Losung der Newton–Gleichung

F ′(xk)d = −F (xk) (3.1)

darstellt. Man hat also in jeder Iteration ein lineares Gleichungssystem mit der Koef-fizientenmatrix F ′(xk) zu losen. Wie schon im Abschnitt 2.4 bemerkt, ist die (exakte)Losung dieses linearen Gleichungssystems unter Umstanden zu aufwendig. Deshalbhaben wir beim vereinfachten Newton–Verfahren das lineare Gleichungssystem (3.1)ersetzt durch

F ′(x0)d = −F (xk).

Allerdings haben wir fur dieses vereinfachte Newton–Verfahren auch nur lokal lineareKonvergenz nachweisen konnen.

In diesem Abschnitt folgen wir nun einer anderen Idee und betrachten wiederdie Newton–Gleichung (3.1). Allerdings losen wir diese jetzt nicht mehr exakt (etwamittels einer LR– oder QR–Zerlegung), sondern nur noch inexakt (mittels geeigneteriterativer Verfahren). Die Genauigkeit der Losung wird in der Iteration k unterVerwendung eines Parameters ηk ≥ 0 gemessen, so dass

‖F (xk) + F ′(xk)d‖ ≤ ηk‖F (xk)‖

gilt. Die Große ηk ≥ 0 misst also den relativen Fehler in der Newton–Gleichung(3.1). Insgesamt erhalten wir somit das folgende Verfahren.

Algorithmus 3.1 (Lokales inexaktes Newton–Verfahren)

41

42 KAPITEL 3. INEXAKTE NEWTON–VERFAHREN

(S.0) Wahle x0 ∈ Rn, ε ≥ 0, und setze k := 0.


(S.2) Wahle eine Toleranz ηk ≥ 0, und bestimme einen Vektor dk ∈ Rn mit

‖F (xk) + F ′(xk)dk‖ ≤ ηk‖F (xk)‖. (3.2)


Bestimmt man dk als exakte Losung der Newton–Gleichung (3.1), so genugt diesesdk (sofern uberhaupt existent) offenbar stets der Bedingung (3.2). Insbesondere exi-stiert zumindest dann eine Losung von (3.2), wenn die Jacobi–Matrix F ′(xk) regularist. Tatsachlich stimmt der Algorithmus 3.1 mit dem lokalen Newton–Verfahren ausdem Algorithmus 2.1 uberein, wenn wir stets ηk = 0 wahlen.

Der Algorithmus 3.1 stellt naturlich nur ein lokal konvergentes Verfahren dar.Er lasst sich allerdings analog zum Newton–Verfahren etwa durch Verwendung derArmijo–Schrittweitenregel globalisieren. Da die Ubertragung einer solchen Globali-sierung auf der Hand liegt, gehen wir hierauf nicht naher ein, sondern widmen unsim nachsten Abschnitt gleich den lokalen Konvergenzeigenschaften des inexaktenNewton–Verfahrens aus dem Algorithmus 3.1.

Vorher illustrieren wir das numerische Verhalten allerdings durch Anwendung desAlgorithmus 3.1 auf das Randwertproblem vom Beispiel 2.10. Dazu wahlen wir wie-der N = 47. Fur die inexakte Losung der linearen Gleichungssysteme (3.2) verwen-den wir fur unsere numerischen Rechnungen das BiCGSTAB–Verfahren (vergleicheetwa das Buch [10] von Meister) mit der Toleranz ηk = min{1/(k+1), ‖F (xk)}. Dieim nachsten Abschnitt zu entwickelnde Theorie besagt, dass wir fur diese Wahl vonηk lokal quadratische Konvergenz erwarten konnen. Die wird durch die numerischenResultate in der Tabelle 3.1 letztlich auch belegt. Die Spalten in der Tabelle habeneine ahnliche Bedeutung wie in der entsprechenden Tabelle 2.1 fur das Newton–Verfahren. Lediglich die letzte Spalte ist neu hinzugekommen, wo wir fur jede außereIteration die Anzahl der benotigten inneren Iterationen des BiCGSTAB–Verfahrensangeben. Ansonsten benotigt das inexakte Newton–Verfahren zwar eine Iterationmehr als das (lokale) Newton–Verfahren selbst, aber insgesamt wird auch hier sehrschnell eine Naherungslosung gefunden.

3.2 Konvergenz inexakter Newton–Verfahren

Wir untersuchen in diesem Abschnitt die lokalen Konvergenzeigenschaften des inex-akten Newton–Verfahrens aus dem Algorithmus 3.1. Diese hangen naturlich von derWahl der Folge {ηk} ab. Der folgende Satz besagt nun, dass man bei geeigneter Wahlder Toleranzen ηk in volliger Analogie zum eigentlichen Newton–Verfahren wiederlineare, superlineare bzw. gar quadratische Konvergenz erreichen kann.

3.2. KONVERGENZ INEXAKTER NEWTON–VERFAHREN 43

k ‖F (xk)‖ ‖∇f(xk)‖ i0 0.2179316235 0.4849598354 01 0.0494804131 0.0812106734 22 0.0103710376 0.0278684146 603 0.0002721420 0.0001523953 424 0.0000103531 0.0000186217 465 0.0000000421 0.0000000929 52

Tabelle 3.1: Inexaktes Newton–Verfahren fur nichtlineare Randwertaufgabe (f(x) :=12F (x)TF (x))


n stetig differenzierbar und x∗ ∈ Rn eine Nullstelle von

F mit F ′(x∗) regular. Dann existiert ein ε > 0, so dass fur jedes x0 ∈ Kε(x∗) die

folgenden Aussagen gelten:

(a) Ist ηk ≤ η fur ein hinreichend kleines η ∈ (0, 1), so ist der Algorithmus 3.1wohldefiniert und die durch ihn erzeugte Folge {xk} konvergiert gegen x∗.

(b) Die Konvergenzrate ist superlinear, falls ηk → 0 gilt.

(c) Die Konvergenzrate ist quadratisch, falls ηk = O(‖F (xk)‖) gilt und F ′ lokalLipschitz-stetig ist.

Beweis: Der Beweis ist letztlich nur eine relativ einfache Verallgemeinerung desentsprechenden Konvergenzsatzes 2.6 fur das Newton–Verfahren aus dem Algorith-mus 2.1.

Da F stetig differenzierbar ist, handelt es sich nach dem Mittelwertsatz bei Fzumindest um eine lokal Lipschitz–stetige Funktion. Also existieren ein ε1 > 0 undeine Konstante L > 0 mit

‖F (x)‖ = ‖F (x)− F (x∗)‖ ≤ L‖x− x∗‖ (3.3)

fur alle x ∈ Kε1(x∗). Wegen Lemma 2.4 existiert ferner ein ε2 > 0, so dass F ′(x) fur

alle x ∈ Kε2(x∗) regular ist mit

‖F ′(x)−1‖ ≤ c (3.4)

fur eine Konstante c > 0. Aufgrund des Lemmas 2.5 (a) existiert außerdem einε3 > 0 mit

∥∥F (x)− F (x∗)− F ′(x)(x− x∗)

∥∥ ≤ 1

4c‖x− x∗‖ (3.5)

fur alle x ∈ Kε3(x∗). Setze nun ε := min{ε1, ε2, ε3} und

η =1

4cL. (3.6)


Wahle x0 ∈ Kε(x∗). Dann ist F ′(x0) zumindest regular. Insbesondere lasst sich

daher ein d0 ∈ Rn mit (3.2) berechnen. Somit ist x1 wohldefiniert, und es gilt wegen(3.3)—(3.6):

‖x1 − x∗‖ =∥∥x0 − x∗ − F ′(x0)−1F (x0) + F ′(x0)−1[F ′(x0)d0 + F (x0)]

∥∥

≤ ‖F ′(x0)−1‖[∥∥F (x0)− F (x∗)− F ′(x0)(x0 − x∗)

∥∥

+‖F ′(x0)d0 + F (x0)‖]

≤ c

(1

4c‖x0 − x∗‖+ η‖F (x0)‖

)

≤ c

(1

4c‖x0 − x∗‖+ ηL‖x0 − x∗‖

)

=1

2‖x0 − x∗‖.

Also ist auch x1 ∈ Kε(x∗), und per Induktion folgt

‖xk − x∗‖ ≤(

1

2

)k

‖x0 − x∗‖

fur alle k ∈ N. Ist also ηk ≤ η, so ist die Folge {xk} wohldefiniert und (mindestens)linear konvergent gegen x∗. Dies beweist die Aussage (a).

Zum Nachweis von Teil (b) bemerken wir zunachst, dass man analog zur obigenUngleichungskette auch

‖xk+1 − x∗‖ ≤ c(‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖+ ηk‖F (xk)‖

)

≤ c(‖F (xk)− F (x∗)− F ′(xk)(xk − x∗)‖+ ηkL‖xk − x∗‖

)

beweisen kann. Fur ηk → 0 ist daher

‖xk+1 − x∗‖ = o(‖xk − x∗‖)wegen Lemma 2.5 (a), d.h., die Folge {xk} konvergiert (mindestens) superlineargegen x∗, womit auch die Aussage (b) bewiesen ist.

Der Nachweis der quadratischen Konvergenz lasst sich auf ahnliche Weise verifi-zieren und bleibt dem Leser daher als Aufgabe uberlassen. 2

Aufgrund des Satzes 3.2 ist es zumindest aus theoretischer Sicht uberhaupt nichtnotig, die Newton–Gleichung (3.1) in jeder Iteration exakt zu losen. Bei geeigneterWahl der Parameter ηk ergibt sich namlich auch bei inexakter Losung die superli-neare oder quadratische Konvergenz des Algorithmus 3.1.

Andererseits hinterlasst der Satz 3.2 auch einen etwas faden Beigeschmack: DieAussage (a) (von der letztlich auch (b) und (c) abhangen) ist theoretisch zwar rechtinteressant, praktisch jedoch wenig brauchbar, da nicht gesagt wird, wie klein dieobere Schranke η denn nun wirklich gewahlt werden muss, um zumindest (lineare)Konvergenz zu erhalten.

Tatsachlich wird sich herausstellen, dass man η ∈ (0, 1) beliebig wahlen kann.Als Vorbereitung hierzu beweisen wir zunachst ein weiteres Hilfsresultat.

3.2. KONVERGENZ INEXAKTER NEWTON–VERFAHREN 45

Lemma 3.3 Seien F : Rn → Rn stetig differenzierbar und {xk} ⊆ Rn eine gegenein x∗ ∈ Rn konvergente Folge. Dann gilt

∫ 1

0

∥∥F ′(x∗ + τ(xk − x∗)

)− F ′(x∗)

∥∥dτ → 0 fur k →∞.

Beweis: Aus xk → x∗ folgt sofort

x∗ + τ(xk − x∗)→ x∗ fur k →∞,

und zwar gleichmaßig fur alle τ ∈ [0, 1]. Da F ′ stetig ist, gibt es somit zu einembeliebig vorgegebenen ε > 0 ein k0 = k0(ε) ∈ N mit

∥∥F ′(x∗ + τ(xk − x∗)

)− F ′(x∗)

∥∥ ≤ ε ∀k ≥ k0

und alle τ ∈ [0, 1]. Dies impliziert

∫ 1

0

∥∥F ′(x∗ + τ(xk − x∗)

)− F ′(x∗)

∥∥dτ ≤

∫ 1

0

εdτ = ε

fur alle k ≥ k0. Da ε > 0 beliebig gewahlt war, folgt hieraus die Behauptung. 2

Zum Nachweis der linearen Konvergenz des inexakten Newton–Verfahrens bei belie-biger Wahl von η ∈ (0, 1) mussen wir zu einer anderen (angepassten) Norm uberge-hen, namlich

‖x‖∗ := ‖F ′(x∗)x‖ fur x ∈ Rn,

wobei x∗ den Voraussetzungen des Satzes 3.2 genugen soll. Dass der Ubergang zueiner anderen (angepassten) Norm sinnvoll sein kann, folgt sofort aus der Definitionder linearen Konvergenz, da die dort auftretende Konstante c ∈ (0, 1) von der Wahlder Norm abhangt, d.h., die lineare Konvergenz ist eine von der Wahl der Normabhangige Eigenschaft.

Satz 3.4 Seien F : Rn → Rn stetig differenzierbar und x∗ ∈ Rn eine Nullstelle vonF mit F ′(x∗) regular. Dann existiert ein ε > 0, so dass fur jedes x0 ∈ Kε(x

∗) diefolgenden Aussagen gelten:

(a) Ist ηk ≤ η fur ein beliebiges η ∈ (0, 1), so ist der Algorithmus 3.1 wohldefiniertund die durch ihn erzeugte Folge {xk} konvergiert linear gegen x∗ in der Norm‖ · ‖∗.

(b) Die Konvergenzrate ist superlinear (in der Norm ‖ · ‖∗), falls ηk → 0 gilt.

(c) Die Konvergenzrate ist quadratisch (in der Norm ‖·‖∗), falls ηk = O(‖F (xk)‖)gilt und F ′ lokal Lipschitz-stetig ist.


Beweis: Die Aussagen (b) und (c) folgen sofort aus dem Satz 3.2, da sowohl diesuperlineare als auch die quadratische Konvergenz Eigenschaften sind, die von derjeweils gewahlten Norm unabhangig sind. Der Nachweis von Teil (a) ist im Prinzipebenfalls ahnlich zum Beweis des Satzes 3.2, wobei gewisse Abschatzungen aberetwas vorsichtiger vorgenommen werden mussen.

Sei also η ∈ (0, 1) beliebig und η und eine reelle Zahl mit η < η < 1. WegenLemma 2.4 existiert ein ε1 > 0, so dass F ′(x) regular ist mit

‖F ′(x)−1‖ ≤ c (3.7)

fur alle x ∈ Kε1(x∗) fur ein gewisses c > 0, wobei alle Kugelumgebungen in diesem

Beweis bezuglich der ‖ · ‖∗-Norm genommen werden. Wahle nun δ > 0 hinreichendklein, so dass

cδ‖F ′(x∗)‖+ η(1 + δ)(1 + cδ) ≤ η (3.8)

gilt. Man beachte hierbei, dass dies wegen η < η stets moglich ist.Wegen Lemma 3.3 existiert ein ε2 > 0 mit

∫ 1

0

∥∥F ′(x∗ + τ(x− x∗))− F ′(x∗)

∥∥dτ ≤ δ

‖F ′(x∗)−1‖

fur alle x ∈ Kε2(x∗). Aus dem Mittelwertsatz in der Integralform folgt daher

‖F (x)‖ =∥∥F (x∗) +

∫ 1

0

[F ′(x∗ + τ(x− x∗))− F ′(x∗)

]dτ(x− x∗)

+F ′(x∗)(x− x∗)∥∥

≤∫ 1

0

‖F ′(x∗ + τ(x− x∗))− F ′(x∗)‖dτ‖x− x∗‖+ ‖x− x∗‖∗

≤ δ

‖F ′(x∗)−1‖∥∥F ′(x∗)−1F ′(x∗)(x− x∗)

∥∥+ ‖x− x∗‖∗

≤(δ + 1

)‖x− x∗‖∗

fur alle x ∈ Kε2(x∗), da x∗ nach Voraussetzung eine Nullstelle von F ist. Wegen

Lemma 2.5 (a) existiert außerdem ein ε3 > 0 mit

‖F (x)− F (x∗)− F ′(x)(x− x∗)‖ ≤ δ

‖F ′(x∗)−1‖‖x− x∗‖ ≤ δ‖x− x∗‖∗

fur alle x ∈ Kε3(x∗). Schließlich gibt es aus Stetigkeitsgrunden ein ε4 > 0 mit

‖F ′(x)− F ′(x∗)‖ ≤ δ

fur alle x ∈ Kε4(x∗). Setze nun ε := min{ε1, ε2, ε3, ε4}, und wahle x0 ∈ Kε(x

∗). Wirsetzen zur Abkurzung

r0 := F ′(x0)d0 + F (x0)

3.3. ITERATIVE LOSUNG LINEARER GLEICHUNGSSYSTEME 47

und bemerken, dass aufgrund der Regularitat von F ′(x0) insbesondere ein Vektord0 ∈ Rn existiert mit

‖r0‖ ≤ η0‖F (x0)‖(man kann z.B. d0 als exakte Losung der Newton–Gleichung wahlen). Somit ist x1

wohldefiniert, und es gilt aufgrund der obigen Ungleichungen

‖x1 − x∗‖∗ = ‖F ′(x∗)(x1 − x∗)‖= ‖F ′(x∗)[x0 − x∗ − F ′(x0)−1F (x0)] + F ′(x∗)F ′(x0)−1r0‖≤ ‖F ′(x∗)‖ · ‖x0 − x∗ − F ′(x0)−1F (x0)‖

+‖r0 + (F ′(x∗)− F ′(x0))F ′(x0)−1r0‖≤ ‖F ′(x∗)‖ · ‖F ′(x0)−1[F ′(x0)(x0 − x∗)− F (x0)]‖

+‖r0‖+ c‖F ′(x0)− F ′(x∗)‖ · ‖r0‖≤ cδ‖F ′(x∗)‖ · ‖x0 − x∗‖∗ + ‖r0‖+ cδ‖r0‖≤ cδ‖F ′(x∗)‖ · ‖x0 − x∗‖∗ + η(1 + cδ)‖F (x0)‖≤ cδ‖F ′(x∗)‖ · ‖x0 − x∗‖∗ + η(1 + δ)(1 + cδ)‖x0 − x∗)‖∗=

(cδ‖F ′(x∗)‖+ η(1 + δ)(1 + cδ)

)‖x0 − x∗)‖∗

≤ η‖x0 − x∗‖∗.

Wegen η < 1 ist daher auch x1 ∈ Kε(x∗). Per Induktion folgt somit, dass die durch

den Algorithmus 3.1 erzeugte Folge {xk} existiert und der Bedingung

‖xk+1 − x∗‖∗ ≤ η‖xk − x∗‖∗

genugt. Hieraus folgt die Aussage (a). 2

3.3 Iterative Losung linearer Gleichungssysteme

Bei der Realisierung von inexakten Newton–Verfahren muss man in der Lage sein, dieNewton–Gleichung F ′(xk)d = −F (xk) durch ein geeignetes Verfahren approximativzu losen. Hierfur eignen sich eine ganze Reihe von iterativen Verfahren, auf die wir indiesem Abschnitt aber nur sehr kurz eingehen werden, da sie nicht unmittelbar zumThema dieser Vorlesung gehoren und deren Herleitung hier zu viel Platz einnehmenwurde.

Statt der Newton–Gleichung betrachten wir in diesem Abschnitt ein allgemeineslineares Gleichungssystem der Gestalt

Ax = b (3.9)

mit einer zumindest regularen Matrix A ∈ Rn×n und einer beliebigen rechten Seiteb ∈ Rn. Im Falle der Newton–Gleichung ist also A = F ′(xk) und b = −F (xk).


Ist die Matrix A nun symmetrisch und positiv definit, so kann man das be-kannte CG–Verfahren anwenden, um eine approximative Losung des linearen Glei-chungssystems (3.9) zu erhalten. Ist die Matrix A lediglich symmetrisch, aber nichtmehr positiv definite, so lasst sich beispielsweise das MINRES–Verfahren anwenden.Allerdings ist die Jacobi–Matrix A = F ′(xk) im Allgemeinen nicht symmetrisch,geschweige denn positiv definit. Daher ist man bei der Losung von nichtlinearenGleichungssystemen mittels inexakter Newton–Verfahren meist an solchen Metho-den interessiert, die auch zur Losung von nichtsymmetrischen Gleichungssystemeneingesetzt werden konnen.

In der Literatur findet man hierfur eine Reihe von verschiedenen Methoden,unter anderem die Verfahren GMRES, GMRES(m), BiCGSTAB, CGS, QMR undTFQMR, vergleiche hierzu beispielsweise [10, 6]. Keines dieser hier genannten Ver-fahren hat den Ruf, das jeweils beste Verfahren zur iterativen Losung eines nicht-symmetrischen linearen Gleichungssystems zu sein. Vielmehr kommt es in der Praxisgar nicht so selten vor, dass ein solches Gleichungssystem sogar durch keines dieserVerfahren gelost werden kann!

Damit der Leser aber in der Lage ist, ein inexaktes Newton–Verfahren selbst zuprogrammieren, wollen wir hier zumindest eines der oben genannten Verfahren zurLosung eines linearen Gleichungssystems der Gestalt (3.9) angeben. Hierzu wahlenwir das BiCGSTAB–Verfahren, weil wir dieses auch im Abschnitt 3.1 benutzt haben.

Algorithmus 3.5 (BiCGSTAB–Verfahren)Wahle Startvektor x0 ∈ Rn und setze r0 := b− Ax0, p0 := r0.Wahle r0 mit 〈r0, r0〉 6= 0, z.B. r0 := r0.FOR k = 0, 1, 2, . . .

αk := 〈rk,r0〉〈Apk,r0〉

;

sk := rk − αkApk;

ωk+1 := 〈Ask,sk〉〈Ask,Ask〉

;

xk+1 := xk + αkpk + ωk+1s

k;rk+1 := sk − ωk+1As

k;

βk := αk

ωk+1· 〈rk+1,r0〉

〈rk ,r0〉;

pk+1 := rk+1 + βk(pk − ωk+1Ap

k);END

Bei geeigneter Implementation konnen die Vektoren sk, xk+1, rk+1 und pk+1 offenbaruberschrieben werden. Zusammen mit dem gesondert abzuspeichernden Vektor r0

und den ebenfalls einzeln abzuspeichernden Matrix–Vektor–Produkten Apk und Ask

ergibt sich also ein Bedarf von lediglich 7 Vektoren, die neben dem Platzbedarf furdie Durchfuhrung der Matrix–Vektor–Produkte mit A den wesentlichen Speicher-aufwand darstellen.

Setzt man das BiCGSTAB–Verfahren als iterativen Loser beim inexakten Newton–Verfahren ein, so empfiehlt es sich, den Nullvektor als Startpunkt fur das BiCGSTAB–Verfahren zu wahlen.

Kapitel 4

Quasi–Newton–Verfahren

4.1 Herleitung des Broyden–Verfahrens

Zur Losung eines nichtlinearen Gleichungssystems F (x) = 0 mit zumindest stetigdifferenzierbarer Funktion F : Rn → Rn haben wir im Kapitel 2 insbesondere das(lokale) Newton–Verfahren betrachtet, das eine Folge {xk} durch die Vorschrift

xk+1 := xk − F ′(xk)−1F (xk), k = 0, 1, . . . , (4.1)

erzeugt, wobei der Startvektor x0 gegeben ist und bereits eine moglichst gute Nahe-rung an eine Nullstelle x∗ des nichtlinearen Gleichungssystems darstellen sollte.

Bei den Quasi–Newton–Verfahren hingegen wird die Iterationsvorschrift (4.1)des Newton–Verfahrens ersetzt durch

xk+1 := xk − A−1k F (xk), k = 0, 1, . . . ,

wobei die Matrix Ak ∈ Rn×n eine geeignete Approximation an die Jacobi–MatrixF ′(xk) ist. Dies hat zunachst den Vorteil, dass man die insgesamt n2 partiellen Ablei-tungen in F ′(xk) nicht zu berechnen braucht. Ferner wird sich spater noch herausstel-len, dass man den Rechenaufwand von im Allgemeinen O(n3) Flops beim Newton–Verfahren auf lediglich O(n2) Flops pro Iteration beim Quasi–Newton–Verfahrenreduzieren kann.

Von zentraler Bedeutung ist jetzt naturlich die Frage, wie man Ak bestimmtbzw. bei bekanntem Ak die neue Approximation Ak+1 an F ′(xk+1) erhalt. Geht mandavon aus, dass Ak bereits eine gute Naherung an F ′(xk) darstellt, so will man diein Ak steckenden Informationen nicht verlieren und Ak+1 somit moglichst nahe anAk wahlen. Andererseits verlangt man im Allgemeinen, dass Ak+1 der so genanntenQuasi–Newton–Gleichung

Ak+1(xk+1 − xk) = F (xk+1)− F (xk) (4.2)

genugt. Im Fall n = 1 ist Ak+1 hierdurch eindeutig bestimmt und liefert gerade dasim Abschnitt 1.3 besprochene Sekantenverfahren. Fur n > 1 hingegen wird Ak+1

durch die Quasi–Newton–Gleichung nicht mehr eindeutig definiert, da es fur die

49

50 KAPITEL 4. QUASI–NEWTON–VERFAHREN

insgesamt n2 Eintrage der Matrix Ak+1 nur n Bestimmungsgleichungen gibt. Daherlassen sich weitere (moglichst sinnvolle) Forderungen an die Matrix Ak+1 stellen, aufdie wir gleich noch zuruckkommen werden.

Zuvor sei noch erwahnt, dass sich die Gultigkeit der Quasi–Newton–Gleichung(4.2) auch dadurch rechtfertigen lasst, dass die gemittelte Jacobi–Matrix

Yk+1 :=

∫ 1

0

F ′(xk + t(xk+1 − xk))dt

aufgrund des Mittelwertsatzes der Integralrechnung der Quasi–Newton–GleichungYk+1(x

k+1 − xk) = F (xk+1)− F (xk) genugt.Auf diese Weise gelangen wir zu dem Wunsch, die Matrix Ak+1 derart zu wahlen,

dass sie beispielsweise das Problem

minB∈Rn×n

‖B − Ak‖F u.d.N. Bsk = yk (4.3)

lost, wobei wir zur Abkurzung

sk := xk+1 − xk,

yk := F (xk+1)− F (xk)

gesetzt haben und ‖C‖F := (∑n

i,j=1 c2ij)

12 die so genannte Frobenius–Norm einer

Matrix C ∈ Rn×n bezeichnet. Man beachte, dass die Frobenius–Norm auch der

Submultiplikativitat

‖CD‖F ≤ ‖C‖F‖D‖F ∀C,D ∈ Rn×n

genugt, obwohl sie durch keine Matrixnorm induziert wird. Ferner lasst sich zeigen,dass sogar die Ungleichung

‖CD‖F ≤ min{‖C‖2‖D‖F , ‖C‖F‖D‖2

}∀C,D ∈ R

n×n

erfullt ist, siehe [4, Lemma 11.14].Um die Losung des Optimierungsproblems (4.3) explizit angeben zu konnen,

benotigen wir noch das folgende Hilfsresultat

Lemma 4.1 Es gelten die folgenden Aussagen:

(a) ‖vwT‖2 = ‖v‖2‖w‖2 fur alle v, w ∈ Rn.

(b) ‖vwT‖F = ‖v‖2‖w‖2 fur alle v, w ∈ Rn.

Beweis: (a) Unter Verwendung der Cauchy–Schwarzschen Ungleichung folgt

‖vwT‖2 = max‖x‖2=1

‖vwTx‖2 = max‖x‖2=1

|wTx| ‖v‖2 ≤ max‖x‖2=1

‖x‖2‖v‖2‖w‖2 = ‖v‖2‖w‖2

fur alle v, w ∈ Rn. Speziell fur den Vektor x := w/‖w‖2 ergibt sich andererseits

‖vw‖2 = max‖x‖2=1

‖vwTx‖2 ≥ ‖vwT x‖2 = |wT x| ‖v‖2 = ‖w‖2‖v‖2

4.1. HERLEITUNG DES BROYDEN–VERFAHRENS 51

und damit die Behauptung (a).

(b) Wie man leicht sieht, gilt ‖A‖2F = Spur(AAT ) = Spur(ATA) fur eine beliebigeMatrix A. Aus dieser Darstellung ergibt sich fur alle v, w ∈ Rn

‖vwT‖2F = Spur(wvTvwT) = vTvSpur(wwT ) = vTvwTw = ‖v‖22‖w‖22

aufgrund der Linearitat der Spur–Abbildung. 2

Wir kommen jetzt zur Losung des Problems (4.3).

Satz 4.2 Seien A ∈ Rn×n sowie s, y ∈ Rn mit s 6= 0 gegeben. Dann ist die Matrix

A+ := A +(y − As)sT

sTs

sowohl eine Losung des Minimierungsproblems

minB∈Rn×n

‖B − A‖F u.d.N. Bs = y (4.4)

in der Frobenius–Norm als auch eine Losung des Minimierungsproblems

minB∈Rn×n

‖B − A‖2 u.d.N. Bs = y (4.5)

in der Spektralnorm.

Beweis: Wir beweisen hier nur die Aussage fur die Frobenius–Norm. Der Beweisfur die Spektralnorm verlauft vollig analog. Offenbar ist

A+s = As+ y − As = y

und die Matrix A+ somit insbesondere zulassig fur das Optimierungsproblem (4.4).Fur ein beliebiges B ∈ Rn×n mit Bs = y gilt außerdem

‖A+ − A‖F =

∥∥∥∥

(y − As)sT

sTs

∥∥∥∥

F

=

∥∥∥∥

(B − A)ssT

sTs

∥∥∥∥

F

≤ ‖B − A‖F‖ssT‖FsTs

= ‖B − A‖F .

Die letzte Gleichheit folgt dabei aus dem Lemma 4.1, wahrend sich die Ungleichungaus der Submultiplikativitat der Frobenius–Norm ergibt. 2


Man kann ubrigens zeigen, dass die als Broyden–Aufdatierung bezeichnete MatrixA+ sogar die eindeutig bestimmte Losung des Optimierungsproblems (4.4) bzw.(4.5) darstellt. Den Beweis dieser Aussage uberlassen wir dem Leser als Aufgabe.

Ersetzt man in dem (lokalen) Newton–Verfahren aus dem Algorithmus 2.1 dieJacobi–Matrix uberall durch die Broyden–Aufdatierung, so gelangt man zu demnachstehenden Verfahren.

Algorithmus 4.3 (Broyden–Verfahren)

(S.0) Wahle x0 ∈ Rn, A0 ∈ Rn×n, ε ≥ 0, und setze k := 0.

(S.1) Gilt ‖F (xk)‖ ≤ ε: STOP.

(S.2) Bestimme dk ∈ Rn als Losung des linearen Gleichungssystems

Akd = −F (xk).

(S.3) Setze xk+1 := xk + dk sowie

Ak+1 := Ak +(yk − Aks

k)(sk)T

(sk)Tsk

mitsk := xk+1 − xk und yk := F (xk+1)− F (xk).

(S.4) Setze k ← k + 1, und gehe zu (S.1).

Der Algorithmus 4.3 benotigt also keinerlei Ableitungen von F . Die Jacobi–MatrizenF ′(xk) werden vielmehr durch die Broyden–Matrizen Ak approximiert, die sich ex-plizit gemaß Schritt (S.3) aufdatieren lassen, wobei allerdings eine AnfangsnaherungA0 im Schritt (S.0) vorgegeben werden muss. Außerdem werden wir noch zeigen, wiesich der Schritt (S.2) effizient losen lasst. Zunachst aber setzen wir uns in den folgen-den Abschnitten mit den lokalen Konvergenzeigenschaften des Broyden–Verfahrensauseinander.

Vorher allerdings illustrieren wir das numerische Verhalten des Broyden–Ver-fahrens wieder an der Randwertaufgabe aus dem Beispiel 2.10. Als Startvektorwahlen wir auch hier x0 := 0. Zusatzlich hat man eine geeignete Startmatrix A0

zu wahlen. Hier setzen wir A0 := F ′(x0), da uns die Jacobi–Matrix im Startpunktexplizit zur Verfugung steht. Anderenfalls konnte man A0 als eine finite Differenzen–Approximation an F ′(x0) wahlen oder einfach A0 := γI fur ein γ ∈ R setzen. Dieletztgenannte Wahl empfiehlt sich allerdings nur, wenn Ableitungen tatsachlich nichtzur Verfugung stehen und man auch sonst keine nutzlichen Informationen uber Fbesitzt. Die zugehorigen numerischen Resultate sind in der Tabelle 4.1 wiedergege-ben. Diese Resultate belegen, dass man immer noch eine relativ schnelle Konvergenzvorliegen hat, wenngleich mehr Iterationen als beim Newton–Verfahren oder beiminexakten Newton–Verfahren benotigt werden. Immerhin ist die Zahl der Iterationenaber deutlich niedriger als beim vereinfachten Newton–Verfahren.

4.2. LINEARE KONVERGENZ DES BROYDEN–VERFAHRENS 53

k ‖F (xk)‖0 0.21793162351 0.01914527262 0.00157318603 0.00085424244 0.00032529695 0.00004891666 0.00004039367 0.00000382338 0.0000008357

Tabelle 4.1: Broyden–Verfahren fur nichtlineare Randwertaufgabe

Schließlich sei noch vermerkt, dass beispielsweise auch die Matrix

A+ := A +(y − As)yTA

yTAs

der Quasi–Newton–Gleichung (4.2) genugt. Diese Aufdatierungsformel wurde eben-falls von Broyden vorgeschlagen und wird in der Literatur gerne als die schlechteBroyden–Formel bezeichnet, da sie numerisch im Allgemeinen weniger gut abschnei-det als die hier hergeleitete Broyden–Aufdatierung, die deshalb auch unter dem Na-men gute Broyden–Formel bekannt ist.

Allgemein genugt sogar jede Matrix der Gestalt

A+ = A+(y − As)vT

vTs

fur ein beliebiges v ∈ Rn mit vTs 6= 0 der Quasi–Newton–Gleichung. Speziell fur v :=s bzw. v := ATy ergibt sich die gute bzw. schlechte Broyden–Formel als Spezialfall.

4.2 Lineare Konvergenz des Broyden–Verfahrens

Wir untersuchen in diesem und dem nachfolgenden Abschnitt die lokalen Konver-genzeigenschaften des Broyden–Verfahrens aus dem Algorithmus 4.3. Das Ziel diesesAbschnittes wird dabei sein, die lokal lineare Konvergenz des Broyden–Verfahrens zubeweisen. Im nachsten Abschnitt wird dann sogar die lokal superlineare Konvergenznachgewiesen.

Als Vorbereitung notieren wir zunachst eine Verallgemeinerung des Lemmas 2.5(b). Dabei verwenden wir hier und im gesamten Abschnitt, sofern nicht explizit etwasanderes gesagt wird, stets die euklidische Vektornorm bzw. die hierdurch induzierteMatrixnorm.


Lemma 4.4 Seien F : Rn → Rn stetig differenzierbar, x∗ ∈ Rn und F ′ lokalLipschitz–stetig um x∗, etwa

‖F ′(x)− F ′(y)‖ ≤ L‖x− y‖ ∀x, y ∈ Kε(x∗).

Dann gilt

‖F (x)− F (y)− F ′(x∗)(x− y)‖ ≤ L

2

(‖x− x∗‖+ ‖y − x∗‖

)‖x− y‖

fur alle x, y ∈ Kε(x∗).

Beweis: Aus dem Mittelwertsatz der Integralrechnung ergibt sich

‖F (x)− F (y)− F ′(x∗)(x− y)‖

=∥∥∥

∫ 1

0

(F ′(y + t(x− y))− F ′(x∗)

)dt(x− y)

∥∥∥

≤∫ 1

0

∥∥F ′(y + t(x− y)

)− F ′(x∗)

∥∥dt‖x− y‖

≤ L

∫ 1

0

∥∥(1− t)y + tx− x∗


= L

∫ 1

0

∥∥(1− t)y + tx− tx∗ − (1− t)x∗


≤ L

∫ 1

0

[(1− t)‖y − x∗‖+ t‖x− x∗‖

]dt‖x− y‖

=L

2

(‖y − x∗‖+ ‖x− x∗‖

)‖x− y‖

fur alle x, y ∈ Kε(x∗). 2

Ferner stellen wir noch das nachstehende Hilfsresultat zur Verfugung.

Lemma 4.5 Fur jeden von Null verschiedenen Vektor s ∈ Rn gilt die Ungleichung

∥∥∥I − ssT

sTs

∥∥∥

2≤ 1.

Beweis: Die Matrix P := I − ssT

sT shat offenbar die beiden folgenden Eigenschaften:

P = P T und PP = P.

Bezeichnen wir mit 〈·, ·〉 daher das euklidische Skalarprodukt im Rn, so ergibt sichaus der Cauchy–Schwarzschen Ungleichung

‖Px‖2 = 〈Px, Px〉= 〈x, P TPx〉


= 〈x, PPx〉= 〈x, Px〉≤ ‖x‖ ‖Px‖

fur alle x ∈ Rn. Also ist ‖Px‖ ≤ ‖x‖ fur alle x ∈ Rn. Die Definition einer induziertenMatrixnorm liefert daher

‖P‖ = maxx6=0

‖Px‖‖x‖ ≤ 1,

also gerade die Behauptung. 2

Aus den beiden vorhergehenden Resultaten ergibt sich jetzt die nachstehende Ei-genschaft der Broyden–Aufdatierung. Diese besagt im Wesentlichen, dass die neueMatrix Ak+1 zumindest nicht viel weiter von der idealen Matrix F ′(x∗) entfernt istals die aktuelle Matrix Ak. Das Resultat besagt allerdings nicht, dass Ak+1 dichteran der Jacobi–Matrix F ′(x∗) liegt als Ak. Tatsachlich gibt es Beispiele, in denen dasBroyden–Verfahren wunderbar konvergiert, die Folge der Matrizen {Ak} aber nichtgegen F ′(x∗) geht.

Lemma 4.6 Seien F : Rn → Rn stetig differenzierbar und F ′ lokal Lipschitz–stetigin einer Umgebung eines Punktes x∗ ∈ Rn, also

‖F ′(x)− F ′(y)‖ ≤ L‖x− y‖ ∀x, y ∈ Kε(x∗)

fur gewisse Konstanten ε > 0 und L ≥ 0. Seien ferner xk, xk+1 ∈ Kε(x∗) mit

xk+1 6= xk, Ak ∈ Rn×n und


k)(sk)T

(sk)Tsk

mit sk := xk+1 − xk und yk := F (xk+1)− F (xk) die Broyden–Aufdatierung von Ak.Dann gilt

‖Ak+1 − F ′(x∗)‖ ≤ ‖Ak − F ′(x∗)‖+L

2

(‖xk+1 − x∗‖+ ‖xk − x∗‖

).

Beweis: Aus der Definition von Ak+1 folgt mit s := sk, y := yk

Ak+1 − F ′(x∗)

= Ak − F ′(x∗) + (y−Aks)sT

sT s

= Ak − F ′(x∗) + (F ′(x∗)s−Aks)sT

sT s+ (y−F ′(x∗)s)sT

sT s

= Ak − F ′(x∗)−(Ak − F ′(x∗)

)ssT

sT s+ (y−F ′(x∗)s)sT

sT s

=(Ak − F ′(x∗)

)[I − ssT

sT s

]+ (y−F ′(x∗)s)sT

‖s‖2 .

(4.6)

Unter Verwendung von Lemma 4.1 impliziert dies

‖Ak+1 − F ′(x∗)‖


≤ ‖Ak − F ′(x∗)‖∥∥∥I − ssT

sTs

∥∥∥

︸︷︷︸

≤1 nach Lemma 4.5

+1

‖s‖2∥∥(y − F ′(x∗)s

)sT∥∥

︸︷︷︸

=‖y−F ′(x∗)s‖ ‖s‖ nach Lemma 4.1

≤ ‖Ak − F ′(x∗)‖+1

‖s‖‖y − F′(x∗)s‖.

Wegen Lemma 4.4 ist aber

‖y − F ′(x∗)s‖ ≤ L

2

(‖xk+1 − x∗‖+ ‖xk − x∗‖

)· ‖s‖

und daher

‖Ak+1 − F ′(x∗)‖ ≤ ‖Ak − F ′(x∗)‖+L

2

(‖xk+1 − x∗‖+ ‖xk − x∗‖

),

was zu zeigen war. 2

Nach diesen Vorbereitungen kommen wir bereits zum Beweis der lokal linearen Kon-vergenz des Broyden–Verfahrens.

Satz 4.7 Seien F : Rn → Rn stetig differenzierbar, F ′ lokal Lipschitz–stetig in einerUmgebung von einer Nullstelle x∗ von F und F ′(x∗) regular. Dann existieren ε > 0und δ > 0, so dass das Broyden–Verfahren fur jeden Startwert x0 ∈ Kε(x

∗) undjede Startmatrix A0 ∈ Kδ

(F ′(x∗)

)wohldefiniert ist und eine Folge {xk} erzeugt, die

mindestens linear gegen x∗ konvergiert.

Beweis: Nach Voraussetzung existieren Konstanten r > 0, L > 0 und β > 0 mit

β := ‖F ′(x∗)−1‖

und‖F ′(x)− F ′(y)‖ ≤ L‖x− y‖ ∀x, y ∈ Kr(x

∗).

Wir wahlen nun

δ :=1

6β(4.7)

sowie anschließend ε > 0 als

ε := min

{1

2r,

2δ

3L

}

. (4.8)

Seien nun x0 ∈ Kε(x∗) und A0 ∈ Kδ

(F ′(x∗)

). Wir zeigen jetzt durch Induktion nach

k, dass das Broyden–Verfahren wohldefiniert ist und die Abschatzungen

∥∥Ak − F ′(x∗)

∥∥ ≤

(

2− 1

2k

)

δ ∀k = 0, 1, . . . (4.9)

und

‖xk+1 − x∗‖ ≤ 1

2‖xk − x∗‖ ∀k = 0, 1, . . . (4.10)


gelten. Die letzte Behauptung liefert insbesondere die zu zeigende lineare Konvergenzvon {xk} gegen x∗.

Sei zunachst k = 0. Die Gultigkeit von (4.9) folgt dann klar, wahrend man (4.10)analog zum Induktionsschluss einsehen kann, so dass wir an dieser Stelle auf denNachweis verzichten.

Die beiden Ungleichungen (4.9) und (4.10) mogen nun fur alle 0, 1, 2, . . . , k − 1mit einem k ≥ 1 erfullt sein. Wir zeigen, dass sie dann auch fur k gelten.

Zunachst ist

∥∥Ak − F ′(x∗)

∥∥ ≤

∥∥Ak−1 − F ′(x∗)

∥∥+

L

2

(‖xk − x∗‖+ ‖xk−1 − x∗‖

)

wegen Lemma 4.6. Nach Induktionsvoraussetzung ist ferner

∥∥Ak−1 − F ′(x∗)

∥∥ ≤

(

2− 1

2k−1

)

δ

und

‖xk − x∗‖ ≤ 1

2‖xk−1 − x∗‖.

Dies impliziert

∥∥Ak − F ′(x∗)

∥∥ ≤

(

2− 1

2k−1

)

δ +L

2

(1

2‖xk−1 − x∗‖+ ‖xk−1 − x∗‖

)

=

(

2− 1

2k−1

)

δ +3

4L‖xk−1 − x∗‖.

Mehrfache Anwendung der Induktionsvoraussetzung (4.10) liefert außerdem

‖xk−1 − x∗‖ ≤ 1

2‖xk−2 − x∗‖ ≤ 1

22‖xk−3 − x∗‖ ≤ . . . ≤ 1

2k−1‖x0 − x∗‖ ≤ 1

2k−1ε.

Zusammen mit der Wahl von ε in (4.8) folgt daher

‖Ak − F ′(x∗)‖ ≤(

2− 1

2k−1

)

δ +3

4L

1

2k−1ε

≤(

2− 1

2k−1

)

δ +1

4

1

2k−12δ

=

(

2− 1

2k2 +

1

2k

)

δ

=

(

2− 1

2k

)

δ,

womit (4.9) fur den Index k bewiesen ist.Zum Nachweis von (4.10) zeigen wir zunachst, dass xk+1 wohldefiniert ist. Hierfur

ist die Regularitat von Ak zu beweisen. Aus (4.7) und dem schon bewiesenen Induk-tionsschritt fur Ak folgt

∥∥F ′(x∗)−1

(Ak − F ′(x∗)

)∥∥ ≤

∥∥F ′(x∗)−1

∥∥ · ‖Ak − F ′(x∗)‖


≤ β

(

2− 1

2k

)

δ

≤ β · 2 · δ=

1

3.

Also ist Ak aufgrund des Lemmas 2.3 regular, und es gilt

∥∥A−1

k

∥∥ ≤

∥∥F ′(x∗)−1

∥∥

1−∥∥F ′(x∗)−1(Ak − F ′(x∗))

∥∥≤ β

1− 13

=3

2β.

Daher existiert xk+1, und es folgt

‖xk+1 − x∗‖ =∥∥xk − x∗ − A−1

k F (xk)∥∥

=∥∥A−1

k

(Ak(x

k − x∗)− F (xk) + F (x∗)︸︷︷︸

=0

)∥∥

≤∥∥A−1

k

∥∥ ·(‖ − F (xk) + F (x∗) + F ′(x∗)(xk − x∗)‖︸︷︷︸

≤L2‖xk−x∗‖2 nach Lemma 4.4

+∥∥Ak − F ′(x∗)

∥∥ · ‖xk − x∗‖

)

≤ 3

2β

(L

2‖xk − x∗‖+

(2− 1

2k

)δ

)

‖xk − x∗‖

≤ 3

2β

(L

2

1

2kε+

(2− 1

2k

)δ

)

‖xk − x∗‖

≤ 3

2β

(1

3

1

2k+ 2− 1

2k

)

︸︷︷︸

≤2

δ‖xk − x∗‖

≤ 3βδ‖xk − x∗‖

=1

2‖xk − x∗‖

nach Wahl von δ in (4.7). 2

4.3 Superlineare Konvergenz des Broyden–Ver-

fahrens

Zum Nachweis der superlinearen Konvergenz des Broyden–Verfahrens bedarf es nochweiterer Vorbereitungen. Insbesondere wollen wir hierfur einen beruhmten Charak-terisierungssatz fur die superlineare Konvergenz herleiten.

Dazu beginnen wir mit dem nachstehenden Lemma.

4.3. SUPERLINEARE KONVERGENZ DES BROYDEN–VERFAHRENS 59

Lemma 4.8 Seien F : Rn → Rn stetig differenzierbar, x∗ ∈ Rn mit F ′(x∗) regularund F ′ lokal Lipschitz-stetig um x∗, etwa

‖F ′(x)− F ′(y)‖ ≤ L‖x− y‖ ∀x, y ∈ Kε(x∗).

Dann existieren Konstanten δ > 0 und 0 < α ≤ β mit

α‖x− y‖ ≤ ‖F (x)− F (y)‖ ≤ β‖x− y‖

fur alle x, y ∈ Kδ(x∗).

Beweis: Als stetig differenzierbare Funktion ist F aufgrund des Mittelwertsatzeslokal Lipschitz–stetig in einer Umgebung von x∗, d.h., es gibt ein δ1 > 0 und einβ > 0 mit ‖F (x)− F (y)‖ ≤ β‖x− y‖ fur alle x, y ∈ Kδ1(x

∗).Zum Nachweis der umgekehrten Ungleichung beachten wir zunachst, dass

‖x− y‖ = ‖F ′(x∗)−1F ′(x∗)(x− y)‖ ≤ ‖F ′(x∗)−1‖ · ‖F ′(x∗)(x− y)‖

und daher

‖F ′(x∗)(x− y)‖ ≥ 1

‖F ′(x∗)−1‖‖x− y‖

fur alle x, y ∈ Rn gilt. Wahle nun δ2 ∈ (0, ε) so, dass

α :=1

‖F ′(x∗)−1‖ − Lδ2 > 0

gilt. Dann folgt unter Verwendung des Lemmas 4.4 fur alle x, y ∈ Kδ2(x∗) die

Abschatzung

‖F (x)− F (y)‖≥ ‖F ′(x∗)(x− y)‖ − ‖F (x)− F (y)− F ′(x∗)(x− y)‖

≥ 1

‖F ′(x∗)−1‖‖x− y‖ −L

2

(‖x− x∗‖︸︷︷︸

≤δ2

+ ‖y − x∗‖︸︷︷︸

≤δ2

)‖x− y‖

≥(

1

‖F ′(x∗)−1‖ − Lδ2)

‖x− y‖

= α‖x− y‖.

Mit δ := min{δ1, δ2} folgt daher die Behauptung. 2

Schließlich brauchen wir auch noch das folgende einfache Resultat.

Lemma 4.9 Konvergiert die Folge {xk} ⊆ Rn superlinear gegen ein x∗ ∈ Rn, sogilt

limk→∞

‖xk+1 − xk‖‖xk − x∗‖ = 1.


Beweis: Es gilt

limk→∞

∣∣∣∣

‖xk+1 − xk‖‖xk − x∗‖ − 1

∣∣∣∣

= limk→∞

∣∣∣∣

‖xk+1 − xk‖ − ‖xk − x∗‖‖xk − x∗‖

∣∣∣∣

≤ limk→∞

∣∣∣∣

‖xk+1 − xk + xk − x∗‖‖xk − x∗‖

∣∣∣∣

= limk→∞

‖xk+1 − x∗‖‖xk − x∗‖

= 0

aufgrund der vorausgesetzten superlinearen Konvergenz von {xk} gegen x∗. Hierausfolgt die Behauptung. 2

Das Lemma 4.9 rechtfertigt im Falle von superlinear konvergenten Folgen insbe-sondere, den Abstand ‖xk+1 − xk‖ zweier aufeinander folgender Iterierter als Maßfur den Abstand zur gesuchten Losung x∗ zu wahlen. Ferner werden wir das obigeLemma nun als technisches Hilfsmittel zum Beweis des schon angekundigten Cha-rakterisierungssatzes fur die superlineare Konvergenz einer Folge nehmen.

Satz 4.10 (Dennis–More)Seien F : Rn → Rn stetig differenzierbar, x∗ ∈ Rn mit F ′(x∗) regular und F ′ lokalLipschitz–stetig um x∗, etwa

‖F ′(x)− F ′(y)‖ ≤ L‖x− y‖ ∀x, y ∈ Kε(x∗)

mit gewissen Konstanten ε > 0 und L ≥ 0. Sei ferner {xk} ⊆ Kε(x∗) eine gegen

x∗ konvergente Folge, die mit einem Startpunkt x0 ∈ Kε(x∗) durch die Vorschrift

xk+1 := xk − A−1k F (xk) erzeugt werde, wobei {Ak} eine Folge regularer Matrizen

bezeichne. Dann sind die beiden folgenden Aussagen aquivalent:

(a) Die Folge {xk} konvergiert superlinear gegen x∗, und es ist F (x∗) = 0.

(b) Es gilt

limk→∞

∥∥(Ak − F ′(x∗)

)sk∥∥

‖sk‖ = 0

mit sk := xk+1 − xk.

Beweis: (a) =⇒ (b): Sei {xk} zunachst superlinear konvergent gegen x∗ mitF (x∗) = 0. Wegen Lemma 4.8 existiert ein β > 0 mit

∥∥F (xk+1)

∥∥ =

∥∥F (xk+1)− F (x∗)

∥∥ ≤ β‖xk+1 − x∗‖

fur alle hinreichend großen k ∈ N gilt. Wegen der superlinearen Konvergenz folgthieraus

0 = limk→∞

‖xk+1 − x∗‖‖xk − x∗‖


≥ limk→∞

‖F (xk+1)‖β‖xk − x∗‖

= limk→∞

1

β· ‖F (xk+1)‖‖sk‖ · ‖sk‖

‖xk − x∗‖ .

Wegen limk→∞ ‖sk‖/‖xk − x∗‖ = 1 nach Lemma 4.9 impliziert dies offenbar

limk→∞‖F (xk+1)‖/‖sk‖ = 0.

Zusammen mit Lemma 4.4 ergibt sich hieraus wegen

Aksk = Ak(x

k+1 − xk) = −F (xk)

sofort∥∥(Ak − F ′(x∗)

)sk∥∥

‖sk‖ ≤ ‖F (xk+1)‖‖sk‖ +

‖F (xk+1)− F (xk)− F ′(x∗)sk‖‖sk‖

≤ ‖F (xk+1)‖‖sk‖ +

L

2

(‖xk+1 − x∗‖+ ‖xk − x∗‖

).

Da auf der rechten Seite jeder Summand fur k → ∞ gegen Null konvergiert, folgthieraus die Aussage (b).

(b) =⇒ (a): Es gelte die Aussage (b). Wir verifizieren zunachst, dass x∗ dann eineNullstelle von F ist. Die Definition von xk+1 impliziert

0 = Aksk + F (xk) =

(Ak − F ′(x∗)

)sk + F (xk) + F ′(x∗)sk

und daher

−F (xk+1) =(Ak − F ′(x∗)

)sk +

[− F (xk+1) + F (xk) + F ′(x∗)sk

].

Hieraus ergibt sich

‖F (xk+1)‖‖sk‖ ≤ ‖Ak − F ′(x∗))sk‖

‖sk‖ +‖ − F (xk+1) + F (xk) + F ′(x∗)sk‖

‖sk‖

≤∥∥(Ak − F ′(x∗)

)sk∥∥

‖sk‖ +L

2

(‖xk − x∗‖+ ‖xk+1 − x∗‖

)

wegen Lemma 4.4. Aus xk → x∗ und der Voraussetzung (b) folgt somit

limk→∞

‖F (xk+1)‖‖sk‖ = 0.

Wegen

‖sk‖ = ‖xk+1 − xk‖ ≤ ‖xk+1 − x∗‖+ ‖x∗ − xk‖ → 0 fur k →∞


muss dann erst recht ‖F (xk)‖ → 0 gelten. Aus Stetigkeitsgrunden liefert dies F (x∗) =0.

Zum Nachweis der superlinearen Konvergenz bemerken wir zunachst, dass eswegen Lemma 4.8 und der vorausgesetzten Regularitat von F ′(x∗) eine Konstanteα > 0 gibt mit

‖F (xk+1)‖ = ‖F (xk+1)− F (x∗)‖ ≥ α‖xk+1 − x∗‖

fur alle hinreichend großen k ∈ N. Hieraus ergibt sich

0 = limk→∞

‖F (xk+1)‖‖sk‖

≥ limk→∞

α‖xk+1 − x∗‖‖sk‖

≥ limk→∞

α‖xk+1 − x∗‖‖xk+1 − x∗‖+ ‖xk − x∗‖

= limk→∞

αrk

1 + rk

mit

rk =‖xk+1 − x∗‖‖xk − x∗‖ .

Dies liefert offensichtlich rk → 0, was gerade die superlineare Konvergenz von {xk}gegen x∗ beweist. 2

Im Satz 4.10 und dessen Beweis tritt der Ausdruck ‖sk‖ haufiger im Nenner auf.Dies ist deshalb moglich, da dieser ohne Einschrankung stets als ungleich Null an-genommen werden kann. Ware namlich sk = 0 fur einen Iterationsindex k ∈ N, soerhielten wir aus der Aufdatierungsvorschrift des Broyden–Verfahrens unmittelbar0 = sk = xk+1 − xk = −A−1

k F (xk), wegen der vorausgesetzten Regularitat von Ak

daher F (xk) = 0, d.h., die k-te Iterierte xk ware bereits eine Losung des Nullstellen-problems F (x) = 0 und das Broyden–Verfahren hatte in dieser Iteration abbrechenkonnen.

Zur Anwendung des Satzes 4.10 auf das Broyden–Verfahren benotigen wir nochdas folgende Lemma, bei der wir zur Abwechslung wieder von der Frobenius–NormGebrauch machen.

Lemma 4.11 Seien E ∈ Rn×n und s ∈ Rn mit s 6= 0 gegeben. Dann gilt

∥∥∥E

(

I − ssT

sTs

)∥∥∥

F=

(

‖E‖2F −(‖Es‖2‖s‖2

)2) 1

2

≤ ‖E‖F −1

2‖E‖F

(‖Es‖2‖s‖2

)2

.

Beweis: Durch die Vorschrift

〈A,B〉 := Spur (ABT )


wird offenbar ein Skalarprodukt auf dem Raum Rn×n definiert. Die hierdurch indu-zierte Norm

‖A‖ :=√

〈A,A〉ergibt gerade die Frobenius–Norm. Wegen

⟨

EssT

sTs, E

(

I − ssT

sTs

)⟩

= 0

im Sinne des gerade eingefuhrten Skalarproduktes ergibt sich daher

‖E‖2F =

∥∥∥∥EssT

sTs+ E

(

I − ssT

sTs

)∥∥∥∥

2

F

=

∥∥∥∥EssT

sTs

∥∥∥∥

2

F

+

∥∥∥∥E

(

I − ssT

sTs

)∥∥∥∥

2

F

.

Aus ∥∥∥∥EssT

sTs

∥∥∥∥

F

=1

‖s‖22‖(Es)sT‖F =

1

‖s‖22‖Es‖2‖s‖2 =

‖Es‖2‖s‖2

folgt dann die behauptete Gleichheit.Die Ungleichung ergibt sich aus der Tatsache, dass fur alle α, β ∈ R mit α ≥

β ≥ 0 die Abschatzung

(

α− β2

2α

)2

= α2 − 2αβ2

2α+

β4

4α2≥ α2 − β2 ≥ 0

und daher(α2 − β2

) 12 ≤ α− β2

2α

gilt, wobei die Voraussetzung 0 ≤ β ≤ α hier wegen

β =‖Es‖2‖s‖2

≤ ‖E‖2‖s‖2‖s‖2= ‖E‖2 ≤ ‖E‖F = α

erfullt ist. 2

Mit dem vorstehenden Lemma konnen wir nun die superlineare Konvergenz desBroyden–Verfahrens beweisen.


n stetig differenzierbar, F ′ lokal Lipschitz–stetig ineiner Umgebung von einer Nullstelle x∗ von F und F ′(x∗) regular. Dann existierenε > 0 und δ > 0, so dass das Broyden–Verfahren fur jeden Startwert x0 ∈ Kε(x

∗)und jede Startmatrix A0 ∈ Kδ

(F ′(x∗)

)wohldefiniert ist und eine Folge {xk} erzeugt,

die mindestens superlinear gegen x∗ konvergiert.

Beweis: Seien ε > 0 und δ > 0 wie im Satz 4.7 gewahlt. Dann ist das Broyden–Verfahren zumindest lokal linear konvergent. Zu zeigen bleibt daher nur die super-lineare Konvergenz. Bezeichnen wir mit

Ek := Ak − F ′(x∗)


den Fehler zwischen der Broyden–Approximation Ak und der exakten Jacobi–MatrixF ′(x∗), so haben wir wegen Satz 4.10 lediglich die Gultigkeit von

‖Eksk‖

‖sk‖ → 0 mit sk := xk+1 − xk

zu verifizieren.Aus der Darstellung (4.6) und Lemma 4.1 folgt zunachst

‖Ek+1‖F ≤∥∥∥∥Ek

(

I − sk(sk)T

(sk)Tsk

)∥∥∥∥

F

+

∥∥(yk − F ′(x∗)sk

)(sk)T

∥∥

F

(sk)Tsk

=

∥∥∥∥Ek

(

I − sk(sk)T

(sk)Tsk

)∥∥∥∥

F

+

∥∥yk − F ′(x∗)sk

∥∥

2

∥∥sk∥∥

2

(sk)Tsk

mit yk := F (xk+1)− F (xk). Wegen

∥∥yk − F ′(x∗)sk

∥∥

2‖sk‖2

(sk)Tsk≤ L

2

(‖xk+1 − x∗‖2 + ‖xk − x∗‖2

)

nach Lemma 4.4 und

‖xk+1 − x∗‖ ≤ 1

2‖xk − x∗‖

nach Satz 4.7 folgt daher

‖Ek+1‖F ≤ ‖Ek‖F −‖Eks

k‖222‖Ek‖F‖sk‖22

+3L

4‖xk − x∗‖2

aus dem Lemma 4.11. Dies lasst sich aquivalent schreiben als

‖Eksk‖22

‖sk‖22≤ 2‖Ek‖F

[

‖Ek‖F − ‖Ek+1‖F +3L

4‖xk − x∗‖2

]

.

Nun ist die Folge {Ek} beschrankt, vergleiche (4.9). Daher existiert ein c > 0 mit‖Ek‖F ≤ c fur alle k ∈ N. Aus (4.10) ergibt sich ferner

S :=

∞∑

k=0

‖xk − x∗‖2 <∞

(geometrische Reihe!). Damit folgt

‖Eksk‖22

‖sk‖22≤ 2c

[

‖Ek‖F − ‖Ek+1‖F +3

4L‖xk − x∗‖2

]

.

Summation liefert

∑

k=0

‖Eksk‖22

‖sk‖22≤ 2c

[

‖E0‖F − ‖E`+1‖F +3

4L∑

k=0

‖xk − x∗‖2]

4.4. IMPLEMENTATION DES BROYDEN–VERFAHRENS 65

≤ 2c

[

‖E0‖F +3

4LS

]

< ∞.

Da dies fur alle ` ∈ N gilt, folgt

∞∑

k=0

‖Eksk‖22

‖sk‖22<∞.

Notwendig fur die Konvergenz dieser Reihe ist‖Eksk‖2

2

‖sk‖22→ 0, woraus die Behauptung

unmittelbar folgt. 2

4.4 Implementation des Broyden–Verfahrens

Bei der Durchfuhrung des Broyden–Verfahrens hat man in jedem Schritt ein linearesGleichungssystem mit der Matrix Ak zu losen, was im Allgemeinen O(n3) Rechen-operationen kostet. Wir werden in diesem Abschnitt zwei verschiedene Methodenbeschreiben, die mit nur O(n2) Flops auskommen. Beide Methoden beruhen auf derspeziellen Gestalt

Ak+1 = Ak +(yk − Aks

k)(sk)T

(sk)Tsk

der Broyden–Aufdatierungsmatrix. Setzen wir

uk := yk − Aksk und vk :=

sk

(sk)Tsk, (4.11)

so lasst sich diese auch in der Gestalt

Ak+1 = Ak + uk(vk)T (4.12)

schreiben. Hierauf kann man nun das nachstehende Resultat anwenden.

Lemma 4.13 (Sherman–Morrison–Formel)Seien u, v ∈ R

n und A ∈ Rn×n regular. Dann ist die Matrix A + uvT genau dann

regular, wenn σ := 1 + vTA−1u 6= 0 ist. In diesem Fall ist die inverse Matrix durch(A + uvT)−1 = A−1 − 1

σA−1uvTA−1 gegeben.

Beweis: Sei σ 6= 0. Dann ist B := A−1 − 1σA−1uvTA−1 wohldefiniert, und man

rechnet leicht nach, dass(A+ uvT

)B = I = B

(A + uvT

)gilt, also A+ uvT regular

ist mit(A+ uvT

)−1= B.

Der Beweis der Umkehrung erfolgt durch Kontraposition. Sei daher σ = 0, alsovTA−1u = −1. Dann ist w := A−1u 6= 0 und

(A + uvT )w = Aw + uvTw = AA−1u+ uvTA−1u = u− u = 0.


Das homogene lineare Gleichungssystem (A+ uvT )x = 0 besitzt somit eine nichttri-viale Losung x = w. Also ist die Matrix A+ uvT singular. 2

Direkte Anwendung des Lemmas 4.13 auf die Broyden–Formel (unter Verwendungder Notation (4.11) und (4.12)) liefert

A−1k+1 = A−1

k −1

σk

A−1k uk(vk)TA−1

k

= A−1k −

1

1 +(sk)T A−1

k(yk−Ask)

(sk)T sk

A−1k

(yk − Aks

k) (sk)T

(sk)TskA−1

k

= A−1k −

(sk)Tsk

(sk)TA−1k yk

(A−1

k yk − sk) (sk)T

(sk)TskA−1

k

= A−1k −

(A−1k yk − sk)(sk)TA−1

k

(sk)TA−1k yk

= A−1k +

(sk − A−1k yk)(sk)TA−1

k

(sk)TA−1k yk

.

Dies ist die Aufdatierungsvorschrift fur die inverse Broyden–Matrix. Statt einer Ap-proximation Ak an die Jacobi–Matrix F ′(xk) kann man alternativ daher eine Ap-proximation Bk := A−1

k an die inverse Jacobi–Matrix F ′(xk)−1 aufdatieren. Bei derLosung des linearen Gleichungssystems mit der Matrix Ak braucht man die rechteSeite −F (xk) dann nur mit der Matrix Bk = A−1

k zu multiplizieren. Da hierfur ledig-lich einige Matrix–Vektor–Produkte benotigt werden, kommt man auf diese Weisezu einem Rechenaufwand von nur noch O(n2) Flops.

Wir fassen diese Uberlegungen in dem folgenden Algorithmus zusammen.

Algorithmus 4.14 (Inverses Broyden–Verfahren)

(S.0) Wahle x0 ∈ Rn, B0 ∈ Rn×n, ε ≥ 0, und setze k := 0.


(S.2) Setze dk := −BkF (xk).

(S.3) Setze xk+1 := xk + dk sowie

Bk+1 := Bk +(sk −Bky

k)(sk)TBk

(sk)TBkyk

mit

sk := xk+1 − xk und yk := F (xk+1)− F (xk).


4.4. IMPLEMENTATION DES BROYDEN–VERFAHRENS 67

Aufgrund der Herleitung durfte klar sein, dass das inverse Broyden–Verfahren (zu-mindest theoretisch) dieselben Iterierten liefert wie das Broyden–Verfahren aus demAlgorithmus 4.3, sofern man denselben Startvektor x0 wahlt und die StartmatrizenA0, B0 ∈ R

n×n der Beziehung A−10 = B0 genugen.

Eine zweite Methode zur Reduktion des Rechenaufwandes beruht auf einer an-deren Idee und gilt numerisch als stabiler. Wir gehen davon aus, dass wir von derMatrix Ak eine QR–Zerlegung kennen, also

Ak = QkRk

mit einer orthogonalen Matrix Qk ∈ Rn×n und einer oberen Dreiecksmatrix Rk ∈R

n×n. Liegt eine solche Zerlegung vor, so werden lediglich O(n2) Rechenoperatio-nen zur Losung eines linearen Gleichungssystems mit der Koeffizientenmatrix Ak

benotigt. Sei nun Ak+1 die Broyden–Aufdatierungsmatrix von Ak, die wir wie in(4.12) als

Ak+1 = Ak + uk(vk)T

mit uk, vk aus (4.11) schreiben. Aus der nach Voraussetzung bekannten QR–Zerlegungvon Ak ergibt sich dann

Ak+1 = QkRk + uk(vk)T = Qk

(Rk + wk(vk)T

)

mitwk := QT

kuk.

Ist dann QkRk eine QR–Zerlegung von Rk + wk(vk)T , so erhalt man mit

Ak+1 = QkQk︸︷︷︸

=:Qk+1

Rk︸︷︷︸

=:Rk+1

= Qk+1Rk+1

eine QR–Zerlegung von Ak+1. Damit bleibt nur noch zu klaren, wie man mit moglichstgeringem Aufwand eine QR–Zerlegung von Rk +wk(vk)T berechnen kann. Ein wich-tiges Hilfsmittel hierfur sind die so genannten Givens–Rotationen.

Definition 4.15 Eine Matrix der Gestalt

1. . .

1c 0 · · · 0 s ← j0 1 0 0

Gij := Gij(c, s) :=...

.... . .

......

0 0 1 0−s 0 · · · 0 c ← i

1. . .

1↑ ↑j i


mit j < i und c2 + s2 = 1 heißt Givens–Rotation (fur j = i setzt man Gij := I).Dabei stehen die Elemente c in den Positionen (j, j) sowie (i, i) und die Eintrage sbzw. −s in den Positionen (j, i) bzw. (i, j).

Eine Givens–Rotation ist offenbar stets eine orthogonale Matrix. Anschaulich be-schreibt eine solche Givens–Roatation eine Drehung in der durch die beiden Ein-heitsvektoren ej und ei aufgespannten Ebene um einen Winkel ϕ mit s = sinϕ undc = cosϕ.

Sei nun a ∈ Rn ein beliebiger Vektor mit a2j + a2

i > 0. Setzt man dann

c :=aj

%und s :=

ai

%mit % :=

√

a2j + a2

i ,

so gilt fur den Bildvektor a := Gij(c, s)a offenbar:

aj = caj + sai = %,

ai = −saj + cai = 0,

ak = ak ∀k = 1, . . . , n mit k 6= j, i.

Daher existiert zu einem beliebigen Vektor a ∈ Rn eine Folge G1, G2, . . . , Gn−1 vonn− 1 Givens–Rotationen, so dass fur G := Gn−1Gn−2 · · ·G1 gilt

a := Ga = % · e1 = (%, 0, . . . , 0)T mit % = ‖a‖2.

Wenden wir dieses Resultat speziell auf den Vektor a = wk an und beachten, dassdiese Givens–Rotationen die Struktur der oberen Dreiecksmatrix Rk nur geringfugigzerstoren, so ergibt sich gerade unser nachstes Lemma.

Lemma 4.16 Es gibt n− 1 Givens–Rotationen G1, G2, . . . , Gn−1, so dass fur G :=Gn−1 ·Gn−2 · · ·G1 die folgenden Aussagen gelten:

(a) Es ist

Gwk(vk)T = (Gwk)(vk)T = %e1(vk)T =

(∗ · · · ∗0

)

mit % := ‖wk‖.

(b) Es ist

GRk =

∗ ∗ · · · ∗∗ ∗ · · · ∗

. . .. . .

...0 ∗ ∗

eine obere Hessenberg–Matrix.

4.5. LIMITED–MEMORY BROYDEN–VERFAHREN FUR GROSSE PROBLEME69

(c) Es ist

G(Rk + wk(vk)T

)=

∗ ∗ · · · ∗∗ ∗ · · · ∗

. . .. . .

...0 ∗ ∗

ebenfalls eine obere Hessenberg–Matrix.

Sei nun

Hk := G(Rk + wk(vk)T

)=

∗ ∗ · · · ∗∗ ∗ · · · ∗

. . .. . .

...0 ∗ ∗

die obere Hessenberg–Matrix aus dem Lemma 4.16. Durch geeignete Anwendungvon n− 1 weiteren Givens–Rotationen G1, G2, . . . , Gn−1 lasst sich Hk dann auf eineobere Dreiecksmatrix transformieren:

Gn−1 · · · G2G1Hk =

∗ ∗ · · · ∗0 ∗ · · · ∗...

. . .. . .

...0 · · · 0 ∗

=: Rk.

Mit der Matrix G aus dem Lemma 4.16 sowie G := Gn−1 · · · G2G1 folgt daher

GG(Rk + wk(vk)T

)= GHk = Rk.

Also istRk + wk(vk)T = GT GT

︸︷︷︸

=:Qk

Rk = QkRk

gerade die noch benotigte QR–Zerlegung der Matrix Rk +wk(vk)T . Da hierbei ledig-lich O(n2) Rechenoperationen anfallen, ist dieser Zugang ebenfalls deutlich gunstigerals die O(n3) Flops bei der direkten Losung des linearen Gleichungssystems mit derMatrix Ak bzw. Ak+1.

Numerisch ist dieser zweite Zugang zwar etwas aufwendiger zu implementierenals jener uber die Aufdatierung der inversen Broyden–Matrix, jedoch scheint sichdieser Mehraufwand zu lohnen, da er numerisch meist deutlich stabiler ist (Verwen-dung von orthogonalen Transformationen!).

4.5 Limited–Memory Broyden–Verfahren fur große

Probleme

Wir betrachten wieder ein nichtlineares Gleichungssystem F (x) = 0 mit einer zu-mindest stetig differenzierbaren Funktion F : Rn → Rn. Das Broyden–Verfahren zur


Bestimmung einer Nullstelle von F benutzt die Iterationsvorschrift

xk+1 := xk − A−1k F (xk), k = 0, 1, . . . , (4.13)

wobei x0 ein gegebener Startvektor ist, A0 ∈ Rn×n eine (moglichst gute) Anfangsnahe-rung an F ′(x∗) darstellt und die Folge {Ak} ansonsten durch die Broyden–Formel


k)(sk)T

(sk)Tsk(4.14)

mit

sk := xk+1 − xk, yk := F (xk+1)− F (xk)

aufdatiert wird. Wegen

yk − Aksk = F (xk+1)− F (xk)− Ak(x

k+1 − xk)

= F (xk+1)− F (xk) + F (xk)

= F (xk+1)

lasst sich die Broyden–Aufdatierung (4.14) auch schreiben als

Ak+1 = Ak +F (xk+1)(sk)T

(sk)Tsk. (4.15)

Bezeichnen wir mit

Bk := A−1k

wieder die inverse Broyden–Matrix, so ist die Iterationsvorschrift (4.13) aquivalentzu

xk+1 := xk − BkF (xk), k = 0, 1, . . . ,

wobei Bk aufgrund des Lemmas 4.13 von Sherman–Morrison der einfachen Rekursion

Bk+1 :=

(

I − Bkuk(vk)T

1 + (vk)TBkuk

)

Bk

mit

uk :=F (xk+1)

‖sk‖ und vk :=sk

‖sk‖genugt. Setzen wir noch

wk :=Bku

k

1 + (vk)TBkuk,

so lasst sich dies auch kurz schreiben als

Bk+1 :=(I − wk(vk)T

)Bk, k = 0, 1, . . . . (4.16)


Rekursiv ergibt sich hieraus die Formel

Bk =(I − wk−1(vk−1)T

)Bk−1

=(I − wk−1(vk−1)T

) (I − wk−2(vk−2)T

)Bk−2

......

=(I − wk−1(vk−1)T

) (I − wk−2(vk−2)T

)· · · (I − w0(v0)T )B0

=∏k−1

j=0

(I − wj(vj)T

)B0, k = 0, 1, . . .

(4.17)

(beachte hierbei, dass das leere Produkt per Definition die Identitat ergibt unddie obige Formel daher auch fur k = 0 richtig ist). Also sind wir in der Lage,die inverse Broyden–Matrix Bk unter Verwendung der 2k Vektoren {wj, vj}k−1

j=0 zurekonstruieren.

Allerdings wird die Matrix Bk gar nicht explizit benotigt. Vielmehr brauchen wirdiese Matrix nur zur Bestimmung der neuen Iterierten

xk+1 = xk − BkF (xk) ⇐⇒ sk = −BkF (xk), (4.18)

d.h., wir sind nur an dem Matrix–Vektor–Produkt BkF (xk) interessiert. Wenn wirhierzu die Produkt–Darstellung (4.17) verwenden wollen, mussen wir zur Bestim-mung von wk−1 allerdings auch Bk−1u

k−1 und damit Bk−1F (xk) berechnen, wobei

Bk−1 =

k−2∏

j=0

(I − wj(vj)T

)B0 fur k = 1, 2, . . .

ist. Hat man Bk−1F (xk) berechnet, erhalt man durch Links–Multiplikation mit(I−

wk−1(vk−1)T)

auch BkF (xk), vergleiche (4.16). Die Berechnung von wk−1 und sk

lasst sich beispielsweise wie folgt kombinieren:

z :=∏k−2

j=0

(I − wj(vj)T

)B0F (xk)

wk−1 := γz mit γ := 1/(‖sk−1‖+ (vk−1)Tz

),

sk := −(I − wk−1(vk−1)T

)z.

(4.19)

Wir wollen uns jetzt noch uberlegen, dass man auf die Verwendung der Hilfsvektorenwj sogar vollstandig verzichten kann. Dies geschieht im Prinzip durch Ausnutzungder folgenden Formel, die sich aus (4.19) ergibt:

sk = −(I − wk−1(vk−1)T

)z

= −z + wk−1(vk−1)Tz

= −z + γz(vk−1)Tz

= −z(1− γ(vk−1)Tz

︸︷︷︸

=1−γ‖sk−1‖

)

= −zγ‖sk−1‖= −‖sk−1‖wk−1.


Also giltwk−1 = −sk/‖sk−1‖ fur k = 1, 2, . . . ,

so dass sich wk mit Hilfe der sowieso zu berechnenden Vektoren sk und sk+1 aus-drucken lasst. Aus (4.17) folgt somit die Darstellung

Bk =k−1∏

j=0

(

I +sj+1(sj)T

‖sj‖2)

B0, k = 0, 1, . . . ,

fur die inverse Broyden–Matrix Bk. Bei der Berechnung von sk = −BkF (xk) (ver-gleiche (4.18)) tritt nun allerdings das Problem auf, dass der Vektor sk auf beidenSeiten der Gleichung vorkommt. Dies Problem kann aber umgangen werden, indemman in der obigen Produkt–Darstellung den Faktor k− 1 gesondert betrachtet, umdie Gleichung (4.18) nach sk aufzulosen. Wir schreiben also

sk = −BkF (xk)

= −k−1∏

j=0

(

I +sj+1(sj)T

‖sj‖2)

B0F (xk)

= −(

I +sk(sk−1)T

‖sk−1‖2) k−2∏

j=0

(

I +sj+1(sj)T

‖sj‖2)

B0F (xk)

= −(

I +sk(sk−1)T

‖sk−1‖2)

Bk−1F (xk).

Auflosen dieser Gleichung nach sk liefert

sk = − Bk−1F (xk)

1 + (sk−1)T Bk−1F (xk)

‖sk−1‖2

.

Damit kann die Berechnung von

sk = −BkF (xk) und damit von xk+1 = xk −BkF (xk) = xk + sk

beim inversen Broyden–Verfahren wie folgt geschehen:

• Berechne z =∏k−2

j=0

(

I + sj+1(sj)T

‖sj‖2

)

B0F (xk) (also z = Bk−1F (xk))

• Setze sk = − z

1+(sk−1)T z

‖sk−1‖2

.

Zur Bestimmung von sk benotigt man neben dem Hilfsvektor z, der AnfangsmatrixB0 und dem aktuellen Funktionswert F (xk) also lediglich die Vektoren s0, s1, . . . , sk−1.Die inversen Broyden–Matrizen Bk hingegen werden nirgends explizit benotigt. FurIterationszahlen k ≥ n hat man hiermit allerdings nichts gewonnen, denn die Ab-speicherung der Vektoren s0, s1, . . . , sk−1 ist dann teurer als die Abspeicherung derMatrix Bk selbst.


Diese Beobachtung motiviert nun das Broyden–Verfahren mit limited Memory:Statt den Hilfsvektor z wie oben aus

z =

k−2∏

j=0

(

I +sj+1(sj)T

‖sj‖2)

B0F (xk)

unter Verwendung aller Vektoren s0, s1, . . . , sk−1 zu berechnen, approximiert man zbeispielsweise durch

z =k−2∏

j=k−m

(

I +sj+1(sj)T

‖sj‖2)

B0F (xk)

fur ein m ∈ {2, 3, . . . , k} und setzt anschließend wieder

sk := − z

1 + (sk−1)T z‖sk−1‖2

.

Durch die Wahl des fest gewahlten m ∈ N wird die Zahl der zu speichernden Vek-toren sj kontrolliert. Diese Vorgehensweise hat den Vorteil, dass zur Durchfuhrungder k-ten Iteration nur noch die Vektoren sk−m, . . . , sk−2, sk−1 abgespeichert werdenmussen, wobei man sinnvoller Weise naturlich m < n bzw. m� n wahlt. Außerdemgestaltet sich die Berechnung von z in diesem Fall als wesentlich weniger aufwendig.Dieses Vorgehen wird aus nahe liegenden Grunden als limited memory Broyden–Verfahren bezeichnet. Wir fassen es in dem folgenden Algorithmus zusammen.

Algorithmus 4.17 (Broyden–Verfahren mit limited Memory)

(S.0) Wahle x0 ∈ Rn, B0 ∈ Rn×n, m ∈ N mit m ≥ 2, ε ≥ 0, und setze k := 0.

(S.1) Falls ‖F (xk)‖ ≤ ε: STOP.

(S.2) Setze mk := min{m, k} und

z :=k−2∏

j=k−mk

(

I +sj+1(sj)T

‖sj‖2)

B0F (xk),

sk :=

{ −z, falls k = 0,− z

1+(sk−1)T z

‖sk−1‖2

, falls k > 0.

(S.3) Setze xk+1 := xk + sk, k ← k + 1, und gehe zu (S.1).

Der Algorithmus 4.17 ist zu dem (inversen) Broyden–Verfahren naturlich nicht mehraquivalent. Insbesondere wird man keine superlineare Konvergenz des limited me-mory Broyden–Verfahrens erwarten konnen. Dafur lasst es sich bei geeigneter (mo-derater) Wahl von m ∈ N auf Probleme von sehr großer Dimension anwenden.


Der wesentliche Rechenaufwand entsteht bei der Bestimmung des Hilfsvektors z imSchritt (S.2). Dieser Vektor kann durch die folgende Schleife berechnet werden:

z := B0F (xk);FOR j = (k −mk) : (k − 2)

z = z + sj+1(sj)Tz/‖sj‖2;END

Der Aufwand hierfur betragt lediglich O(mn) Flops, sofern das Matrix–Vektor–Produkt B0F (xk) einfach berechenbar ist.

Wenden wir den Algorithmus 4.17 wieder auf die Randwertaufgabe aus demBeispiel 2.10 an und benutzen hierzu den Startvektor x0 := 0 sowie die StartmatrixB0 := F ′(x0)−1 (die eigentlich sehr unpraktisch ist, dafur aber die Vergleichbarkeitmit dem Broyden–Verfahren erhoht), so erhalten wir fur den sehr kleinen Wert vonm = 3 die Ergebnisse aus der Tabelle 4.2. Statt der 8 Iterationen beim Broyden–Verfahren werden jetzt 13 Iterationen benotigt, was einen vertretbaren Mehraufwanddarstellt. Fur m = 4 braucht man lediglich 10 Iterationen, und ab m = 5 werdenlediglich die 8 Iterationen des Broyden–Verfahrens benotigt.

k ‖F (xk)‖0 0.21793162351 0.01914527262 0.00157318603 0.00085424244 0.00032529695 0.00004873696 0.00006014577 0.00001542298 0.00001341629 0.0000026708

10 0.000005066011 0.000001747712 0.000003045213 0.0000007379

Tabelle 4.2: Limited Memory Broyden–Verfahren fur nichtlineare Randwertaufgabe

4.6 Das Verfahren von Schubert

Wir betrachten weiterhin ein nichtlineares Gleichungssystem F (x) = 0 mit einerstetig differenzierbaren Funktion F : Rn → Rn. Wir gehen wieder davon aus, dass n

4.6. DAS VERFAHREN VON SCHUBERT 75

relativ groß ist und die Jacobi–Matrizen F ′(x) vergleichsweise schwach besetzt sind,also sehr viele Nullen enthalten. Sei Z = (zij) ∈ Rn×n definiert durch

zij :=

{0, falls F ′(x)ij = 0 fur alle x ∈ Rn,1, sonst

und

SP (Z) :={M ∈ R

n×n∣∣mij = 0 fur alle i, j ∈ {1, . . . , n} mit zij = 0

}

die Besetztheitsstruktur (engl.: sparsity pattern) von F ′. Die Elemente M ∈ SP (Z)enthalten also viele Nulleintrage, und zwar insbesondere an den Stellen, wo auch dieEintrage aller Jacobi–Matrizen F ′(x) verschwinden.

Die Approximation von F ′(x) mittels der Broyden–Vorschrift

A = A +(y − As)sT

sTs(4.20)

mits := x+ − x, y := F (x+)− F (x)

wurde in diesem Fall wenig Sinn machen, da hierdurch die zusatzliche Informationuber die vielen Nullen gar nicht ausgenutzt werden wurde. In der Tat ist A imAllgemeinen eine voll besetzte Matrix und somit sicherlich keine gute Approximationan F ′(x). Außerdem wurde die Abspeicherung der n2 Eintrage von A Schwierigkeitenbereiten, sobald n etwas großer ware.

Wir wollen in diesem Abschnitt daher eine Modifikation der Broyden–Aufda-tierungsformel (4.20) herleiten, welche die schwache Besetztheit von F ′(x) ausnutzt.Dazu formulieren wir die Vorschrift (4.20) zunachst zeilenweise als

ai = ai +(y − As)is

T

‖s‖2 ∀i = 1, . . . , n,

wobei ai bzw. ai die i-te Zeile von A bzw. A bezeichnet. Hieran erkennt man, dasssich die i-te Zeile von A dadurch andert, dass man ein geeignetes Vielfaches desVektors s hinzudatiert. Setzen wir jetzt voraus, dass die Matrix A bereits die Be-setztheitsstruktur von F ′(x) besitzt, so wird diese Besetztheitsstruktur in der i-tenZeile durch den Vektor s im Allgemeinen zerstort. Um dies zu vermeiden, passenwir fur jedes i ∈ {1, . . . , n} den Vektor s an die Besetztheitsstruktur der i-ten Zeilevon F ′(x) an, indem wir

s(i) :=(s(i)1 , . . . , s

(i)n

)T

mit s(i)j :=

{0, falls zij = 0,sj, falls zij = 1

setzen. Die neue Vorschrift fur die Aufdatierung der i-ten Zeile von A lautet dann

ai =

{

ai + (y−As)i(s(i))T

‖s(i)‖2 , falls s(i) 6= 0,

ai, falls s(i) = 0.


Definieren wir die Indexmenge

I :={i ∈ {1, . . . , n}

∣∣ s(i) 6= 0

},

so gilt also

ai =

{

ai + (y−As)i(s(i))T

‖s(i)‖2 , falls i ∈ I,ai, falls i /∈ I.

Fassen wir die Zeilenvektoren ai und ai wieder zu Matrizen A und A zusammen(dieses A unterscheidet sich naturlich von der Broyden–Aufdatierung aus (4.20)), soergibt sich in Matrix–Notation die Aufdatierungsformel

A =

a1...an

=∑n

i=1 eiai

=∑n

i=1 eiai +∑

i∈I ei(y−As)i(s

(i))T

‖s(i)‖2

= A+∑

i∈I eieTi (y−As)(s(i))T

‖s(i)‖2 ,

(4.21)

wobei ei der i-te Einheitsvektor im Rn sei. Diese Modifikation der Broyden–Formelist die so genannte Aufdatierungsformel von Schubert. Einige ihrer Eigenschaftenwerden in dem folgenden Resultat zusammengefasst.

Satz 4.18 Seien A ∈ Rn×n eine Matrix mit der Besetztheitsstruktur SP (Z), s :=xk+1−xk 6= 0 und y := F (xk+1)−F (xk) sowie A die Schubert–Aufdatierungsmatrixaus (4.21). Dann gelten die folgenden Aussagen:

(a) A besitzt ebenfalls die Besetztheitsstruktur SP (Z), d.h., A ∈ SP (Z).

(b) A genugt der Quasi–Newton–Gleichung As = y.

(c) A lost das Problem

min ‖B − A‖F u.d.N. Bs = y, B ∈ SP (Z). (4.22)

Beweis: (a) Diese Aussage ergibt sich sofort aus der Herleitung der Schubert–Aufdatierungsmatrix.

(b) Wir verifizieren die Gultigkeit der Quasi–Newton–Gleichung As = y komponen-tenweise, d.h., wir zeigen, dass die Identitaten

[As]i = yi ⇐⇒ ais = yi

fur alle i ∈ {1, . . . , n} erfullt sind. Betrachte hierfur zunachst einen Index i mits(i) 6= 0. Wegen (s(i))Ts = ‖s(i)‖2 ist dann

ais = ais+(y − As)i

‖s(i)‖2 (s(i))Ts = ais+ yi − [As]i = ais+ yi − ais = yi.


Sei nun i ein Index mit s(i) = 0. Wegen A ∈ SP (Z) und

Y :=

∫ 1

0

F ′(x + ts)dt ∈ SP (Z)

folgt unter Berucksichtigung von y = Y s (aufgrund des Mittelwertsatzes der Inte-gralrechnung) unmittelbar

ais = aTi s

= eTi As

= (eTi A)s(i)

= 0

= (eTi Y )s(i)

= (eTi Y )s

= eTi y

= yi.

Also gilt auch in diesem Fall ais = yi.

(c) Aufgrund der Aussagen (a) und (b) ist die Schubert–Aufdatierungsmatrix Azumindest zulassig fur das Optimierungsproblem (4.22).

Ferner gilt

‖A− A‖2F =

n∑

i=1

‖ai − ai‖22 =∑

i∈I

∥∥∥∥

eT

i (y − As)(s(i))T

‖s(i)‖2∥∥∥∥

2

2

mit der schon weiter oben eingefuhrten Indexmenge I := {i | s(i) 6= 0}. Sei nunB ∈ Rn×n eine beliebige Matrix mit Bs = y und B ∈ SP (Z). Dann ist auchB − A ∈ SP (Z) und daher offenbar

eT

i (y − As) = eT

i (B − A)s = eT

i (B − A)s(i).

Zusammen mit dem Lemma 4.1 impliziert dies

‖A− A‖2F =∑

i∈I

‖eT

i (y − As)(s(i))T‖22‖s(i)‖22

=∑

i∈I

‖eT

i (B − A)s(i)(s(i))T‖22‖s(i)‖22

≤∑

i∈I

‖eT

i (B − A)‖22∥∥∥∥

s(i)(s(i))T

(s(i))Ts(i)

∥∥∥∥

2

2︸︷︷︸

=1

=∑

i∈I

‖eT

i (B − A)‖22


≤n∑

i=1

‖eT

i (B − A)‖22

= ‖B − A‖2F ,

womit auch die Aussage (c) bewiesen ist. 2

Wir fassen das so hergeleitete Schubert–Verfahren in dem nachstehenden Algorith-mus zusammen.

Algorithmus 4.19 (Schubert–Verfahren)

(S.0) Bestimme die Matrix Z ∈ Rn×n, wahle A0 ∈ Rn×n mit A0 ∈ SP(Z), ε ≥ 0,und setze k := 0.


(S.2) Bestimme dk ∈ Rn als Losung des linearen Gleichungssystems

Akd = −F (xk),

und setze xk+1 := xk + dk.

(S.3) Setzesk := xk+1 − xk, yk := F (xk+1)− F (xk)

und definiere fur jedes i ∈ {1, . . . , n} einen Vektor s(i) =(s(i)1 , . . . , s

(i)n

)T ∈ Rn

durch

s(i)j :=

{0, falls zij = 0,sk

j , falls zij = 1fur j = 1, . . . , n.

SetzeIk :=

{i ∈ {1, . . . , n}

∣∣ s(i) 6= 0

}

und

Ak+1 := Ak +∑

i∈Ik

eieT

i (yk − Aksk)(s(i))T

‖s(i)‖2 .


Die im Algorithmus 4.19 definierten Vektoren s(i) hangen naturlich von dem Itera-tionsindex k ab (da sie mittels des Vektors sk definiert werden), wenngleich wir ausGrunden der Ubersichtlichkeit auf eine entsprechende Notation verzichtet haben.

Ansonsten verrat ein Blick auf den Algorithmus 4.19, dass sich die Schubert–Aufdatierung Ak+1 von Ak nicht mehr um eine Rang 1–Matrix unterscheidet, son-dern dass die Differenz im Allgemeinen eine Matrix vom Rang n ist. Im Vergleichzum Broyden–Verfahren benotigt der Algorithmus 4.19 pro Iteration daher O(n3)Flops. Dies ist naturlich ein gravierender Nachteil, weshalb man bei der Anwen-dung von Quasi–Newton–Verfahren auf großdimensionale Probleme im Allgemeinen


auf das Broyden–Verfahren mit limited Memory aus dem vorhergehenden Abschnittzuruckgreifen wird.

Trotzdem geben wir auch fur den Algorithmus 4.19 kurz die numerischen Re-sultate an, die sich bei Anwendung auf die Randwertaufgabe aus dem Beispiel 2.10ergeben. Die Matrix Z ist hierbei eine Tridiagonalmatrix. Als Startmatrix A0 wirdwie beim Broyden–Verfahren die Jacobi–Matrix F ′(x0) gewahlt. Der Startvektor x0

ist erneut der Nullvektor. Die Tabelle 4.3 enthalt die entsprechenden Resultate. Nach10 Iterationen bricht das Verfahren mit einer hinreichend guten Naherungslosungab. Das Broyden–Verfahren selbst benotigte hierfur lediglich 8 Iterationen. Im Ver-gleich zum Schubert–Verfahren benotigt der Broyden–Algorithmus dafur deutlichmehr Speicherplatz, dafur ist jede einzelne Iteration kostengunstiger durchzufuhren(O(n2) statt im Allgemeinen O(n3) Rechenoperationen beim Schubert–Verfahren).

k ‖F (xk)‖0 0.21793162351 0.01914527262 0.00319174003 0.00065203324 0.00394254695 0.00007412986 0.00001603857 0.00000639278 0.00000305899 0.0000040873

10 0.0000007314

Tabelle 4.3: Schubert–Verfahren fur nichtlineare Randwertaufgabe


Kapitel 5

Trust–Region–Verfahren

5.1 Ein Trust–Region–Verfahren

Wir betrachten wieder das nichtlineare Gleichungssystem F (x) = 0 mit einer stetigdifferenzierbaren Funktion F : Rn → Rn. Zum Zwecke der Globalisierung ist esaußerdem sinnvoll, sich das zugehorige Optimierungsproblem

min f(x)

mit der Zielfunktion

f(x) :=1

2‖F (x)‖2 =

1

2F (x)TF (x)

anzuschauen. Bezeichnet xk ∈ Rn eine aktuelle Iterierte, so approximieren wir dienichtlineare Funktion f in der Nahe von xk durch die quadratische Funktion

f(xk + d) ≈ qk(d) :=1

2‖F (xk) + F ′(xk)d‖2,

d.h., wir erhalten qk durch Linearisierung von f innerhalb der Norm. Zur Vereinfa-chung der Schreibweise setzen wir in diesem gesamten Abschnitt

Jk := F ′(xk).

Wegen ∇f(xk) = JT

k F (xk) gilt offenbar

qk(d) = f(xk) +∇f(xk)Td+1

2dTJT

k Jkd. (5.1)

Zur Gewinnung der neuen Iterierten xk+1 = xk + dk vertrauen (engl.: trust) wir derquadratischen Approximation qk allerdings nur lokal, etwa innerhalb eines Kreisesvom Radius ∆k > 0 um xk. In der k-ten Iteration mussen wir daher das Trust–Region–Teilproblem

min qk(d) u.d.N. ‖d‖ ≤ ∆k

fur ein ∆k > 0 losen (u.d.N. = unter der Nebenbedingung). Wichtig ist hierbeiinsbesondere die Steuerung der Radien ∆k fur die Vertrauensbereiche (∆k > 0 wird

81

82 KAPITEL 5. TRUST–REGION–VERFAHREN

gerne als Trust–Region–Radius bezeichnet). Die Entscheidung, ob ∆k verkleinertoder vergroßert werden soll, machen wir davon abhangig, welchen Wert der Quotient

rk :=f(xk)− f(xk + dk)

f(xk)− qk(dk)

hat; dabei gibt der Zahler die beim Ubergang von xk zu xk+dk tatsachlich eintretendeReduktion (engl.: actual reduction) von f an, wahrend der Nenner die durch dasquadratische Modell vorausgesagte Reduktion (engl.: predicted reduction) beschreibt.Liegt die Zahl rk in der Nahe von 1, so scheint das quadratische Modell qk auf demVertrauensbereich gut mit der nichtlinearen Funktion f(xk + ·) ubereinzustimmen.In diesem Fall kann also xk + dk als neuer Punkt akzeptiert und der Radius ∆k

des Vertrauensbereichs beibehalten oder sogar vergroßert werden. Dasselbe kanngeschehen, wenn rk großer als 1 ist, wenn also die Verkleinerung von f beim Ubergangvon xk zu xk + dk sogar starker als durch das quadratische Modell vorausgesagtausfallt und der Punkt xk+dk deshalb als sehr brauchbar erscheint. Liegt dagegen rk

in der Nahe von 0 oder ist rk sogar negativ, so verdient der Vertrauensbereich diesenNamen offenbar nicht; man wird dann bei xk bleiben und den Radius ∆k verkleinern.Der folgende Algorithmus enthalt eine prazise Formulierung dieser Ideen.

Algorithmus 5.1 (Trust–Region–Verfahren)

(S.0) Wahle x0 ∈ Rn,∆0 > 0,∆min > 0, 0 < ρ1 < ρ2 < 1, 0 < σ1 < 1 < σ2, ε ≥ 0,und setze k := 0.

(S.1) Ist ‖∇f(xk)‖ ≤ ε: STOP.

(S.2) Bestimme eine Losung dk ∈ Rn des Trust–Region–Teilproblems

min qk(d) u.d.N. ‖d‖ ≤ ∆k, (5.2)

wobei qk die quadratische Funktion aus (5.1) sei.

(S.3) Berechne

rk :=f(xk)− f(xk + dk)

f(xk)− qk(dk).

Falls rk ≥ ρ1, so nennen wir den k–ten Iterationsschritt erfolgreich und setzenxk+1 := xk + dk; anderenfalls setzen wir xk+1 := xk.

(S.4) Falls rk < ρ1, setze ∆k+1 := σ1∆k.Falls rk ∈ [ρ1, ρ2), setze ∆k+1 := max{∆min,∆k}.Falls rk ≥ ρ2, setze ∆k+1 := max{∆min, σ2∆k}.


5.1. EIN TRUST–REGION–VERFAHREN 83

Man beachte, dass wir in allen erfolgreichen Schritten k fur den neuen Trust–Region–Radius ∆k+1 stets eine untere Schranke ∆min > 0 vorschreiben. TraditionelleTrust–Region–Verfahren verwenden diese untere Schranke im Allgemeinen nicht. Sieermoglicht uns hier jedoch einen einfacheren Konvergenzbeweis. Aus der Sicht derNumerik ist eine solche untere Schranke ebenfalls sinnvoll, da man bei zu kleinenTrust–Region–Radien sowieso keine Fortschritte am Computer mehr sehen wurde.

Wegen Jk = F ′(xk) handelt es sich bei dem Algorithmus 5.1 um eine Globali-sierung des lokalen Newton–Verfahrens. Gilt dagegen nur Jk ≈ F ′(xk) (beispiels-weise konnte Jk eine Quasi–Newton–Approximation an die Jacobi–Matrix F ′(xk)darstellen), so gelangt man auf analoge Weise zu Trust–Region–Globalisierungenvon anderen lokal konvergenten Verfahren. Wir werden bei unserer Konvergenzun-tersuchung allerdings nur den Fall Jk = F ′(xk) betrachten. Dazu setzen wir naturlichvoraus, dass der Abbruchparameter ε im Algorithmus 5.1 gleich Null ist, und dassder Algorithmus 5.1 eine unendliche Folge erzeugt.

Zunachst zeigen wir, dass der Algorithmus 5.1 wohldefiniert ist. Dies ist of-fenbar genau dann der Fall, wenn die in der Definition des Quotienten rk auftre-tenden Nenner immer von Null verschieden sind. Da dk aber das Trust–Region–Teilproblem (5.2) lost und der Nullvektor fur dieses Problem zulassig ist, gilt zu-mindest f(xk) − qk(dk) = qk(0) − qk(dk) ≥ 0 fur alle k ∈ N. Das folgende Lemmabesagt insbesondere, dass diese Differenz nur dann gleich Null werden kann, wennxk bereits ein stationarer Punkt von f ware, so dass der Algorithmus 5.1 im Schritt(S.1) hatte abbrechen mussen. Also ist der Algorithmus 5.1 tatsachlich wohldefiniert.

Lemma 5.2 Sei dk ∈ Rn eine Losung des Trust–Region–Teilproblems (5.2). Dannist

f(xk)− qk(dk) ≥ 1

2‖∇f(xk)‖min

{

∆k,‖∇f(xk)‖‖JT

k Jk‖

}

(dabei wird min{∆k, ‖∇f(xk)‖/‖JT

k Jk‖} = ∆k gesetzt, falls JT

k Jk = 0 ist).

Beweis: Da dk ∈ Rn eine globale Losung des Trust–Region–Teilproblemes (5.2) ist,gilt fur jeden zulassigen Vektor d ∈ R

n:

f(xk)− qk(dk) ≥ f(xk)− qk(d)= −∇f(xk)Td− 1

2dTJT

k Jkd≥ −∇f(xk)Td− 1

2‖d‖2‖JT

k Jk‖.(5.3)

Ist nun ∆k‖JT

k Jk‖ ≤ ‖∇f(xk)‖, so ergibt sich aus (5.3) fur den speziellen zulassigenVektor d := −(∆k/‖∇f(xk)‖)∇f(xk) die Ungleichungskette

f(xk)− qk(dk) ≥ ∆k‖∇f(xk)‖ − 1

2∆2

k‖JT

k Jk‖ ≥1

2∆k‖∇f(xk)‖. (5.4)

Ist dagegen ∆k‖JT

k Jk‖ > ‖∇f(xk)‖, so ist der Vektor d := −(1/‖JT

k Jk‖)∇f(xk)ebenfalls zulassig fur (5.2), so dass man erneut aus (5.3) erhalt:

f(xk)− qk(dk) ≥ ‖∇f(xk)‖2‖JT

k Jk‖− ‖∇f(xk)‖2

2‖JT

k Jk‖=

1

2

‖∇f(xk)‖2‖JT

k Jk‖. (5.5)


Kombination der Ungleichungen (5.4) und (5.5) liefert


2‖∇f(xk)‖min

{


k Jk‖

}

(5.6)

und damit die Behauptung. 2

5.2 Globale Konvergenz des Trust–Region–Ver-

fahrens

Nachdem uns das Lemma 5.2 schon beim Nachweis der Wohldefiniertheit des Algo-rithmus 5.1 nutzlich war, werden wir es im folgenden auch zum Beweis der globalenKonvergenz des Trust–Region–Verfahrens 5.1 verwenden. Dazu sei noch einmal dar-an erinnert, dass wir auch in diesem Abschnitt stets Jk fur die Jacobi–Matrix F ′(xk)schreiben. Wir formulieren zunachst ein nutzliches Hilfsresultat.

Lemma 5.3 Seien {xk} eine durch den Algorithmus 5.1 erzeugte Folge und {xk}Keine gegen ein x∗ ∈ Rn konvergente Teilfolge. Ist x∗ dann kein stationarer Punktvon f , so gilt lim infk→∞,k∈K ∆k > 0.

Beweis: Definiere die Indexmenge

K := {k − 1 | k ∈ K}.

Dann konvergiert die Teilfolge {xk+1}k∈K gegen x∗. Zu zeigen ist die Gultigkeit von

lim infk→∞,k∈K

∆k+1 > 0.

Der Beweis erfolgt durch Widerspruch. Durch Ubergang zu einer weiteren Teilfolgekonnen wir daher ohne Beschrankung der Allgemeinheit annehmen, dass

limk→∞,k∈K

∆k+1 = 0. (5.7)

gilt. Aufgrund der Aufdatierungsregeln fur den Trust–Region–Radius (beachte hier-bei die wichtige Rolle von ∆min > 0) impliziert dies, dass keine Iteration k ∈ K mitk hinreichend groß erfolgreich sein kann. Also gilt

rk < ρ1 (5.8)

und xk = xk+1 fur alle k ∈ K groß genug. Da die Teilfolge {xk+1}k∈K aber gegenx∗ konvergiert, gilt dies somit auch fur {xk}k∈K. Wegen ∆k+1 = σ1∆k fur alle nichterfolgreichen Iterationen haben wir auch

limk→∞,k∈K

∆k = 0, (5.9)

5.2. GLOBALE KONVERGENZ DES TRUST–REGION–VERFAHRENS 85

vergleiche (5.7).Nun ist x∗ nach Voraussetzung kein stationarer Punkt von f . Aus Stetigkeits-

grunden existiert daher eine Konstante β1 > 0 mit

‖∇f(xk)‖ ≥ β1

fur alle k ∈ K. Die Stetigkeit von F ′ impliziert außerdem die Existenz einer Kon-stanten β2 > 0 mit

∥∥JT

k Jk

∥∥ ≤ β2

fur alle k ∈ K. Zusammen mit Lemma 5.2 erhalten wir somit


2‖∇f(xk)‖min

{

∆k,‖∇f(xk)‖∥∥JT

k Jk

∥∥

}

≥ 1

2β1 min

{

∆k,β1

β2

}

≥ 1

2β1∆k

≥ 1

2β1‖dk‖

fur alle hinreichend großen k ∈ K. Da f stetig differenzierbar ist, gibt es nach demMittelwertsatz einen Vektor ξk ∈ Rn auf der Verbindungsstrecke von xk zu xk + dk

mitf(xk + dk) = f(xk) +∇f(ξk)Tdk.

Offenbar gilt dann {ξk}k∈K → x∗ wegen {xk}k∈K → x∗ und {dk}k∈K → 0, vergleiche(5.9). Insgesamt ergibt sich nun

|rk − 1| =

∣∣∣∣

f(xk)− f(xk + dk)

f(xk)− qk(dk)− 1

∣∣∣∣

=

∣∣∣∣

qk(dk)− f(xk + dk)

f(xk)− qk(dk)

∣∣∣∣

=

∣∣f(xk) +∇f(xk)Tdk + 1

2(dk)TJT

k Jkdk − f(xk)−∇f(ξk)Tdk

∣∣

f(xk)− qk(dk)

≤ 2

β1‖dk‖

∣∣∣∣∇f(xk)Tdk −∇f(ξk)Tdk +

1

2(dk)TJT

k Jkdk

∣∣∣∣

≤ 2

β1‖dk‖

(

‖∇f(xk)−∇f(ξk)‖ ‖dk‖+1

2‖JT

k Jk‖ ‖dk‖2)

≤ 1

β1

(2‖∇f(xk)−∇f(ξk)‖+ β2‖dk‖

)

→ 0

fur k ∈ K mit k →∞. Damit haben wir {rk}k∈K → 1 im Widerspruch zu (5.8). 2


Als wichtige Konsequenz des Lemmas 5.3 vermerken wir zunachst, dass es stetsunendlich viele erfolgreiche Schritte gibt.

Korollar 5.4 Sei {xk} eine durch den Algorithmus 5.1 erzeugte Folge. Dann exi-stieren unendlich viele erfolgreiche Iterationen.

Beweis: Angenommen, es gibt nur endlich viele erfolgreiche Iterationen. Dann exi-stiert ein Index k0 ∈ N mit rk < ρ1 und xk = xk0 fur alle k ∈ N mit k ≥ k0. Also gilt∆k → 0 und {xk} konvergiert gegen xk0 . Wegen ∇f(xk0) 6= 0 (anderenfalls hattenwir einen endlichen Abbruch im Schritt (S.1) des Algorithmus 5.1) widerspricht diesjedoch dem Lemma 5.2. 2

Wir kommen nun zu dem wesentlichen globalen Konvergenzssatz fur das Trust–Region–Verfahren aus dem Algorithmus 5.1.

Satz 5.5 Sei {xk} eine durch den Algorithmus 5.1 erzeugte Folge. Dann ist jederHaufungspunkt von {xk} ein stationarer Punkt von f .

Beweis: Seien x∗ ein Haufungspunkt von {xk} und {xk}K eine gegen x∗ konver-gente Teilfolge. Wegen xk+1 = xk fur alle nicht erfolgreichen Iterationen k konnenwir ohne Einschrankung davon ausgehen, dass alle xk mit k ∈ K erfolgreich sind(beachte hierbei, dass es wegen Korollar 5.4 insbesondere unendlich viele erfolgreicheIterationen gibt).

Angenommen, es ist ∇f(x∗) 6= 0. Aus Stetigkeitsgrunden existieren dann Kon-stanten β1 > 0 und β2 > 0 mit

‖∇f(xk)‖ ≥ β1 und∥∥JT

k Jk

∥∥ ≤ β2

fur alle k ∈ K. Wegen rk ≥ ρ1 fur alle k ∈ K (da es sich um erfolgreiche Iterationenhandelt) ergibt sich aus dem Lemma 5.2

f(xk)− f(xk+1) ≥ ρ1

(f(xk)− qk(dk)

)

≥ 1

2ρ1‖∇f(xk)‖min

{


k Jk‖

}

≥ 1

2ρ1β1 min

{

∆k,β1

β2

}

fur alle k ∈ K. Da die gesamte Folge {f(xk)} monoton fallend und nach untenbeschrankt ist, folgt hieraus

1

2ρ1β1

∑

k∈K

min

{

∆k,β1

β2

}

≤∑

k∈K

(f(xk)− f(xk+1)

)

≤∞∑

k=0

(f(xk)− f(xk+1)

)

< ∞.

5.3. LOKALE KONVERGENZ DES TRUST–REGION–VERFAHRENS 87

Dies impliziert {∆k}k∈K → 0 im Widerspruch zum Lemma 5.3. 2

5.3 Lokale Konvergenz des Trust–Region–Verfahrens

Nachdem wir uns im vorigen Abschnitt um die globalen Konvergenzeigenschaftendes Trust–Region–Verfahrens 5.1 gekummert haben, soll jetzt die lokale Konvergenzdieses Verfahrens gezeigt werden. Das Ziel wird hierbei sein, die lokal superlinearebzw. quadratische Konvergenz dieses Verfahrens nachzuweisen. Als Vorbereitungnotieren wir hierzu das folgende Resultat.

Lemma 5.6 Sei x∗ ∈ Rn ein isolierter Haufungspunkt einer beliebigen (nicht not-wendig durch den Algorithmus 5.1 erzeugten) Folge {xk} ⊆ Rn mit {‖xk+1−xk‖}K →0 fur jede gegen x∗ konvergente Teilfolge {xk}K. Dann konvergiert bereits die gesamteFolge {xk} gegen x∗.

Beweis: Sei ε > 0 so gewahlt, dass x∗ der einzige Haufungspunkt der Folge {xk} inder abgeschlossenen Kugelumgebung Kε(x

∗) ist. Angenommen, es konvergiert nichtdie gesamte Folge {xk} gegen x∗. Sei {xk}K eine Teilfolge mit ‖xk−x∗‖ ≤ ε fur allek ∈ K. Fur jedes k ∈ K definiere einen Index `(k) durch

`(k) := max{`∣∣ ‖xl − x∗‖ ≤ ε fur alle l mit k ≤ l ≤ `

}.

Man beachte, dass `(k) eindeutig definiert und endlich ist, da die Folge {xk} nachVoraussetzung nicht gegen x∗ konvergiert sowie x∗ per Konstruktion der einzigeHaufungspunkt der Folge {xk} in Kε(x

∗) ist. Die Definition von `(k) impliziert

‖x`(k) − x∗‖ ≤ ε

und‖x`(k)+1 − x∗‖ > ε

fur alle k ∈ K. Also konvergiert die Teilfolge {x`(k)}K gegen x∗ (sonst wurde inKε(x

∗) ein weiterer Haufungspunkt existieren, was aber nicht sein kann). Somit gilt

‖x`(k) − x∗‖ ≤ ε

2

fur alle k ∈ K hinreichend groß. Hieraus folgt

‖x`(k)+1 − x`(k)‖ ≥ ‖x`(k)+1 − x∗‖ − ‖x`(k) − x∗‖ ≥ ε

2

fur alle k ∈ K hinreichend groß. Dies widerspricht jedoch der Voraussetzung unseresLemmas. 2

Als weiteres Hilfsresultat notieren wir außerdem das folgende nutzliche Lemma.


Lemma 5.7 Seien F : Rn → Rn stetig differenzierbar, x∗ ∈ Rn ein Nullstelle von Fund F ′(x∗) regular. Sind {xk} und {dk} dann zwei beliebige (nicht notwendig durchden Algorithmus 5.1) erzeugte Folgen mit

{xk} → x∗ und ‖xk + dk − x∗‖ = o(‖xk − x∗‖),

so gilt

‖F (xk + dk)‖ = o(‖F (xk)‖).

Beweis: Da F ′(x∗) regular ist, existiert nach dem Satz uber die Umkehrfunktiondie inverse Abbildung F−1 in einer Umgebung von x∗. Dabei ist auch F−1 stetigdifferenzierbar, so dass sowohl F als auch F−1 lokal Lipschitz–stetige Funktionensind. Mit F (x∗) = 0 folgt daher

‖F (xk + dk)‖ = ‖F (xk + dk)− F (x∗)‖= O(‖xk + dk − x∗‖)= o(‖xk − x∗‖)= o(‖F−1(F (xk)− F (x∗))‖)= o(‖F (xk)− F (x∗)‖)= o(‖F (xk)‖),

was zu zeigen war. 2

Nach diesen Vorbereitungen sind wir jetzt in der Lage, den wesentlichen lokalenKonvergenzsatz fur das Trust–Region–Verfahren aus dem Algorithmus 5.1 zu be-weisen.

Satz 5.8 Sei {xk} eine durch den Algorithmus 5.1 erzeugte Folge. Besitzt dieseFolge einen Haufungspunkt x∗ mit F (x∗) = 0 und F ′(x∗) regular, so gelten diefolgenden Aussagen:

(a) Die gesamte Folge {xk} konvergiert gegen x∗.

(b) Die Newton–Richtung dkN := −J−1

k F (xk) existiert und ist die eindeutig be-stimmte Losung des Trust–Region–Teilproblems (5.2) fur alle k ∈ N hinrei-chend groß.

(c) Es existiert ein k0 ∈ N derart, dass alle Iterationen k ∈ N mit k ≥ k0 erfolg-reich sind und xk+1 = xk + dk

N gilt.

(d) Die Folge {xk} konvergiert mindestens superlinear gegen x∗.

(e) Die Folge {xk} konvergiert sogar quadratisch gegen x∗, falls F ′ zusatzlich lokalLipschitz–stetig ist.

5.3. LOKALE KONVERGENZ DES TRUST–REGION–VERFAHRENS 89

Beweis: (a) Wir beweisen die Aussage (a), indem wir die Voraussetzungen desLemmas 5.6 verifizieren. Wegen F ′(x∗) regular handelt es sich bei x∗ zunachst umeine isolierte Nullstelle von F , vergleiche Lemma 4.8. Da die Folge {f(xk)} monotonfallt, ergibt sich hieraus sehr leicht, dass x∗ auch ein isolierter Haufungspunkt von{xk} sein muss.

Sei nun {xk}K eine gegen x∗ konvergente Teilfolge. Fur die Losung dk ∈ Rn desTrust–Region–Teilproblems gilt dann

f(xk) +∇f(xk)Tdk +1

2(dk)TJT

k Jkdk = qk(d

k) ≤ qk(0) = f(xk)

und daher1

2(dk)TJT

k Jkdk ≤ −∇f(xk)Tdk ≤ ‖∇f(xk)‖ ‖dk‖

aufgrund der Cauchy–Schwarzschen Ungleichung. Da F ′(x∗) nach Voraussetzungregular und F ′(x∗)TF ′(x∗) somit positiv definit ist, existiert eine Konstante α > 0mit

α‖dk‖2 ≤ 1

2(dk)TJT

k Jkdk

fur alle k ∈ K hinreichend groß. Zusammen folgt

‖dk‖2 ≤ 1

α‖∇f(xk)‖

fur alle k ∈ K groß genug. Aus dem Satz 5.5 ergibt sich aber

{∇f(xk)}K → ∇f(x∗) = 0,

so dass wir {dk}K → 0 und daher

{‖xk+1 − xk‖}K → 0

wegen ‖xk+1 − xk‖ ≤ ‖dk‖ erhalten. Die Aussage (a) folgt somit aus dem Lemma5.6

(b), (c) Die beiden Aussagen (b) und (c) werden simultan bewiesen. Der Beweisgliedert sich dabei in drei Schritte und benutzt die Indexmenge

K :={k∣∣ k − 1 ist eine erfolgreiche Iteration

},

vergleiche hierzu den Beweis des Satzes 5.5. In Schritt (i) zeigen wir, dass dieNewton–Richtung dk

N := −J−1k F (xk) existiert und die eindeutige Losung des Trust–

Region–Teilproblems (5.2) darstellt. Im Schritt (ii) wird dann nachgewiesen, dassmit der Iteration k − 1 schließlich auch die Iteration k erfolgreich ist. Der Schritt(iii) verifiziert dann die Aussagen (b) und (c) mittels vollstandiger Induktion,


(i) Die Regularitat von F ′(x∗)und die schon bewiesene Aussage (a) implizieren wegenLemma 2.4 die Existenz einer Konstanten c > 0 mit

‖J−1k ‖ ≤ c (5.10)

fur alle k ∈ N hinreichend groß; insbesondere ist Jk also regular, so dass die Newton–Richtung dk

N := −J−1k F (xk) existiert. Wegen {xk} → x∗ nach Teil (a) folgt aus der

Stetigkeit von F somit

‖dkN‖ = ‖J−1

k F (xk)‖ ≤ c‖F (xk)‖ → 0

und daher‖dk

N‖ ≤ ∆min

fur alle k ∈ N groß genug. Die Definition von K und die Aufdatierungregeln fur denTrust–Region–Radius liefern deshalb

‖dkN‖ ≤ ∆min ≤ ∆k

fur alle k ∈ K hinreichend groß. Also ist die Newton–Richtung dkN fur alle diese

k zulassig fur das Trust–Region-Teilproblem. Wegen qk(dkN) = 0 ≤ qk(d) fur alle

d ∈ Rn mit ‖d‖ ≤ ∆k ist dkN sogar Losung des Trust–Region-Teilproblems. Da JT

k Jk

positiv definit ist, handelt es sich hierbei um die eindeutig bestimmte Losung.

(ii) Sei k ∈ K gegeben, also k−1 eine erfolgreiche Iteration. Wir wollen zeigen, dass(fur hinreichend großes k) dann auch k eine erfolgreiche Iteration ist, also rk ≥ ρ1

gilt.Wegen (5.10), Lemma 2.5, {xk}K → x∗ und F (x∗) = 0 sowie Teil (i) gilt

‖xk + dk − x∗‖ = ‖xk + dkN − x∗‖

= ‖ − (J−1k )(F (xk)− F (x∗)− Jk(x

k − x∗)‖≤ c‖F (xk)− F (x∗)− Jk(x

k − x∗)‖= o(‖xk − x∗‖).

Das Lemma 5.7 impliziert daher

‖F (xk + dk)‖ = o(‖F (xk)‖).

Hieraus folgtf(xk + dk) = o(f(xk)).

Insbesondere gilt daherf(xk + dk) ≤ (1− ρ1)f(xk)

fur alle k ∈ K hinreichend groß. Aus qk(dk) = qk(d

kN) = 0 folgt somit

rk =f(xk)− f(xk + dk)

f(xk)− qk(dk)

5.4. ZUR LOSUNG DES TRUST–REGION–TEILPROBLEMS 91

= 1− f(xk + dk)

f(xk)≥ ρ1

fur alle k ∈ K groß genug, d.h., die k-te Iteration ist erfolgreich.

(iii) Aus den Teilen (i) und (ii) folgt durch vollstandige Induktion sofort, dass fur allehinreichend großen k ∈ N die k-te Iteration erfolgreich ist und die Newton–Richtungdk

N das zugehorige Trust–Region–Teilproblem lost. Damit sind jetzt die Aussagen(b) und (c) vollstandig bewiesen.

(d), (e) Wegen Teil (c) gilt xk+1 = xk + dkN fur alle hinreichend großen k ∈ N. Da-

her stimmt der Algorithmus 5.1 schließlich mit dem lokalen Newton–Verfahren ausdem Algorithmus 2.1 uberein und erbt daher dessen Konvergenzeigenschaften. DieAussagen (d) und (e) folgen somit aus dem Satz 2.6. 2

5.4 Zur Losung des Trust–Region–Teilproblems

Zur Realisierung von Trust–Region–Verfahren benotigt man naturlich eine Methode,um ein Trust–Region–Teilproblem der Gestalt

min q(d) := f + gTd+1

2dTHd u.d.N. ‖d‖ ≤ ∆

zu losen, wobei ∆ > 0, f ∈ R, g ∈ Rn, H ∈ Rn×n die gegebenen Daten sind. DieMatrix H wird dabei als symmetrisch angenommen, was ohne Beschrankung derAllgemeinheit geschehen kann, indem man notfalls zum symmetrischen Teil von Hubergeht. Im Algorithmus 5.1 ist H = JTJ sogar positiv semidefinit. In diesem Ab-schnitt untersuchen wir das Trust–Region–Teilproblem allerdings etwas allgemeiner,so dass H auch indefinit sein kann.

Das Trust–Region–Teilproblem besitzt offenbar stets eine Losung, da die Ziel-funktion stetig und der zulassige Bereich kompakt sind. Allerdings kann es durchauslokale (nicht globale) Minima geben, da die Matrix H nicht notwendig positiv semi-definit ist. Um zu einem effizienten Verfahren zur Bestimmung eines globalen Mini-mums zu gelangen, wollen wir in diesem Abschnitt zunachst eine Charakterisierungeines solchen globalen Minimums angeben.

Als Vorbereitung hierfur formulieren wir das folgende Hilfsresultat.

Lemma 5.9 Seien y, z ∈ Rn mit z 6= 0 gegeben. Besitzt das Ungleichungssystem

yTv < 0, zTv < 0

keine Losung v, so existiert genau eine Zahl λ ≥ 0 mit y = −λz.


Beweis: Wir zeigen zunachst, dass y und z linear abhangig sind. Waren die beidenVektoren namlich linear unabhangig, so ware

∣∣yTz

∣∣ < ‖y‖ ‖z‖

aufgrund der Cauchy–Schwarzschen Ungleichung. Speziell fur den Vektor

v := −‖z‖y − ‖y‖z

ware dann

yTv = −‖z‖ ‖y‖2 − ‖y‖yTz

= − ‖y‖︸︷︷︸

>0

(‖y‖ ‖z‖+ yTz︸︷︷︸

>0

)

< 0

(wobei y 6= 0 aus der angenommenen linearen Unabhangigkeit von y und z folgt)und

zTv = −‖z‖zT y − ‖y‖ ‖z‖2

= − ‖z‖︸︷︷︸

>0

(zTy + ‖y‖ ‖z‖︸︷︷︸

>0

)

< 0

im Widerspruch zur Voraussetzung. Also sind y und z linear abhangig. Somit exi-stiert ein λ ∈ R mit

y = −λz.Ware hierbei λ < 0, so wurde mit v := −z sofort

yTv = −yTz = λ‖z‖2 < 0 und zTv = −‖z‖2 < 0

folgen, was allerdings ebenfalls im Widerspruch zur Voraussetzung steht.Damit bleibt nur noch die Eindeutigkeit zu verifizieren. Seien dazu λ, µ ≥ 0

gegeben mit y = −λz und y = −µz. Dies impliziert

λ‖z‖ = ‖λz‖ = ‖y‖ = ‖µz‖ = µ‖z‖

und daher λ = µ wegen z 6= 0. 2

Mittels des Lemmas 5.9 konnen jetzt die globalen Minima des Trust–Region–Teil-problems charakterisiert werden. Vorher erinnern wir den Leser allerdings noch dar-an, dass ein (lokales oder globales) Minimum x∗ einer zweimal stetig differenzier-baren Funktion f : Rn → R den notwendigen Optimalitatsbedingungen erster undzweiter Ordnung genugt, welche besagen, dass∇f(x∗) = 0 gilt und die Hesse–Matrix∇2f(x∗) positiv semidefinit ist, vergleiche [4].


Satz 5.10 Man betrachte das Trust–Region–Teilproblem

min q(d) := f + gTd+1

2dTHd u.d.N. ‖d‖ ≤ ∆, (5.11)

wobei ∆ > 0, f ∈ R, g ∈ Rn und die symmetrische Matrix H ∈ Rn×n gegeben sind.Dann ist d∗ ∈ Rn genau dann eine globale Losung von (5.11), wenn es ein (eindeutigbestimmtes) λ∗ ∈ R gibt, so dass die folgenden Bedingungen erfullt sind:

(a) λ∗ ≥ 0, ‖d∗‖ ≤ ∆, λ∗(‖d∗‖ −∆) = 0.

(b) (H + 2λ∗I)d∗ = −g.

(c) H + 2λ∗I ist positiv semidefinit.

Beweis: Sei d∗ zunachst eine globale Losung der Aufgabe (5.11). Dann ist insbe-sondere

‖d∗‖ ≤ ∆.

Ferner ist d∗ auch ein globales Minimum des zu (5.11) aquivalenten Optimierungs-problems

min f + gTd+1

2dTHd u.d.N. c(d) ≤ 0, (5.12)

wobei c : Rn → R die Funktion

c(d) := ‖d‖2 −∆2

bezeichnet. Gilt ‖d∗‖ < ∆, so ist d∗ ein unrestringiertes lokales Minimum der Funk-tion q. Mit λ∗ := 0 sind dann die Bedingungen (a)–(c) erfullt, wobei (b) und (c) ausden vorher genannten notwendigen Optimalitatskriterien erster und zweiter Ord-nung folgen.

Ist die Nebenbedingung dagegen aktiv, gilt also ‖d∗‖ = ∆, so ist ∇c(d∗) = 2d∗ 6=0. Sei nun v ∈ Rn ein Vektor mit vTd∗ < 0. Dann ist

t := −2vTd∗

‖v‖2 > 0,

und es gilt‖d∗ + tv‖ = ‖d∗‖.

Folglich liegen auch die Vektoren d∗ + tv, 0 ≤ t ≤ t, in der Kugel um 0 mit Radius‖d∗‖ = ∆ und sind somit zulassige Vektoren fur (5.12). Da d∗ ein globales Minimumvon (5.12) ist, folgt fur alle t ∈ (0, t ]:

0 ≤ q(d∗ + tv)− q(d∗) = t(g +Hd∗)Tv +1

2t2vTHv. (5.13)

Nach Division durch t > 0 und Grenzubergang t→ 0 gilt somit

(g +Hd∗)Tv ≥ 0,


und zwar nach Herleitung fur alle v ∈ Rn mit vTd∗ < 0. Daher gibt es keinen Vektorv ∈ Rn mit

(g +Hd∗)Tv < 0 und (d∗)Tv < 0. (5.14)

Aus dem Lemma 5.9 folgt daher die Existenz einer eindeutig bestimmten Zahl λ∗ ≥ 0mit

g +Hd∗ = −2λ∗d∗ (5.15)

(der Faktor 2 hat hier nur kosmetische Grunde). Damit sind die Aussagen (a) und (b)vollstandig bewiesen. Um die Eigenschaft (c) nachzuweisen, gehen wir noch einmalzu (5.13) zuruck und setzen dort t = t; unter Verwendung von (5.15) folgt

0 ≤ t(g +Hd∗)Tv +1

2t2vTHv

= −t 2λ∗(d∗)Tv +1

2t2vTHv

=1

2t2vT (H + 2λ∗I)v,

woraus man schließlich

vT (H + 2λ∗I)v ≥ 0 fur alle v ∈ Rn mit vTd∗ < 0

erhalt. Ersetzt man hierin v durch −v, so sieht man, dass diese Ungleichung auchfur alle v mit vTd∗ > 0 gilt, insgesamt also fur alle v mit vTd∗ 6= 0. Aus Stetigkeits-grunden folgt hieraus die Eigenschaft (c).

Umgekehrt seien nun d∗ ∈ Rn und λ∗ ∈ R gegeben, so dass (a)–(c) erfullt sind.Wir wollen zeigen, dass d∗ bereits ein globales Minimum von (5.11) ist. Sei dazud ∈ Rn ein beliebiger Vektor mit ‖d‖ ≤ ∆. Dann folgt unter Verwendung von (a),(b) und (c):

q(d)− q(d∗) = (g +Hd∗)T (d− d∗) +1

2(d− d∗)TH(d− d∗)

= −2λ∗(d− d∗)Td∗ +1

2(d− d∗)T (H + 2λ∗I)(d− d∗)− λ∗‖d− d∗‖2

≥ λ∗(‖d∗‖2 − ‖d‖2

)

= λ∗(‖d∗‖2 −∆2

)+ λ∗

(∆2 − ‖d‖2

)

= λ∗(∆2 − ‖d‖2

)

≥ 0,

d.h., d∗ ist in der Tat eine globale Losung von (5.11). 2

Beim Beweis der Notwendigkeit der Bedingungen (a) und (b) hatte man auchauf notwendige Optimalitatsbedingungen fur restringierte Optimierungsproblemezuruckgreifen konnen, die uns hier aber nicht zur Verfugung stehen, so dass wirden interessierten Leser auf das Buch [5] verweisen.


Die im Satz 5.10 angegebene Charakterisierung der globalen Minima wird jetztverwendet, um ein effizientes Verfahren zur numerischen Losung des Trust–Region–Teilproblems (5.11) zu konstruieren. Seien dazu λ1 ≤ . . . ≤ λn die Eigenwerte derMatrix H, wobei wir den kleinsten Eigenwert λ1 manchmal auch mit λmin bezeichnenwerden. Dann sind die Eigenwerte von H + 2λI offenbar gegeben durch

λi + 2λ ∀i = 1, . . . , n.

Daher existiert der Vektor

d(λ) := −(H + 2λI)−1g

fur alle λ ∈ R mit λ 6= −λi/2. Ist H nun positiv definit und ‖d(0)‖ ≤ ∆, so handeltes sich bei d(0) um die Losung des Trust–Region–Teilproblems (5.11). Anderenfallswerden wir versuchen, ein λ > 0 so zu finden, dass es zusammen mit dem zugehorigend(λ) den genannten Charakterisierungen genugt. Wir suchen also ein λ > 0 derart,dass H + 2λI moglichst sogar positiv definit ist und ‖d(λ)‖ = ∆ gilt. Die ersteForderung ist sicherlich dann erfullt, wenn λ > −λmin/2 ist. Die zweite Bedingungfuhrt auf das eindimensionale Nullstellenproblem

ϕ(λ) = 0 mit ϕ(λ) := ‖d(λ)‖ −∆, λ > −λmin/2.

Aus diesem Grund werden wir die Funktion ϕ im Folgenden etwas naher untersu-chen. Zu diesem Zweck verwenden wir den Spektralsatz und erhalten

H = QDQT

mit einer orthogonalen Matrix Q ∈ Rn×n und einer Diagonalmatrix

D = diag(λ1, . . . , λn), λ1 ≤ λ2 ≤ . . . ≤ λn,

deren Eintrage λi gerade die Eigenwerte von H sind, die wir hier ohne Beschrankungder Allgemeinheit der Große nach angeordnet haben, so dass λ1 gerade dem kleinstenEigenwert λmin entspricht. Mittels dieser Spektralzerlegung von H erhalten wir

H + 2λI = Q(D + 2λI)QT

und damit fur jedes λ 6= −λi/2

d(λ) = −Q(D + 2λI)−1QTg = −n∑

i=1

qT

i g

λi + 2λqi,

wobei qi den i-ten Spaltenvektor von Q bezeichnet. Aus der Orthogonalitat von Qergibt sich somit die Darstellung

‖d(λ)‖2 =

n∑

i=1

(qT

i g)2

(λi + 2λ)2.

Hieraus erhalten wir sofort die nachfolgend zusammengefassten Eigenschaften derFunktion λ 7→ ‖d(λ)‖.


Lemma 5.11 Unter Verwendung der obigen Bezeichnungen gelten die folgendenEigenschaften:

(a) Die Abbildung λ 7→ ‖d(λ)‖ ist auf dem Intervall (−λmin/2,+∞) monotonfallend.

(b) Es ist limλ→∞ ‖d(λ)‖ = 0.

(c) Es ist limλ→−λi/2 ‖d(λ)‖ = +∞, sofern (qi)Tg 6= 0.

Ein typisches Aussehen der Funktion λ 7→ ‖d(λ)‖ ist in der Abbildung 5.1 fur dieDaten

f := 0, g := (1, 1, 1, 1)T , H := diag(− 2,−1, 0, 1

)

wiedergegeben. Diese Abbildung bestatigt insbesondere die Aussagen (a), (b) und (c)des Lemmas 5.11: Fur jedes λ = −λi/2 liegt eine Polstelle vor (fur λ = −λ1/2 enthaltdie Abbildung eine senkrechte Linie), und fur das letztlich interessante Intervall(−λ1/2,+∞) ist die Funktion λ 7−→ ‖d(λ)‖ (streng) monoton fallend und schmiegtsich fur λ → ∞ asymptotisch an die λ-Achse an. Hieraus folgt insbesondere, dassdas Nullstellenproblem

ϕ(λ) = 0 ⇐⇒ ‖d(λ)‖ = ∆

fur jedes ∆ > 0 genau eine Losung λ∗ ∈ (−λ1/2,+∞) besitzt (ein solches ∆ ist alswaagerechte Linie eingezeichnet). Man beachte allerdings, dass wir hierzu (q1)

Tg 6= 0voraussetzen, vergleiche die Aussage (c) im Lemma 5.11. Ist λ1 mehrfacher Eigen-wert, etwa λ1 = λ2 = . . . = λr < λr+1 ≤ . . . ≤ λn, so ist die Aussage offenbarauch dann noch richtig, wenn (qi)

Tg 6= 0 fur mindestens einen Index i ∈ {1, . . . , r}erfullt ist. Ist dies nicht der Fall, so sprechen More und Sorensen [11] von dem hardcase, den wir vorubergehend nicht berucksichtigen wollen, zumal er in der numeri-schen Praxis eher selten auftritt. Erst am Ende dieses Abschnitts wird auf diesenschwierigen Fall noch einmal naher eingegangen.

Kommen wir also zunachst zu der normalen Situation, in der die Funktion ϕaufgrund unserer obigen Ausfuhrungen genau eine Nullstelle λ∗ in dem Intervall(−λ1/2,+∞) besitzt, die per Konstruktion mit dem zugehorigen Vektor

d(λ∗) = −(H + 2λ∗I)−1g

dann eine Losung unseres Trust–Region–Teilproblems (5.11) darstellt. Numerischlasst sich diese Nullstelle etwa durch Anwendung des Newton–Verfahrens auf daseindimensionale Problem ϕ(λ) = 0 bestimmen. Wegen Lemma 5.11 muss man aller-dings damit rechnen, dass die Funktion ϕ zumindest fur λ ≈ −λ1/2 stark nichtline-ar ist, was dazu fuhren kann, dass das Newton–Verfahren relativ viele Iterationenbenotigt. Diese Problematik lasst sich vermeiden, wenn man das Problem

‖d(λ)‖ = ∆


−4 −3 −2 −1 0 1 2 3 4 50

5

10

15

20

25

Abbildung 5.1: Graph der Funktion λ 7→ ‖d(λ)‖2

aquivalent formuliert als1

‖d(λ)‖ =1

∆,

also eine Nullstelle der Funktion

ψ(λ) :=1

∆− 1

‖d(λ)‖

in dem Intervall (−λmin/2,+∞) sucht. Aus der Definition von ψ folgt sofort, dass ψanaloge Eigenschaften wie ϕ besitzt. Ferner verhalt sich ψ fur λ ≈ −λ1/2 fast wie ei-ne lineare Abbildung, so dass man mit schneller Konvergenz des Newton–Verfahrensrechnen kann. Das auf ψ angewandte Newton–Verfahren liefert die Vorschrift

λj+1 := λj − ψ(λj)

ψ′(λj), j = 0, 1, 2, . . .

Durch Einsetzen von ψ(λ) und ψ′(λ) kommt man nach einigen Uberlegungen dannzu dem folgenden Verfahren (Aufgabe!).

Algorithmus 5.12 (Losung des Trust–Region–Teilproblems)

(S.0) Wahle δ > 0, und setze j := 0.

(S.1) Ist H positiv definit und ‖d(0)‖ ≤ ∆: STOP, d0 := d(0) lost (5.11).Ist H positiv definit und ‖d(0)‖ > ∆, so setze λ0 := 0 und gehe zu (S.2).


Ist H nicht positiv definit, so bestimme λ0 > −λmin

2mit ‖d(λ0)‖ > ∆ und gehe

zu (S.2).

(S.2) Berechne eine Cholesky–Faktorisierung H + 2λjI = LLT .

(S.3) Berechne dj = d(λj) aus LLTd = −g durch Vorwarts– und Ruckwartssubsti-tution.

(S.4) Falls∣∣‖dj‖ −∆

∣∣ ≤ δ∆: STOP: dj ist Naherungslosung von (5.11).

(S.5) Berechne qj = q(λj) aus Lq = dj durch Vorwartseinsetzen.

(S.6) Setze λj+1 := λj + 12

(‖dj‖‖qj‖

)2 (‖dj‖−∆

∆

)

.

(S.7) Setze j ← j + 1, und gehe zu (S.2).

Der Algorithmus 5.12 ist in der angegebenen Form leicht zu implementieren und wirdim Allgemeinen nach nur sehr wenigen (1, 2 oder 3) Iterationen eine Naherungslosungmit hinreichend guter Genauigkeit finden. Die positive Definitheit der auftretendenMatrix H + 2λjI kann dabei mittels der Cholesky–Zerlegung uberpruft werden.

Zu den Anweisungen im Schritt (S.1) hier noch einige Erlauterungen (der Restist nur das Newton–Verfahren fur ψ(λ) = 0): Sofern die Newton–Richtung d(0) =−H−1g nicht den Charakterisierungen aus dem Satz 5.10 genugt, bestimmen wirim Schritt (S.1) einen Startwert λ0 > −λmin/2 derart, dass ‖d(λ0)‖ > ∆ gilt (oder,aquivalent, ψ(λ0) > 0 ist). Wie man relativ leicht bestatigt, impliziert dies bereits,dass auch alle nachfolgenden λj in dem Intervall (−λmin/2,+∞) liegen, womit derAlgorithmus 5.12 insbesondere wohldefiniert ist. Außerdem kann man sehr leichtdie Konvergenz der Folge {λj} gegen die eindeutig bestimmte Nullstelle λ∗ von ψin dem Intervall (−λmin/2,+∞) beweisen (Aufgabe!). Wurde man mit einem be-liebigen λ0 starten, musste man weitere Vorsichtsmaßnahmen einbauen. Allerdingssetzen wir im Schritt (S.1) naturlich voraus, dass ein λ0 mit den gewunschten Ei-genschaften existiert. Dies ist im Allgemeinen nur dann der Fall, wenn der hard casenicht vorliegt.

Daher kehren wir abschließend noch einmal zu diesem hard case zuruck, in demdie Aussage des Lemma 5.11 (c) nicht mehr gelten muss und die Polstelle in λ =−λ1/2 verschwindet. In diesem Fall kann es passieren, dass die Funktion ϕ (unddamit auch ψ) gar keine Nullstelle in dem Intervall (−λmin/2,+∞) besitzt. DieAbbildung 5.2 illustriert einen solchen Fall fur die Daten

f := 0, g := (0, 1, 1, 1)T , H := diag(− 2,−1, 0, 1

).

Das Newton–Verfahren aus dem Algorithmus 5.12 kann in diesem Fall naturlichnicht konvergieren.

Trotzdem lasst sich auch in diesem Fall eine Losung des Trust–Region–Teil-problems (5.11) finden, und zwar auf die folgende Weise: Nach Voraussetzung besitztdie Funktion ϕ (bzw. ψ) keine Nullstelle in dem offenen Intervall (−λmin/2,+∞).


−4 −3 −2 −1 0 1 2 3 4 50

5

10

15

20

25

Abbildung 5.2: Graph der Funktion λ 7→ ‖d(λ)‖2 im hard case

Laut Satz 5.10 muss das optimale λ∗ aber in dem Intervall [−λmin/2,+∞) liegen.Daher bleibt nur λ∗ = −λmin/2 ubrig. Die Matrix H + 2λ∗I ist dann singular, sodass ein Vektor z 6= 0 existiert mit (H + 2λ∗I)z = 0. Durch Normierung konnen wirhierbei ohne Einschrankung annehmen, dass ‖z‖ = 1 gilt. Offenbar ist z gerade einEigenvektor von H zum Eigenwert λmin. Die Orthogonalitat von Q impliziert daher(qi)

Tz = 0 fur alle λi 6= λmin. Setzen wir daher

d∗ := d∗(τ) := −∑

i:λi 6=λmin

(qi)Tg

λi + 2λqi + τz mit einem τ ∈ R,

so gilt

‖d∗‖2 = ‖d∗(τ)‖2 :=∑

i:λi 6=λmin

(qT

i g)2

(λi + 2λ)2+ τ 2.

Daher ist es stets moglich, τ so zu wahlen, dass ‖d∗(τ)‖ = ∆ gilt. Dieses d∗(τ)(zusammen mit λ∗ = −λmin/2) ist dann gerade eine Losung des Trust–Region–Teilproblems (5.11) im hard case.

Implementieren wir das Trust–Region–Verfahren aus dem Algorithmus 5.1 mitden Parametern

ρ1 = 0.25, ρ2 = 0.75, σ1 = 0.5, σ2 = 2, ∆0 = 1

und losen die dabei auftretenden Teilprobleme mit dem Verfahren aus dem Algo-rithmus 5.12, so ergeben sich fur das Randwertproblem aus dem Abschnitt 2.3 die


Ergebnisse aus der Tabelle 5.1. In diesem Fall sind alle Iterationen erfolgreich, wiesich beispielsweise aus der letzten Spalte der Tabelle 5.1 ergibt. Tatsachlich stimmtdas Trust–Region–Verfahren hier mit dem lokalen Newton–Verfahren uberein, da dervolle Newton–Schritt bei diesem Beispiel stets zulassig ist fur das jeweilige Trust–Region–Teilproblem, vergleiche die Tabelle 2.1. Nimmt man dagegen den (unreali-stischen) Wert ∆0 = 0.1, erlaubt man zu Beginn also nur sehr kleine Radien umden aktuellen Iterationspunkt, so benotigt das Trust–Region–Verfahren sechs Itera-tionen, wobei auch hier samtliche Schritte erfolgreich sind.

k ‖F (xk)‖ ‖∇f(xk)‖ ∆k

0 0.2179316235 0.4849598354 1.001 0.0191452726 0.0419348062 2.002 0.0003855987 0.0004218817 4.003 0.0000056564 0.0000118998 8.004 0.0000000109 0.0000000241 16.00

Tabelle 5.1: Trust–Region–Verfahren fur nichtlineare Randwertaufgabe

5.5 Dogleg– und Double Dogleg–Strategien

Wir betrachten in diesem Abschnitt wieder das in einer Iteration k auftretendeTrust–Region–Teilproblem

min qk(d) := f(xk) +∇f(xk)Td+1

2dTHkd u.d.N. ‖d‖ ≤ ∆k

mit Hk ∈ Rn×n symmetrisch sowie ∆k > 0. In unseren Anwendungen ist die MatrixHk = JT

k Jk dabei stets positiv semidefinit. Fur die Zwecke dieses Abschnitts setzenwir im Allgemeinen voraus, dass Hk sogar regular und daher positiv definit ist.

Der vorige Abschnitt hat gezeigt, wie man das Trust–Region–Teilproblem nahe-rungsweise losen kann. Der Aufwand hierfur ist allerdings nicht ganz unerheblich.Andererseits folgt aus der Konvergenztheorie in den Abschnitten 5.2 und 5.3 rela-tiv leicht, dass eine exakte Losung des Trust–Region–Teilproblems gar nicht notigist, um globale und lokal schnelle Konvergenz beweisen zu konnen. Vielmehr reichtes zum Nachweis der globalen Konvergenz, das quadratische Modell qk entlang desnegativen Gradienten −∇f(xk) zu minimieren. Der Beweis der lokal superlinearenoder quadratischen Konvergenz wiederum basierte lediglich auf der Idee, dass dervolle Newton–Schritt xk + dk

N mit dkN := −H−1

k ∇f(xk) lokal zulassig war fur dasTrust–Region–Teilproblem und durch die Vorschriften im Trust–Region–Verfahrenauch als neuer Punkt xk+1 akzeptiert wurde.

Die Ausfuhrungen motivieren die folgende Dogleg–Strategie von Powell [14]: Aus-gehend von dem aktuellen Iterationspunkt xk minimieren wir das quadratische Mo-dell qk(d) zunachst entlang der Richtung des negativen Gradienten −∇f(xk). Dies

5.5. DOGLEG– UND DOUBLE DOGLEG–STRATEGIEN 101

fuhrt auf das Problem

mint∈R

qk(− t∇f(xk)

)= min

t∈R

(f(xk)− t‖∇f(xk)‖2 +

1

2t2∇f(xk)THk∇f(xk)

)

mit der eindeutig bestimmten Losung

tCPk :=

‖∇f(xk)‖2∇f(xk)THk∇f(xk)

.

Der Vektorxk

CP := xk − tCPk ∇f(xk)

wird als Cauchy–Punkt bezeichnet. Liegt dieser bereits außerhalb der Trust–Region–Umgebung von xk, so wahlen wir

xk+1 := xk − ∆k

‖∇f(xk)‖∇f(xk)

als neuen Iterationspunkt, d.h., wir gehen so weit wie moglich entlang des negativenGradienten von f , ohne jedoch den Trust–Region–Bereich zu verlassen.

∆k

xk − t∇f(xk), t ≥ 0

xkCP

xk+1

xk

xk + dkN

Abbildung 5.3: Veranschaulichung der Dogleg–Methode

Liegt der Cauchy–Punkt hingegen innerhalb der Trust–Region–Umgebung vonxk, so geht man bei der Dogleg–Strategie von xk

CP aus in Richtung des Newton–Punktes xk

N := xk − H−1k ∇f(xk), vergleiche die Abbildung 5.3. Liegt der Newton–

Punkt innerhalb des Trust–Region–Bereichs, so setzt man xk+1 := xkN , anderenfalls

bestimmt man den eindeutig bestimmten Punkt (Aufgabe!) auf der Verbindungsge-raden von xk

CP zu xkN , der die Trust–Region–Schranke schneidet. Zusammenfassend

ergibt sich damit der nachstehende Algorithmus.

Algorithmus 5.13 (Dogleg–Strategie)


(S.1) Setze tCPk := ‖∇f(xk)‖2/(∇f(xk)THk∇f(xk)), dk

CP := −tCPk ∇f(xk) und xk

CP :=xk + dk

CP .

(S.2) IF ‖dkCP‖ > ∆k, setze xk+1 := xk − ∆k

‖∇f(xk)‖∇f(xk) und STOP

ELSE gehe zu (S.3).

(S.3) IF Hk singular, setze xk+1 := xkCP und STOP

ELSE gehe zu (S.4).

(S.4) Berechne dkN := −H−1

k ∇f(xk), und setze xkN := xk + dk

N .IF ‖dk

N‖ ≤ ∆k, setze xk+1 := xkN und STOP

ELSE gehe zu (S.5).

(S.5) Setze xk(t) := xkCP + t(dk

N − dkCP ) und bestimme den eindeutig bestimmten

Parameter tNk ∈ [0, 1] mit ‖xk(tNk )‖2 = ∆2. Setze xk+1 := xk(tNk ).

Der Algorithmus 5.13 setzt naturlich voraus, dass ∇f(xk) 6= 0 gilt. Außerdem wirddavon ausgegangen, dass ∇f(xk)THk∇f(xk) > 0 ist. Trifft dies nicht zu, wahlt manxk+1 einfach wie im Schritt (S.2). In (S.5) schließlich wird die Verbindungsstreckexk(t) zwischen dem Cauchy–Punkt xk

CP und dem Newton–Punkt xkN betrachtet.

Auf dieser Verbindungsstrecke gibt es dann genau ein tkN ∈ [0, 1], welches der in tquadratischen Gleichung ‖xk(t)‖2 = ∆2 genugt und daher einfach berechnet werdenkann.

Von Dennis und Mei [2] stammt eine Variante des Dogleg–Verfahrens, das unterdem Namen Double Dogleg–Strategie bekannt ist. Hierbei versucht man ebenfalls,das quadratische Modell qk entlang eines stuckweise linearen Pfades zu minimie-ren. Allerdings unterscheidet sich dieser Pfad von jenem bei der Dogleg–Strategiedadurch, dass man etwas fruher zur Newton–Richtung zuruckkehrt. Genauer wahltman sich eine geeignete Zahl η ∈ (0, 1) und minimiert qk innerhalb des Trust–Region–Bereichs dann entlang des Pfades, der von xk zunachst zum Cauchy–Punktxk

CP fuhrt, von dort dann zu dem Punkt xk +ηdkN geht und schließlich zum Newton–

Punkt xkN = xk + dk

N wandert, vgl. die Abbildung 5.4. Speziell fur η = 1 stimmtdieser Pfad mit dem bei der Dogleg–Strategie uberein.

Wir wollen im Folgenden noch einsehen, dass die Double Dogleg–Strategie beigeeigneter Wahl von η ∈ (0, 1) die folgenden beiden Eigenschaften besitzt:

• Entlang des Double Dogleg–Pfades nimmt die Entfernung von dem Punkt xk

zu.

• Entlang des Double Dogleg–Pfades ist das quadratische Modell qk monotonfallend.

Die erste Eigenschaft garantiert, dass es genau einen Schnittpunkt des Double Dogleg–Pfades mit der Trust–Region–Schranke gibt, sofern der Newton–Punkt xk

N nicht


xk+1 xk + dkN

xk + ηdkN

∆k

xkCP

xk

xk − t∇f(xk), t ≥ 0

Abbildung 5.4: Veranschaulichung der Double Dogleg–Methode

schon innerhalb des Trust–Region–Bereiches liegt. Dies sichert letztlich die Wohl-definiertheit des Verfahrens. Die zweite Eigenschaft dagegen erlautert, warum esauch Sinn macht, entlang des Double Dogleg–Pfades so weit wie moglich zu gehen.Da die Dogleg–Methode ein Spezialfall (mit η = 1) der Double Dogleg–Strategieist, gelten diese beiden Eigenschaften insbesondere auch fur die vorher beschriebeneDogleg–Methode.

Zum Nachweis der ersten Eigenschaft bemerken wir zunachst, dass die Ent-fernung zum Punkt xk zwischen xk und dem Cauchy–Punkt xk

CP sowie zwischenxk + ηdk

N und dem Newton–Punkt xkN naturlich strikt zunimmt. Zu untersuchen

bleibt also nur die Verbindungsstrecke zwischen xkCP und xk +ηdk

N . Zu diesem Zweckberechnen wir zunachst den Abstand von xk zu dem Cauchy–Punkt xk

CP . Hierfurgilt

‖xk − xkCP‖ = ‖dk

CP‖

=‖∇f(xk)‖3

∇f(xk)THk∇f(xk)

≤ ‖∇f(xk)‖3∇f(xk)THk∇f(xk)

‖∇f(xk)‖‖H−1k ∇f(xk)‖

∇f(xk)TH−1k ∇f(xk)

=‖∇f(xk)‖4

(∇f(xk)THk∇f(xk)

)(∇f(xk)TH−1

k ∇f(xk))‖dk

N‖

=: γk‖dkN‖,

wobei wir die Cauchy–Schwarzsche Ungleichung benutzt haben. Gleichheit ist da-bei nur erfullt, wenn die Newton–Richtung dk

N parallel zum negativen Gradienten−∇f(xk) verlauft, was wir im Folgenden ausschließen wollen, da sich die beidengenannten Eigenschaften sonst trivialerweise ergeben (der stuckweise lineare Pfadder Double Dogleg–Kurve reduziert sich dann namlich zu einer einzigen Linie).

Wir zeigen als Nachstes, dass γk in dem Intervall [0, 1] liegt, so dass die erste


Eigenschaft bewiesen ist, sofern η = ηk aus dem Teilintervall [γk, 1] gewahlt wird. Da-zu bemerken wir zunachst, dass die symmetrisch positiv definiten Matrizen Hk undH−1

k zwei ebenfalls symmetrisch positiv definite Quadratwurzeln H1/2k und H

−1/2k

besitzen. Unter erneuter Verwendung der Cauchy–Schwarzschen Ungleichung liefertdies dann

γk =

(∇f(xk)T∇f(xk)

)2


)(∇f(xk)TH−1

k ∇f(xk))

=

(∇f(xk)TH

1/2k H

−1/2k ∇f(xk)

)2


)(∇f(xk)TH−1

k ∇f(xk))

≤ ‖H1/2k ∇f(xk)‖2‖H−1/2

k ∇f(xk)‖2(∇f(xk)THk∇f(xk)

)(∇f(xk)TH−1

k ∇f(xk))

= 1

und damit die Behauptung.Zum Nachweis der zweiten Eigenschaft bemerken wir zunachst wieder, dass die

Abstiegseigenschaft auf den beiden Teilstucken von xk zu xkCP und von xk + ηdk

N zuxk

N = xk + dkN klar ist. Zu untersuchen bleibt also nur die Abstiegseigenschaft auf

der Verbindungsgeraden von xkCP zu xk + ηdk

N . Diese lasst sich mit einem t ∈ [0, 1]offenbar parametrisieren durch

xk(t) := xkCP + t

(xk + ηdk

N − xkCP

)

= xkCP + t

(xk + ηdk

N − xk − dkCP

)

= xkCP + t

(ηdk

N − dkCP

)

= xk + dkCP + t(ηdk

N − dkCP )

= xk + tηdkN + (1− t)dk

CP ,

wobei wir die Definition von xkCP ausgenutzt haben. Wir zeigen nun, dass die Rich-

tungsableitung von qk in xk(t) entlang dieser Verbindungsgeraden negativ ist. Tatsach-lich ergibt sich

∇qk(xk(t)− xk

)T(ηdk

N − dkCP

)

=[∇f(xk) +Hk(d

kCP + t(ηdk

N − dkCP ))

]T

(ηdkN − dk

CP )

=(∇f(xk) +Hkd

kCP

)T

(ηdkN − dk

CP ) + t(ηdkN − dk

CP )THk(ηdkN − dk

CP ).

Da dieser Ausdruck mit wachsenden t zunimmt (denn Hk ist nach Voraussetzungpositiv definit), brauchen wir nur zu zeigen, dass er in t = 1 negativ ist. Wegen

∇qk(xk(1)− xk)T (ηdkN − dk

CP )

=[∇f(xk) +Hkd

kCP + ηHkd

kN −Hkd

kCP

]T

(ηdkN − dk

CP )

=[∇f(xk) + ηHkd

kN)]T

(ηdkN − dk

CP )

= (1− η)∇f(xk)T (ηdkN − dk

CP )


(die letzte Identitat folgt dabei aus der Newton–Gleichung) ist dies aquivalent zu

0 > (1− η)∇f(xk)T (ηdkN − dk

CP )

= (1− η)∇f(xk)T(− ηH−1

k ∇f(xk) + tCPk ∇f(xk)

)

= (1− η)∇f(xk)T

(

− ηH−1k ∇f(xk) +

‖∇f(xk)‖2∇f(xk)THk∇f(xk)

∇f(xk))

= (1− η)(

− η +‖∇f(xk)‖4


)(∇f(xk)TH−1

k ∇f(xk))

)

∇f(xk)TH−1k ∇f(xk)

= (1− η)(γk − η)∇f(xk)TH−1k ∇f(xk).

Dies ist aber fur alle η ∈ (γk, 1) erfullt, womit auch die zweite Eigenschaft nachge-wiesen ist.

Zum Abschluss geben wir in der Tabelle 5.2 wieder einige wichtige Daten aus,die sich bei der Anwendung des Trust–Region–Verfahrens aus dem Algorithmus5.1 auf die nichtlineare Randwertaufgabe aus dem Abschnitt 2.3 ergeben, wobeiwir zur Losung des Trust–Region–Teilproblems in diesem Fall die Dogleg–Strategieverwenden. Die Parameter seien wie im vorigen Abschnitt gewahlt, nur dass wirjetzt ∆0 = 0.1 setzen (anderenfalls ergaben sich die gleichen Resultate wie in derTabelle 5.1, da der volle Newton–Schritt stets zulassig ware fur das Trust–Region–Teilproblem). Aus der Tabelle 5.2 entnimmt man auch hier, dass alle Iterationenerfolgreich waren.

k ‖F (xk)‖ ‖∇f(xk)‖ ∆k

0 0.2179316235 0.4849598354 0.101 0.1244226634 0.1979739672 0.202 0.0799283441 0.1014728469 0.403 0.0410568431 0.0534458162 0.804 0.0043083739 0.0102565624 1.605 0.0000441765 0.0000484392 3.206 0.0000007769 0.0000017023 6.40

Tabelle 5.2: Trust–Region–Verfahren mit Dogleg–Strategie fur nichtlineare Rand-wertaufgabe


Kapitel 6

Homotopie–Verfahren

6.1 Idee und Probleme von Homotopie–Verfahren

Wir betrachten wieder das Problem, eine Losung x∗ ∈ Rn eines nichtlinearen Glei-chungssystems

F (x) = 0 (6.1)

zu finden, wobei F : Rn → R

n meist als stetig differenzierbar vorausgesetzt wird.Die Homotopie–Verfahren betten das Problem (6.1) ein in eine Folge von Problemender Gestalt

H(x, t) = 0

mit einer so genannten Homotopie–Abbildung H : Rn × [0, 1]→ Rn, die neben demVektor x ∈ R

n zusatzlich von einem Parameter t ∈ [0, 1] abhangt und außerdem diefolgenden Eigenschaften besitzen sollte:

• H ist stetig, moglichst sogar stetig differenzierbar

• fur die zum Parameter t = 0 gehorende Gleichung H(x, 0) = 0 ist eine Losungx0 ∈ Rn bekannt

• die zum Parameter t = 1 gehorende Gleichung H(x, 1) = 0 stimmt mit demAusgangsproblem (6.1) uberein.

Zwei populare Homotopie–Abbildungen geben wir im folgenden Beispiel an.

Beispiel 6.1 (a) Bezeichnet x0 ∈ Rn einen beliebigen Naherungswert fur eineNullstelle von F , so hat die manchmal als Fixpunkt–Homotopie bezeichneteAbbildung

H(x, t) := tF (x) + (1− t)(x− x0) (6.2)

alle gewunschten Eigenschaften, denn H erbt die Glattheit von F , der Vektorx0 ist offenbar eine Losung von H(x, 0) = 0, und fur t = 1 gilt H(x, 1) = F (x).

107

108 KAPITEL 6. HOMOTOPIE–VERFAHREN

(b) Ist x0 ∈ Rn wieder beliebig gegeben, so ist die so genannte Newton–Homotopie

H(x, t) := F (x)− (1− t)F (x0)

ebenfalls eine Abbildung mit den gewunschten Eigenschaften, da H(x, 0) = 0offenbar die Losung x0 besitzt und H(x, 1) = 0 sich gerade auf das Ausgangs-system F (x) = 0 reduziert. Ebenso vererbt auch die Newton–Homotopie dieGlattheitseigenschaften von F .

Sei nun H eine beliebige Homotopie–Abbildung zu (6.1). Sei ferner x0 die bekannteLosung von H(x, 0) = 0. Dann ist die folgende Vorgehensweise nahe liegend, so-fern wir mal annehmen, dass die Gleichung H(x, t) = 0 fur jedes t ∈ [0, 1] genaueine Losung x(t) ∈ Rn besitzt (unter Umstanden wurde es sogar reichen, die lokaleindeutige Losbarkeit vorauszusetzen, was nach dem Satz uber implizierte Funktio-nen zumindest dann der Fall ist, wenn die Jacobi–Matrix DxH(x, t) bezuglich derx–Variablen regular ist).

Wir zerlegen das Intervall [0, 1] in der Form

0 = t0 < t1 < . . . < tN−1 < tN = 1

Dann suchen wir eine Losung xk ∈ Rn des nichtlinearen Gleichungssystems H(x, tk) =0. Fur k = 0 ist eine solche Losung nach Voraussetzung gerade durch den Startvektorx0 gegeben. Ist nun xk als Losung von H(x, tk) = 0 bekannt, so bestimmt man (eineNaherung von) xk+1, indem man ein lokales Verfahren (beispielsweise das Newton–Verfahren) auf das Gleichungssystem H(x, tk+1) = 0 anwendet. Als Startvektor kannman hierfur den vorhergehenden Losungspunkt xk wahlen. Das lokale Verfahren furH(x, tk+1) = 0 erzeugt also eine Folge

xk,0 := xk, xk,1, xk,2, xk,3, . . .

von Naherungslosungen fur H(x, tk+1) = 0. Das Verfahren wird etwa nach `k ∈N Schritten abgebrochen, wenn H(xk,`k, tk+1) ≈ 0 gilt. In diesem Fall wird dannxk+1 := xk,`k gesetzt. Spatestens fur k+1 = N hat man dann eine Naherungslosungfur das Ausgangsproblem (6.1) vorliegen.

Da sich das nichtlineare Gleichungssystem H(x, tk+1) = 0 von dem SystemH(x, tk) = 0 im Allgemeinen nur geringfugig unterscheidet, kann man erwarten,dass das lokale Verfahren mit dem Startvektor xk tatsachlich eine Losung fur dasbenachbarte Problem H(x, tk+1) findet.

Die hiermit skizzierte Idee der Homotopie–Verfahren erscheint also recht naheliegend. Wir wollen im Folgenden dennoch auf eine Reihe von Problemen hinweisen,die man bei einer geeigneten Implementation berucksichtigen sollte.

In den Abbildungen 6.1–6.4 geben wir dazu eine Reihe von Moglichkeiten an,wie ein Homotopie–Pfad (t, x(t)) mit

x(t) := Losung(–en) von H(x, t) = 0

6.1. IDEE UND PROBLEME VON HOMOTOPIE–VERFAHREN 109

aussehen kann. Die Abbildung 6.1 enthalt zunachst den unkritischen Fall, wo es zujedem Parameter t ∈ [0, 1] genau eine Losung x(t) gibt. Der entstehende Homotopie–Pfad lasst sich numerisch dann problemlos verfolgen. Die Abbildung 6.2 hingegenzeigt einen Homotopie–Pfad mit zwei Ruckkehrpunkten (engl.: turning points) int = t1 und t = t2. Diese bereiten numerisch einige Probleme, und der oben skizzierteAnsatz fur ein Homotopie–Verfahren wird nicht mehr funktionieren. Zwar gelangtman relativ leicht bis zum Punkt tk = t1 und findet hierfur eine Naherungslosungxk von H(x, tk) = 0, wahlt man dann aber tk+1 > tk = t1, so besitzt das nichtlineareGleichungssystem H(x, tk+1) = 0 keine Losung xk+1, die noch in der Nahe von xk

liegt. Vielmehr wird man in dieser Situation ein tk+1 < tk wahlen wollen, um denHomotopie–Pfad weiter verfolgen zu konnen. Allerdings muss man hierbei aufpassen,da das Gleichungssystem H(x, tk+1) = 0 dann zwei Losungen besitzt.

Eine weitere kritische Situation ist in der Abbildung 6.3 enthalten. Der dortabgebildete Homotopie–Pfad erreicht nie sein Ziel t = 1. Dass eine solche Situationdurchaus bei sogar sehr einfachen Beispielen auftreten kann, sollte sich der Leser andem trivialen eindimensionalen Beispiel F (x) := x2 − 1 mit x0 := −2 klar machen.(Hinweis: Fur t ∈

(113

(5− 2√

3), 113

(5 + 2√

3))≈ (0.118, 0.651) besitzt die Gleichung

H(x, t) = 0 keine Losung!)

Eine andere Problematik wird in der Abbildung 6.4 angedeutet, wo an der Stellet = t1 ein so genannter Verzweigungspunkt (engl.: bifurcation point) auftritt. Ver-folgt man den richtigen Pfad, landet man zwar in der Losung x∗ von (6.1), wandertman jedoch entlang des falschen Pfades, so endet man im Nirgendwo.

Damit sind die wesentlichen Probleme von Homotopie–Verfahren auch schon ge-schildert. Bei einer geeigneten Implementation wird man versuchen, diese Problemeso weit wie moglich in den Griff zu bekommen. Der nachfolgende Abschnitt enthalthierzu einige Hinweise.

1

t

x

x

x *

0

Abbildung 6.1: Beispiel eines einfachen Homotopie–Pfades


1

t

x

x

x *

0

t t 12

Abbildung 6.2: Beispiel eines Homotopie–Pfades mit Ruckkehrpunkten

6.2 Implementation eines Homotopie–Verfahrens

Wir beschreiben in diesem Abschnitt die wesentlichen Ideen eines Homotopie–Ver-fahrens, mit der man zumindest einige der im vorigen Abschnitt genannten Problemevermeiden kann.

Die grundlegende Idee im vorigen Abschnitt bestand darin, den Losungspfadder Homotopie–Gleichung H(x, t) = 0 zu verfolgen, indem wir zu jedem t ∈ [0, 1]eine zugehorige Losung x(t) berechneten. Dies bedeutet gerade, dass wir die zu-gehorige Losungskurve von dem Startwert (x0, 0) zum gesuchten Punkt (x∗, 1) bzgl.t parametrisieren. Das Beispiel der Umkehrpunkte zeigte jedoch, dass eine solcheParametrisierung nicht immer sinnvoll ist bzw. gar nicht existiert. Eine Parame-trisierung bzgl. einer der Komponenten xi ware hier unter Umstanden wesentlichbesser.

Wir gehen im Folgenden daher davon aus, dass eine beliebige Parametrisierung(x(s), t(s)

)(s ≥ 0) der Losungskurve vorliegt, wobei wir naturlich in

(x(0), t(0)

)=

(x0, 0) starten. Die Idee des hier zu beschreibenden Homotopie–Verfahrens bestehtnun darin, die Kurve

(x(s), t(s)

)numerisch zu approximieren durch eine Art Pradik-

tor–Korrektor–Verfahren. Im Pradiktor–Schritt wird hierzu zunachst im aktuellenPunkt (xk, tk) eine Tangente an die Losungskurve

(x(s), t(s)

)bestimmt. Dazu dif-

ferenziert man die Gleichung

H(x(s), t(s)

)= 0

nach s. Dies liefert in einem aktuellen Punkt (xk, tk) das System

Hx(xk, tk)x +Ht(x

k, tk)t = 0 mit (x, t) =

(dx

ds,dt

ds

)

, (6.3)

wobei Hx bzw. Ht naturlich die partiellen Ableitungen von H bezuglich der x– bzw.

6.2. IMPLEMENTATION EINES HOMOTOPIE–VERFAHRENS 111

1

t

x

x

x *

0

Abbildung 6.3: Beispiel eines die Losung x∗ nie erreichenden Homotopie–Pfades

t–Variablen bezeichnet. Besitzt die im (6.3) auftretende Matrix

[Hx(x

k, tk), Ht(xk, tk)

]∈ R

n×(n+1)

den Rang n, so ist der Kern dieser Matrix aufgrund einer bekannten Dimensionsfor-mel aus der linearen Algebra eindimensional. Daher besitzt das homogene System(6.3) in diesem Fall eine Losung (xk, tk), die bis auf Normierung und Richtungsan-gabe eindeutig bestimmt ist. Zwecks Normierung kann man etwa die Bedingung

‖xk‖2 + |tk|2 = 1

hinzufugen. Zur Angabe der Richtung erweist es sich oft als sinnvoll, das Vorzeichendes Tangentenvektors (xk, tk) so zu wahlen, dass der Winkel zwischen diesem Vektorund dem Tangentenvektor (xk−1, tk−1) aus der vorhergesehenen Iteration kleiner als90◦ ist, um auf diese Weise eine zu plotzliche Richtungsanderung zu vermeiden.

Hat man einen solchen Tangentenvektor (xk, tk) bestimmt, so geht man imPradiktor–Schritt vom aktuellen Punkt (xk, tk), der im Idealfall auf der Losungs-kurve

(x(s), t(s)

)liegt, ein Stuck in Richtung dieses Tangentenvektors, d.h., man

setzt

(xk,P , tk,P ) := (xk, tk) + τk(xk, tk)

fur eine im Allgemeinen recht kleine Schrittweite τk > 0. Der so gefundene Punkt(xk,P , tk,P ) liegt dann meistens wieder etwas weiter entfernt von der Losungskur-ve(x(s), t(s)

). Dieser Fehler lasst sich korrigieren, indem man ein lokales Verfahren

(beispielsweise das lokale Newton–Verfahren) benutzt, um wieder zu der Losungskur-ve zuruck zu gelangen. Wir fassen diese Uberlegungen in dem folgenden Algorithmuszusammen.

Algorithmus 6.2 (Homotopie–Verfahren)


1

t

x

x

x *

0

t 1

Abbildung 6.4: Beispiel eines Homotopie–Pfades mit einem Verzweigungspunkt

(S.0) Wahle x0 ∈ Rn, setze t0 := 0, y0 := (x0, t0), wahle µ ∈ (0, 1), ε ≥ 0, und setzek := 0.

(S.1) Falls ‖F (xk)‖ ≤ ε: STOP.

(S.2) (Berechnung eines Tangentenvektors)Bestimme wk := (xk, tk) 6= (0, 0) aus

Hx(xk, tk)x +Ht(x

k, tk)t = 0,

und setze vk := wk/‖wk‖2. Falls (fur k > 0) (vk)Tvk−1 < 0, setze vk := −vk.

(S.3) (Pradiktor–Schritt)Wahle eine geeignete Schrittweite τk > 0, und setze

yk,P := yk + τkvk.

(S.4) (Korrektor–Schritt)Wahle einen geeigneten Index ik ∈ {1, 2 . . . , n + 1} und wende ein lokal kon-vergentes Verfahren auf das nichtlineare Gleichungssystem

H(y) = 0,

yik − yk,Pik

= 0(6.4)

mit dem Startvektor yk,0 := yk,P an. Dieses Verfahren erzeuge die Iteriertenyk,0, yk,1, . . . , yk,` und breche (hoffentlich) nach `k ∈ N inneren Iterationen yk,`k

ab, so dass ‖H(yk,`k)‖ ≤ µ‖H(yk)‖ gilt.

(S.5) Setze yk+1 := yk,`k, (xk+1, tk+1) := yk+1, k ← k + 1, und gehe zu (S.1).

6.2. IMPLEMENTATION EINES HOMOTOPIE–VERFAHRENS 113

Der Schritt (S.2) enthalt die gewunschte Berechnung des Tangentenvektors an dieLosungskurve, wobei die vorher angesprochene Normierung und die Winkelbedin-gung (fur k > 0) berucksichtigt werden. Schritt (S.3) enthalt dann den Pradiktor–Schritt, wahrend der Schritt (S.4) den Korrektor–Schritt beinhaltet. Der Korrektor–Schritt besteht darin, das lokale (Newton–) Verfahren auf das GleichungssystemH(y) = 0 anzuwenden, wobei die Komponente yik fest gehalten wird. Dies ent-spricht einer Parametrisierung der Losungskurve bzgl. yik . Speziell fur ik = n + 1ergibt dies die ubliche Parametisierung nach yn+1 = t aus dem vorigen Abschnitt.

Fur eine Realisierung des Algorithmus 6.2 hat man sich insbesondere zu uberle-gen, wie man die Berechnung des Tangentenvektors im Schritt (S.2) auszufuhren hatund wie man im Schritt (S.4) einen geeigneten Index ik ∈ {1, . . . , n+ 1} auswahlensollte. Wir kommen zunachst zur Beantwortung der erst genannten Problematik.

Sei dazu[Hx(x

k, tk), Ht(xk, tk)

]Πk = Qk

[Rk, w

k]

eine QR–Zerlegung von der Matrix[Hx(x

k, tk), Ht(xk, tk)

], also

Πk ∈ R(n+1)×(n+1) eine Permutationsmatrix,

Qk ∈ Rn×n orthogonal,

Rk ∈ Rn×n eine obere Dreiecksmatrix,

wk ∈ Rn.

Ist dabei[Hx(x

k, tk), Ht(xk, tk)

]vom Rang n, so ist Rk regular. In diesem Fall genugt

der Vektor

vk := Πk

(R−1

k wk

−1

)

der gewunschten Tangentengleichung, denn es ist

[Hx(x

k, tk), Ht(xk, tk)

]vk =

[Hx(x

k, tk), Ht(xk, tk)

]Πk

(R−1

k wk

−1

)

= Qk

[Rk, w

k](R−1

k wk

−1

)

= Qk

(RkR

−1k wk − wk

)

= 0.

Damit bleibt nur noch die Wahl des Index ik ∈ {1, . . . , n+ 1} im Korrektor–Schritt(S.4) zu klaren. Da man im Korrektor–Schritt meist ein lokales Newton–Verfahrenauf das nichtlineare Gleichungssystem (6.4) anwendet, hat man dort in jeder innerenIteration ein lineares Gleichungssystem mit der Koeffizientenmatrix

[Hx(y

k) Ht(yk)

— eT

ik—

]

zu losen. Unter der Voraussetzung Rang([Hx(y

k), Ht(yk)])

= n ist dieses genau dannregular, wenn mit dem Tangentenvektor vk aus Schritt (S.2) gilt

eT

ikvk 6= 0 ⇐⇒ vk

ik6= 0.


Aus diesem Grunde kann man den Index ik beispielsweise so wahlen, dass fur dengemaß Schritt (S.2) normierten Vektor vk die Bedingung

∣∣vk

ik

∣∣ = max

{|vk

i |∣∣ i = 1, . . . , n+ 1

}

erfullt ist. Auf diese Weise vermeidet man zumindest die sonst moglicherweise auf-tretenden Singularitatsprobleme bei den Umkehrpunkten.

Ein derartig implementiertes Homotopie–Verfahren ist in der Praxis zwar we-sentlich aufwendiger als ein mittels einer Schrittweitenstrategie oder eines Trust–Region–Ansatzes globalisiertes lokales (Newton–) Verfahren, findet bei komplizier-ten Problemen allerdings eher eine Nullstelle von F als die anderen Verfahren, wasden erheblichen Mehraufwand bei derartigen Problemen wiederum rechtfertigt.

Literaturverzeichnis

[1] E.L. Allgower und K. Georg: Numerical Continuation Methods.Springer–Verlag, 1990.

[2] J.E. Dennis und H.H.W. Mei: Two new unconstrained optimization algo-rithms which use function and gradient values. Journal of Optimization Theoryand Applications 28, 1979, 453–482.

[3] J.E. Dennis, Jr., und R.B. Schnabel: Numerical Methods for Unconstrai-ned Optimization and Nonlinear Equations. Prentice-Hall, Englewood Cliffs,New Jersey, 1983 (Nachdruck bei SIAM, Philadelphia, 1996).

[4] C. Geiger und C. Kanzow: Numerische Verfahren zur Losung unrestrin-gierter Optimierungsaufgaben. Springer–Verlag, Berlin, Heidelberg, 1999.

[5] C. Geiger und C. Kanzow: Theorie und Numerik restringierter Optimie-rungsaufgaben. Springer–Verlag, Berlin, Heidelberg, 2002.

[6] C. Kanzow: Iterative Verfahren zur Losung linearer Gleichungssysteme. Vor-lesungsskript, Universitat Wurzburg, Sommersemester 2002.

[7] C.T. Kelley: Iterative Methods for Linear and Nonlinear Equations. SIAM,Philadelphia, PA, 1995.

[8] A. Kielbasinski und H. Schwetlick: Numerische lineare Algebra. VerlagHarri Deutsch, 1988.

[9] P. Kosmol: Methoden zur numerischen Behandlung nichtlinearer Gleichungenund Optimierungsaufgaben. Teubner–Verlag, Stuttgart, 1989.

[10] A. Meister: Numerik linearer Gleichungssysteme. Vieweg–Verlag, Braun-schweig, Wiesbaden, 1999.

[11] J.J. More und D.C. Sorensen: Computing a trust region step. SIAM Jour-nal on Scientific and Statistical Computing 4, 1983, 553–572.

[12] J. Nocedal und S.J. Wright: Numerical Optimization. Springer–Verlag,1999.

115

116 LITERATURVERZEICHNIS

[13] J.M. Ortega und W.C. Rheinboldt: Iterative Solution of Nonlinear Equa-tions in Several Variables. Academic Press, 1970.

[14] M.J.D. Powell: A hybrid method for nonlinear equations. In P. Rabinowitz

(Hrsg.): Numerical Methods for Nonlinear Algebraic Equations. Gordon andBreach, London, 1970, 87–114.

[15] W.C. Rheinboldt: Methods for Solving Systems of Nonlinear Equations.SIAM, Philadelphia, PA, 1974.

[16] Y. Saad und M.H. Schultz: GMRES: A generalized minimal residual algo-rithm for solving nonsymmetric linear systems. SIAM Journal on Scientific andStatistical Computing 7, 1986, 856–869.

[17] H. Scheid: Zahlentheorie. BI Wissenschaftsverlag, 1991.

[18] H. Schwetlick: Numerische Losung nichtlinearer Gleichungen. Oldenbourg–Verlag, 1979.

[19] H.R. Schwarz: Numerische Mathematik. Teubner–Verlag, Stuttgart, 4. Auf-lage 1997.

Documents

NICHTLINEARE GLEICHUNGSSYSTEME - mathematik…kanzow/ne/NE_07.pdf · NICHTLINEARE GLEICHUNGSSYSTEME Christian Kanzow Julius{Maximilians{Universit at W urzburg Institut f ur Mathematik