Regression Regression, Interpolation, numerische ...institute.unileoben.ac.at/amat/lehrbetrieb/num/vl-skript/sli09s10.pdf · Ausgleichsgerade nach der Methode der kleinsten Quadrate

Polynomiale

Regression

LineareRegression(klassisch, robust,total)

Interpolation

polynomialSpline

Numerische

Integration

Klassisch:Newton-CotesWeitereQuadraturformeln

Regression, Interpolation, numerische

Integration

9. Vorlesung170 004 Numerische Methoden I

Clemens Brand

20. Mai 2010

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Gliederung

Polynomiale RegressionLineare Regression (klassisch, robust, total)

InterpolationpolynomialSpline

Numerische IntegrationKlassisch: Newton-CotesWeitere Quadraturformeln

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Polynomiale Regression: AufgabenstellungGesucht ist ein Polynom, das die Datenpunkte möglichst gut approximiert

Gegeben

m + 1 Wertepaare (xi , yi ), i = 0, . . . ,m

Gesuchtp(x), ein Polynom n-ten Grades, n < m, so dass die Summeder Fehlerquadrate

m∑

i=0

(p(xi )− yi )2

minimal wird.

Anpassen eines Polynoms an Datenpunkte

Spezifische Wärmekapazitätvon kohlenstoffarmem Stahl inJ/kgK für 20C ≤ T ≤ 700,C

T cp

20 447173 500200 509400 595543 700600 763626 800700 909

0 100 200 300 400 500 600 700 800400

500

600

700

800

900

1000

1100

1200

y = 0.0009*x2 − 0.02*x + 4.6e+002y = 1.6e−006*x3 − 0.00083*x2 + 0.46*x + 4.4e+002

Datenpunkte quadratisches Pol. kubisches Pol.

Die Abbildung illustriert polynomiale Regression (quadratischund kubisch) an die gegebenen Datenpunkte.

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Direkter LösungswegAnsatz des Polynoms mit unbestimmten Koeffizienten

p(x) = a0 + a1x + a2x2 + · · ·+ an−1x

n−1 + anxn .

◮ Einsetzen der gegebenen Wertepaare führt auf einSystem von m linearen Gleichungen in den n + 1unbekannten Koeffizienten a0, a1, . . . , an.

◮ Sofern n < m liegt in der Regel ein überbestimmtes

System vor. Lösung nach der Methode derNormalengleichungen.

◮ Besser: Lösung durch QR-Zerlegung(Standardverfahren)

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Formel für die NormalengleichungenBei polynomialer Regression haben die Normalengleichungen spezielleForm; man kann die Koeffizienten direkt angeben.

s0a0 + s1a1 + ...... + snan = t0

s1a0 + s2a1 + ...... + sn+1an = t1

......

sna0 + sn+1a1 + ...... + s2nan = tn

mit sk =m∑

i=0

xk

i , tk =m∑

i=0

xk

i yi

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Was dabei schiefgehen kannRemember Murphy’s Law: “If anything can go wrong, it will”

◮ Normalengleichungen für größere n schlecht konditioniert

◮ Abhilfe: Daten skalieren. Anderere Lösungswege(QR-Zerlegung, Singulärwertzerlegung), andereAnsatzfunktionen (Orthogonalpolynome)

◮ Methode der kleinsten Quadrate wird durch Ausreißerstark irritiert

◮ Abhilfe: Robuste Methoden, Minimierung der Summeder absoluten Fehler (Minimierung in der 1-Norm stattin der 2-Norm)

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Lineare RegressionEinfacher Spezialfall der polynomialen Regression

0.5 1 1.5 2 2.5 3 3.5

0.25

0.5

0.75

1

1.25

1.5

1.75

2

Anpassen einer Geraden an Datenpunkte. DieAusgleichsgerade nach der Methode der kleinsten Quadrate

lässt sich von den wenigen Ausreissern stark ablenken.Minimieren des absoluten Fehlers legt eine wesentlichplausiblere Gerade durch die Daten.

Total Least Squares mit SVD

Standardverfahren minimiert Summe der Abstandsquadrate in

y-Richtung, TLS minimiert Quadratsumme der Normalabstände

−0.2 0 0.2 0.4 0.6 0.8 1 1.2−0.2

0

0.2

0.4

0.6

0.8

1Bestimme Schwerpunkt [x , y ] der Daten.

x =1

n

∑

i=1,n

xi , y =1

n

∑

i=1,n

yi

Verschiebe die Daten

∆xi = xi − x , ∆yi = yi − y

Bilde Singulärwertzerlegung

U · S · V T =

∆x1 ∆y1

......

∆xn ∆yn

TLS-Gerade geht durch den Schwerpunkt in Richtung des ersten

Spaltenvektors von V .

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Statistische Zusammenhänge

Die Methode der kleinsten Quadrate liefert maximum

likelihood-Schätzung der Parameter

wenn die Daten mit unabhängigen, zufälligen,

normalverteilten Fehlern mit gleicher

Standardabweichung behaftet sind.

Ist C = (ATA)−1 die inverse Matrix des Systems derNormalengleichungen, und ist die Varianz der Daten gleichσ2, so ist σ2C die Kovarianzmatrix der Parameter.

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Regression in MATLABDie Übungen enthalten Beispiele zur polynomialen Regression

◮ mit den Befehlen polyfit und polyval

◮ mit dem Basic-Fitting-Tool

◮ Fallstudie in der MATLAB-Hilfe

Approximation durch polynomiale Regression

50 100 150 200 250

25

50

75

100

125

150

175

200

16 Datenpunkte sind gegeben. Ein Approximationspolynom vierten Grades model-liert den Verlauf der Daten ganz passabel. Es hängt vom Modell ab, ob es Sinnmacht, mehr Parameter (höheren Grad) zu verwenden. Ein Polynom 15. Grades(16 freie Parameter) könnte die Daten exakt modellieren, aber. . .

Datenanpassung mit zu hohem Polynomgrad

50 100 150 200 250

25

50

75

100

125

150

175

200

Der Fehler an den Datenpunkten verschwindet zwar, das Polynom oszilliert aberheftig.Typisch für Polynome hohen Grades. Nur sehr glatte Funktionen lassen sich gutdurch Polynome hohen Grades gut annähern, und auch das nur in kleinen Bereichen(Beispiel: Potenzreihen)

Woher die Daten kommenOb eine Approximation ausreichend gut ist, hängt unter anderem auchdavon ab, was die Daten beschreiben sollen. . .

50 100 150 200 250

25

50

75

100

125

150

175

200

50 100 150 200 250

25

50

75

100

125

150

175

200

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


InterpolationDefinition der Aufgabenstellung

Gegeben:

Datenpunkte

Gesucht:

◮ Eine Funktion, die durch die gegebenen Datenpunkteverläuft.

◮ Ein Wert zwischen den Datenpunkten

◮ Trend über den gegebenen Datenbereich hinaus:Extrapolation

Anwendung:

Zwischenwerte in Tabellen, „glatte“ Kurven für Graphik. . .

Beispiel: Interpolation in Tabellen

Spezifische Wärmekapazitätvon kohlenstoffarmem Stahl inJ/kgK für 20C ≤ T ≤ 700,C

T cp

20 447173 500200 509400 595543 700600 763626 800700 909

0 100 200 300 400 500 600 700 800 900400

500

600

700

800

900

1000

1100

1200

1300

Die Abbildung illustriert stückweise lineare Interpolationzwischen den Stützstellen und Extrapolation bis 900 C.

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Polynomiale InterpolationDie einfachsten Interpolations-Funktionen sind Polynome...

Durch zwei Punkte der xy -Ebene geht genau eine Gerade.Durch drei beliebige Punkte lässt sich eindeutig eine Parabellegen. Durch n + 1 Punkte ist ein Polynom n-ten Gradeseindeutig bestimmt. (Ausnahme, wenn x-Wertezusammenfallen)

Aufgabenstellung:

◮ gegeben n + 1 Wertepaare (xi , yi ), i = 0, . . . , n, wobeidie xi paarweise verschieden sind.

◮ gesucht ist das eindeutig bestimmte Polynom n-tenGrades p, das durch die gegebenen Datenpunkteverläuft:

p(xi ) = yi für i = 0, . . . , n

.

Interpolationspolynome hohen Grades

sind ungeeignet!

Durch die achtDatenpunkte lässt sich einPloynom siebten Gradesexakt durchlegen.

Aber:Polynome so hohen Gradesneigen zu Oszillationen undzu extrem unrealistischerExtrapolation

0 100 200 300 400 500 600 700 800 900400

500

600

700

800

900

1000

DatenpunkteInterpolationspolynom

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Rechenverfahren zur polynomialen

Interpolation

◮ Alle Verfahren für polynomiale Regression liefern fürentsprechend hohen Polynomgrad dasInterpolationspolynom. Rechenaufwand ist höher als beiden folgenden Methoden.

◮ Lagrangesches Interpolationspolynom: Eine Formel, diedas Polynom direkt hinschreibt.

◮ Newtonsches Interpolationspolynom: besondersrechengünstig.

◮ Es gibt noch einige andere Rechenschemen (im Skript:Neville-Verfahren; wir lassen es heuer aus)

Trotz unterschiedlicher Namen und Schreibweisen liefern alleVerfahren dasselbe (eindeutig bestimmte) Polynom.

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Lagrangesche Interpolationsformel

Das Interpolationspolynom durch die n + 1 Wertepaare(xi , yi ), i = 0, . . . , n ist gegeben durch

p(x) = L0(x)y0 + L1(x)y1 + ...+ Ln(x)yn,

wobei

Li (x) =(x − x0)(x − x1)...(x − xi−1)(x − xi+1)...(x − xn)

(xi − x0)(xi − x1)...(xi − xi−1)(xi − xi+1)...(xi − xn)

Es ist für die rechnerische Durchführung nicht ratsam, nach Einsetzen

der Datenpunkte die Li (x) durch symbolisches Ausmultiplizieren noch

weiter zu „vereinfachen“. Die x-Werte direkt einsetzen!

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Weitere InterpolationsverfahrenNicht alle Funktionen lassen sich vorteilhaft durch Polynome interpolieren

Andere wichtige Verfahren sind

◮ Rationale Interpolation

◮ Spline-Interpolation (Kubisch, Bezier,...)

◮ Stückweise Hermite-Interpolation (MATLAB pchip)

◮ Trigonometrische Interpolation

◮ Interpolation in zwei oder mehr Dimensionen

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Natürlicher kubischer Spline

Ein kubischer Spline s(x) durch die n + 1 Wertepaare (xi , yi ),i = 0, . . . , n ist folgendermaßen charakterisiert:

◮ In den einzelnen Intervallen (xi−1, xi ) ist s(x) jeweils einkubisches Polynom

◮ An den Intervallgrenzen stimmen die Funktionswerte, dieersten und die zweiten Ableitungen rechts- undlinksseitig überein.

◮ Zusatzbedingung: zweite Ableitung an den Rändern wirdNull gesetzt.

Natürlicher kubischer Spline

Eine dünne, an einzelnen Punkten festgehaltene Lattebiegt sich in der Form eines kubischen Splines

1 2 3 4

0.1

0.2

0.3

0.4

Interpolation in Matlab: spline und pchipx = -3:3;

y = [-1 -1 -1 0 1 1 1];

t = -3:.01:3;

p = pchip(x,y,t);

s = spline(x,y,t);

plot(x,y,’o’,t,p,’-’,

t,s,’-.’)

−3 −2 −1 0 1 2 3−1.5

−1

−0.5

0

0.5

1

1.5

Datenpchipspline

MATLAB bietet verschiedene stückweise kubischeInterpolationsverfahren.spline ist für glatte Daten genauer.pchip überschwingt nicht und neigt weniger zu Oszillationen.

Beispiel: cp-Daten mit spline und pchip

Innerhalb desDatenbereiches stimmenbeide Verfahren sichtlichüberein.

Extrapolation ist einwesentlich riskanteresGeschäft. . .. . . wie man sieht: hier sindweitere Datenpunkteeingetragen. Keine derbeiden Methodenextrapoliert dentatsächlichen Verlauf derspez. Wärme korrekt.

−200 0 200 400 600 800 1000300

400

500

600

700

800

900

1000

1100

1200

1300

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Numerische Integration

Gegeben:

eine Funktion f (x) in einem Intervall a ≤ x ≤ b.

Gesucht:

deren Integral∫

b

a

f (x)dx

Oft lässt sich das Integral nicht durch elementare Funktionenausdrücken, oder die Funktion selbst ist nur tabellarischgegeben. −→ Numerische Verfahren

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Integrationsformeln nach Newton-Cotes

Gegeben:

Eine Funktion f (x) in einem Intervall (a, b) durch ihre Wertefi an n + 1 äquidistanten Stützstellen,

fi = f (a + ih), mit h =b − a

n, i = 0, . . . , n.

Prinzip:

Interpoliere f (x) durch ein Polynom p(x). Nähere dasIntegral von f durch das Integral von p. Die Näherung istgegeben als gewichtete Summe der fi ,

∫

b

a

f (x)dx ≈ (b − a)n

∑

i=0

αi fi

mit fixen Gewichten αi

Newton-Cotes-FormelnKlassische Beispiele mit FehlertermenTrapezregel

∫

b

a

f (x)dx =b − a

2(f (a) + f (b)) −

(b−a)3

12f′′(ξ)

Simpson-Regel

∫

b

a

f (x)dx =b − a

6

(

f (a) + 4f (a + b

2) + f (b)

)

−

(b−a)5

2880f

IV (ξ)

3/8-Regel („pulcherrima“)

∫

b

a

f (x)dx =b − a

8(f (a) + 3f (a + h) + 3f (a + 2h) + f (b)) −

(b−a)5

6480f

IV (ξ)

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Zusammengesetzte N.-C.-FormelnWenn feinere Intervallteilung vorliegt

Achtung bei Intervallbreite h! Es sind n + 1 Datenpunkte,und um eins weniger Intervalle. n= Anzahl Datenpunkte-1,und h = (b − a)/n

Zusammengesetzte Trapezregel

∫

b

a

f (x)dx =h

2(f0 + 2f1 + 2f2 + · · ·+ 2fn−1 + fn) + E

Zusammengesetzte Simpson-Regel

∫

b

a

f (x)dx =h

3(f0+4f1+2f2+4f3+· · ·+2fn−2+4fn−1+fn)+E

(Nur für gerades n möglich!)

Polynomiale

Regression


Interpolation

polynomialSpline

Numerische

Integration


Weitere Quadraturformeln

Gauß-Quadratur, Gauß-Lobatto-Formeln

Nicht äquidistante Stützstellen, dafür höhere Genauigkeit.(Typische Anwendung: Finite Elemente)

Romberg-Verfahren

berechnet mit zusammengesetzter Trapezregel mehrereWerte zu verschiedenen h und extrapoliert auf h = 0.

MATLABbietet zwei Verfahren: quad (adaptive Simpson-Regel) undquadl (trickreichere Gauß-Lobatto Methode)

Documents

Regression Regression, Interpolation, numerische ...institute.unileoben.ac.at/amat/lehrbetrieb/num/vl-skript/sli09s10.pdf · Ausgleichsgerade nach der Methode der kleinsten Quadrate