Znanstveno racunanje 2 - 5. dio vje bi Nelinearni sustavi ...nela/zr2vjezbe/zr2_newton.pdfMedutim,...

Znanstvenoracunanje 2

Nela Bosner

Nelinearnisustavijednadžbi Znanstveno racunanje 2

5. dio vježbiNelinearni sustavi jednadžbi

Nela Bosner

NelinearnisustavijednadžbiNewtonova metoda

Zadaci

Primjeri iz primjene

Racunanjeminimuma funkcije:gradijentna metoda

Zadaci

Nelinearni sustavi jednadžbi:Newtonova metoda

Neka je dana nelinearna funkcija f : Rn → Rn.Želimo naci rješenje nelinearnog sustava od njednadžbi sa n nepoznanica

f (x) =

f1(x1, . . . , xn)...

fn(x1, . . . , xn)

Ako pretpostavimo da je x = ξ nultocka od f , da je x0aproksimacija od ξ, i da je f diferencijabilna u nekojokolini od x0, tada možemo primijeniti Newtonovumetodu na ovaj sustav, tako da rješenje dobijemoiterativno

xi+1 = xi − (Df (xi))−1f (xi), i = 0,1,2, . . . .

Nela Bosner

Zadaci

Newtonova metoda konvergira kvadraticno, ali samoako je pocetna aproksimacija x0 dovoljno blizutraženom rješenju ξ.Kako bi se izbjegao problem uskog izbora pocetneaproksimacije koristi se modificirana Newtonovametoda koja je kombinacija

Newtonove metodepretraživanje po pravcu — optimizacijska metodametode raspolavljanja

i za koju se može dokazati globalna konvergencija zaveliku klasu funkcija f .

Nela Bosner

Zadaci

Definirajmo h(x) = f (x)T f (x) = ‖f (x)‖22.Modifikacija algoritma se sastoji u uvodenju dodatnogparametra λ, i smjera traženja s kako bismo definiraliniz

xk+1 = xk − λksk ,

gdje je u našem slucajusk = dk = (Df (xk ))−1f (xk ), smjer iz Newtonove metodea λk se odabire tako da minimizira funkcijuhk (λ) = h(xk − λsk ),da niz {h(xk )} bude strogo padajuci, i da xk konvergiraminimumu funkcije h.

Buduci da je h(x) ≥ 0 za svaki x , slijedi

h(ξ) = 0⇐⇒ f (ξ) = 0.

Nela Bosner

Zadaci

Algoritam (Modificirana Newtonova metoda)

x0 zadan;k = 0;while ∼kriterij_zaustavljanja

dk = (Df (xk ))−1f (xk );γk = 1

κ2(Df (xk ));

Definiramo h(x) = f (x)T f (x) i hk (τ) = h(xk − τdk );Nadi najmanji cijeli broj j ≥ 0 takav da je

hk (2−j) ≤ hk (0)− 2−j γk4 ‖dk‖2‖Dh(xk )‖2;

Nadi imin ∈ {0,1, . . . , j} takav da jehk (2−imin ) = mini=0,...,j hk (2−i);

λk = 2−imin ;xk+1 = xk − λkdk ;k = k + 1;

endξ ≈ xk ;

Nela Bosner

Zadaci

Iz definicije je jasno da vrijedi

Dh(x) = 2f (x)T Df (x).

Pri izvršavanju danog algoritma, može se dogoditi daλk bude jako mali, tako da korak koji se dodaje na xkbude skoro zanemariv. U tom slucaju dobro je stavitiogranicenje na λk odozdo, tako da se u slucajuλk < 0.01 postavi λk = 0.01.

Nela Bosner

Zadaci

ZadatakNapišite M-file funkciju mod_newton() koja implementiraprethodno opisanu modificiranu Newtonovu metodu zasustav f (x) = 0. Funkcija neka ima ulazne parametre

pokazivac na funkciju fpokazivac na funkciju df koja implementira Df (x)

pocetnu aproksimaciju x0

Funkcija neka ispiše broj iteracija potreban zazadovoljavanje kriterija zaustavljanja i neka vraca

rješenje x, takvo da je f (x) = 0.Kao kriterij zaustavljanja uzmite da je reletivna razlikakomponenata izmedu dvije uzastopne aproksimacija manjaod mašinskog epsilona:

maxi=1,...,n

|xk+1(i)− xk (i)||xk (i)|

< εM .

Nela Bosner

Zadaci

ZadatakSvoju funkciju mod_newton() testirajte na sustavu

f (x) =

1 + x22 − 2

ex1−1 + x32 − 2

za kojeg je tocno rješenje jednako

Usporedite rezultate sa obicnom Newtonovommetodom koja ima isti kriterij zaustavljanja.Za pocetne tocke uzmite

1 x0 = [1.5,2]T ,2 x0 = [0.5,0.4]T .

Nela Bosner

Zadaci

Zadatak (nastavak)

Što primjecujete kod rješavanja ovog problema ovimdvijema razlicitim varijantama Newtonove metode?

Za x0 = [1.5,2]T modificirana Newtonova metoda cakkonvergira jednako kao i obicna Newtonova metode,medutim,za x0 = [0.5,0.4]T obicna Newtonova metoda imaproblema sa izvodenjem zbog skoro singularnogdiferencjala Df (xi) i divergira, dok modificiranaNewtonova metoda uspijeva izracunati rješenje, i to jenjena prednost.

Nela Bosner

Zadaci

Grijanje ploce sazaštitnim slojem

Zadaci

Primjeri iz primjene:Grijanje ploce sa zaštitnim slojem

Primjer

Zaštitni sloj ploce izložen je zracenju topline iz grijaca.Temperaturu zaštitnog sloja možemo dobiti iz procesaprijenosa topline konvekcijom i zracenjem.Ako se zracenje tretira pod odredenim uvjetima, tada,uz uvjet da je temperatura okoline jednaka 298◦K ,dobivamo sljedeci nelinearni sustav jednadžbi zanepoznanice Jg , Tg , Jzs i Tzs

5.67 · 10−8T 4zs + 17.41Tzs − Jzs =5188.18

Jzs − 0.71Jg + 7.46Tzs =2352.71

5.67 · 10−8T 4g + 1.865Tg − Jg =2250

Jg − 0.71Jzs + 7.46Tg =11093

Nela Bosner

Zadaci

Grijanje ploce sazaštitnim slojem

Zadaci

Primjer (nastavak)gdje su

Jg i Jzs potpuno emitirano i reflektirano zracenje sapovršine grijalice odnosno zaštitnog sloja,Tg i Tzs temperature grijalice i zaštitnog sloja izražene u◦K .

ZadatakRiješite gornji primjer pomocu modificirane Newtonovemetode, pri cemu su pocetne vrijednosti:

Jg Tg Jzs Tzs8000 298 5000 298

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Pretraživanje popravcu

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Racunanje minimuma funkcije: gradijentnametoda

f ↘ min

Imamo: f : Rn −→ R.Tražimo: x∗ = arg minx∈Rn f (x).Ono što cemo naci: lokalni minimum.

Primjer

Tražimo minimum funkcije f : R2 −→ R

f (x , y) = x2 +14

y2 − 2x + y + 5

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Slika: Graf funkcije f (x , y) = x2 + 14 y2 − 2x + y + 5.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Svojstva funkcije

TeoremAko je f : Rn −→ R neprekidno diferencijabilna funkcija (f jeklase C1) i ako ona poprima lokalni minimum u x∗, tada∇f (x∗) = 0.

Teorem

Ako je f : Rn −→ R klase C2 i ako ona poprima lokalniminimum u x∗, tada ∇f (x∗) = 0 i Hesseova matrica ∇2f (x∗)je pozitivno semidefinitna.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Teorem

Ako je f : Rn −→ R klase C2, te ∇f (x∗) = 0 i Hesseovamatrica ∇2f (x∗) je pozitivno definitna, tada funkcija fpoprima striktni minimum u x∗.

TeoremAko je f : Rn −→ R konveksna funkcija, tada je svaki lokalniminimum ujedno i globalni minimum.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Primjer

Funkcija f (x , y) = x2 + 14y2 − 2x + y + 5 je klase C2:

∇f (x , y) =

[2x − 212y + 1

∇2f (x , y) =

[2 00 1

Štoviše,Hesseova matrica ∇2f (x , y) je pozitivno definitna zasvaki x,f je konveksna funkcija,iz uvjeta ∇f (x∗, y∗) = 0 slijedi da se globalni minimumpostiže u (1,−2).

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Skica metode

Rješavamo problem minx∈Rn f (x),imamo pocetnu aproksimaciju x0 ∈ Rn.

Odredit cemo niz tocaka x0, x1, x2,. . . za koje je

f (x0) > f (x1) > f (x2) > · · ·

Algoritam (Skica iterativnog postupka)1 odaberi x0, i = 0;2 dok je ∇f (xi)! = Θ

3 nadi xi+1 takav da je f (xi+1) < f (xi);4 i = i + 1;5 kraj petlje.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Ako je niz {f (xi)}i odozdo ogranicen, tada postoji

limi→∞

f (xi).

Medutim, limi→∞ xi ne mora postajati. Npr.

f (x) = e−x xi = ilim

i→∞f (xi) = 0 lim

i→∞xi ne postoji.

Da bi postojao limi→∞ xi nužno nam je dodatno svojstvo:

Svojstvo

Ako postoji x0 ∈ Rn takav da je skup

{x | f (x) ≤ f (x0)}

kompaktan, tada limi→∞ xi postoji.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Pretraživanje po pravcu

Kako odabrati xi+1?

Svesti višedimenzionalan problem ujednodimenzionalan: pretraživanje po pravcu.Osnovna ideja pretraživanja po pravcu je:

1 odaberi smjer si ,2 odaberi korak λi ,3 definiraj xi+1 = xi + λisi , takav da je f (xi+1) < f (xi ).

t t-xi xi+1si

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Odabir smjera

Za neki smjer s definirajmo funkciju g : R −→ R

g(λ) = f (x + λs).

Svojstva funkcije g:g(0) = f (x),ako je f klase C1 tada je i g klase C1,ako je s smjer u kojem funkcija f lokalno pada u okolinitocke x , tada i funkcija g pada u 0:

f (x + λs) < f (x), λ ∈ R, λ > 0,malig′(0) < 0.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Vrijedi:g′(λ) = 〈∇f (x + λs), s〉,

pa iz uvjeta g′(0) < 0 slijedi

g′(0) = 〈∇f (x), s〉 < 0.

Definicija

Za funkciju f i tocku x definiramo skup

D(x) = {s | 〈∇f (x), s〉 < 0}.

Ovaj skup nazivamo skup smjerova silaska a njegoveelemente smjerovi silaska.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Odabir koraka

velicina koraka je bitna za konvergenciju metode.Uvjet f (xi+1) < f (xi) za odabir tocke xi+1 nije dovoljan.Npr.

f (x) = x2 x0 = 2, x1 = 1.5, . . . , xi = 1 +1

i + 1,

limi→∞

f (xi) = 1 limi→∞

xi = 1,

ali niz {f (xi)}i ne konvergira ka minimumu funkcije f .

Maksimalno spuštanje:

λi = arg minλ>0

f (xi + λsi).

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Maksimalno spuštanje po pravcu je problemminimizacije funkcije g : R→ R, g(λ) = f (xi + λsi).Taj minimum racunamo tako da tražimo nultockufunkcije

g′(λ) = 〈∇f (xi + λsi), si〉 = ∇f (xi + λsi)T si .

Izracunati ga možemo pomocu obicne Newtonovemetoda sa λ0 = 0.Za Newtonovu metodu nam još treba i

g′′(λ) = sTi ∇2f (xi + λsi)si .

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Gradijentna metoda (metoda najbržeg silaska)

IdejaOdaberi smjer u kojem funkcija f najbrže pada.

Koji je to smjer?Podsjetimo se: g′(0) = 〈∇f (x), s〉.

Riješimo problem

min‖s‖=1

〈∇f (xi), s〉.

Neka je θ kut izmedu ∇f (xi) i s,buduci da je ‖s‖ = 1, tada vrijedi

〈∇f (xi), s〉 = ‖∇f (xi)‖ cos θ.

Minimum se postiže za θ = π, odakle je cos θ = −1, itraženi smjer je do na skalirajuci faktor jednak

si = −∇f (xi).

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Algoritam gradijentne metode

Algoritam1 odaberi x0, i = 0;2 dok je ∇f (xi)! = Θ

3 si = −∇f (xi);4 λi = arg minλ>0 f (xi + λsi);5 xi+1 = xi + λisi ;6 i = i + 1;7 kraj petlje.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Konvergencija gradijentne metode

TeoremNeka je f : Rn −→ R i neka je x0 ∈ Rn izabran da vrijedi

K := {x | f (x) ≤ f (x0)} je kompaktan,f je neprekidno diferencijabilna na nekom otvorenomskupu koji sadrži K .

Tada za svaki niz {xi}i definiran gradijentnom metodomvrijedi

xi ∈ K za sve i = 0,1,2, . . . i {xi}i ima barem jednogomilište x u K .Svako gomilište niza {xi}i je stacionarna tocka od f ; tojest ∇f (x) = 0.

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

PrimjerIzvršavamo gradijentnu metodu za

f (x , y) = x2 +14

y2 − 2x + y + 5, i x0 = (0,0).

Nela Bosner

Zadaci

Svojstva funkcije

Skica metode

Odabir smjera

Odabir koraka

Gradijentna metoda

Zadaci

Primjer

Iteracije gradijentne metode

−1 −0.5 0 0.5 1 1.5 2 2.5 3−4

−3.5

−2.5

−1.5

−0.5

Slika: Iteracije gradijentne metode za funkcijuf (x , y) = x2 + 1

4 y2 − 2x + y + 5 i x0 = (0,0).

Nela Bosner

Zadaci

ZadatakNapišite M-file funkciju gradijentna_metoda() kojaimplementira gradijentnu metodu za traženje minimumafunkcije f . Funkcija neka ima ulazne parametre

pokazivac na funkciju gradf koja predstavlja ∇fpokazivac na funkciju hessf koji predstavlja ∇2fpocetnu aproksimaciju minimuma x0.

Kriterij zaustavljanja iteracija gradijentne metode neka je

‖∇f (xi)‖2 ≤ 10−10.

Implementirajte i obicnu Newtonovu metodu za funkcijug′(λ), pri cemu je njen kriterij zaustavljanja dan sa

|λj − λj−1|λj−1

≤ 10−5.

Nela Bosner

Zadaci

Zadatak (nastavak)

Funkcija neka vracax koji je minum funkcije fbroj iteracija i potrebnih za dostizanje tražene tocnosti.

Nela Bosner

Zadaci

Optimalni smještajtvornice

Primjeri iz primjene:Optimalni smještaj tvornice

Primjer

Pretpostavimo da se proizvodaci sirovina potrebnih zaneku tvornicu nalaze na koordinatama (x1, y1), (x2, y2) i(x3, y3), i da se trgovine koje prodaju proizvode tetvornice nalaze na koordinatama (x4, y4) i (x5, y5).Pretpostavimo da su troškovi po kilometru transportaod ili do gornjih lokacije dani sa ci , i = 1, . . . ,5 (ovisnoo vrsti transporta).Problem optimalnog smještaja tvornice se tada svodina pronalaženje lokacije tvornice za koju bi ukupnitroškovi transporta od proizvodaca do tvornice, i odtvornice do trgovina bili minimalni.

Nela Bosner

Zadaci

Primjer (nastavak)Dakle, minimiziramo funkciju ukupnih troškovatransporta

f (x , y) =5∑

√(x − xi)2 + (y − yi)2.

ZadatakPrimijenite svoju funkciju gradijentna_metoda() naovaj primjer, pri cemu su zadani sljedeci parametri:

1 2 3 4 5xi 43 13 115 119 33yi 167 29 119 4 17ci 12 10 14 9 19

Nela Bosner

Zadaci

Primjer (nastavak)

Sami izracunajte i napišite funkcije koje implementiraju∇f i ∇2f .Pomocu MATLAB-ove funkcije contour() nacrtajtenivo-skupove funkcije f na kvadratu[−100,100]× [−100,100], i iz dobivenog grafa odreditepocetnu aproksimaciju x0.Za konacno rješenje provjerite ‖∇f (x)‖2.

Znanstveno racunanje 2 - 5. dio vje bi Nelinearni sustavi ...nela/zr2vjezbe/zr2_newton.pdfMedutim,...

Documents

Document1...lim f(x) —Inx) Jim f lim f lim : lim n f (x) (3 lim lim c lim c I-INX-I (I —In x): F (I —Inx): x: Inx f : eddirasa.com

nenomatica · 2018. 8. 15. · v) lim f(x) lim f(x) —2 limf(x)] 1 = 2 l, liml:rl lim xl=O lim I ae IR (u ( —21 = —4 — a L. Jlþy=x a lim x—sa www_ n . lim f (x) = — lim

EJERCICIOS DE REPASO LÍMITES (SOLUCIONARIO LIBRO ......Se considera la función f (x) (Baleares. Junio 2008. Opción A. Cuestión 3) . Calcula lim f (x) y lim f (x). lim f (x) lim

Guia de Limites - INGENIERÍA CICLO BÁSICO€¦ · Límites indeterrninados de la forma I) lim 4x2 —x +1 3) lim 5x — 2x +6x2 -2 lim x3 -2 lim lim 5) lim 7) lim 9 lim 11) lim

moutamadris.ma...limf (x ) — ex 12/27 — lim 2x + D -1#0} -4-00 limf (x ) — — lim 2x + lim 2x — — —00 lim ex = lim2x + lim 2x — lim e lime X = lim2x + lim 2x — lim

Límites y continuidad · También podemos hablar de límites infinitos y límites en el infinito. lim x →2+ f(x) = +∞ lim x→+∞ f(x)=−∞ lim x→−∞ f(x)=−∞ lim

knarcisz/downloads/HT_feladatsor_mo1.pdf · lem létezik na x < 11 1, lim f (x) lim f (x) f (x) = 0, lim f (x) lim — 00 (2) Határozza meg az alábbi fiiggvények xo-beli határértékét:

CONTINUITY & DIFFERENTIABILITY EXERCISE 1(A) 1.€¦ · CONTINUITY & DIFFERENTIABILITY EXERCISE 1(A) 1. (d) L.H.L. at x = 3, x 3 x 3 lim f(x) lim (x ) = h0 lim(3 h ) = 3 …..(i)

Calculus Limits of Trig Functions sin x lim lim sin lim ...pintomath.weebly.com/uploads/1/0/9/4/109410529/day... · lim lim sin lim cos 3x cos x tan x lim lim cos— Name 10. 12

· lim ex : : — . x x : x : ex x : — lim lim ex = lim : lim ex = +00 : ne lim = +00 : : — — lim x lim — lim lim = lim e = lim x x ex x

hhsmacintyre.weebly.com · 14. lim 2-1.001 cl..qqq x. + 5x 18. lim x-*Ð2x —X- +4 HA - x 2 +3x—10 HA; 15. lim In co 19. lim 13. lim qgqq (tlgqq 17. lim . AP Calculus-Limits

MathsPhysicsmathsphysics.altervista.org/alterpages/files/Limitidifunzionialgebriche.pdf · lim (x2 lim (x — lim (2 — lim (x — an lim lim (I X2)2 ... (Uk) 3 — 23) e semplificando

Presentación de PowerPoint · 2019. 5. 16. · x sin( x) 1 o x 0 lim x x 1 o sin( x) 0 lim x tan( x) 1 o x 0 lim x x 1 o tan(x) 0 lim sin(x) 0 o x0 lim x ( x) 1 o 0 lim cos 1 cos(

· xo = ItL(x) lim . limx x : limx x lim = lim -IttX lim limx x : lim neN; Iu(x) . lim lim lim lim xnx In (x) : lim Inx .1 ltL(x) . xo = I . lim

Sucessões - ltodi.est.ips.ptltodi.est.ips.pt/matapl/material/Acet_1_SucSeriesAnaMatos.pdf · lim ex 1 x 1; x lim ln x x 0. x 0 lim ln x 1 x 1; Ana Matos Matemática Aplicada 29/09/2017

lim x 1 1. x -1 x 1 lim 2x x 3 2. x -1 x 1 lim 2 x 8 3. x 0

Tok i grafik funkcije 3 - grf.bg.ac.rs€¦ · 4. Asimptote: lim x→+∞ f(x) = lim x→+∞ 1 +ln|x| x = lim x→+∞ 1 +lnx x ∞ ∞= lim x→+∞ 1/x 1 = 0. Dakle, funkcija ima

Web viewf x = lim n→∞ f n x = lim n→∞ nx 1+ n 2 x 2 = lim n→∞ x 1 n 2 + x 2 = x x 2 = x x =sgn x

Egyetemünk - Miskolci Egyetemmathk/hatarertek.pdf · lim -30 v) lim 4+— n 00 cos x — 1 lim e2x (A —S . lim n lim 7 sin x lim e . lim n lim 1 + — n 00 sin x lim e2x 00

De nicijaszunar/m1_materijali...sinx ne postoji. Primjer 1(f) sin 1 x 1 1 x y lim x!0 + sin 1 x i lim x!0 sin 1 x ne postoje. Primjer 1(g) x y ln 2 1 1 lim x! 2 lnx i lim x! 2 + lnx