Optimizacione Metode u Elektrotehnici Predavanja 2011 2012

OPTIMIZACIONE METODE U ELEKTROTEHNICI

FAKULTET ELEKTROTEHNIKE

2011 - 2012

ibonji Mihailo

OPTIMIZACIONE METODE U ELEKTROTEHNICI

Sadraj

NUMERIKO RJEAVANJE DIFERENCIJALNIH JEDNAINA ................................................................................... 1

- Taylor-ov metod ............................................................................................................................................ 4

- Sistemi diferencijalnih jednaina ............................................................................................................. 5

- Picard-ov metod ............................................................................................................................................ 8

- Euler-ovi metodi za rjeavanje diferencijalnih jednaina .............................................................................. 9

- Eksplicitni Euler-ov metod ....................................................................................................................... 9

- Implicitni Euler-ov metod (backward Euler's method) .......................................................................... 10

- Trapezni Euler-ov metod ....................................................................................................................... 11

- Opta Euler-ova formula (Theta metod) ............................................................................................... 11

- Modifikovani Euler-ov metod (viekorani metod) ............................................................................... 11

- Tanost Euler-ovih metoda (greka) ..................................................................................................... 12

- Stabilnost numerikih metoda za rjeavanje diferencijalnih jednaina ...................................................... 16

- Stabilnost eksplicitnog Euler-ovog postupka ........................................................................................ 17

- Stabilnost implicitnog Euler-ovog postupka (backward Euler's method).............................................. 18

- Stabilnost trapeznog Euler-ovog postupka ........................................................................................... 19

- Runge-Kutta metodi .................................................................................................................................... 22

- Runge-Kutta metodi drugog reda .......................................................................................................... 22

- Runge-Kutta metodi treeg reda ........................................................................................................... 25

- Runge-Kutta metodi etvrtog reda........................................................................................................ 26

- Runge-Kutta metodi petog reda ............................................................................................................ 27

- Stabilnost Runge-Kutta metoda ............................................................................................................ 28

- Viekorani metodi ...................................................................................................................................... 30

- Stabilnost viekoranih metoda ............................................................................................................ 33

- Prediktor-Korektor formule ......................................................................................................................... 34

OPTIMIZACIJA .................................................................................................................................................... 36

- Klasina optimizacija .................................................................................................................................... 40

- Problemi sa ogranienjima tipa jednaina ................................................................................................... 44

- Metod Langrange-ovih mnoitelja ........................................................................................................ 45

- Metode jednodimenzione optimizacije ....................................................................................................... 49

- Fibonacci-jev metod .............................................................................................................................. 50

- Metod zlatnog presjeka ......................................................................................................................... 52

- Metode aproksimacije polinomima ...................................................................................................... 53

- Newton-ova metoda (metod tangente) ...................................................................................................... 54

- Viedimenzina optimizacija bez ogranienja ............................................................................................... 55

- Metoda pomjeranja po osama (Hooke-Jeeves-ova metoda) ................................................................ 55

- Powell-ova metoda ................................................................................................................................ 56

- Optimizacija bez ogranienja za derivabilne funkcije .................................................................................. 59

- Gradijentni metod (Cauchy-ev metod, metod najbreg opadanja) ...................................................... 59

- Newton-ov metod ................................................................................................................................. 59

- Metode promjenjive (varijabilne) metrike (kvazi Newton-ove metode) ..................................................... 60

- DFP metod (Davidon Fletcher Powell) ............................................................................................. 61

- Konveksno programiranje ........................................................................................................................... 62

- Uslov optimalnosti preko Langrange-ove funkcije ................................................................................ 63

- Kuhn-Tucker-ovi uslovi optimalnosti ..................................................................................................... 64

- Metod dopustivih smjerova .................................................................................................................. 64

Optimizacione metode u elektrotehnici Predavanja

Mihailo ibonji - 1 -

NUMERIKO RJEAVANJE DIFERENCIJALNIH JEDNAINA

Sa stanovita rjeavanja diferencijalnih jednaina, one se mogu rjeiti analitikim i numerikim putem,

pri emu je veoma mali broj diferencijalnih jednaina do ijeg rjeenja moemo doi analitiki. Zbog toga za ostale tipove diferencijalnih jednaina, pribjegavamo rjeavanju nekom od numerikih metoda. Numerikim metodama moemo rjeiti i diferencijalne jednaine koje su rjeive analitiki, ali zbog sloenenosti integracije primjenjujemo neku od numerikih metoda. Neka je data diferencijalna jednaina (Cauchy-ev problem):

Traimo partikularno rjeenje predhodne jednaine, uz zadane poetne uslove. Jednainu emo

rjeavati na nekom segmentu uz poetne uslove . Ako naemo opte rjeenje jednaine i variramo konstantu , tada dobijamo familiju rjeenja.

Geometrijska interpretacija te injenice moe se predstaviti na sljedei nain. Ako promatramo neku

diferencijalnu jednainu geometrijski, onda integralna kriva predstavlja rjeenje diferencijalne jednaine, pri emu integralna kriva ima smjer polja (direction field ili fazni portret) u svakoj svojoj taki. Vano je napomenuti da dvije integralne krive se ne sijeku, to proizilazi iz injenice da u jednoj taki ima samo jedan nagib funkcije, kao i da dvije integralne krive se ne dodiruju odnosno ne mogu biti tangente nego samo asimptotski prilaze jedna drugoj. Ove dvije osobine su poslijedica teoreme o egzistenciji i jedinstvenosti, odnosno da kroz taku jednaina ima jedno i samo jedno rjeenje. Polje je sainjeno od nagiba funkcije u takama. Samo polje se moe kreirati na nain da se promatraju krive (isocline) koje u svakoj svojoj taki imaju jednaku vrijednost nagiba funkcije. Ako bi promatrali na primjer jednainu:

Tada bi mogli da odredimo na primjer krive u kojima ima neki odreeni nagib, na primjer ,

te na osnovu takve interpretacije moemo da provuemu integralnu krivu potivajui osobine iste.

Odavdje se jasno vidi da variranjem konstante, dobijamo familiju rjeenja, te da izborom poetnog

rjeenja uzimamo samo jedno rjeenje iz familije rjeenja diferencijalne jednaine.


- 2 - Mihailo ibonji

Rjeenje traimo u konanom skupu taaka sa korakom (ekvidistantnim korakom). Izborom manjeg

koraka dobijamo na tanosti meutim, to za poslijedicu ima due vrijeme izvoenja jer je potrebna vea koliina prorauna. Da bi jednaina na segmentu imala rjeenje potrebno je da vrijedi:

- Funkcija je definisana i neprekidna na i - Vrijedi Lipschitz-ov uslov, odnosno da funkcija ima ogranien rast, to jest da postoji pozitivna

konstanta takva da za proizvoljno vrijedi:

Rjeenja preteno nalazimo tabelarno uz pretpostavku da je poetno rjeenje tano, odnosno prilikom

zadavanja problema imamo zadano neko poetno rjeenje i korak , pa primjenom neke od metoda imamo: Neka je data diferencijalna jednaina, i neka je dato poetno rjeenje. Pretpostavka je da je poetno

rjeenje tano, odnosno da znamo taan nagib funkcije u taki .

Polazei iz pomjeramo se u taku u zavisnosti od veliine koraka , te u njoj procjenjujemo

vrijednost znajui da je u vrijednost tana vrijednost. Numerikim postupkom dolazimo do priblinih rjeenja zbog greaka, prije svega lokalne greke (LE) koja nastaje primjenom metoda idui iz jedne u drugu taku, kao i mainskih greaka. U prvom koraku kreui se iz take u taku pravimo lokalnu greku LE tako da se nalazi na trajektoriji nekog drugog partikularnog rjeenja, odnosno ! . Pomjerimo li se sada u taku i u njoj procjenimo vrijednost , greka koju uinimo prilikom procjene zavisit e od lokalne greke nastale idui iz take u taku , kao i zbog netane vrijednosti predhodnog koraka.

Nas zanima ukupna greka koju uinimo prolazei kroz sve take iz nekog konanog skupa taaka,

odnosno zanima nas globalna greka (GE). Globalna greka je posljedica nagomilavanja lokalnih greaka, odnosno globalna greka raste sa brojem koraka, to znai da je greka vea to smo dalje od poetnog rjeenja. Moe se pokazati da je:

"#$%&'()*#$%+ Odnosno globalnu i lokalnu greku moemo izraziti u funkciji od koraka odnosno od stepena nekog

odabranog koraka .



To znai da ako korak smanjimo deset puta, a pri tome se lokalna greka smanji stotinu puta, tada e

se globalna greka smanjiti deset puta, odnosno:

Ako procijenimo globalnu greku uinjenu u petom koraku, odnosno u taki , i ako koristimo metod

ija je lokalna greka proporcionalna sa , tada ako bi eljeli da smanjimo globalnu greku deset puta tada oigledno lokalnu greku moramo smanjiti za stotinu puta. Vano je napomenuti da smanjivanjem koraka nagomilavamo globalnu greku jer pravimo vie koraka.

Numerike metode dijelimo na:

- Jednokorane (ako za odreivanje naredne vrijednosti koristimo samo predhodnu vrijednosti) - Viekorane (ako za odreivanje naredne vrijednosti koristimo vie predhodnih vrijednosti)

Pored ove podjele numerikih metoda, formule za rjeavanje dijelimo na:

- Eksplicitne formule - Implicitne formule

Kod eksplicitnih formula vrijednost narednog koraka zavisi samo od vrijednosti fukcije do tog koraka,

dok za razliku od eksplicitnih, kod implicitnih formula vrijednost narednog koraka zavisi od vrijednosti funkcije predhodnih koraka, kao i od vrijednosti narednog koraka (koraka u kojem vrimo procjenu).

Formule za rjeavanje takoe moemo klasifikovati na osnovu reda formule, pa tako imamo:

- Formule prvog reda (- ) - Formule drugog reda (- ) - Formule vieg reda (- . )

Naravno za odreivanje reda formule posmatramo vrijednost stepena - u izrazu za globalnu, odnosno

lokalnu greku.



- Taylor-ov metod Taylor-ov metod spada u kvazinumerike metode. Ovo je nepraktian metod, ali ima vaan teorijski

znaaj. Ovaj metod jo se naziva i analitiki metod priblinog rjeavanja diferencijalnih jednaina. Neka je data diferencijalna jednaina (Cauchy-ev problem) zajedno sa poetnim uslovom:

Potrebno je nai partikularno rjeenje koje e zadovoljiti poetni uslov. Odnosno tano partikularno

rjeenje moemo zapisati u obliku Taylor-ovog razvoja: / 0 / 0 1 2/ 0 3 Odnosno vrijedi da je: 4 5 45 6 7 0

45 66 67 0 76 0 77 0 6 0 7 7 0 7 0 66 67 0 77 0 6 0 7 7 0

Nalaenje viih izvoda postaje poprilino sloeno, mada postoje rekuretne formule na osnovu kojih se

oni mogu raunati. Koliko lanova uzimamo zavisi od vrijednosti , odnosno ako imamo neku zadanu tanost 8 tada uslov zaustavljanja jeste da je greka manja od 8, to zapravo znai da je 3 8. Ako uvedemo korak pomou 9 tada na osnovu predhodnog razvoja moemo pisati:

/ 0 / 0 1 :;: / 0 1 :;



Tada vrijedi: + >: 3: Odnosno odbacivanjem lanova vieg reda dobijamo formulu: + >: Broj < predstavlja red Taylor-ovog metoda, odnosno govori nam sa koliko lanova Taylor-ovog razvoja

aproksimiramo funkciju (to vei broj lanova uzmemo u obzir dobijamo bolju aproksimaciju), tako na primjer za < dobijamo Euler-ov metod ija je greka proporcionalna sa prvim narednim odbaenim lanom to jest .

- Sistemi diferencijalnih jednaina Obzirom da bilo koju diferencijalnu jednainu 2-tog reda u standardnom obliku moemo prevesti u

sistem od 2 diferencijalnih jednaina prvog reda, zakljuujemo da sposobnost rjeavanja sistema diferencijalnih jednaina prvog reda je dovoljna da bi rjeili neku diferencijalnu jednainu vieg reda. Za sistem od 2 diferencijalnih jednaina prvog reda potrebno nam je 2 poetnih uslova da bi imali jedinstveno partikularno rjeenje na nekom segmentu.

? @ A B B C

to se esto zapisuje u kompaktnom (matrinom) obliku, odnosno: D D D Tako na primjer ako imamo diferencijalnu jednainu drugog reda (sa dva poetna uslova): Uvodei smjenu, odnosno pomonu analitiku funkciju E kao E tada dobijamo dvije diferencijalne

jednaine prvog reda, odnosno system diferencijalnih jednaina prvog reda sa dva poetna uslova: E E E E



Analogno za sluaj da imamo diferencijalnu jednainu treeg reda (sa tri poetna uslova) koristili bi

dvije pomone alanitike funkcije na sljedei nain: Uvdemo smjenu E i E F te dobijamo F E F odnosno tri jednaine prvog reda: E E F E F E F F

Obzirom da je Taylor-ov red za 2-dimenzioni vektor D, vektor ije su komponente Taylor-ovi razvoji

moemo to predstaviti na nain:

D GHHHHHHI / / 1 2/ 1 / / 1 2/ 1BJ J / J/ 1 J 2/ 1KL

LLLLLM

Treba napomenuti da jednodimenziono pravilo ulanavanja (Chain Rule) se lako proiruje za

multivarijabilnu postavku. Ako je N-dimenzini vektor D diferencijabilan u nekoj taki , i ako je D diferencijabilna na D tada je i kompozicija D diferencijabilna u i pri tome vrijedi:

OO 4 D5 P D Pri emu je P derivativna matrica odnosno Jacobian od D. Ako bi za neki sistem do dvije diferencijalne jednaine prvog reda, sa dva poetna uslova htjeli da

primjenimo Taylor-ov postupak (metod) to bi mogli uraditi na sljedei nain: E E Q E E E

Tada uz pretpostavku zadanih poetnih uslova moemo pisati: + >: E

E+ E >: E



Ako je zadana diferencijalna jednaina implicitnog oblika uz jedan pooetni uslov, odnosno: R Tada to rjeavamo na sljedei nain: SR S SR S 0 SR S 0 Odnosno dobijamo: SR S 0 SR S SR S 0

SR S SR S 0 SR S

Ponovo dobijamo diferencijalnu jednainu, ali sada je drugog reda pa samim tim nam treba i dva

poetna uslova, meutim imamo samo jedan. U tom sluaju u polaznu jednainu R uvrtavamo vrijednosti i te dobijamo nelinearnu jednainu jedne promjenjive R ijim rjeavanjem dolazimo do . Nakon toga uvodimo smjenu kao i u sluaju eksplicitno zadane diferencijalne jednaine:

E E R6 R7 0 ERT E Na isti nain bi postupili i za implicitno zadanu diferencijalnu jednainu drugog reda, uz zadana dva

poetna uslova, odnosno: R SR S SR S 0 SR S 0 SR S 0

R6 R7 0 R7U 0 R7UU Kako je nova jednaina treeg reda, nama nedostaje jedan poetni uslov koji dobijamo uvrtavanjem

vrijednosti i u polaznu diferencijalnu jednainu R , pa uvodimo smjenu: E E F F R6 R7 0 R7U 0 R7UU F

Te na ovaj nain dobijamo sistem od tri diferencijalne jednaine prvog reda.



- Picard-ov metod Pored Taylor-ovog metoda i Picard-ov metod spada u kvazinumerike metode. Picard-ov metod ili

metod sukcesivnih aproksimacija, javlja se u teoriji diferencijalnih jednaina u vezi sa problemima egzistencije i jedinstvenosti rjeenja. Posmatrajmo diferencijalnu jednainu (Cauchy-ev problem):

Integralimo li lijevu i desnu stranu jednakosti dobijamo:

VO66W V O6

6W

V O66W

V O66W Pomou ove jednaine formiramo iterativni niz funkcija X X 1 X X 1 odnosno:

+ V4 5O66W Ako su ispunjeni uslovi da su funkcije definisane i neprekidne na intervalu, kao i da vrijedi Lipschitz-ov

uslov (da funkcija ima ogranien rast) tada niz 45 konvergira ka rjeenju diferencijalne jednaine. Ima smisla za koristiti ako su dobijeni integrali jednostavni za rjeavat.

Ako imamo sistem diferencijalnih jednaina: E E Q E E E Tada primjenom Picard-ovog metoda dobijamo:

+ V EO66W

E+ E VQ EO66W



- Euler-ovi metodi za rjeavanje diferencijalnih jednaina Postoji vie Euler-ovih metoda (formula) za rjeavanje diferencijalnih jednaina kao to su:

- Implicitni Euler-ov metod - Eksplicitni Euler-ov metod (backward Euler's method) - Trapezni Euler-ov metod - Modifikovani Euler-ov metod (viekorani postupak)

Bazirani su vie manje na istom principu ali sa razliitim pristupima procjene naredne vrijednosti

nagiba funkcije, odnosno aproksimaciji izvoda funkcije u narednom koraku.

- Eksplicitni Euler-ov metod Neka je data diferencijalna jednaina, sa poetnim uslovom (Cauchy-ev problem): Znamo poetni nagib funkcije, odnosno , te elimo da procjenimo, to jest izvriti

predikciju ponaanja funkcije u narednoj taki (odnosno zanima nas nagib funkcije u taki ).

Sa slike vidimo da razliku izmeu vrijednosti nagiba funkcije u i moemo izraziti kao: 0 Y Te na osnovu toga moemo vriti predikciju (aproksimaciju) nagiba funkcije u narednoj taki. Tana

vrijednost funkcije moe se napisati u obliku Taylor-ovog razvoja, odnosno: / / 1 Uzmemo li sada da je dobijamo: 1



Lokalna greka metoda, predstavlja greku uinjenu kreui se iz take u taku , i moemo je

posmatrati kao razliku izmeu tane i aproksimirane vrijednosti odnosno: # 1 Pri emu predstavlja maksimalnu vrijednost drugog izvoda izmeu taaka i . Poev od

drugog izvoda sve lanove zanemarujemo (prvi zanemareni je najdominantniji), pa prema tome vrijedi da je: #$ Zakljuujemo da je eksplicitni Euler-ov metod za rjeavanje diferencijalnih jednaina, metod prvog

reda jer je "#$. U optem sluaju moemo pisati da je eksplicitna Euler-ova formula: + M eksplicitan, jer naredna vrijednost zavisi samo od prethodne. Potrebna je samo jedna poznata

vorna taka pa spada u jednokorane metode. Potrebno je samo jedno izraunavanje izvoda po koraku (iteraciji). Lokalna greka je drugog reda, a akumulirana odnosno globalna greka prvog reda pa prema tome ovo predstavlja metod prvog reda.

- Implicitni Euler-ov metod (backward Euler's method) Formula za implicitini Euler-ov metod se dobija ako posmatramo 2 taku i u njoj primjenimo

formulu za diferencijranje unazad:

Odnosno dobijamo: + + + Kao to vidimo vrijednost + zavisi od + + pa prema tome metod je implicitan. Kao i

eksplicitni Euler-ov metod, i implicitna formula je jednokorana formula jer zahtjeva samo jedno raunanje izvoda po koraku (iteraciji). Lokalna greka implicitnog Euler-ovog metoda je drugog reda, a nagomilana (globalna) greka prvog reda, pa prema tome i implicitni Euler-ov metod za rjeavanje diferencijalnih jednaina spada u formule prvog reda.

Treba napomenuti da implicitnost metoda moe (ali ne mora) da bude mana, meutim sa stanovita

stabilnosti postupka, implicitni metod je bezuslovno stabilan odnosno stabilnost metoda ne zavisi od izbora veliine koraka to jeste sluaj kod eksplicitnog metoda.



- Trapezni Euler-ov metod Trapezni metod predstavlja modifikaciju, tanije kombinaciju Euler-ovog implicitnog i eksplicitnog

metoda. Kako je vrijednost + kod eksplicitnog metoda zavisila striktno o nagibu funkcije u predhodnoj taki i koraku , odnosno kod implicitnog metoda u nagibu funkcije u narednoj taki + + i koraku , to kod trapeznog metoda za procjenu vrijednosti + koristimo se srednjom vrijednosti tih nagiba. Odnosno kaemo da za procjenu vrijednosti imaju podjednak uticaj i vrijedi:

+ + + Trapezni Euler-ov metod je metod drugog reda jer mu je globalna greka drugog reda, i predstavlja

jednokorani metod. Nastao je kao kombinacija formula prvog reda, koje su dale metod drugog reda.

- Opta Euler-ova formula (Theta metod) Uoptena formula, iz koje se variranjem vrijednosti Z dobijaju predhodni Euler-ovi metodi jeste: + 0 Z 0 + + Z 0 Za razliite vrijednosti Z dobijamo razliite formule, pa tako na primjer:

- Za Z dobijamo eksplicitni Euler-ov metod - Za Z dobijamo implicitni Euler-ov metod - Za Z [ dobijamo trapezni Euler-ov postupak

- Modifikovani Euler-ov metod (viekorani metod) Posmatrajmo razvoj funkcije u Taylor-ov red: / / 1 Uvrtavanjem smjene + i ; dobijamo: + 0 0 \/ 0 1 ; 0 0 \/ 0 1 Posmatramo li ova dva razvoja, zakljuujemo da ako oduzmemo drugi razvoj od prvog eliminisat emo

lan uz , odnosno dobijamo: + ; 0 0 \ 0 0 1



Aproksimacija (procjenu) se dobija na osnovu 2 lana, to jest vrijedi: + ; 0 0 Lokalna greka modifikovanog Euler-ovog metoda je: #$\ to znai da je globalna greka proporcionalna sa pa zakljuujemo da je modifikovani Euler-ov

metod, metod drugog reda. Formula je eksplicitna, ali je sam metod dvokorani.

Kod primjene modifikovanog Euler-ovog metoda, postupamo na sljedei nain. Odrednimo vrijednost

izvoda u taki (nagib funkcije u trenutnoj taki), te tu vrijednost nagiba postavimo u taku prije odnosno taku ; te na osnovu tog nagiba vrimo aproksimaciju vrijednosti +.

- Tanost Euler-ovih metoda (greka) Posmatrat emo Taylorov razvoj (tana vrijednost): / / \/ 1 Uvedemo li smjenu + dobijamo (tana vrijednost): + 0 / 0 \/ 0 1 Priblina vrijednost dobijena na osnovu Euler-ovog eksplicitnog postupka je: + 0 Pa na osnovu prethodne dvije jednakosti moemo izraziti greku (odrediti tanost) Euler-ovog

eksplicitnog metoda na osnovu poreenja tane vrijednosti dobijene na osnovu Taylor-ovog razvoja i aproksimirane vrijednosti dobijene koritenjem Euler-ovog postupka.



Greka Euler-ovog eksplicitnog metoda: #]^ + + / 0 \/ 0 1 Najdominantniji lan je prvi, pa na osnovu njega se vri procjena greke metoda: #]^$/ 0 Pri emu je maksimalna vrijednost drugog izvoda za +. Lokalna greka Euler-ovog

eksplicitnog metoda je proporcionalna sa , a globalna greka proporcionalna sa pa kaemo da je Euler-ov eksplicitni metod za rjeavanje diferencijalnih jednaina, metod prvog reda.

Da bi ocjenili greku implicitnog Euler-ovog postupka (backward Euler's method) posmatrajmo tanu

vrijednost datu preko Taylor-ovog razvoja: + 0 / 0 \/ 0 1 Priblina (aproksimirana) vrijednost dobijena na osnovu implicitnog Euler-ovog metoda: + 0 + Na desnoj strani jednakosti smeta nam lan + pa emo njega izraziti preko Taylor-ovog razvoja: / / 1 Odnosno uvedemo li smjenu + dobijamo: + 0 0 1 Sada implicitnu Euler-ovu formulu moemo zapisati kao: + 0 _ 0 0 1`

0 0 1 Odnosno greka implicitnog Euler-ovog metoda (backward Euler's method) je: #a] + + 1



Lokalna greka Euler-ovog implicitnog metoda proporcionalna je sa pa prema tome sa aspekta

tanosti je ista kao i eksplicitna formula, odnosno implicitni Euler-ov metod za rjeavanje diferencijalnih jednaina je metod prvog reda.

Za ocjenu tanosti trapeznog Euler-ovog postupka ponovo posmatrajmo Taylor-ov razvoj funkcije: + 0 / 0 \/ 0 1 Aproksimacija na osnovu trapeznog postupka je: + + + Odnosno vrijedi da je: + + Ponovno nam smeta lan + kojeg emo opet izraziti preko Taylor-ovog razvoja kao: + 0 0 1 Pa tako dobijamo da je vrijednost aproksimacije na osnovu trapaznog metoda: + _ 0 1` Pa prema tome, greku trapeznog metoda sada moemo predstaviti kao razliku izmeu tane

vrijednosti i aproksimacije dobijene na osnovu trapeznog postupka odnosno: #b^ + + _ 0 / 0 \/ 0 1`

_ 0 0 c 0 1` 0 1 Pri emu je maksimalna vrijednost treeg izvoda za +. Zakljuujemo da je lokalna

greka trapeznog metoda proporcionalna sa pa prema tome, globalna greka (nagomilana greka) ovog metoda je proporcionalna sa , odnosno trapezni Euler-ov metod za rjeavanje diferencijalnih jednaina je metod drugog reda.



Za ocjenu greke modifikovanog Euler-ovog metoda posmatrat cemo razvoj: / / 1 Odnosno uvedemo li smjenu + dobijamo: + / 0 / 0 \/ 0 1 Aproksimacija dobijena na osnovu modifikovanog Euler-ovog postupka je: + ; 0 0 Uvedemo li smjenu ; dobijamo: ; / 0 / 0 \/ 0 1 Odnosno formula za modifikovani Euler-ov medod moe se predstaviti kao: + _ 0 / 0 \/ 0 1` 0 0

0 / 0 \/ 0 1 Pa greku modifikovanog Euler-ovog metoda sada moemo predstaviti kao razliku izmeu tane

vrijednosti dobijene na osnovu Taylor-ovog razvoja i aproksimirane vrijednosti dobijene na osnovu formule za modifikovani Euler-ov metod, odnosno:

#^] + + _ / 0 / 0 \/ 0 1` _ 0 / 0 \/ 0 1` \/ 0 1 Odnosno zakljuujemo da je lokalna greka proporcionalna sa , pa prema tome i globalna greka

(nagomilana greka) je proporcionalna sa pa prema tome modifikovani Euler-ov metod za rjeavanje diferencijalnih jednaina je metod drugog reda.



- Stabilnost numerikih metoda za rjeavanje diferencijalnih jednaina Formule za numeriko rjeavanje diferencijalnih jednaina su takve da priguuju greke. Vano je

napomenuti da se greka uinjena u prvom koraku propagira kroz cijeli postupak rjeavanja diferencijalne jednaine, odnosno greka u nekom koraku je poslijedica predhodnih greaka (greaka u predhodnim koracima). Greka uinjena u jednom koraku mora biti priguena formulom (du rjeavanja) da bi konvergirali ka rjeenju diferencijalne jednaine.

Pri analiziranju nekog numerikog postupka, potrebno je izvrit pertumbaciju vrijednosti d i + d + te analizirati kakav je odnos meu njima. Da bi neki metod bio stabilan treba biti zadovoljeno: d + d e d +d Obzirom da u optem sluaju ne poznajemo funckiju ne moemo izvriti analizu stabilnosti

numerikog postupka, pa zbog toga za pretpostavimo linearnu test diferencijalnu jednainu te na njoj ispitujemo stabilnost samog numerikog postupka.

fD g 0 D Odnosno imamo: h

h B h

Za skalarni sluaj moemo pisati: i 0 Pri emu je i u optem sluaju kompleksna konstanta za koju vrijedi: i j kl Rjeenje u optem sluaju glasi: 0 mn6;6W 0 mop6;6W Gdje mn6;6W predstavlja priguenje, a mop6;6W predstavlja oscilatorni lan, pa prema tome da bi

sistem bio stabilan (asimptotski) potrebno je da vrijedi: j



- Stabilnost eksplicitnog Euler-ovog postupka Posmatrajmo linearnu test diferencijalnu jednainu: i 0 Na osnovu Euler-ove eksplicitne formule imamo: + 0 i 0 + 0 i 0 q Izvrimo pertumbaciju vrijednosti i + , odnosno vrijedi da je: + d + 0 i 0 d

+ d + 0 i 0 0 i 0 d +q Oduzimanjem jednakosti q i q dobijamo: d + 0 i 0 d + Pa na osnovu uslova stabilnosti numerikog metoda imamo: d +d 0 i A kako je i j kl dobijamo: 0 j k 0 l

0 j k 0 l 0 j 0 l



Korak biramo na osnovu kriterija stabilnosti i kriterija tanosti. Da bi metod bio stabilan potrebno je

izabrati korak da zadovoljava sljedee nejednakosti: 0 j Y j

0 l Y l

- Stabilnost implicitnog Euler-ovog postupka (backward Euler's method) Posmatrajmo linearnu test diferencijalnu jednainu: i 0 Na osnovu Euler-ove implicitne formule imamo: + 0 i 0 + + 0 i 0 q Izvrimo pertumbaciju vrijednosti i + , odnosno vrijedi da je: + d + 0 i 0 d

+ d + 0 i 0 0 i 0 d +q Oduzimanjem jednakosti q i q dobijamo: d + 0 i 0 d + Pa na osnovu uslova stabilnosti numerikog metoda imamo: d +d r 0 ir to je ekvivalentno uslovu: 0 i .



A kako je i j kl dobijamo: 0 j k 0 l .

0 j k 0 l . 0 j 0 l .

Implicitni Euler-ov metod je stabilan za sve take van kruga, odnosno vidimo da je za j formula

sigurno stabilna (apsolutno stabilna) bez obzira na izbor koraka . Za sluaj asimptotski stabilnog sistema ne moramo voditi rauna o izboru koraka spram stabilnosti nego korak odreujemo spram kriterija tanosti.

- Stabilnost trapeznog Euler-ovog postupka Posmatrajmo linearnu test diferencijalnu jednainu: i 0 Na osnovu Euler-ove trapezne formule imamo: + 0 i 0 i 0 +

s 0 it 0 + s 0 it 0 q Izvrimo pertumbaciju vrijednosti i + , odnosno vrijedi da je: s 0 it 0 + d + s 0 it 0 d

s 0 it 0 + s 0 it 0 d + s 0 it 0 s 0 it 0 d +q



Oduzimanjem jednakosti q i q dobijamo: s 0 it 0 d + s 0 it 0 d + Pa na osnovu uslova stabilnosti numerikog metoda imamo: d +d u

0 iuu 0 iu A kako je i j kl dobijamo: u 0 iuu 0 iu

u 0 j kluu 0 j klu uv 0 jw k 0 luuv 0 jw k 0 lu

v 0 jw v 0 lwv 0 jw v 0 lw s 0 jt s 0 lt s 0 jt s 0 lt s 0 jt s 0 jt 0 j 0 j 0 0 j

Kako je korak uvijek pozitivan, odnosno . zakljuujemo da mora biti j da bi bila

zadovoljena gornja nejednakost. Odnosno da bi trapezna formula bila stabilna mora vrijediti da je j . Obzirom da je za prirodno stabilne sisteme ovaj uslov uvijek zadovoljen, znai da korak biramo samo sa aspekta tanosti, za asimptotski stabilne sisteme. Za sisteme za koje vrijedi j . eksplicitni Euler-ov metod, kao i trapezni Euler-ov metod su neupotrebljivi. Zakljuujemo da implicitni metodi imaju bolje osobine sa aspekta stabilnosti, pogotovo za sluaj sistema koji nisu asimptotski stabilni sistemi.



Primjer primjene numerikih metoda za rjeavanje diferencijalnih jednaina:

xy xz xy i 0 xy xy 3 0 { 0 O|Oh xy | 0 m}~ xy 3 0 { 0 xy xy | 0 m; ~z xy 3 0 { 0 xy i j kl 3{ k xy xy Euler-ovim eksplicitnim postupkom: x + x + x x x

Za x + x x x x Za x + x x x x x Za [ x + x x x x x

Za sistem stabilan !



- Runge-Kutta metodi Taylor-ov metod je zasnovan na razvoju rjeenja diferencijalne jednaine u Taylor-ov red, zahvaljujui

mogunosti da se izraunavaju izvodi. Meutim proraun izvoda treba izbjegavati jer funkcija moe da bude komplikovana za diferenciranje. Ovaj problem se rjeaav primjenom funkcija sa pomjerenim parametrima. U tom smislu su i razvijene Runge-Kutta metode koje spadaju u najvanije i najee primjenjivane postupke za numeriko rjeavanje diferencijalnih jednaina.

- Runge-Kutta metodi drugog reda Neka je data diferencijalna jednaina sa poetnim uslovom (Cacuhy-ev problem): Pretpostavimo da vrijedi: + 0 9 0 9 Pri emu su 9 i 9 dati na nain: 9 0

9 0 0 9

Da bi primjenili metod potrebno je odrediti prirataj funkcije 9 9 , odnosno potrebno je

odrediti koficijente 9 9 . Koeficijente odreujemo na osnovu Taylor-ovog razovoja funkcije, odnosno izjednaavanjem lanova to veeg reda razvoja dobijenog na osnovu tane vrijednosti i razvoja dobijenog na osnovu aproksimacije.



Odnosno vrijedi: + / / \/ 1 Uvedemo li smjenu + dobijamo: + 0 0 \/ 0 1 Priblina (aproksimirana) vrijednost se dobija na osnovu formule: + 0 9 0 9 0 0 0 4 0 0 0 5 Kao to vidimo lan 4 0 0 0 5 nam smeta, pa prema tome svedemo ga u

funkciji izvoda pa razvijemo u Taylor-ov red kao funkciju dvije promjenjive u okolini take : 6 7 66 67 77 1 Vratimo li se sada sa ovim razvojem u formulu za priblinu vrijednost dobijamo: + 4 6 7 66 67 77 15q Tana vrijednost (pod pretpostavkom da je tano): + 6 7 66 \ 67 77 67 7 1 q Poreenjem desnih strana jednakosti q i q i izjednaavanjem odgovarajuih izraza uz i dolazimo

do sljedeeg sistema jednaina:

Izraze uz nemogue je izjednaiti, pa prema tome ostaje da rijeimo predhodni sistem od tri

jednaine i etiri nepoznate, koji ima beskonano mnogo rjeenja. Prvi otpisani lan razvoja je reda pa prema tome zakljuujemo da je lokalna greka metoda proporcionalna sa odnosno vrijedi:

#z$ Odnosno globalna greka je proporcionalna sa pa prema tome ovo je jednokorani Ruge-Kutta

drugog reda.



Rjeavanjem sistema jednaina dolazimo do traenih koeficijenata, te dobijamo razliite varijacije

Runge-Kutta metoda drugog reda. Najee koritene vrijednosti koeficijenata su:

- Runge-Kutta Heun's method Pa prema tome vrijedi: + 9 9

9 9 4 5

+ v 4 5w

- Runge-Kutta Midpoint method + 9

9 9 s 9 t +

- Runge-Kutta Ralston's method \ \ \c + \9 \9

9 9 \c \c

+ \ \ \c \c



- Runge-Kutta metodi treeg reda Kao i kod Runge-Kutta metoda drugog reda, metode treeg reda moemo izvesti pomou slinih

formula samo sa veim brojem parametara. + 9 9 9

9 9 9 9 9 9

Potrebno je nai nepoznate koeficijente. Lokalna greka metoda je proporcionalna sa pa prema

tome ovo je Runge-Kutta metod treeg reda. Najee koritene varijante Runge-Kutta metoda treeg reda: + 9 c9 9

9 9 s 9t 9 9 9

Odnosno: + 9 \9 c9

9 9 s 9t 9 s \c \c9t



- Runge-Kutta metodi etvrtog reda Za Runge-Kutta metode etvtog reda polazimo od jednakosti: + 9 9 9 9 Pri emu su: 9

9 9 9 9 9 9 9 9 9

Pri emu dobijamo sistem od jedanaest jednaina sa trinaest nepoznatih, pa prema tome imamo

beskonano mnogo rjeenja. Neke od najee koritenih varijanti Runge-Kutta metoda etvrtog reda su:

- Runge-Kutta Gill's method + v9 4 59 4 9 95w 9

9 s 9t 9 s s t 9 s t 9t 9 s 9 s t9t

-RK4 Runge's method + 9 9 9 9 9

9 s 9t 9 s 9t

9 9



- RK4 Kutta's method + 9 \9 \9 9 9 9 s \ \9t 9 s \ \9 9t 9 9 9 9

- Runge-Kutta metodi petog reda Runge-Kutta metodi petog reda se esto koriste jer su optimalni sa stanovita stabilnosti i tanosti

metoda. Najee koriteni su:

- Runge-Kutta Fehlberg's method (RK45) + \9 9 c\9 9, 9 Pri emu vrijedi: 9

9 s c c9t 9 s \ \\9 \9t 9 s \ \9 9 9t 9, s c\9 9 \\ 9 ccc9t 9 s 9 9 \cc9 cc9 c9,t

Pored ovog esto je u upotrebi Runge-Kutta Dormand-Prince metod.



- Stabilnost Runge-Kutta metoda Sa poveanjem reda Runge-Kutta metoda poveava se i tanost ali i vrijeme izvoenja metoda zbog

veeg broja prorauna, odnosno imamo vei broj diobenih taaka (pomjerenih parametara) na osnovu kojih vrimo aproksimaciju vrijednosti funkcije. Stabilnost metoda razmatrat emo na Cauchy-evom problemu (initial value problem) ali zbog nepoznavanja funkcije koristimo linearnu test diferencijalnu jednainu:

Odnosno ako razmatramo test diferencijalnu jednainu: i Pri emu je i komplksna konstanta za koju vrijedi da je i j kl. Primjetimo da je analitiko

rjeenje test diferencijalne jednaine dato sa: m}6 Zakljuujemo da na osnovu: m}6C + m}6C? Vrijedi: + m} Budui da se Runge-Kutta metodi zasnivaju na razvoju funkcije u Taylor-ov red, moemo napisati da za

Runge-Kutta metod -tog reda vrijedi relacija: + i i/ i\/ 1 i/ 0 Sada izvrimo pertumbaciju vrijednosti + i odnosno: + d + i i/ i\/ 1 i/ 0 d Da bi numeriki metod bio stabilan potrebno je da vrijedi d + d odnosno ako oduzmemo

prethodne dvije jednakosti dobijamo: d + i i/ i\/ 1 i/ 0 d Odnosno numeriki metod je stabilan ako je zadovoljena nejednakost: d +d i i/ i\/ 1 i/



Pa tako dobijamo podruije stabilnosti za Runge-Kutta metode prvog, drugog, treeg i etvrtog reda:

Runge-Kutta I reda i Runge-Kutta II reda i i/ Runge-Kutta III reda i i/ i\/ Rugne-Kutta IV reda i i/ i\/ ic/

Odnosno grafika ilustracija podruija stabilnosti Runge-Kutta metoda:

Poev od Runge-Kutta metoda treeg reda, oblast (podruije) stabilnosti prelazi na pozitivan dio realne

ose. Podruije stabilnosti se iri porastom reda metoda, pa time i mogunost koritenja veeg koraka prilikom numerikog postupka. Mana Runge-Kutta metoda je vrijeme prorauna, jer u svakom koraku imamo (pogotovo za metode vieg reda) viestruko izraunavanje funkcije sa pomjerenim parametrima. Zbog ogranienog podruija stabilnosti eksplicitni Runge-Kutta numeriki metodi nisu preporuljivi za krute dinamike sisteme, jer nisu A-stabilni metodi. Meutim treba napomenuti da upravo eksplicitni Runge-Kutta metodi danas najpopularniji za rjeavanje nekrutih dinamikih sistema.



- Viekorani metodi Viekorani metodi se baziraju na poveanju stepena predikcije koritenjem vie ranije dobijenih

taaka za aproksimaciju naredne take. Neka je data diferencijalna jednaina: Integracijom prethodne jednaine na segmentu + dobijamo:

V O6C?6C V O6C?6C

Odnosno :

+ V O6C?6C Funkciju aproksimiramo drugim Newton-ovim interpolacionim polinomom. Koritenjem vie

predhodnih vrijednosti (



Odnosno ako predhodni izraz zapiemo kao:

+ 0 0 : Vv9 wO

3:

to predstavlja Adams-Bashforth-ovu formulu, koja se integriranjem lan po lan dobija u razvijenom

obliku, odnosno: + s \ , 1t 3: Za razliite vrijednosti parametra < dobijamo razliite metode. Pa prema tome imamo da je za <

dobijamo Euler-ov metod, odnosno: + 3 Za < dobijamo: + s t 3 s ; t 3 \ ; 3 Najee se koristi metod za koji je < \ odnosno dobijamo: + s \t 3 Razvojem konanih razlika dobijamo Adams-ovu formulu (etvokorani metod):

+ ; ; ; \ \ ; \ ; ; 3 Odnosno: + c ; \ ; ; 3 Greka ovog metoda je proporcionalna sa: 3 ,, Kako je lokalna greka metoda proporcionalna sa , zakljuujemo da je ovo metod etvrtog reda, i

predstavlja najee koriteni viekorani metod etvrtog reda. Prednost u odnosu na Runge-Kutta metod je u tome to se u svakom koraku (iteraciji) raunamo samo jednu vrijednost funkcije a koristimo tri predhodno proraunate vrijednosti pa samim tim imamo etiri puta manje prorauna u odnosu na Runge-Kutta metod. Mana metoda je ako imamo samo poetni uslov, uopte zapoeti postupak. Odnosno, moramo prethodne tri take nai nekim drugim postupkom na primjer nekim jednokoranim postupkom ekvivalentnog reda pa tek onda primjenimo viekorani postupak. Pored toga mana metoda je i to prilikom svake promjene dinamike sitema (promjene u kolu) moramo da ponovo raunamo prethodne tri vrijednosti jer ako to ne bi uinili mogli bi dobiti ogromnu grku.



Polaznu diferencijalnu jednainu smo mogli integraliti i na drugom segmentu, odnosno:

V O6C?6C V O6C?6C

Te na taj nain dobijamo generalisanu Adams-Bashforth-ovu formulu:

+ ; Vv9 w 0 0 : O 3

;

+ ; 0 0 0 V v9 wO; 3:

Za razliite vrijednosti parametara i < dobijamo razliite metode, meutim najinteresantnije su

formule u kojima je neparno zbog toga to se tada integral anulira, pa tako na primjer za \ imamo:

Vv9 wO; \/ V O

;

Na taj nain se sa manjim brojem lanova se postie vea tanost. Odnosno imamo: + ; sc c \ cc c, 1t 3 Pa iz predhodnog izraza proizilazi najee koritena formula, odnosno Milne-ova formula: + ; c\ ; ; 3 Kao to vidimo Milne-ova formula ima jedan manje sabirak od Adams-ove formule, a predstavlja

metod etvrtog reda. Osnovni viekorani metodi dati su Milne-ovom i Adams-ovom formulom. Prednost viekoranih metoda je brzina izvoenja metoda, a mana to prilikom komutacije moramo restartovati proces, ponovo zapoeti postupak nalaenjem predhodnih vrijednosti (na primjer Runge-Kutta metodama) te ponavljati postupak. Pored toga uopteno mana viekoranih metoda je stabilnost jer se oblast stabilnosti viekoranog postupka smanjuje, poveanjem reda metoda.



- Stabilnost viekoranih metoda Ponovo posmatrajmo linearnu test diferencijalnu jednainu, odnosno: i Ako bi uzeli da je i prva dva lana dobili bi modifikovani Euler-ov postupak odnosno: + ; i Ako bi sada izvrili pertumbaciju, vidimo da imamo propagaciju greke iz predhodnog koraka, odnosno

da imamo tri pertumbacije (jer se povezuju prethodne dvije greke) to jest: + d + ; d ; i id d + d ; id Odnosno dobijamo diferentnu jednainu: d + id d ; ije rjeenje traimo u obliku: d 9 Odnosno: 9 + i9 9 ; Kako je 9 , predhodnu jednakost podjelimo sa 9 ; pa dobijamo: 9 i9 Pa dobijamo dva korijena jednaine: 9 i c Kada naemo rjeenja, dobijamo: d 9 9 Greka e biti priguena, odnosno metod je stabilan ako su korijeni 9 .



- Prediktor-Korektor formule Prediktor-korektor formule mogu biti jednokorane i viekorane. Pomou njih rjeavamo negativnu

osobinu implicitnih metoda, na nain da nekom eksplicitnom metodom naemo vrijednost + pa je popravimo tako to + posmatramo kao prediktor vrijednost a onda nekom implicitnom korektor metodom popravimo tu vrijednost. Prediktor metodom se koristimo da dobijemo vrijednost u nultom koraku, pa dalje koristimo korektor metod. Prediktor metodi treba da budu jednostavni metodi tipa Euler metoda. Da bi metod bio efikasan potrebno je da korektor metod konvergira u dva do tri koraka. Prediktor metodi su dobri za metode sa varijabilnim korakom. Metod zaustavljamo kad bude ispunjen uslov:

u + +;u 8 U zavisnosti od eljene tanosti 8. Ako je 9 . \ potrebno je smanjiti korak . Smanjenjem koraka,

smanjujemo broj potrebnih koraka za konvergenciju. Ako je 9 onda malo poveamo korak tako da do konvergencije doe u dva do tri koraka. Metod je dobar kao metod sa adaptivnim korakom jer ne koristi dva metoda kao to je to sluaj kod Runge-Kutta metoda (sa adaptivnim korakom).

Ako u interpolacioni polinom kreiran na osnovu < predhodnih (poznatih) vrijednosti uvrstimo i

nepoznatu taku + te ponovo postavimo drugi Newton-ov interpolacioni polinom dobijamo implicitnu formulu, odnosno:

+ ; V v 9 w 0 0 +: O 3:

; Za razliite vrijednosti parametara < i dobijamo razliite formule, pa tako za vrijedi: + s c 1t + 3: Sada za razliite vrijednosti < (broj lanova reda koje uzmemo) dobijamo razliite formule, pa tako na

primjer < dobijamo implicitni Euler-ov metod (backward Euler's method) odnosno: + + + Za < dobijamo trapezni Euler-ov metod: + + + + +

+ 4 + + 5



Prediktor formula se uzima nieg reda, a implicitna korektor formula vieg reda. Pa tako imamo

prediktor-korektor par, odnosno:

Euler-ov prediktor-korektor metod

+ Prediktor + s v + +;wt Korektor

Ako u formuli za uzmemo da je < \ dobijamo sljedei prediktor-korektor par, odnosno:

Adams-ov predkiktor-korektor metod

+ c ; \ ; ; Prediktor + c v +; ; ;w Korektor

Greka metoda: 3 , , Za i < \ dobijamo vanu formulu (jer se anulira jedan lan):

Milne-ov prediktor-korektor metod

+ ; c\ ; ; Prediktor + ; \ v +; c ;w Korektor

Greka metoda: #$ Implicitnim metodama se uslovi stabilnosti viekoranih metoda neznatno poveavaju, analiza

stabilnosti se svodi na analizu diferentnih jednaina.



OPTIMIZACIJA

Zadatak optimizacije je nai minimum (maksimum) funkcije vie promjenjivih, odnosno: e D Ova funkcija se naziva funkcija cilja ili ciljna funkcija (objektivna funkcija). Imamo za cilj nai neko

koje e funkciji dati minimalnu (maksimalnu) vrijednost. Potrebno je napomenuti da ako je stvarni problem definisan u obliku nalaenja maksimuma funkcije odnosno:

& e &D Taj problem uvijek moemo preformulisati u problem nalaenja minimuma funkcije, pri emu taka

optimuma ostaje ista ali ce vrijednost biti suprotnog predznaka odnosno: &D e 4D5 Grafiki to moemo predstaviti na sljedei nain:

Podjela problema optimizacije:

Kriterij podjele Podjela

Broj promjenjivih: - Jednodimenzioni problem - Viedimenzioni problem D

Ogranienja: - Bez ogranienja - Sa ogranienjima

Derivabilnost funkcije: - Derivabilni problem - Nederivabilni problem

Tip funkcija: - Linearno programiranje - Nelinearno programiranje

Karakter skupa dopustivih rjeenja : - Konveksno programiranje - Nekonveksno programiranje

Aspekt vremena: - Stacionaran (vrijeme ne egzistira) - Dinamiki (vrijeme egzistira

Karakter promjenjive: - Kontinualno programiranje - Cjelobrojno programiranje - Mjeoviti problem (najei problem)



Oblast u kojoj traimo rjeenja moe biti skup realnih brojeva ali takoe moe biti i neki manji skup.

Pri rjeavanju problema optimizacije mogu postojati ogranienja, ali i ne moraju. Ukoliko postoje, ogranienja su data u vidu jednaina i/ili nejednaina, pa tako na primjer ako imamo ogranienja tipa:

Oblast u kojoj traimo rjeenja naziva se skup dopustivih rjeenja i oznaavamo ga sa , odnosno:

&

'

Ako imamo ogranienja tada definiemo skup dopustivih rjeenja pri emu svako iz skupa dopustivih

rjeenja moe da bude traeno rjeenje optimizacije. Skup dopustivih rjeenja definiemo kao: DD QD Generalno problem kod skupa dopustivih rjeenja je to granine take mogu biti minimum ili

maksimum a da te take nisu stacionarne take. Zbog toga se nastoji nai neka druga funkcija koja e imati stacionarne take u tim graninim takama, kao i stacionarnim takama polazne funkcije (funkcije za koju traimo optimum).

Ako imamo problem sa ogranienjima moemo ga prevesti u problem bez ogranienja, na primjer u

Langrange-ovu funkciju, odnosno ako imamo funkciju vie promjenjivih i vie ogranienja tipa jednakosti moemo dobiti Langrenge-ovu funkciju kao:

D iD 4D iD5 Langrange-ova funkcija je sada funkcija od 2 9 promjenjivih. Postoji vie naina da se problem sa

ogranienjima prevede u problem bez ogranienja. Za funkciju vie promjenjivih imamo vie ogranienja (ako su ogranienja tipa nejednakosti onda dobijamo oblast koja ima beskonano graninih taaka).

Ako odaberemo taku koja je iz skupa dopustivih rjeenja i zadovoljava Q , a ogranienje je

dato tipa nejednakosti onda kaemo da zadovoljava aktivno ogranienje. Smjer u kome se moemo kretati iz neke take u drugu unutar skupa dopustivih rjeenja , a da pri tome ostanemo u tom skupu naziva se dopustivi smjer. Ako u nekoj taki imamo aktivno ogranienje, to nam govori da u toj taki postoje i nedopustivi smjerovi (smjerovi koji nas vode van skupa dopustivih rjeenja).



Ako rjeavamo neki viedimenzioni problem, na primjer traimo optimum (minimum ili maksimum)

neke funkcije tri promjenjive , postupamo na sljedei nain:

Iterativni postupak moemo svesti na sljedeu konstrukciju. Kreemo iz neke take D koja se nalazi u

skupu dopustivih rjeenja, zatim naemo dopustivi smjer OD u kome vrijednost funkcije opada (ako traimo optimum tipa minimum). Najbolje bi bilo kretati se u smjeru negativnog gradijenta odnosno vDw, a ako je vrijednost gradijenta u toj taki jednaka nuli, tada za tu taku kaemo da je ili prevojna taka ili taka ekstrema. Smjer OD je normiran jer nam je samo bitan pravac kretanja a ne i intenzitet. Kretanje iz take D u smjeru OD se vri sa korakom j.

D+ 4D jOD5 Koliko se pomjeramo raunamo na osnovu jednakosti (za funkciju jedne promjenjive): Rj 4D+ jOD5 Jako puno viedimenzionih problema se svode na nalaenje jednodimenzione optimizacije u svakom

koraku odnosno iteraciji. Najvie vremena troimo na nalaenje smjera OD, kao i na raunanje Rj odnosno jednodimenzione optimizacije, pa se na osnovu toga vri i podjela algoritama. Iako je za dopusustivi smjer kretanja najbolje odabrati smjer negativnog gradijenta to se ne koristi esto zbog kompleksnosti funkcija, kao i injenice da funkcije mogu a i ne moraju biti izraene analitiki pa prema tome nemamo gradijent jer sama funkcija nije derivabilna.

Dovoljno je da samo jedna funkcija bude nelinearna (a ostale linearne), pa da problem postane

nelinearan problem.



Kod konveksnog programiranja imamo konveksne funkcije Q a ogranienja su tipa nejednakosti.

Za funkciju kaemo da je konveksna ako vrijedi: 4 iD iD5 iD iD Odnosno da je strogo konveksna ako vrijedi: 4 iD iD5 iD iD Za funkciju kaemo da je konkavna ako vrijedi: 4 iD iD5 iD iD Odnosno strogo konkavna: 4 iD iD5 . iD iD Pa na primjer konveksnu funkciju predstavljamo grafiki kao:

Odnosno konkavna funkcija:



- Klasina optimizacija Razmatrajmo problem optimizacije funkcije vie promjenjivih. Odnosno traimo optimum funkcije: D. Prvo je potrebno odrediti stacionarne take, odnosno kandidate za optimum na nain da je: SS 2 Dobijamo sistem jednaina na osnovu kojeg dolazimo do stacionarnih taaka: D Gradijent funkcije u stacionarnoj taki isezava odnosno:

D Nakon toga nalazimo Hesse-ovu matricu:

GHHHI6?6?6@6?B6C6?

6?6@6@6@B6C6@6?6C6@6CB6C6C KLL

LM Razvijanjem funkcije u okolini take dobijamo (pri emu se svi izvodi raunaju u taki ): D D 6?/ 1 6C/ / 6?6@/ 1 6?6C/ 1 6C6?/ 1 6C6C/ 1 to moemo zapisati u kompaktnoj algebarskoj formi :

D D 6? 6@ 6C 0

0

b0 0

D D D D D DD D 1



Zanima nas kako se funkcija ponaa u okolini take D, pa prema tome najprije definiimo okolinu

take D kao: ND DD D Za taku D kaemo da je lokalni maksimum ako vrijedi: 4 ND54D D5 Odnosno strogi lokalni maksimum (izolovani maksimum): 4 ND54D . D5 Za taku D kaemo da je lokalni minimum ako vrijedi: 4 ND54D D5 Odnosno strogi lokalni minimum (izolovani minimum): 4 ND54D D5 Da bi neki minimum ili maksimum bio globalni onda gornje izrazi trebaju da vrijede za bilo koje D koje

pripada skupu dopustivih rjeenja .

Oznaimo vektor OD kao OD D D te se na osnovu njega pomjerajmo se po okolini. Ako je D

stacionarna taka onda vrijedi da je: bD

Na osnovu Taylor-ovog razvoja funkcije u red moemo pisati:

D D ODbDOD



Da bi taka D bila lokalni minimum potrebno je da za sve vektore ODbude zadovoljeno: 4OD 54ODbDOD5 . Odnosno da bi taka D bila lokalni maksimum treba da vrijedi: 4OD 54ODbDOD5 U sluaju da je D tada su potrebna dodatna ispitivanja, odnosno potrebno je ispitivati

ponaanja viih izvoda. Meutim ako vrijedi da je: ODbDOD Tada taka D nije ekstremna taka, odnosno nije optimum funkcije. Ispitivanje se moe vriti i preko kvadratnih formi. Hessijan odnosno Hesse-ova matrica je konstanta u

kvadratnoj formi. Kvadratnu formu zapisujemo u obliku: D DgD DbD Pri emu je: D gD D

D g Zanima nas forma: D DbgD Uvijek moemo nai simetrinu matricu koja ima istu kvadradnu formu, odnosno: g gb Ako je data matrica g D zanima nas definitnost kvadratne forme, pa prema tome imamo: 4D D5 D DbgD . Pozitivna kvadratna forma

4D D5 D DbgD Negativna kvadratna forma 4D D5 D DbgD Nenegativna kvadratna forma 4D D5 D DbgD Nepozitivna kvadratna forma 4D D5 D DbgD Nedefinitna kvadratna forma



Zakljuujemo da definitnost kvadratne forme zavisi iskljuivo od matrice g, pa prema tome kaemo da

je matrica g pozitino definitna ako je njena kvadratna forma poztivna, odnosno negativno defirnitna ako je kvadratna forma negativna, nenegativno definitna ako je kvadratna forma pozitvno semidefinitna, kao i nepozitivno definitna ako je kvadratna forma negativno semidefinitna i indefinitna ako je kvadratna forma nedefinitna. Na osnovu definitnosti zakljuujemo da vrijedi:

D X Pozitivno definitna X Minimum D X Negativno definitna X Maksimum D X Pozitivno semidefinitna X Nije strogi minimum D X Negativno semidefinitna X Nije strogi maksimum D X Nedefinitna X Nije ekstrem

Definitnost matrice moemo odrediti na osnovu Sylvester-ovog kriterijuma. Za matricu g kaemo da je pozitivno definitna ako su svi glavni minori matrice g vei od nule, odnosno ako vrijedi:

g . g u u . *g . A tada vrijedi: D DbgD . D D I kaemo da je pozitivno definitna. Isptivanje negativne definitnosti moemo vriti na isti nain samo

za negativnu funkciju odnosno: RD D DbgD D D Odnosno kaemo da je negativno definitna ako vrijedi: g g u u . *g . Prvi minor je manji od nule a svaki naredni naizmjenino mjenja znak, pa kaemo da je negativno

definitna. Vano je jo i napomenuti da: D . X 92m92xh9D D X 9292xh9D



- Problemi sa ogranienjima tipa jednaina Razmatrajmo problem nalaenja optimuma funkcije vie promjenjivih: DD Po ogranienjima: D :D Jedna od metoda rjeevanja ovakvog problema je metod eliminacije, odnosno sistem jednaina

(ogranienja) od < promjenjivih izrazimo preko 2 < promjenjivih pa uvrstimo u funkciju iji optimum traimo. Time smo efektivno sveli problem nalaenja optimuma sa ogranienjima, u problem funkcije cilja odnosno u funkciju za koju traimo optimum bez ogranienja, sa 2 < promjenjivih.

Ako traimo minimum funkcije D odnosno: D Po ogranienju: D Pod pretpostavkom da minimum funkcije postoji , rjeenje odosno minimum funkcije traimo u obliku: D D Kada koeficijent tei ka beskonanosti rjeenja ova dva problema su ista. Stavimo koeficijent

veoma veliki pa rjeavamo problem. Na ovoj ideji se temelje metode kaznenih funkcija, medju kojima je i Courant-ov metod. Sam koeficijent nije konstantan nego je D zbog problema kod zaokruivanja pri radu na raunaru, odnosno zbog mainskih greaka. to je D blie nuli to treba da bude manje.

Funkcija kazne D kanjava funkciju D za sve za koje je dalje od . Najpopularnije

kaznene funkcije su logaritamske kaznene funkcije, zatim elipsoidni algoritam i interior point metodi. Svaki problem se moe predstaviti u obliku optimizacije, bilo traenja minimuma ili maksimuma.



- Metod Langrange-ovih mnoitelja Rjeavamo problem: D Sa ogranienjima: D D :D Matrica gradijenata ogranienja data je Jaccobi-jevom matricom odnosno:

DDB:D Ako je taka D rjeenje polaznog problema, gradijent funkcije cilja se moe izraziti preko gradijenata

ogranienja u taki D na sljedei nain:

D D: Neka je rang matrice ogranienja jednak



Odnosno za izvode po i imamo: } D Traimo: D Gradijent funkcije moemo izraziti preko ogranienja, a iz izvoda po i upravo dobijamo ogranienja,

to se da zakljuiti da su stacionarne take polaznog sistema ujedno i stacionarne take i Lagrange-ove funkcije. Kako iz imamo 2 jednaina, a iz dobijamo < jednaina, to znai na osnovu 2 < jednaina dobijamo stacionarne take.

Na primjer ako imamo funkciju tri promjenjive i potrebno je izvriti optimizaciju, odnosno

potrebno je nai minimum funkcije: Po ogranienjima: Odnosno ako bi grafiki predstavili gornji problem:

Pretpostavimo da je taka D taka minimuma. Okolina take D predstavlja krivu po kojoj se sjeku

uslovne povrine, odnosno imamo samo dva mogua pravca kretanja a to su vektori OD i OD koji su normalni na D. Taka D nije optimalno rjeenje, odnosno nije minimum funkcije cilja ako se pomjeranjem po krivoj presjeka dobijaju manje vrijednosti funkcije cilja.



Vektor OD predstavlja dopustivi smjer kretanja, odnosno kreui se u smjeru vektora OD ostajemo u

skupu dopustivih rjeenja.

\

Vektor OD po kome se moemo kretati mora da zadovolji: DOD DOD Odnosno vektor OD mora biti normalan na (u ovom sluaju) oba gradijenta. Da bi ispitali da li je taka D

optimalna taka, odnosno da li je minimum, potrebno je da u okolini take D nema taaka koje e funkciji dati manju vrijednost. Ako postoji vektor OD takav da je dopustiv i ako vrijedi:

4D OD5 D Tada taka D nije optimalna. U ovakvom sluaju vektor OD mora zaklapati otar ugao sa 4D5. Da

bi taka D bila optimum taka, gradijent cilja mora leati u ravni definisanoj sa vektorima ogranienja. Ako je vrijedi da je 66 pozitivno definitna onda se radi o minimumu, a ako je negativno definitna onda se radi o taki maksimuma.

Meutim, mi ne trebamo da ispitujemo za sve smjerove, nego samo za dopustive smjerove. Pa prema

tome nas ne zanima da li je zadovoljeno: DbgD . Nego nas zanimaju samo dopustivi smjerovi odnosno, da li je zadovoljeno: ODbgOD .

Rjeavanjem sistema jednaina: DD OD Dobijamo sve dopustive smjerove.



Potrebno je nai rjeenje sistema: gD Nul prostor je skup svih vektora koji matricu g anuliraju, odnosno to je skup definisan sa: g DgD Primjenom elementarnih transformacija na matrici g dobijamo ( je rang matrice g): g: $ ; ; ; ; Odnosno: N ; ; ; U matrici N su sadrani svi linearno neazvisni vektori koji anuliraju matricu g. Svaki vektor oblika:

N hhBh NhD Definie nula prostor, odnosno zakljuujemo da svaki vektor oblika: OD NhD Vodi u dopustiv smjer, odnosno da bi vrijedilo: hhDbNbgNhD . Potrebno je da je NbgN bude pozitivno definitno. Pa prema tome dolazimo do zakljuka da je

potreban uslov za optimum, da vrijedi: Nb664D iD5N . Odnosno da bude pozitivno definitna. Ako je semidefinitna zakljuujemo da su potrebna dodatna

ispitivanja da bi doli do zakljuka da li se radi o optimumu funkcije cilja.



- Metode jednodimenzione optimizacije

Metodom dopustivih smjerova kreemo se iz jedne u drugu taku. Cilj nam je nai minimum, odnosno

optimalnu taku funkcije cilja. Postavlja se pitanje za koliko j se trebamo pomjeriti u nekom dopustivom smjeru da doemo do take optimuma. Da bi to odredili, postavljamo sebi za cilj nai minimum funkcije:

Rj 4D jOD5 Napomenimo da su aktivna ogranienja zadovoljena sa znakom jednakosti, i da ako nemamo aktivnih

ogranienja onda vektor OD moe imati bilo koji smjer. Pri odreivanju samog vektora OD treba da pazimo samo na aktivna ogranienja (jer tada imamo nedopustivih smjerova).

Neka imamo neko aktivno ogranienje QD , i neka je D QD 8 . Aktivna

ogranienja su praktino sva ogranienja za koje vrijedi : QD 8 Odnosno kada se nalazimo dovoljno blizu nekog aktivnog ogranienja, zbog mainskih greaka. Traimo minimum funkcije jedne promjenjive: Zanima nas u kome intervalu se nalazi optimum. Pretpostavimo da je dat interval u kojem

imamo optimalnu taku. Da bi bili sigurni da se u nekom intervalu nalazi optimum funkcija mora biti unimodalna. Unimodalna funkcija je funkcija koja do take minimuma ne raste, a od take minimuma ne opada odnosno vrijedi:

Za unimodalnu funkciju vrijedi: X X



- Fibonacci-jev metod Opet imamo problem traenja optimuma neke funkcije. Poinjemo od nekog intervala u kome

traimo optimum, odnosno minimalnu vrijednost. Za izvoenje metoda moramo neto znati o samoj funkciji iji optimum traimo.

Pod pretpostavkom da se radi o unimodalnoj funkciji zakljuujemo da ne moe biti vee (manje)

i od ; i od ;. Ako je funkcija unimodalna potrebno je raunanje vrijednosti funkcije i dvije take intervala, te na taj nain suavati poetni itnterval, odnosno:

E Optimum je u segmentu: ; E X ; E . E Optimum je u segmentu: ; X ; Neka su i E podjednako udaljeni od granica intervala. Tada vrijedi ( ; ): ; ;; ; E ; ;; ; Mogu nastupiti dva sluaja i to: ;

ili E ;

Na taj nain dobijamo novu duinu intervala, koja je u odnosu na predhodnu data sa: ;; ; Ako elimo iskoristiti proglasimo ga za + i naemo novo E+ u odnosu na novi interval. + E+ ;; ; ; ; Pri emu je: ; ;



Ako novo odredimo na osnovu prethodne formule onda za + ostaje stara vrijednost , a za

novo E uzmemo taku na istoj udaljenosti od . U svakom koraku provjeravamo: ; ; Ako je ispunjen gornji uslov, uzmemo polovinu tog intervala i proglasimo ga za optimum. Posmatrajmo jednakosti: ;; ; + + Nakon 9 koraka imamo: + + ; s t

+ + Cilj nam je nai:

W + + q

Poto zavisi samo od 9, pokae se da nakon 9 koraka vrijedi: RR+ Gornji izraz kao rjeenje problema q vrijedi samo za 9 . \ (za 9 \ ne vrijedi). Ako se za dati

problem odabere kao: RR+ Tada se metod naziva Fibonacci-jev metod. Mana metoda je raunanje za datu greku (tanost) jer

se metod zbog toga znatno usporava.



- Metod zlatnog presjeka Nedostatak Fibonacci-jevog metoda je to prvo moramo odrediti broj iteracija koji garantuje da se

optimalna taka nalazi unutar nekog intervala sa eljenom tanosti, pa tek onda rauna koeficijent . Posmatrajmo opti lan Fibonacci-jevog niza:

R+ R+ R R+ R+ R Odnosno imamo:

R g

R !

Za dovoljno veliko 9 drugi lan postaje znatno manji od prvog odnosno dobijamo:

R !

Pa vrijedi:

RR+ +

\

to predstavlja zlatni presjek. Odnosno kako 9 X , tei ga gornjoj vrijednosti. Uzmemo zlatni

presjek i raunamo narednu taku te smo na taj nain smanjili vrijeme izvoenja algoritma.



- Metode aproksimacije polinomima Da bi odredili taku minimuma neke funkcije, prvo je aproksimiramo nekim jednostavnim polinomom,

na datom intervalu koji sadri taku optimuma, zatim odredimo minimum funkcije kojom smo vrili aproksimaciju a poto ta funkcija aproksimira polazni problem tako i aproksimirana optimalna taka aproksimira optimum polazne funkcije. Aproksimacija se najee vri nekom funkcijom drugog ili treeg reda odnosno koristimo se metodom parabole i kubnom metodom.

Odaberemo taku tako da je manje bar od ili . Postavimo parabolu kroz te tri take:

Y

Parabola mora imati minimum na intervalu . Minimum parabole, odnosno taka O je data sa: O Mogu nastupiti dva sluaja, i to da taka O pada u podinterval ili u podinterval . Tako da

smo smanjili poetni interval i ponovo dobili tri take kroz koje moemo ponovo provui parabolu te dalje suavati interval do eljene tanosti. Proces zaustavljamo kada doemo do prihvatljive aproksimacije take optimuma.

Kubna metoda se zasniva na istom principu samo to su nam na poetku potrebne etiri take kroz

koje provuemo neku kubnu funkciju oblika: O Zatim odredimo minimum kubne aproksimacije, te odredimo novi interval gdje se nalazi optimum na

isti nain kao i kod metoda parabole, te postupak ponavaljamo dok ne doemo do eljene tanosti aproksimacije.



- Newton-ova metoda (metod tangente) Newton-ova metoda se primjenjuje za diferencijabilne funkcije, slui za odreivanje stacionarne take

funkcije cilja. Ako je funkcija konveksna onda je ovo taka globalnog minimuma.

Unimodalnu funkciju aproksimiramo parabolom: Q 1 Odnosno vrijedi: Q Djeljenjem sa dobijamo: + Raunanje stacionarne take funkcije na ovaj nain naziva se Newton-ov metod. U principu

aproksimiramo funkciju cilja parabolom, naemo stacionarnu taku parabole pa odemo na vrijednost funkcije u toj taki pa postavimo novu parabolu, te dalje ponavljamo postupak na isti nain.



- Viedimenzina optimizacija bez ogranienja Ove metode ne koriste izvode funkcije pri odreivanju optimalnog rjeenja, to znai da se mogu

primjeniti i na nederivabilne funkcije (podrazumjeva se da se mogu primjeniti na defivabilne). Testiraju se na kvadratnoj formi oblika:

D DbgD DbD

- Metoda pomjeranja po osama (Hooke-Jeeves-ova metoda) Traimo optimum neke funkcije D odnosno: D Imamo neku poetnu taku (bazna taka) D . Usvojimo neki korak d te se kreemo

po nekoj od osa, na primjer po prvoj promjenjivoj, odnosno pa ako vrijedi: 4 d 5 4D5 Onda zakljuujemo da je korak bio uspjean. Ako je korak bio uspjean probamo se ponovo pomjeriti.

Ako korak nije bio uspjean moemo probati pomjeriti se u suprotnom smjeru po odnosno: 4 d 5 4D5 Ako vrijedi gornja nejednakost onda je korak bio uspjean, pa probamo se ponovno pomjeriti za jo

jedan korak u tom smjeru. Ako je korak bio neuspjean onda zakljuujemo da je: + Ponavljamo sada postupak za sve ose, odnosno za i na kraju dobijamo da je: D+ 4 9d 9d 9 d5 Mana metoda je duina koraka, poto ne mora biti ista veliina koraka za sve ose. U svakoj iteraciji

vrimo pretraivanje po obliku, odnosno traimo brda i doline u dopustivim smjerovima te pratimo doline i na taj nain iterativnim putem dolazimo do take optimuma.



- Powell-ova metoda Konjugovani smjerovi (vektori) prate oblik funkcije. Ako je funkcija kvadratnog oblika: D DbgD DD Pri emu je g simetrina pozitivno definitna matrica, tada su potrebna dva pretraivanja pa da odemo

do minimuma. Ako nije kvadratna forma onda imamo po jedan korak po iteraciji. Konjugovani smjerovi matrice g su vektori za koje vrijedi: DbgDo Svaka matrica reda



Svojstveni vektori su konjugovani smjerovi, a za simetrinu matricu svojstvene vrijednosti su realne.

Bitnost konjugovanih smjerova se ogleda u injenici da ako startamo iz neke poetne take, do take optimuma moemo doi kreui se po tim smjerovima.

D D ZD

D Db ZDb g D ZD

Db D ZD

DbgD DbgZDb gDZDb

gZD

ZD

DbD DbZD

D ZDbgD ZDbgD DbZD

Kao to vidimo nema zavisnosti odnosno nema mjeovitih lanova, a to znai da iz moemo

pretraivanjem po konjugovanim smjerovima da dodjemo do take D. Minimum emo nai minimizirajui svaki od lanova. Pa prema tome -ti lan bi glasio:

ZDbgD ZDbgD ZDbD Pa deriviramo po Z i izjednaimo sa nulom, dobijamo: DbgD ZDbgD DbD Pa dobijamo korak u kome trebamo ii da bi doli do D, odnosno:

Z 4gD D5DbgD Uzmemo neku poetnu taku D zatim odredimo konjugovane smjerove i raunamo udjele Z za svaki

od smjerova, pa prema tome u 2 koraka preko 2 smjerova dolazimo iz D u taku D. Kada dodjemo do take minimuma Z zbog gD D , to jest kada vrijedi prethodna jednakost zakljuujemo da smo doli do rjeenja. Problem samo predstavlja nai konjugovane smjerove.

U optem sluaju matrica g ne mora biti kvadratne forme. Powell-ov metod je numeriki metod

nalaenja konjugovanih smjerova ako je bilo kakva funkcija.



Rj D jmD

Neka je data poetna taka D. Pretraujemo funkciju po smjerovima m i m. Pretpostavka je da su

bazni vektori konjugovani vektori, pa vrimo pretragu po trenutnim konjugovanim smjerovima i traimo minimum. Neka je q minimum u smjeru m. Iz q idemo u drugom smjeru i traimo minimum, odnosno pretraujemo iz u q. Minimum moe biti ili prije ili poslije. Naemo minimum tog pravca odnosno dolazimo u taku \q. Svaki konjugovani smjer koji naemo stavljamo na kraj, to jest sada smo nali:

mD mD X mD xD Ponavljamo dalje proceduru, to jest iz \q vrimo pretragu po m sad u smjeru \q q traimo

minimum, te na taj nain smo korigovali i drugi konjugovani smjer odnosno: mD mD X mD xD X xD D Konjugovani smjerovi ne moraju biti normalni. Za funkciju od 2 promjenjivih, za korekciju samo jednog

konjugovanog smjera treba 2 pretraga (2 po smjerovima i 1 po obliku), dok za 22 pretragu dobijamo sve konjugovane smjerove.



- Optimizacija bez ogranienja za derivabilne funkcije Ove metode imaju svojstvo kvadratnog zavravanja ako za 2 koraka daju rjeenje.

- Gradijentni metod (Cauchy-ev metod, metod najbreg opadanja) U taki moemo nai gradijent funkcije odnosno . Gradijent funkcije pokazuje smjer

maksimalnog rasta funkcije, pa prema tome ako je problem nai minimum onda jednostavno idemo u smjeru negativnog gradijenta sa nekim korakom j, odnosno:

4D jD5 Rjeavamo problem: Rj 4D jD5 Rjeenje je j . . Problem nastupa kod mainskog prorauna zbog greaka zaokruivanja. Pogreno je

uzimati normu gradijenta kao uslov zaustavljanja postupka. Ako traimo optimum j to znai da traimo: ORjOj b4D jD5D bDD Odnosno zakljuujemo da dva susjedna gradijenta su normalna. Dovoljno je nai prvi gradijen, dok

drugi ne traimo nego probamo normalno u jednom i drugom smjeru i tako dalje.

- Newton-ov metod Ako imamo funkciju 2 promjenjivih D. U nekoj poetnoj taki naemo gradijent funkcije to jest

naemo stacionarne take,odnosno rjeimo: D Dobijamo sistem nelinearnih jednaina na koji moemo da primjenimo Newton-Raphson-ov postupak: D+ D ;DD to predstavlja Newton-ov metod za nalaenje optimuma. Postupak se primjenjuje sve dok ne bude

zadovoljena nejednakost: D+ D 8 Ako je u pitanju kvadratna forma onda je Hesseova matrica konstanta pa je rjeenje (minimum) dato

sa D g;D. U jednom koraku dobijamo rjeenje za kvadratnu formu, a ako nije kvadratna onda vie.



- Metode promjenjive (varijabilne) metrike (kvazi Newton-ove metode) Dobra osobina Cauchy-eve metode je brzo poetno napredovanje metoda, a loa injenica da je

konvergencija linearna i sporo napredovanje u blizini rjeenja. Newton-ov metod ima kvadratnu konvergenciju i veoma brzo napreduje pri kraju, meutim veoma je osjetljiv na izbor poetnog rjeenja. Ideja je ukomponovati ova dva metoda tako da izvuemo maksimum iz oba, pa tako moemo na poetku postupka koristiti Cauchy-ev metod a kasnije Newton-ov metod.

Traimo optimum funkcije D, pa imamo na osnovu Cauchy-a: D+ D jDRj 4D jD5 Odnosno po Newton-ovom metodu: D+ D ;DD Mana Newton-ove metode je i inverzija Hesse-ove matrice za vie varijabli u svakom koraku. Da se

primjetiti slinost meu predhodnim formula, pa tako oba metoda moemo zapisati u obliku: D+ D D Pri emu je neka matrica koja je za Cauchy-ev metod data sa j, dok je za Newton-ov

metod matrica definisana kao ;D. elimo na poetku da koristimo Cauchy-ev metod a poslije Newton-ov metod. Postavlja se pitanje nakon koliko koraka treba da transformiemo matricu.

Pa prema tome na poetku matricu proglasimo za j a kako idemo ka rjeenju postepeno

korigujemo matricu u svakom koraku, odnosno u svakom koraku je korigujemo tako da lii na Newton-ovu. Matricu korigujemo u svakom koraku na sljedei nain:

+ Cilj nam je da vrijedi: X ;D Prednost nam je to nemamo strog prelaz meu matricama, nego blagi. Ni jednog trenutka neemo

postii Hesseovu matricu, jer emo prije doi do rjeenja pa kaemo da je konvergencija ovakvog metoda super linearna. Upotpunjavanje se vri samo jedne kolone ili jednog reda (ili 2 kolone ili 2 reda).

Metode za upotpunjavanje se razlikuju po rangu:

- Rang prvog reda - Rang drugog reda - Rang vieg reda



- DFP metod (Davidon Fletcher Powell) Ovo je kvadratni metod, kod koga se upotpunjavanje zasniva na dvije ili tri susjedne take. + g Metod DFP spada u klasu promjenjive metrike sa rangom dva, jer je u optem sluaju rang matrice g jednak dva. QD D QD+ D+ Pa imamo: FD QD+ QD Pri emu vrijedi da se g i raunaju kao:

g FD 0 FDbEDbFD FDFDbbFDbFD Pored ove metode imamo jo mnogo metoda varijabilne metrike kao to su na primjer FR metod,

BFGS metod i mnogi drugi. Jako dobra osobina metoda sa varijabilnom metrikom jeste to nemamo inverziju Hesse-ove matrice odnosno Hessijana.

Za problem isezavanja Hessijana, normiramo i upotpunimo sa: 8 Nekim manjim ili veim elementima. Odreivanje vrijednosti 8 vrimo LM metodom (metod

primjenjujemo kod isezavanja Hessijana). Prednost metoda je i to sigurnije napredujemo ka rjeenju. Ako imamo problem sa Newton-ovim dijelom metoda, vratimo se na Cauchy-ev metod koji je dosta stabilniji u odnosu na izbor poetnog rjeenja.



- Konveksno programiranje Rjeavamo problem nalaenja minimuma funkcije D odnosno: D Po ogranienjima (pri emu su : konveksne funkcije):

D D B :D Pri emu je skup dopustivih rjeenja definisan sa: DD



- Uslov optimalnosti preko Langrange-ove funkcije

4D iD5 D iooD:o

Kaemo da je Slater-ov uslov za skup dopustivih rjeenja ispunjen ako postoji unutranja taka, odnosno ako vrijedi:

Ako je ispunjen Slater-ov uslov tada moemo primjeniti Langrange-ov metod. Par i je sedlasta taka Langrange-ove funkcije ako je: 4D iD5 4D iD5 4D iD5 Ako je par i sedlasta taka, konveksnog problema tada je optimum na skupu dopustivih

rjeenja . Ako imamo ogranienja tipa: QD QD Optimum mora biti na granici, osim u rijetkim sluajevima. Da bi taka D bila optimum uslov je da ne

smije postojati takav vektor koji e voditi u skup dopustivih rjeenja a koji e sa vektorom negativnog gradijenta zaklapati otar ugao:

DOD . Vektor OD mora biti: QDOD Taka D nije optimum ako je: DOD DOD Ako postoji OD kao rjeenje gornjeg problema tada taka D nije optimalna taka.



- Kuhn-Tucker-ovi uslovi optimalnosti Ogranienja su linearna. Za provjeru postavljamo pomoni linearni problem: DOD q DOD Gornji sistem ima 2 promjenjivu. elja nam je maksimizirati , pa na osnovu toga zakljuujemo da

ako je . taka D nije optimalna taka, a ako je to znai da taka D jeste optimalno rjeenje.

- Metod dopustivih smjerova Pretpostavimo poetnu taku, te naemo vektor kretanja OD sa korakom j te odredimo: D+ D jOD Svaki smjer je dopustiv ako vodi u skup dopustivih rjeenja i vrijednost funkcije opada. Odnosno

zakljuujemo da svaka naredna taka mora ostati u skupu dopustivih rjeenja. Vektor OD moemo odrediti:

- Sluajno (za mali broj promjenjivih) - Odaberemo D pa rjeimo sitem q - Stohastike metode (mravlje kolonije, rojenje estica...)

Napomena: sve stohastike metode su spore metode.

Documents

Optimizacione Metode u Elektrotehnici Predavanja 2011 2012