INTELIGENTNI SISTEMI Primjene neuronskih mrežalejla-bm.com.ba/IS/IS_11_Primjene_NM.pdf · 14.12.2014 11 Primjena neuronskih mreža u upravljačkim strukturama Inteligentno upravljanje

14.12.2014

1

INTELIGENTNI SISTEMI

Primjene neuronskih mreža

Vanr. Prof.dr. Lejla Banjanovic-Mehmedovic

Copyright: Lejla Banjanović-Mehmedović

1Inteligentni sistemi 11

Primjene neuronskih mreža

� Aproksimacija funkcija

� Klasifikacija

� Predikcija

� Identifikacija i upravljanje



14.12.2014

2

Neuronske mreže kao aproksimatori funkcija



Neuronske mreže kao aproksimatori funkcija

� Ulaz:

� Pomoćna varijabla:

� Izlaz:

� Skup podataka za treniranje:


( ) ( ) ( ) ( )[ ]Tn ixixixix ,,, 21 L=

( ) ( ) ( ) ( )[ ]Tn iziziziz

z,,, 21 L=

( ) ( ) ( )( ),y i G x i z i=

( ) ( )( ) ( ) ( )( ){ }1 , 1 , , ,G x y x M y M= L


14.12.2014

3

Definicija problema aproksimacije funkcije

� Problem aproksimacije je odreñivanje optimalnih vrijednosti parametara θ = θ* uz koje je funkcija Fnajbolja aproksimacija funkcije G:

� Kao mjera kvaliteta:


[ ] θρ θ ρ θ θ∗ ≤ ∀ ∈ ( )( , ), ( ) ( , ), ( ) , RnF G F Gx x x x

[ ]1

( , ), ( ) ( ) ( , ) ( ) ( , )p

p

pC

F G G F G F dxρ θ θ θ = − = − ∫x x x x x x

[ ]2 2

1 1

( ( )) ( , ( )) ( ( )) ( , ( ))N N

v v

G v F v G v F vθ θ∗

= =

− ≤ − ∑ ∑x x x x



Primjer: neuronske mreže kao aproksimatori funkcije

Loša aproksimacija neuronske mreže

strukture [5 1] sa brzinom učenja 0.05

Konfiguracija mreže [10 5 1] kroz 100 epoha treniranja, koja daje mnogo bolje rezulate


14.12.2014

4

Aproksimacija funcije prema ulaznim uzorcima

Rezultat treniranja neuronske mreže sa 1 neuronom u skrivenom sloju

Rezultat treniranja neuronske mreže sa 5 neurona u skrivenom sloju pri prilagoñenju funkcije prema ulaznim uzorcima



Primjena MLP neuronskih mreža u klasifikaciji i predikciji



14.12.2014

5

RELEVANTNI PARAMETRI SISTEMAKLASIFIKACIJE KVALITETA UGLJA

� Za potrebe klasifikacije i predikcije korišten je sljedeći skup atributa:

Naziv atributa

Opseg vrjednosti

B=Rudnik01, D=Rudnik02, M=Rudnik03, S=Rudnik04

[Eksplo] 0=Kop, 1=Jama

[Sinklin] J,S

[NAsortiman] M=Mješani, O=Orah, S=Sitni

[Dekada] I,II,III

[Mjesec] 1-12

[Dan] 1-7

[BrVagona] 1-15

[GVlaga] 13,4-52,4

[HVlaga] 0-33,12

[Pepeo] 1,06-50,2

[Z] N, D

[K] A,B,C,D,E,F,G

Oznaka

klase

Vrijednosti

unutar klase

A više od 12000

B 12000-11000

C 11000-10000

D 10000- 9000

E 9000- 8000

F 8000- 7000

G manje od 7000



10

KLASIFIKACIJA KVALITETA UGLJA

1x

2x

1y

2y

3y



14.12.2014

6

11

Klasifikacija korištenjem neuronskih mreža

� Analiza dobivenih rezultata

� Promjena brzine učenja

�Correctly classified instances

�Root mean squared error



12



� Promjena momenta učenja





14.12.2014

7

13



� Promjena broja neurona

� Correctly classified instances

� Root mean squared error



14



� Promjena broja epoha





14.12.2014

8

Kriteriji za evaluaciju modela

� Prikaz mogućih rezultata pri rješavanja problema klasifikacije u dvije klase

� Ispravna klasifikaciju uzoraka:� Stvarno pozitivni (eng. true positive – TP)

� Stvarno negativni (eng. true negative – TN)

� Greške u klasifikaciji:

� Lažno pozitivni (eng. false positive– FP) i

� Lažno negativni (eng. false negative – FN)

Inteligentni sistemi 11 Copyright: Lejla Banjanović-Mehmedović

15

Klasifikacija Stvarna klasifikacija

Željena klasifikacija

Ponašanje Normalno ponašanje Poremećaj

Normalno ponašanje Stvarno pozitivno Lažno pozitivno

Poremećaj Lažno negativno Stvarno negativno

Kriteriji za evaluaciju modela

� Tačnost (eng. accuracy – ACC):

� Preciznost (eng. precision– PR):

� Senzitivnost (eng. sensitivity ili true positive rate – TPR) ili (eng. recall):


16

14.12.2014

9

Kriteriji za izračunavanje greške� Srednja apsolutna greška (eng. mean absolute error – MAE):

� Korijen srednje kvadratne greške (eng. root mean squared error –RMSE):

� Relativna apsolutna greška (eng. relative absolute error– RAE):

� Korijen relativne kvadratne greške (eng. root relative squared error–RRSE):

� ai - stvarne vrijednosti, pi - željene vrijednosti


17

18


� Analiza efekata optimizirane neuronske mreže pri predikciji kvalteta uglja za proizvoljno odabran broj uzoraka



14.12.2014

10

19


� Analiza efekata optimizirane neuronske mreže pri predikciji kvalteta uglja za proizvoljno odabran broj uzoraka

KOMPARCIJA STVARNE I PREDIKTOVANE ZAGARANTOVANE VRIJEDNOSTI KVALITETA ZA PRVIH 250 UZORAKA

8000

9000

10000

11000

12000

13000

14000

0 25 50 75 100 125 150 175 200 225 250

Uzorak

En

erg

etsk

a vr

ijed

no

st

Prediktovano Z Stvarno Z

KOMPARACIJA STVARNE I PREDIKTOVANE VRIJEDNOST KLASE KVALITETA

6000

7000

8000

9000

10000

11000

12000

13000

0 25 50 75 100 125 150 175 200 225 250

Uzorak

En

erg

etsk

a vr

ijed

no

st

Prediktovano K Stvarno K



Primjena neuronskih mreža u identifikaciji



14.12.2014

11

Primjena neuronskih mreža u upravljačkim strukturama

� Inteligentno upravljanje je klasa upravljačkih tehnika koja koristi različite računarske tehnike vještačke inteligencije poput:

� neuronskih mreža

� Bayesove vjerovatnoće

� fuzzy logike

� mašinskog učenja

� evolucionog računarstva

� genetskih algoritama

� i njihovih kombinacija

Inteligentni sistemi 11 21Copyright: Lejla Banjanović-Mehmedović

Neuronske mreže

� Podjela NM prema načinu prostiranja signala kroz mrežu :

� Statičke mreže (eng. feedforward) - primaju ulaze u jednom prolazu, viši slojevi ne vraćaju informacije u niže slojeve

� Dinamičke mreže (eng.feedback) - primaju ulaze u vremenskim intervalima, viši slojevi vraćaju informacije unazad u niže slojeve

� Statičke neuronske mreže sadrže težinske koeficijente povezane samo u unaprijednoj vezi, bez elemenata kašnjenja. Kod ovih mreža, s obzirom da nemaju dinamičke memorije, izlaz mreže zavisi samo od trenutnih ulaza i težinskih koeficijenata.

� Za razliku od statičkih, dinamičke neuronske mreže u svojoj strukturi sadrže povratne veze, odnosno, u povratnim vezama se nalaze težinski koeficijenti i elementi kašnjenja, što je ključno za sposobnost memorisanja podataka u mreži.

Inteligentni sistemi 11 22Copyright: Lejla Banjanović-Mehmedović

14.12.2014

12

� Dinamičke mreže:

� Hopfieldove neuronske mreže

� Elmanove neuronske mreže

� NARX neuronske mreže

� Hopfieldove neuronske mreže su jednoslojne mreže s povratnim djelovanjem s izlaza na ulaz mreže.

� Elmanove neuronske mreže su višeslojne dinamičke neuronske mreže.

� NARX neuronske mreže – Ove neuronske mreže sastoje se od MLP neuronske mreže kojoj je izvana dodano povratno djelovanje i to tako da se na ulaz mrežedovode vrijednosti izlaznih signala mreže iz prethodnogkoraka uzorkovanja.

Dinamičke neuronske mreže


Inteligentni sistemi 11 23

NARX mreže


Matematički opis NARX mreže zasniva se na matematičkom opisu MLP mreže.


14.12.2014

13

� Zbog svoje nelinearne prirode (nelinearne aktivacijske funkcije), neuronske mreže su pogodne za realizaciju kompleksnih nelinearnih funkcija i sistema.

� Osnovna osobina zbog koje su neuronske mreže vrlo dobar alat za identifikaciju sistema je mogućnost da uče iz iskustva (treniranje).

� Neuronske mreže se mogu primijeniti i na netrenirane ulaze, gdje se na osnovu naučenog može prediktovati izlaz iz procesa.




� Promatranjem tehničkih sistema, teoretskom analizom se dobivaju tzv. fizikalni matematički modeli sistema, koji fizikalne zakonitosti njegovog ponašanja opisuju matematičkim jednačinama. Taj se postupak naziva modeliranjem sistema.

� Eksperimentalna analiza podrazumijeva odreñivanje tzv. eksperimentalnog matematičkog modela sistema na osnovu skupa mjernih vrijednosti ulaznih i izlaznih signala sistema. Ovaj se postupak naziva identifikacijom sistema.




14.12.2014

14

� Postupak identifikacije odvija se u nekoliko osnovnih koraka:

� prikupljanje ulazno-izlaznih podataka, tj. mjernih vrijednosti ulaznih i izlaznih signala procesa

� izbor strukture modela procesa

� izbor kriterija kvaliteta modela procesa

� estimacija parametara modela procesa

� izbor optimalne dimenzije modela i njegovo vrednovanje.

Identifikacija sistema



Blok šema postupka identifikacije procesa



14.12.2014

15

� Uobičajena pretpostavka u identifikaciji procesa je da je proces koji se identificira linearan i vremenski nepromjenljiv.

� Meñutim, kod nekih procesa nelinearnost je jako izražena tako da linearni modeli nisu dovoljno dobri za opis njihovog ponašanja, već se moraju primijeniti nelinearni modeli.





� Ponašanje nelineranog dinamičkog sistema u prostoru stanja:

� Kao aproksimacijska funkcija primjenjuje se:

� Parametriranjem funkcije odreñena je struktura modela procesa:

� Predikcijski model procesa ili prediktor!

� Vektor signala greški izmeñu izlaznih signala procesa i modela (vektor predikcijskih greški):


),,,( 11 Θ−− kkN yukf

),,,()( 11 Θ= −−∧

kkN yukfky

)()()( kykyke∧

−=


)(),,()( 11 kyukfky kk ζ+= −−

14.12.2014

16


� U statistici se predikcijski model naziva nelinearnom regresijom.

� Vektor - regresijski vektor, njegove komponente - regresori


31

)(kϕ

[ ] ),)(),(()),(()( Θ=Θ=∧

kkfkfky uyNN ϕϕϕ

[ ] [ ]Tuy nbkukunakykykkk )(),...,1(),(),...,1()(),()( −−−−== ϕϕϕ


� Razdvajanjem funkcije u kompoziciju dviju funkcija razdvaja se i problem izbora strukture opšteg nelinearnog modela procesa na dva zasebna problema:� izbor regresijskoga vektora , odnosno funkcije

koja preslikava prostor prošlih mjernih vrijednosti ulaznih i izlaznih signala procesa u regresijski prostor i

� izbor aproksimacijske funkcije koja preslikava regresijski prostor u izlazni prostor modela procesa


)(kϕ ),( 11 −− kk yuϕ

),( ΘϕNf


14.12.2014

17

Modelske strukture

� U najopštijem slučaju, struktura modela može imati oblik:


33

� Nelinearni modeli:•NFIR modeli (engl. Nonlinear FIR models)•NARX modeli (engl. Nonlinear ARX models)•NOE modeli (engl. Nonlinear OE models) •NARMAX modeli ( engl. Nonlinear ARMAX models),•NBJ modeli (engl. Nonlinear BJ models).

Inteligentni sistemi 11

Izbor regresijskog vektora


Izbor (pseudo) regresijskog vektora φ(k)

� Tabela 1. Pregled regresora, odgovarajućih linearnih modela i

grupa nelinearnih modela procesa

RegresoriLinearni

model

Grupa

nelinearnih

modela

FIR model NFIR modeli

ARX model NARX modeli

OE model NOE modeli

ARMAX

model

NARMAX

modeli

BJ model NBJ modeli


14.12.2014

18

Aproskimator nelinearne funkcije


�


Documents

INTELIGENTNI SISTEMI Primjene neuronskih mrežalejla-bm.com.ba/IS/IS_11_Primjene_NM.pdf · 14.12.2014 11 Primjena neuronskih mreža u upravljačkim strukturama Inteligentno upravljanje