NEURONSKE MRENEURONSKE MREŽEŽE

BIOLOŠKE OSNOVEBIOLOŠKE OSNOVE

Dendrites

Synapse

Axon

BrojBroj neuron neuronaa:: ~ 10~ 101010

Broj sinapsi po neuronuBroj sinapsi po neuronu:: 11004 4 to 10to 1055

Vreme promene stanja neurona Vreme promene stanja neurona ((switching timeswitching time) ) :: ~ 0.001 second~ 0.001 second

Vreme prepoznavanje sceneVreme prepoznavanje scene:: ~ 0.1 ~ 0.1 secondsecond

DEFINICIJA DEFINICIJA NEURONSKIH MREŽA NEURONSKIH MREŽA Neuronske mreže simuliraju način rada Neuronske mreže simuliraju način rada

ljudskog mozga pri obavljanju datog zadatka ljudskog mozga pri obavljanju datog zadatka ili neke funkcije. Neuronska mreža je ili neke funkcije. Neuronska mreža je masovno paralelizovan distribuirani procesor masovno paralelizovan distribuirani procesor sa prirodnom sposobnošću memorisanja sa prirodnom sposobnošću memorisanja iskustvenog znanja i obezbedivanja njegovog iskustvenog znanja i obezbedivanja njegovog korišćenja. Veštačke neuronske mreže korišćenja. Veštačke neuronske mreže podsećaju na ljudski mozak u dva pogleda:podsećaju na ljudski mozak u dva pogleda:

1.1. Neuronska mreža zahvata znanje kroz Neuronska mreža zahvata znanje kroz proces obučavanjaproces obučavanja

2.2. Težine medjuneuronskih veza (jačina Težine medjuneuronskih veza (jačina sinaptičkih veza) služe za memorisanje sinaptičkih veza) služe za memorisanje znanja.znanja.

Procedura kojom se obavlja obučavanje Procedura kojom se obavlja obučavanje je je algoritam obučavanjaalgoritam obučavanja. Kroz ovu se . Kroz ovu se procesuru se na algoritamski procesuru se na algoritamski (sistematičan) način menjaju sinaptičke (sistematičan) način menjaju sinaptičke težine u cilju dostizanja željenih težine u cilju dostizanja željenih performansi mreže.performansi mreže.

Osnovnu računarsku snagu neuronskih Osnovnu računarsku snagu neuronskih mreža čini masivni paralelizam, mreža čini masivni paralelizam, sposobnost sposobnost obučavanja i generalizacijaobučavanja i generalizacija..

GeneralizacijaGeneralizacija predstavlja sposobnost predstavlja sposobnost produkovanja zadovoljavajućeg izlaza produkovanja zadovoljavajućeg izlaza neuronske mreže i za ulaze koji nisu bili neuronske mreže i za ulaze koji nisu bili prisutni u toku obučavanja.prisutni u toku obučavanja.

SVOJSTVA SVOJSTVA NEURONSKIH MREŽA NEURONSKIH MREŽA Nelinearnost, koja je u osnovi distribuirana.Nelinearnost, koja je u osnovi distribuirana. Ulazno-izlazno preslikavanje, koje se Ulazno-izlazno preslikavanje, koje se

restauriše kroz proces obučavanjarestauriše kroz proces obučavanja Adaptivnost-sposobnost menjanja jačine Adaptivnost-sposobnost menjanja jačine

sinaptičkih veza.sinaptičkih veza. Evidencionalni odziv. Neuronska mreža kao Evidencionalni odziv. Neuronska mreža kao

izlaz može da produkuje i stepen uverenja izlaz može da produkuje i stepen uverenja o datoj odluci.o datoj odluci.

Kontekstualna informacija. Svaki neuron u Kontekstualna informacija. Svaki neuron u neuronskoj mreži je pod uticajem globalne neuronskoj mreži je pod uticajem globalne aktivnosti ostalih neurona. Stoga je aktivnosti ostalih neurona. Stoga je kontekstualna informacija prirodno kontekstualna informacija prirodno imanentna ovim strukturamaimanentna ovim strukturama

SVOJSTVA NEURONSKIH SVOJSTVA NEURONSKIH MREŽAMREŽA Otpornost na otkaz.Otpornost na otkaz. Mogućnost realizacije u VLSI (Very Large Scale Mogućnost realizacije u VLSI (Very Large Scale

Integration) tehnologiji.Integration) tehnologiji. Uniformnost analize i sinteze. Neuron je Uniformnost analize i sinteze. Neuron je

zajednički element za sve tipove neuronskih zajednički element za sve tipove neuronskih mreže. Modularne neuronske mreže se mogu mreže. Modularne neuronske mreže se mogu formirati integracijom pojedinih celina-modula. Za formirati integracijom pojedinih celina-modula. Za rešavanje različitih praktičnih problema koriste se rešavanje različitih praktičnih problema koriste se iste teorijske postavke i algoritmi obučavanja.iste teorijske postavke i algoritmi obučavanja.

Neurobiološke analogije. Neurobiolozi gledaju na Neurobiološke analogije. Neurobiolozi gledaju na neuronske mreže kao istraživački alat za neuronske mreže kao istraživački alat za interpretaciju neurobioloških fenomena, i interpretaciju neurobioloških fenomena, i obrnuto, inženjeri gledaju na neurobiologiju kao obrnuto, inženjeri gledaju na neurobiologiju kao oblast iz koje mogu da izvlače nove ideje za oblast iz koje mogu da izvlače nove ideje za rešavanje kompleksnijih problema od onih koji se rešavanje kompleksnijih problema od onih koji se mogu rešiti klasičnim hardversko-softverskim mogu rešiti klasičnim hardversko-softverskim tehnikama.tehnikama.

MODELI NEURONAMODELI NEURONA

Model neurona čine tri bazična Model neurona čine tri bazična elementa:elementa:

Skup Skup sinaptičkih težinasinaptičkih težina . Pozitivne težine . Pozitivne težine odgovaraju ekscitirajućim sinaptičkim odgovaraju ekscitirajućim sinaptičkim vezama, a negativne inhibitornim. vezama, a negativne inhibitornim.

SumatorSumator (linearni kombajner) – formira (linearni kombajner) – formira težinsku sumu ulaza.težinsku sumu ulaza.

Aktivaciona funkcijaAktivaciona funkcija – limitira amplitudu – limitira amplitudu izlaznog signala neurona. Tipično se izlaznog signala neurona. Tipično se uzima normalizacija izlaza na interval uzima normalizacija izlaza na interval [0,1] ili [-1,1].[0,1] ili [-1,1].

a( . )

1kw

2kw

kmw

1x

2x

mx

ku ky

k

sumator aktivaciona

funkcija

prag

izlaz

ulazi

sinaptičke veze

m

jjkjk xwu

1

)( kkk uay

.,1,)(, 00 kkkkjkjk wxvayxwv

a( . )

1kw

2kw

kmw

1x

2x

mx

ku ky

k

sumator aktivaciona

funkcija

prag

izlaz

ulazi

sinaptičke veze

fiksni ulaz

10 x

kkw 0

Nelinearni model neurona sa proširenim ulazom i prenosom praga u sinaptičku težinu.

kk bwax 00 ,1

kb

Ako stavimo da je , tada se naziva bajas, videti sl.3.3.kk bwax 00 ,1 kb

a( . )

1kw

2kw

kmw

1x

2x

mx

ku ky

k

sumator aktivaciona

funkcija

prag

izlaz

ulazi

sinaptičke veze

fiksni ulaz

10 x

kk bw 0

Sl.3.3. Nelinearni model neurona sa proširenim ulazom i bajasom u obliku sinaptičke težine

TIPOVI AKTIVACIONIH TIPOVI AKTIVACIONIH FUNKCIJA FUNKCIJA

Razlikujemo sledeće najčešće Razlikujemo sledeće najčešće tipove aktivacionih funkcija.tipove aktivacionih funkcija.

Funkcija pragaFunkcija praga

0,0

0,1)(

v

vva

a(v)

1

0 v

Sl.3.4. Aktivaciona funkcija tipa praga. Neuron sa ovom aktivacionom funkcijom je poznat kao Mek Kuloč – Pitasov model neurona (1943)

U delovima linearna

2/1,0

2/12/1,2/1

2/1,1

)(

v

vv

v

va

a(v)

1

-1/2 1/2v

Sigmoidalna (logistička)

)exp(1

1)(

bvva

a(v)

v

1 1b

2b

21 bb

Sl.4.6. Sigmoidalna (logistička) aktivaciona funkcija. Parametar b je parametar nagiba.

0,1

0,0

0,1

)(

v

v

v

va

a(v)

1

0 v

-1

Sl.4.7. Bipolarna aktivaciona funkcija tipa znaka (sgn(v))

)exp(1

)exp(1)

2tanh()(

v

vvva

a(v)

v

1 1b

2b

21 bb

-1

Sl.4.8. Bipolarna aktivaciona funkcija tipa tangensa hiperboličnog (sigmoidalna aktivaciona funkcija)

ulazni sloj izlazni sloj

Sl.4.9. Jednoslojni perceptron sa prostiranjem unapred

ulazni sloj izlazni sloj

skriveni sloj

Sl.4.10. Višeslojna neuronska mreža sa prostiranjem unapred

1z 1z1z

Sl.4.11. Rekurentna neuronska mreža bez sopstvenih povratnih sprega i skrivenih slojeva. Operator

1z

ima značenje jediničnog vremenskog kašnjenja

1z

1z

1z

1z

1z

text

text

text

text

text

text

text

text

texttext

text

ulaz

izlaz

Sl.4.12. Rekurentna neuronska mreže sa skrivenim slojem

PREZENTACIJA ZNANJA U PREZENTACIJA ZNANJA U NEURONSKIM MREŽAMANEURONSKIM MREŽAMA

Znanje o okruženju je generalno dvojakoZnanje o okruženju je generalno dvojako Poznata znanja o okruženju, izražena kroz Poznata znanja o okruženju, izražena kroz

činjenice o tome šta je poznato – apriorno činjenice o tome šta je poznato – apriorno znanje.znanje.

Observacije (merenja) – dobijena od različitih Observacije (merenja) – dobijena od različitih senzora kao odraz stanja okruženja. Na senzora kao odraz stanja okruženja. Na osnovu ovih observacija se kreiraju osnovu ovih observacija se kreiraju obučavajući skupovi za obučavanje obučavajući skupovi za obučavanje neuronskih mreža. Svaki primer u njemu se neuronskih mreža. Svaki primer u njemu se sastoji od parova (ulaz, izlaz).sastoji od parova (ulaz, izlaz).

Obučavajući skupoviObučavajući skupovi predstavljaju znanje o predstavljaju znanje o okruženju od interesa.okruženju od interesa.

U klasičnom procesiranju, prirodno je prvo U klasičnom procesiranju, prirodno je prvo kreirati matematički model observacija, kreirati matematički model observacija, izvršiti validaciju ovog modela na realnim izvršiti validaciju ovog modela na realnim podacimapodacima

Neuronske mreže su direktno bazirane na Neuronske mreže su direktno bazirane na podacima i daju implicitni model okruženja uz podacima i daju implicitni model okruženja uz istovremeno obavljanje željenog procesiranja.istovremeno obavljanje željenog procesiranja.

Znanje o okruženju u neuronskim mrežama je Znanje o okruženju u neuronskim mrežama je kodovano kroz konkretne vrednosti slobodnih kodovano kroz konkretne vrednosti slobodnih parametara dobijenih kroz obučavanje.parametara dobijenih kroz obučavanje.

Teško je bilo šta konkretno reći o Teško je bilo šta konkretno reći o reprezentaciji samog znanja unutar reprezentaciji samog znanja unutar neuronske mreže.neuronske mreže.

Postoje četiri pravila o reprezentaciji znanja Postoje četiri pravila o reprezentaciji znanja u neuronskim mrežama, koji su opšte u neuronskim mrežama, koji su opšte prirode.prirode.

Pravilo 1. Slični ulazi sličnih klasa Pravilo 1. Slični ulazi sličnih klasa prouzrokuju sličnu unutrašnju prouzrokuju sličnu unutrašnju reprezentaciju.reprezentaciju.

Pravilo 2. Primeri koji pripadaju različitim Pravilo 2. Primeri koji pripadaju različitim klasama treba da budu predstavljeni klasama treba da budu predstavljeni različitim unutrašnjim reprezentacijama.različitim unutrašnjim reprezentacijama.

Pravilo 3. Apriorne informacije se ugradjuju Pravilo 3. Apriorne informacije se ugradjuju direktno u neuronsku mrežu bez procesa direktno u neuronsku mrežu bez procesa obučavanja (specijalizacija strukture). Ovo obučavanja (specijalizacija strukture). Ovo se postiže ilise postiže ili1.1. restrikcijom arhitekture (lokalne konekcije)restrikcijom arhitekture (lokalne konekcije)2.2. restrikcijom izbora sinaptičkihh težina (weight restrikcijom izbora sinaptičkihh težina (weight

shearing – metoda zajedničkih sinaptičkih težina).shearing – metoda zajedničkih sinaptičkih težina).

Specijalizacijom strukture se postiže:Specijalizacijom strukture se postiže: manji broj slobodnih parametaramanji broj slobodnih parametara manji potrebni obučavajući skupovimanji potrebni obučavajući skupovi brže obučavanjebrže obučavanje bolja generalizacijabolja generalizacija ubrzana je prenos signala kroz ubrzana je prenos signala kroz

restriktovanu neuronsku mrežurestriktovanu neuronsku mrežu cena realizacije je manja.cena realizacije je manja.

OBUČAVANJE NEURONSKIH OBUČAVANJE NEURONSKIH MREŽAMREŽA

Obučavanje je proces adaptiranja Obučavanje je proces adaptiranja slobodnih parametara neuronske mreže, slobodnih parametara neuronske mreže, koji se obavlja kroz stimulaciju koji se obavlja kroz stimulaciju okruženja u kome se neuronska mreža okruženja u kome se neuronska mreža nalazi. Proces obučavanja je klasifikovan nalazi. Proces obučavanja je klasifikovan u tri kategorije:u tri kategorije:1.1. obučavanje sa učiteljem (nadzorom), obučavanje sa učiteljem (nadzorom),

(supervized learning)(supervized learning)2.2. obučavanje sa podsticanjem obučavanje sa podsticanjem

(reinforcement learning)(reinforcement learning)3.3. samoobučavanje (obučavanje bez samoobučavanje (obučavanje bez

učitelja), (unsupervised learning)učitelja), (unsupervised learning)

Neuronska mreža

W

Generatorsignala greške

ulaz izlaz

signal greške željeni signal

yx

Sl.6.1.a Obučavanje sa učiteljem

Neuronska mreža

W

Generatorsignala kritike

ulaz izlaz

signal kritike signal podsticanja

yx

Sl.6.1.b.Obučavanje sa podsticanjem

Neuronska mreža

Wulaz izlaz

yx

Sl.6.1.c. Samoobučavanje

Kod obučavanja sa učiteljem prisutan je obučavajući skup u formi parova )()( , ii dX

gde je )(iX ulaz, a )(id željeni izlaz.

Kod obučavanja sa podsticanjem, neuronska mreža dobija rudimentirane informacije o tome kakav izlaz produkuje, najčešće samo u formi jednog bita informacije tipa {dobar, loš}. Analogno obučavanju sa učiteljem, ova forma obučavanja se može tretirati na isti način s tim što umesto učitelja, koji egzaktno ukazuje kakav odziv neuronske mreže treba da bude, u ovom slučaju imamo “kritičara” koji daje grublju ocenu odziva neuronske mreže.Samoobučavanje je karakterisano odsustvom bilo kakve povratne sprege od okruženja.

OPŠTA FORMA PRAVILA OPŠTA FORMA PRAVILA OBUČAVANJAOBUČAVANJA

Generatorsignala

obučavanja

iy

idr

iW

X

1x

2x

1mx

1mx

i-ti neuron

1iw

2iw

1miw

imw

X

Sl.6.1.Opšta šema obučavanja i-tog neurona

HEBOVO UČENJEHEBOVO UČENJE

Hebov princip učenja je jedan od Hebov princip učenja je jedan od najstarijih i najpoznatijih. Zasniva se na najstarijih i najpoznatijih. Zasniva se na Hebovom postulatu:Hebovom postulatu:

Kada je akson neurona A dovoljno blizu Kada je akson neurona A dovoljno blizu neurona B, tako da ga može eksitovati, i neurona B, tako da ga može eksitovati, i ako se to ponavlja dovoljno često, ako se to ponavlja dovoljno često, dešavaju se takve promene i metabolički dešavaju se takve promene i metabolički procesi u obe ćelije da je efikasnost procesi u obe ćelije da je efikasnost uticaja neurona A na neuron B uticaja neurona A na neuron B povećana.povećana.

., xywyr iii

Hebovo učenje je u osnovi samoobučavajuće, budući da nije prisutan signal željenog izlaza. U skalarnoj formi (6.4), ima formu

mjnixyw jiij ,...,2,1,,...,2,1,

minE

0w )(nw)1( nw

w

eEw

)(

w

wE

)(

)(wE

w

Sl.7.1. Ilustracija Vidrov-Hofovog pravila obučavanja za jedan koeficijent sinaptičkih težina w.

Gradient DescentGradient Descent

Gradient:

nw

E

w

E

w

EwE ,...,,][

10

ii w

Ew

Pravilo obučavanja: ][wEw

2)(2

1][

Dddd otwE