neuro09.pdf

Dr. Sven LonariNeuronske mree: Samoorganizirajue mree

Copyright by Sven Lonari

9-1

Neuronske mree:Samoorganizirajue mree

Prof. dr. sc. Sven Lonari

Fakultet elektrotehnike i [email protected]://ipg.zesoi.fer.hr

Uvod

Samoorganizirajue mree su one koje ue bez nadzora

Kod uenja bez nadzora ne postoji uitelj Nema informacije o tome koju bi vrijednosti izlazi

trebali imati za pojedine ulaze

Mrea mora sama otkriti uzorke, korelacije ili kategorije u ulaznim podacima

Da bi uenje bez nadzora bilo mogue potrebna je redundancija u ulaznim podacima

Bez redundancije ulazni podaci izgledali bi kao sluajni um i uenje ne bi bilo mogue

Uvod

Vrsta uzorka koju mrea otkriva u ulaznim podacima ovisi o arhitekturi mree

Postoji vie razliitih arhitektura samoorganizirajuihmrea koje se mogu koristiti za razne namjene

Openito, samoorganizirajua mrea moe detektirati razna svojstva ulaznih podataka navedena u nastavku

to predstavljaju izlazi ?

1. Slinost: Jedan kontinuirani izlaz moe pokazivati koliko je novi ulaz slian dosadanjim (prosjenim) uzorcima

2. Analiza glavnih komponenti: Proirenje mjerenja slinosti s jednim na mjerenje s vie vektora. Npr. upotreba vlastitih vektora korelacijske matrice ulaznih uzoraka.

3. Grupiranje: Skup binarnih izlaza gdje je samo jedan aktivan u jednom trenutku moe nam rei kojoj grupi pripada ulazni uzorak

to predstavljaju izlazi ?

4. Prototyping: Slino kao grupiranje samo izlaz je predstavnik grupe kojoj pripada ulazni uzorak (asocijativna memorija)

5. Kodiranje: Izlaz je kodirana verzija ulaza, uz koritenje manje bitova i ouvanje to vie relevantnih informacija (za kompresiju podataka)

6. Preslikavanje znaajki (engl. feature mapping): Ako su izlazni neuroni u nekom geometrijskom rasporedu (npr. dvodimenzionalno polje) i ako je samo jedan aktivan u svakom momentu

Pregled predavanja

Hebbovo uenje bez nadzora

Samoorganizirajua mrea s jednim neuronom Ojino pravilo uenja bez nadzora

Analiza glavnih komponenti

Jednoslojna samoorganizirajua mrea s bez povratnih veza

Sangerovo pravilo uenja bez nadzora za jednoslojnu mreu

Kompetitivno uenje bez nadzora



9-2

Jedan linearni neuron

Neka je N-dimenzionalni sluajni vektor s komponentama i, i = 1, , N

Samoorganizirajua mrea s jednim linearnim neuronom radi tako da se u svakom koraku generira sluajni vektor i postavi na ulaz mree

Nakon to je mrea vidjela dovoljan broj uzoraka moe na izlazu dati odgovor kako pojedini ulazni uzorak odgovara svojoj distribuciji

Najjednostavniji je sluaj s jednim linearnimneuronom

Jedan linearni neuron

Izlaz linearnog neurona dan je izrazom:

gdje je w vektor teina Kad imamo samo jedan neuron onda nam izlaz

moe biti mjera slinosti uzorka s ostalima: to je vjerojatniji odreeni ulazni vektor to mora biti vei izlaz v

Da bi to postigli, moemo koristiti Hebbov zakon uenja:

ww TTN

jjjwv ===

=1

ii vw =

Ojino pravilo uenja

Problem Hebbovog uenja je da vektor teina stalno raste i uenje nikad nije gotovo

Jedno rjeenje ovog problema naao je Oja kroz modifikaciju originalnog Hebbovog pravila

Ojino pravilo uenja bez nadzora:

)( iii vwvw =

Oja pravilo: Svojstva

Svojstva Ojinog algoritma uenja su takva da vektor teina konvergira ka vektoru w koji ima slijedea svojstva:1. |w|=12. w ima smjer maksimalnog vlastitog vektora korelacijske matrice C ulaznih vektora3. w ima smjer koji maksimizira E[v2]

Primjer Oja uenja

Slika prikazuje promjenu vektora teine za uenje prema Ojinom pravilu


engl. principal component analysis

Analiza glavnih komponenti je poznata metoda u raspoznavanju uzoraka i statistici

Analiza glavnih komponenti poznata je u analizisignala i slika pod nazivom Karhunen-Loevetransformacija



9-3


Ideja je da se za skup N-dimenzionalnih vektora nae M



9-4

Analiza glavnih komponenti:Saetak

Ako zadrimo samo prvih M



9-5

Winner-takes-all mrea

Ako su teine normirane tako da je npr. |wi|=1 onda je prethodni izraz ekvivalentan izrazu:

Drugim rijeima pobjednik je neuron s teinom najbliom ulaznom vektoru

Problem je sada kako odrediti teine wi Jedan nain uenja koji se moe koristiti je

standardno pravilo kompetitivnog uenja

iik ww

Kompetitivno uenje

Vektori teina se inicijaliziraju na neke sluajne poetne iznose

Na ulaz mree se dovode ulazni vektori prema sluajnom redoslijedu

Za svaki ulazni vektor odredi se neuron pobjednik i njegove teine se modificiraju prema pravilu:

Standardno pravilo kompetitivnog uenja pomie vektor teina u smjeru ulaznog vektora

)( kjjkj ww =

Kompetitivno uenje

Primjer s tri neurona i dvodimenzionalnim vektorima

Vektori teina su prikazani crveno, a ulazni vektori crno

Lijeva slika prikazuje poetno stanje

Desna slika prikazuje stanje nakon zavretka uenja

1

2

1

2

Mjerenje kvalitete grupiranja

esto je potrebno je na neki nain izmjeriti kvalitetu grupiranja koja je postignuta uenjem bez nadzora

Standardnom pravilu za kompetitivno uenje pridruena je funkcija cijene definirana izrazom:

gdje je L broj vektora, C broj grupa, N dimenzija vektora, a M={mil} matrica pripadnosti grupama koja pokazuje da li uzorak l pripada grupi i :

= = =

=L

l

C

i

N

jij

ljil wmE

1 1 1

2)(2

1

=i

l

il

ilC

Cm

,0

,1

Mjerenje kvalitete grupiranja

Ekvivalentan zapis funkcije cijene koja pokazuje kvalitetu grupiranja je:

gdje je k(l) indeks pobjednikog neurona za l-ti ulazni uzorak l

Gornji izraz pokazuje sumu kvadrata udaljenosti svih ulaznih vektora od centara grupa kojima pripadaju

To je mjera kvalitete grupiranja jer to je taj broj manji vektori su bolje koncentrirani oko centara grupa

=

=L

llk

lE1

2

)(2

1w

Primjene kompetitivnog uenja

Primjeri primjena kompetitivnog uenja su:

Biparticija grafa Kvantizacija vektora za kompresiju

Klasifikacija vektora za prepoznavanje objekata



9-6

Primjer: Biparticija grafa

Problem biparticije grafa sastoji se u podjeli grafa u dva podgrafa sa to manje grana koja ih povezuju

Problem biparticije moe se rijeiti mreom koja ima jedan binarni ulaz za svaki vor grafa i dva izlazna neurona za indikaciju particije

Ulazni skup vektora formira se tako da za svaku granu aktiviramo binarne ulaze koji odgovaraju incidentnim vorovima

Upotrebom kompetitivnog uenja mrea naui podijeliti graf u dva dijela, tako da za svaki ulaz (granu) daje odgovor kojoj particiji ta grana pripada

Primjer: Biparticija grafa

Primjer rezultata biparticije grafa neuronskom mreom

Crni vorovi pripadaju jednoj particiji a bijeli drugoj

Primjer: Kvantizacija vektora

Problem se sastoji u tome da se kategorizira dani skup vektora u M klasa i zatim svaki vektor predstavi klasom kojoj pripada

Na taj nain se postie kompresija podataka

Prenosi se ili pohranjuje samo indeks klase u kodnoj stranici a ne cijeli vektor

Kodna stranica sadri po jedan vektor predstavnik pojedine klase

Za svaki ulazni vektor trai se najblii predstavnik u smislu Euklidske udaljenosti (to vodi na Voronoiteselaciju prostora)

Voronoi teselacija prostora

Kod Voronoi teselacije prostor je podijeljen u poligonalne regije koje su odreene prototipnim vektorima

Svaka regija predstavlja skup toaka koje su najblie (u smislu Euklidskom udaljenosti) pripadnom prototipnom vektoru

Granice su okomite na linije koje povezuju centre regija

Primjer: Kvantizacija vektora

Ilustracija upotrebe kompetitivnog uenja za vektorsku kvantizaciju

nakupina ulaznih vektora (sivo)

vektori teinanakon uenja(crne toke)

Preslikavanje znaajki

engl. feature mapping

Do sada nismo obraali panju na geometrijski raspored kompetitivnih izlaznih neurona

esto je korisno rasporediti izlazne neurone u 1-D raspored ili u 2-D raspored

Tada moemo zamisliti mree gdje bliski ulazi odgovaraju bliskim izlazima odnosno ako ulazi nisu blizu onda ni izlazi ne smiju biti blizu

To je onda preslikavanje koje uva topologiju Korisno pri vizualizaciji viedimenzionalnih prostora



9-7

Kohonenov algoritam

Kohonen je koristio kompetitivnu mreu i nain uenja

Kohonenov algoritam uenja podeava teine u nekoj okolini pobjednikog neurona:

gdje je (i,k) funkcija koja se smanjuje s udaljenou od pobjednikog neurona k i koja odreuje susjedstvo unutar kojeg se vri uenje

))(,( ijjij wkiw =

Primjer 2-D preslikavanja znaajki

Kohonenovo 2-D preslikavanjeznaajki iz kvadratne regije ravnine na polje od 1010 neurona

Prikazano je etiri stanja u procesu uenja, gdje je ulaz 2-D sluajni vektor

Zakljuak

Samoorganizirajue mree koriste uenje bez nadzora

Uenje bez nadzora korisno je u velikom broju aplikacija kad nije raspoloiva informacija o eljenom izlazu

Primjene ukljuuju: klasifikaciju objekata ili uzoraka, vektorsku kvantizaciju za upotrebu u kompresiji, grupiranje (clustering) za analizu podataka, preslikavanje znaajki

Documents

neuro09.pdf