UČENJE I VIŠI KOGNITIVNI PROCESI Prolećni semestar 2013. Predavač: Goran S. Milovanović

Predavanje 9 – vežbe SIMBOLIČKE FUNKCIJE – Deo IIb: Distribuirane reprezentacije, emergentizam i dinamički sistemi

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 2

KONEKCIONISTIČKI POKRET PDP: Paralelno distribuirani procesi

Rumelhart, D.E., J.L. McClelland and the PDP Research Group (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition.

Volume 1: Foundations, Cambridge, MA: MIT Press Volume 2: Psychological and Biological Models, Cambridge, MA: MIT Press

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 3

KONEKCIONIZAM Višeslojne neuronske mreže sa propagacijom signala unapred (Feedforward Multilayer Perceptron)

1 0 Input

Ulazne jedinice

w = +1 w = +1

.5 Izlazna jedinica

i1 i2 i3 i4 i5 i6 i7

O

w1 w2 w3 w4 w5 w6 w7

Implementacija logičkog ILI (logical OR)

Ideja: klasifikacija složajeva sa inputa

1 0 Input

Ulazne jedinice

w = +1 w = +1

0.5 Izlazna jedinica

1.5

w = +1 w = +1

w = -2

Skrivena jedinica

Najjednostavniji perceptron sa skrivenim slojem: implementacija logičkog ekskluzivno ILI (logical XOR)

NEURONSKE MREŽE SA JEDNIM SLOJEM JEDINICA UČE SAMO LINEARNO SEPARABILNE KATEGORIJE.

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 4

KONEKCIONIZAM Višeslojne neuronske mreže sa propagacijom signala unapred (Feedforward Multilayer Perceptron)

krila

krzno

perje

trči

roni

leti

doji

leže jaja

reži

SISAR

PTICA

RIBA

GMIZAVAC

Greška = Predikcija mreže – Željena

vrednost

Povratna propagacija signala greške kroz mrežu podešavanje težine veza

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 5

KONEKCIONIZAM Učenje algoritmom povratne propagacije signala greške (Backpropagation Learning Algorithm)

• Algoritam povratne propagacije signala za učenje u višeslojnim perceptronima otkriven je, po svemu sudeći, više puta, od strane istraživača koji su radili nezavisno jedni od drugih, tokom istorije psihologije druge polovine XX veka.

• „Kanonička forma“ je ona koju daju konekcionisti okupljeni oko PDP grupe 80-ih godina.

• U suštini, čuveni back-prop algoritam je generalizacija Vidrou-How (tj. R-W) algoritma za učenje jednoslojnih neuronskih mreža. „Kvaka“ je u načinu na koji se izračunava korekcija za težine veza jedinica u skrivenim slojevima + par tehničkih detalja.

• Back-prop uči nelinarno separabilne kategorije, naravno.

• Back-prop ima svojih ograničenja, i ona nisu trivijalna, ali... back-prop će sa lakoćom slomiti ogromnu većinu problema učenja koje smo uopšte razmratrali. J. McClleland D. Rummelhart

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 6

KONEKCIONIZAM Učenje algoritmom povratne propagacije signala greške: uloga skrivenog sloja jedinica

s1 s2 s3 s4

C1 C2

• Pretpostavimo da je tipičan C1 onaj koji ima visoko s1 i visoko s2, a nisko s3 i nisko s4.

• Pretpostavimo da je tipičan C2 ona koji ima visoko s3 i visoko s4, a nisko s1 i nisko s2.

• Pretpostavimo da postoji član C1 koji ima visoko s1 i visoko s3, a nisko s2 a nisko s4. Izuzetak, zar ne?

+ + -

-

+ -

Uvođenje jedinica u skrivenom sloju obezbeđuje mogućnost kodiranja „ekscentričnih“ inputa, ako i kada ih ima – tako je moguće kodirati strukture nelinearno separabilnih problema kategorizacije.

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 7

KONEKCIONIZAM Teorija distribuiranih reprezentacija

C1 C2

+ + -

-

+ -

LOKALIZACIJA INFORMACIJA U KOGNITIVNIM REPREZENTACIJAMA Propozicija: Golub je ptica. Propozicija: Njujork je grad. - Gde tačno se nalazi informacija o tome da je golub ptica, a Njujork grad? Odgovor: nigde tačno, ta informacija nije lokalizovana. Konekcionizam je teorija distribuiranih reprezentacija. Sve informacije u neuronskoj mreži su uskladištene u formi strukture intenziteta asocijativnih veza. Sve ostalo je interakcija aktivacije na inputu i te strukture intenziteta veza.

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 8

RODŽERS I MEK KLILEND, 2004. Konekcionistička teorija semantičkog znanja

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 9

RODŽERS I MEK KLILEND, 2004. Konekcionistička teorija semantičkog znanja

KONCEPTI (input)

Kanarinac Crvendać

Orah Bor

Ljubičica Ruža

Losos Som

RELACIJE

ISA „ima“

„može da“ „je “

REPREZENTACIJE KONCEPATA SKRIVENI

SLOJ

ATRIBUTI (autput)

Riba Ptica Cvet Drvo Životinja Biljka Živo biće

Visoko Lepo Brzo Mirišljavo...

Raste Leti Trći Peva...

Kljun Krila Krzno Lišće Peraja...

= sve povezano sa svim

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 10

KONEKCIONIZAM: DINAMIČKA EVOLUCIJA DISTRIBUIRANIH REPREZENTACIJA Reprezentacioni sistem evoluira tokom procesa minimizacije greške predikcije

t = 1 faza t = 2 faza t = 3 faza

Dinamička evolucija sličnosti između reprezentacija koncepata odgovara dobro poznatim empirijskim nalazima o razvoju sistema koncepata i kategorija kod ljudi.

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 11

EMERGENTIZAM Emergentističko naučno objašnjenje kognitivnih funkcija u konekcionizmu

Video-demonstracija Konvejeve „Game of Life“: http://www.youtube.com/watch?v=OEbCsKJKXaE

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 12

EMERGENTIZAM Emergentističko naučno objašnjenje kognitivnih funkcija u konekcionizmu

Sve je u interakcijama. Definiši pravila igre i pusti sistem da evoluira spontano poštujući definisana pravila. Tokom dinamičke evolucije sistema, primetićeš javljanje i lokalnu održivost kvalitativno različitih struktura. Te strukture su emergentne strukture. One nigde nisu planirane. One nikad nisu pre-programirane. Zavera ne postoji.

Učenje i viš.kog.procesi, Proleće 2013: Mišljenje, Deo II – Predavanje 9 13

Donald Heb (1904-1985)

3. Sekvenciranje faza: mišljenje (kognitivni procesi) jeste sekvencijalna aktivacija neuralnih ansambla.

t = 1 faza t = 2 faza t = 3 faza