Zavrni rad za kurs Kognicije Prof. Dr. Vasilije Gvozdenovi

Konekcionizam i kognitive reprezentacije: problem induktivne generalizacije formalnih operacija u konekcionizmustudent Goran S. Milovanovi student doktorskih studija na Odeljenju za psihologiju Filozofski fakultet, Univerzitet u Beogradu broj dosijea 4P080105

1. Uvod Paradigma distribuirane obrade informacija (eng. Parallel Information Processing, abr. PDP, kako je nazivaju autori koji stoje iza originalnih radova, Rumelhart, McClelland & the PDP Research Group, 1986a, 1986b), koja od istraivakog programa s kraja 70-ih godina XX veka ubrzo postaje kola psihologije poznata kao konekcionizam, predstavlja jedan od najrairenijih i najbre prihvaenih naina miljenja o problemima kognitivne psihologije u istoriji ove discipline. Osamdesetih godina, kako znaju i da se naale na raun konekcionizma pristalice drugih pravaca i njegovi kritiari, skoro da niste mogli da objavite neto u dobrom asopisu ako niste imali model neuronske mree koja objanjava vae nalaze. Reakcije na konekcionizam obuhvatale su od onih najoptimistinijih prema kojima njegova pojava predstavlja konano reenje za problem modeliranja kognitivnih funkcija zasnovanog na osobinama neuralnih supstrata koji ih materijalno, fiziki podravaju, do konstatacija da je u pitanju samo sofisticiran nain da se ve poznate mogunosti statistike inferencije kognitivnog sistema upakuju u efektne i bioloki donekle plauzibilne algoritme (...te vae mree samo rade SPSS, komentarisao je Deri Fodor jedno izlaganje konekcioniste Defa Elmana1). Cilj ovog rada je da kritiki sagleda dananji status konekcionistike paradigme u odnosu na1 Elman, privatna korespondencija.

1

bitne probleme kognitivne psihologije u oblasti reprezentacije koncepata - osnove ljudskog miljenja, lepka misli (Murphy, 2002). Uprkos tome to procese kategorizacije zahvaljujui prirodi samih algoritama kojima neuralne mree ue o sredinskim informacijama nalazimo u samoj sri konekcionizma, konekcionistike teorije koncepata su ekale pozne devedesete godine XX na pun razvoj. Mi emo ukazati na neka bitna ogranienja koja takve teorije pokazuju u odnosu na problematiku ove oblasti. Diskusija ovih ogranienja za nas nema kao cilj samo kritiku konekcionizma, iji je doprinos psihologiji izuzetan u svakom sluaju, ve za cilj ima da ravsetli te probleme, razmatra ih iz perspektive mogunosti reenja u konekcionistikoj paradigmi, te da na analizi mogunosti da se oni ree ili ne na sadanjem nivou razumevanja neuronskih mrea prui priliku da te probleme moda razumemo bolje. Ostatak rada je organizovan na sledei nain. Naredno poglavlje ukratko predstavlja bitne osobine konekcionistikog pristupa problemu konceptualnih reprezentacija i tako postavlja polaznu osnovu za diskusije u narednim poglavljima. Tree poglavlje predstavljaju jedan konkretan i veoma teak problem reprezentacije za klasinu konekcionistiku paradigmu: problem reprezentacije formalnih promenljivih, operacija i relacija. 2. Paradigma distribuirane obrade informacija u konceptualnim reprezentacijama Prepostvljajui poznate osobine modeliranja neuronskim mreama, predstavljamo neposredno pristup Rodersa i Meklelanda (Rogers & McClelland, 2004, 2008) problemu semantikih reprezentacija. Rad ovih autora je veoma pogodan za nau analizu jer predstavlja paradigmatian nain na koji klasini konekcionisti pristupaju problemu reprezentacija, pri tom postiui izvanredne rezultate u odnosu na objanjenje osnovnih fenomena u oblasti psihologije pojmova. Kako bismo predstavili nain na koji su fenomeni u oblasti konceptualnih reprezentacija reeni u okviru konekcionistike paradigme, ukratko pogledajmo koji su to osnovni fenomeni koje je potrebno objasniti. Psihologija pojmova doivela je revolucionarnu promenu u drugoj polovini XX veka, posle (danas klasinih) radova Roove i saradnika (Rosch, 1978) i drugih, koji dolaze do sledeih zakljuaka: Koncepti, kao to je klasini pristup, razvijen na osnovu logikih prouavanja i pre kognitivistike perspektive i tvrdio, jesu hijerarhijski organizovani; prirodne kategorije se ljudskom umu prirodno predstavljaju kao taksonomije; 2

U hijerarhijskoj organizaciji kategorija, kognitivno relevantne osobine (brzina imenovanja, frekvencija navoenja, znaaj karakteristika koje pripadnici kategorije nose za opis kategorije u celini, vreme reakcije u prepoznavanju i kategorizaciji, itd.) ne prate hijerarhijsku organizaciju koncepata po top-down ili bottom-up principu, kako bi se moglo oekivati. U taksonomijama postoji neto to nazivamo osnovnim nivoom kategorizacije (engl. base level), koji nije niti najvii superordinirani nivo u taksonomiji, niti najnii subordinirani nivo, ve se nalazi izmeu ova dva, i obuhvata koncepte koji zahvaljujui tome to statistiki dobro mapiraju bitne osobine kategorije uopte jesu kognitivno povlaeni u smislu brzine procesiranja, lakoe pristupa i sl;

Za razliku od klasinog pristupa, koji pripadnost kategoriji predstavlja kao diskrento stanje (x je ili u C ili nije u C), kognitivistiki pristup prepoznaje pripadnost kategoriji kao graduiran fenomen. Pojmovi u semantikim mreama i taksonomijama imaju u tim strukturama status koji se odreuje na osnovu jedne kljune varijable, tipinosti, koja se bazira na jo jednostavnijim konceptima slinosti i distribucije karakteristika kategorije meu njenim pripadnicima. Logiki, delfin i maka su oba sisari, ali kognitivno, psiholoki, imaju razliit status; maka je mnogo bolje objanjenje o tome ta je sisar nego to to moe da bude morfoloki i po ekolokoj nii ribama slian delfin. Delfin nije tipian sisar.

Kasnija istraivanja pokazuju da vanost svih karakteristika (engl. features) u kognitivnoj deskripciji, reprezentaciji koncepata, nije podjednaka. Sloman, Lav i An nalaze da se karakteristike mogu razlikovati po stepenu centralnosti za odreeni koncept, koji se izmeu ostalog moe objasniti kao stepen u kome bi kognitivni sistem prihvatio da neki koncept zadrava svoj identitet ukoliko mu se odreena karakteristika oduzme (Da li je vrabac i dalje vrabac ukoliko nema perje? je moda lake prihvatljivo od Da li je vrabac i dalje vrabac ukoliko nema krila?; Sloman, Love & Ahn, 1998).

Ovaj i slini radovi otvorili su iroku perspektivu u psihologiji pojmova koja danas obuhvata rasprave o tzv. psiholokom esencijalizmu i ulozi kauzalnih informacija u konceptualnoj organizaciji (pojmovi ostaju isti pojmovi dok ne ponemo da im oduzimamo one osobine koje kauzalno odreuju opaljive manifestacije tih pojmova, Rehder, 2007).

Postoji itav niz veoma sloenih fenomena u psihologiji pojmova, od kojih se najinteresantniji odnose na analoko miljenje i razumevanje metafora; ove fenomene moda nije fer predstaviti kao problem pred konekcionistike teorije jer niko u stvari nema valjane teorije o njima. U zavrnom poglavlju emo videti kako neki hibridni simboliko-konekcionistiki (ili 3

lokalizovano-distribuirani, moda bolje) modeli reavaju neke od problema u analokom miljenju (Hummel & Holyoak, 1997). Postoji itav niz za sada potpuno zbunjujuih i naizgled nereivih problema vezanih za oblast interpretacije karakteristika (Schyns, Goldstone & Thibaut, 1998) koje emo diskutovati u posebnom poglavlju (4. poglavlje) u odnosu na emergentistiku prirodu konekcionistikih objanjenja. Pogledajmo kakav je osnovni model (establiment model, moe se rei) konekcionizma u odnosu na ove osnovne fenomene konceptualnih reprezentacija u kognitivnoj psihologiji. Konekcionistiki Model Rodersa i Meklelanda (Rogers & McClelland, 2004, 2008) sutinski se bazira na starijem modelu Rumelhara (Rumelhart, McClelland & the PDP Research Group, 1986a) i obuhvata sledee slojeve (vidi Sliku 1): ulazni (input) slojevi: sloj entiteta (ajtemi, pripadnici kategorija) sloj relacija i atributa (kao to su pripada kategoriji tj. ISA relacija, ima, moe da i sl.) prvi skriveni sloj reprezentacija koji prima signale samo sa sloja reprezentacije entiteta drugi skriveni sloj koji prima signale sa sloja reprezentacije i sloja relacija sloj karakteristka (features), koji je ujedno izlazni (output) sloj, na kome se prima trening, fidbek signal. Vidimo da model u osnovi sadri semantiki odreene slojeve na ulazu (entiteti i relacije) i izlazu (karakteristike), i sadri dva distribuirana, reprezentativna sloja koji su lieni semantikih odrednica i slue tome da omogue sloene interakcije izmeu reprezentacija (prethodno izgraenih interakcijama meu svim entitetima) i relacija (ova interakcija reprezentacija i relacija stupa na scenu u drugom skrivenom sloju koji signale prosleuje na izlazni sloj karakteristika). Prava distribuirana priroda modela prepoznaje se u dva skrivena sloja, sloju reprezentacije (interakcije izmeu entiteta) i drugom skrivenom sloju (interakcije izmeu prethodno distribuiranih reprezentacija entiteta i relacija).

4

Slika 1. Osnovni model Rumelharta ije razne derivate koriste Roders i Mekleland za razvoj konekcionistike teorije konceptualnih reprezentacija (prema Rogers & McClelland, 2004). Osnovna osobina svih ovakvih konekcionistikih teorija je da makro-osobine reprezentativnih sistema koje simuliraju rezultiraju kao emergentna2 stanja mikro-osobina kroz procese interakcije distribuiranih reprezentacija. ta ovo tano znai je teko objasniti bez tehnikog, matematikog aparata teorije nelinearnih dinamikih sistema koja se nalazi u osnovi svih konekcionistikih modela, i ako se to ponekad ne eksplicira. Kada su dinamiki sistemi nelinearni, tj. interakciju njihovih mikroelemenata (estica vode u oblaku, neurona u neuronskoj mrei itd) opisuju nelinearne funkcije, evoluciju globalnih osobina dinamikih sistema je (u nekim sluajevima) mogue opisati na osnovu2 Izuzetno je teko nai prevod za engleski termin emergent properties. Pravac u epistemologiji i kognitivnim naukama koji u sutini tvrdi da se makro-osobine sloenog ponaanja, a moda i svest, mogu shvatiti kao globalna stanja, posledice interakcija mikro-elemenata sistema, engl. emergentism, u naoj literaturi se ve prevodi kao emergentizam; sledei ovu logiku, prevodimo engl. emergent states kao emergentna stanja. Jedan koristan termin je supervinijencija; za globalna stanja dinamikih sistema koje su posledica interakcija izmeu njihovih mikro-elemenata kaemo da su supervinijentna nad stanjima mikro-elemenata.

5

osobina interakcija izmeu njihovih mikro-elemenata. Ono to je najvanije razumeti u filozofiji emergentizma je da se globalne osobine dinamikih sistema opisuju jednom semantikom (jednim skupom predikata) koji nema nuno nikakve predikate svodive na semantiku jezika kojim se opisuju osobine mikro-elemenata; opet, globalna stanja dinamikih sistema jesu posledica interakcija izmeu mikro-elemenata, i ta veza jeste kauzalna. Ova osobina, da je mogue razvijati sisteme ponaanja koji se opisuju globalnim predikatima kroz interakciju mikro-elemenata koji su opisani nekim drugim, lokalnim predikatima, predstavlja najatraktivniju osobinu konekcionizma i emergentizma, jer prirodno povezuje opise sloenih ponaanja sa relativno jednostavnijom kognitivnom arhitekturom bioloki (bar prima facia) plauzibilnih neuronskih mrea. Da bi se ovakve veze uinile jasnijim najee je neophodno sprovoditi dodatne statistike analize funkcija same neuronske mree, samog modela. U gore opisanom modelu, Roders i Mekleland sprovode klasino back-propagation uenje kako bi nauili neuronsku mreu da ispravno klasifikuje koje atribute poseduju koji entiteti. Tokom simulacije, oni belee dinamiku evoluciju vektora u sloju reprezentacija za entitete, koji se vremenom apdejtuje na osnovu signala greke (osnovna petlja backpropagation algortima). U svakoj iteraciji uenja, raunaju matricu slinosti (Euklidske distance meu reprezentacionim vektorima), zatim je pojednostavlju na dve dimenzije primenom analize glavnih komponenti. Konano, Slika 2. prikazuje evoluciju slinosti meu konceptima u skupu uenja, i na osnovu nje moemo jasno da vidimo kako kategorizuje neuralna mrea: skup koncepata koji je u poetku odlikovan visokom meusobnom slinou evoluira u organizovanu, diferenciranu konceptualnu strukturu u kojoj se jasno razlikuju podkategorije prirodnih vrsta. Objasnili smo sutinsku osobinu konekcionistikih modela, koju emo diskutovati u naredna dva poglavlja rada: razvoj globalnih makro-struktura koje karakteriu sloene kognitivne sposobnosti kao to je kategorizacija na osnovu interakcije mikro-elemenata kognitivne arhitekture neuronske mree. Teorija Rodersa i Meklelanda, sa odreenim modifikacijama osnovnog Rumelhartovog modela, omoguava objanjenje za sve nabrojane fenomene kognitivistikog okvira prouavanja koncepata, osim za veoma teke probleme analokog i metaforikog miljenja, za koje se razvijaju posebne vrste modela, i problem interpretacije karakteristika, koji efektivno ne reava niti jedna poznata teorija koncepata. Pored nabrojanih nereenih problema3, koji nisu karakteristini samo za3 Na ovom mestu izbegavamo da ukljuimo u raspravu i problem reprezentacije kauzalnih odnosa. Konekcionisti, stie se utisak, smatraju da takav problem i ne postoji u odnosu na njihove modele, meutim veina istraivaa u oblasti kauzalnog uenja i kauzalnosti uopte smatra da je bez potpuni simbolikih reprezentacija nemogue a priori govoriti o reprezentaciji kauzalnih odnosa i procesima kauzalne indukcije (Markus & Keil, 2008). Ova rasprava je donekle povezana sa raspravom koju razvijamo u 3. poglavlju.

6

konekcionistike modele, videemo u narednom poglavlju kako se pred ove modele postavlja jedan fundamentalan problem koji dovodi u pitanje celu filozofiju konekcionizma, ne negirajui u potpunosti upotrebljivost neuronskih mrea u kognitivnim naukama ali ukazujui na izvesna ogranienja mrea koje sada razumemo i moemo da primenimo u objanjenju viih kognitivnih procesa i funkcija.

Slika 2. Dinamika evolucija Rumelhartovog modela za osam analiziranih koncepata (prema Rogers & McClelland, 2004). 3. Problem reprezentacije formalne promenljive i nemogunost generalizacije van polaznog skupa uenja U ovom poglavlju poinjemo sa kritikim osvrtom na konekcionistike modele ljudskih koncepata diskusijom jednog skorije prepoznatog i za konekcionizam, verujemo, veoma tekog problema. Osnovni fenomen koji ovde razmatramo je karakteristino ljudska osobina koja se odnosi na induktivnu generalizaciju, kognitivni proces kojim se odreeni predikat (Ajkula moe da pliva) rapidno generalizuje na sve instance iste klase (Ajkula moe da pliva, Ajkula je riba, Keiga je riba, dakle Keiga moe da pliva). ini se da pred konekcionistiku teoriju nije mogue postaviti 7

laki problem, poto je osnovni mehanizam uenja u algoritmima kao to je back-prop i standardnim koncekcionistikim arhitekturama upravo simulacija procesa indukcije, i na osnovu prethodne diskusije primene Rumelhartovog modela na kategorizaciju izgleda da je sposobnost induktivne generalizacije nekako prirodna ovoj klasi modela. Meuti, kao to primeuje Markus, sluaj nije ni iz daleka tako jednostavan; ta vie, klasini konekcionistiki modeli su fundamentalno ogranieni u pogledu mogunosti ispravnih induktivnih generalizacija (Marcus, 1998). Induktivna generalizacija predstavlja jednu od okosnica prouavanja koncepata u savremenom kognitivistikom pristupu (Murphy, 2002). Uprkos tome to govorimo o oblasti u kojoj se nisu svi empirijski nalazi jop slegli, injenica je da postoje veoma dobre, generalne teorije induktivne generalizacije (Tenenbaum & Griffiths, 2001, Murphy, 2002), da je proces dosta dobro empirijski prouen, kao i to da su fenomeni koje raspravlja Markus u svojoj kritici konekcionizma toliko evidentni da verovatno niko nije ni naao za shodno da ih eksperimentalno demonstrira. Moda je upravo jednostavnost fenomena koje emo diskutovati uzrok tome to ovaj nedostatak konekcionistikih teorija nije diskutovan pre 1998. Ljudski kognitivni sistem je sposoban za rapidne induktivne generalizacije, kao to je ve predoeno u jednom gore navedenom primeru. Ovakve generalizacije nisu svojstvo samo konceptualnog sistema, ve su i ire svojstvo koje se odnosi na vie simbolike funkcije oveka. U engleskom jeziku, ukoliko nauimo da postoji glagol to drand, bez obzira da li smo za njega pre uli ili ne, lako izvodimo (i empirijski je poznato da je tako) da on u treem licu jednine mora imati oblik drands (She drands...); u krajnjoj liniji, verovatnoa da je to tako je a priori veoma visoka za kognitivni sistem govornika engleskog jezika. Da bi takve rapidne induktivne generalizacije bile mogue, neophodna je mogunost da se nova instanca (npr. glagol to drand) prepozna kao instanca odreene klase (entitet u odreenoj kategoriji, u ovom sluaju u kategoriji glagola engleskog jezika). Samim utvrivanjem pripadnosti instance klasi, kognitivni sistem generalizuje sve osobine klase tako da one sada obuhvataju i novu instancu. Ova operacije podrazumeva mogunost kognitivnog sistema da barata formalnim operacijama4, tj. da samo na osnovu injenice da je neki entitet pripadnik neke kategorije automatski prepozna da se svi predikati koji se odnose na klasu u celini sada odnose i na tu instancu. Da bi mogao da podri rad formalnih operacija, kognitivni sistem mora biti u stanju da reprezentuje objekat formalne promenljive: neko a, koje moe uzimati bilo koju vrednost iz svog domena, A. U simbolikim kognitivnim arhitekturama ovakva osobina se podrazumeva, ona je u stvari4 Ne u smislu u kome ovaj termin dobija specifino znaenje u Pijaeovoj teoriji kognitivnog razvoja.

8

sr, sutina takvih sistema. Jedno od osnovnih naela tzv. eliminativnog konekcionizma (u koji spadaju sve klasine konekcionistike teorije, ukljuujui modele poput Rumelhartovog, te rad Rodersa i Meklelanda u oblasti semantikih reprezentacija ili Defa Elmana u psiholingvistici) je upravo to da simbolike reprezentacije u vidu formalnih jezika uma (Fodor, 1975) nisu neophodne u kognitivnoj psihologiji; globalne osobine, poput pripadnosti kategoriji, poput induktivne generalizacije karakteristika i sl, slede iz interakcija mikro-elemenata sistema i jesu supervinijentna stanja nad dinamikom tih mikro-interakcija. Drugim reima, eliminativni konekcionizam nikad ne barata formalnim promenljivama, odn. pretpostavlja da kognitivni sistem ne mora nuno da ima osobinu reprezentacije formalne promenljive; one su, u eliminativnom konekcionizmu, duhovi, proizvod post hoc opaanja ponaanja i naunog opisa, dok realno ne postoje, ili postoje samo kao privid, kao zbirni opis nekog globalnog, supervinijentnog stanja sistema; one nisu objekti reprezentacije same po sebi. Da to nije sluaj u ak jednostavnim formalnim operacijama jasno pokazuje Markus. Sledei primer je iz njegovog rada iz 1998:

Input 00010 00100 00110 01000 01010 01100 ... 11100 11110

Output 00010 00100 00110 01000 01010 01100 ... 11100 11110

Tabela 1. Funkcija identiteta f(x) = x, primer prema Marcus, 1998. Nisu prikazani svi primeri iz originalnog lanka. Tabela 1. prikazuje jedno jednostavno mapiranje, funkciju identiteta. Hipotetiki zadatak za neuronsku mreu sa back-propagation algortimom uenja (primer se odnosi na obine kao i na rekurzivne neuronske mree) je da naui ono za ta je u osnovi i planirana: da efektivno mapira input stimuluse na output stimuluse. Ne moe se zamisliti laki zadatak. Ono to je interesantno, i to 9

primeuje Markus, navodei samo ilustrativno empirijsko istraivanje sa ljudskim subjektima, je da na kognitivni sistem, kada se postavi pred problem kako odgovoriti na osnovu ovog primera u tabeli na stimulus oblika 1 1 1 1 1 1, koji nije prikazan u setu uenja, reaguje rapidno zakljukom da je odgovor isti stimulus: 1 1 1 1 1 1. Neuronska mrea sa back-prop algortimom, kako primeuje Markus, nikada nee uspeti da doe do ovog odgovora. Na kognitivni sistem, da bi mogao da rei postavljeni problem na nain na koji ga reava, morao je (a) ili da poseduje reprezentovanu ve prethodno razvijenu funkciju identiteta, prepozna njene tipine input i output relacije i na osnovu nje doe do zakljuka, ili (b) da izdvoji, naui funkciju identiteta iz podataka pred njim. Markusov argument tvrdi da, i ako su sposobne da reprezentuju funkcije identiteta5, neuralne mree nisu u stanju da ih naue. Da bismo razumeli ovaj argument, moramo da uvedemo dva tehnika pojma: generalizaciju unutar skupa uenja i generalizaciju van skupa uenja. Pretpostavimo, zajedno sa Markusom, da se sve reprezentacije na inputu neuronske mree sastoje (kao to je to i u praksi rada u kognitivnim naukama esto sluaj) od binarnih karakteristika (oblika ima dugaku kosu/ima kratku kosu, ima dugake noge/nema dugake noge, ima plave oi/ima zelene oi). Svi stimulusi koji se na inputu daju neuronskoj mrei predstavljaju vektore binarno opisanih karakteristika; skup svih moguih stimulusa naziva se input skupom (ulaznim skupom). Meutim, ideja induktivne generalizacije kao kognitivne sposobnosti i sami konekcionistiki modeli padaju ukoliko je mrei neophodno predstaviti mapiranja kompletnog ulaznog skupa na rezultate kako bi ona nauila funkciju koju pokuavamo da je nauimo. Zato, razlikujemo stimuluse u skupu uenja, kao skup koji sadri karakteristike na kojima se mrea trenira (sve prikazane karakteristike i stimuluse koje one opisuju), i stimuluse van skupa uenja. Jednostavno, generalizacija van skupa uenja predstavlja uspean pogodak mree za stimuluse koji nisu deo skupa uenja, dok generalizacija unutar skupa uenja predstavlja ispravnu indukciju nekih osobina nad stimulusima koji jesu unutar skupa uenja (ali npr. nije konkretna veza nekih karakteristika i konkretnih stimulusa ikada bila trenirana). Markusov argument je onda jednostavan: postoje bitni kognitivno relevantni problemi uenja za koje neuronske mree sa back-propagation algortimom ne mogu da generalizuju van skupa uenja. Ovaj zakljuak sledi iz osobine ulazne nezavisnosti (engl. input independence) backpropagation algoritma uenja neuronskih mrea. Naime, tokom uenja kroz fidbek u ovom algortimu,5 Nema niega lakeg nego projektovati neuronsku mreu koja jednostavno mapira input na output; meutim, ovde se trai reenje problema uenja relacije identiteta, ne njene reprezentacije. Mrea koja jednostavno mapira input na output ne ui nita; njena struktura je jedno otelotvorenje same funkcije identiteta, ona je reprezentuje i izraunava. Argument eliminativnog konekcionizma, posebno u oblasti razvojne psihologije, jeste da sloene dinamike evolucije neuralnih mrea naue ovakve relacije.

10

ulazni (ili ma koji drugi) vor mree koji je imao nultu aktivaciju u nekoj iteraciji uenja, u korekciji snage veza prema drugim vorovima e imati nultu korekciju, tj. teine njegovih veza e ostati nepromenjene. Pogledajmo ponovo primer iz Tabele 1. da bismo ovo objasnili. Sutina skupa uenja u ovom primeru je u tome to on ne sadri kritini stimulus 1 1 1 1 1 1, a niti jedan drugi stimulus pored ovog nema reprezentaciju jedinice na poslednjem, krajnjem desnom mestu. Dakle, ulazni vor koji bi reprezentovao poslednju, krajnje desnu poziciju u nizu, nikada nee biti aktiviran tokom uenja. Mrea e, u zavisnosti od poetnih stanja (koja se randomiziraju u svim simulacijama neuronskih mrea), generalizovati ulaz 1 1 1 1 1 1 na razliite naine, veoma zavisno od inicijalnih uslova uenja, ali nikada nee odgovoriti na ovaj stimulus strukturom koja na poslednjoj poziciji nosi jedinicu. Ovakva situacija nikada nije bila prisutna tokom uenja, tako da je vor za krajnje desnu poziciju treniran nezavisno od svih ostalih vorova: on se nikada nije nalazio u interakciji sa njima. To je osobina ulazne nezavisnosti koju zapaa i diskutuje Markus i na osnovu koje postaje jasno zato su klasini konekcionistiki sistemi ogranieni fundamentalno u smislu mogunosti induktivne generalizacije van skupa uenja. Kao to smo videli, ljudski kognitivni sistem ne pokazuje ovakvo ogranienje. U vetakom kognitivnom zadatku kao to je onaj ija je struktura prikazana u Tabeli 1. on lako dolazi do ocene da je u pitanju funkcija identiteta. Logika analiza problema pokazuje njegovu pravu sutinu: neuronske mree klasinih konekcionistikih sistema nisu u stanju da naue, da otkriju univerzalni kvantifikator, upotrebu jednog od osnovnih operatora predikatskog rauna drugog reda, oznaku za sve pripadnike klase X; ovo je posledica toga to one nisu reprezentativni sistemi koji implementiraju formalne promenljive. Ovakav operator mora biti ili dostupan kognitivnom sistemu pre uenja, radi otkria strukture na koju on moe da se primeni iz podatka koji se pruaju iz sredine, ili mora biti nauen nekim algortimom koji nije klasian back-propagation algoritam u kome je funkcija apdejtovanja vorova mree multiplikativna funkcija6 njihove prethodne aktivacije. Dok je osobina uenja takva, vorovi koji nisu aktivirani na odreeni nain u skupu uenja i tokom treninga, nikada nee ui u interakciju neophodnu za uenje u neuronskoj mrei, i to e onemoguiti generalizaciju van skupa uenja. Argument nije empirijski trivijalan i ako je primer na kome ga mi razmatramo vetaki i neuobiajen u ekoloki relevantnom setingu. Sutinski, ovo znai da neuralne mree ne mogu ni u prinicipu da naue da generalizuju relacije kao to su x je x, bez obzira na to koliko skup uenja6 Oigledno, vovori koji u prethodnim iteracijama uenja imaju nultu aktivaciju, prema ma kom multiplikativnom pravilu apdejtovanja i u narednoj iteraciji imaju nultu aktivaciju.

11

njima bio prikazan; ne mogu da naue neto izuzetno prirodno ljudskom umu, naime, svojstvo simetrinosti odreenih relacija, da ako je A roak B onda je i B roak A, to je karakteristika relacije srodstva koja je na prvu loptu, rapidno dostupna naem kognitivnom sistemu. Argument je suptilan: netano bi bilo rei da neuronska mrea na back-prop algortimu ne moe da naui da daje ovakve odgovore, jer naravno da moe (reprezentovae praktino ma kakvu statistiku strukturu informacija koja joj se predstavi), ali ona ne moe da naui da generalizuje momentalno ovakve relacije, pokazujui da je nauila njihovu simetriju, ve mora mukotrpno da ui relaciju u oba pravca, ponaajui se na kraju kao da razume simetrinost, to zapravo nije sluaj. Ljudski um je u ovom smislu kvalitativno drugaiji od naina na koji ga posmatraju klasini konekcionisti. Za sada, nije poznat model eliminativnog konekcionizma koji bi uspeno reavao ovaj problem; sutinski, kritika kao to je Markusova tvrdi da problem nije ni mogue reiti eliminacijom formalnih promenljivih iz reprezentativnog sistema. Mogui konekcionizam je u tom smislu samo implemenatacioni konekcionizam, u okviru kojeg se razvijaju pokuaji da se neuronskim mreama omogui reprezentacija formalnih promenljivih, relacija i operacija. Ono to je izvesno posle Markusove kritike je to da back-propagation algoritam nije kandidat za reenje ovog problema.

12

Literatura Marcus, G. F. (1998). Rethinking Eliminative Connectionism. Cognitive Psychology 37, 243282. Rumelhart, D.E., J.L. McClelland and the PDP Research Group (1986a). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations, Cambridge, MA: MIT Press. McClelland, J.L., D.E. Rumelhart and the PDP Research Group (1986b). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 2: Psychological and Biological Models, Cambridge, MA: MIT Press. Murphy, G. L. (2002). The big book of concepts. Cambridge, MA: MIT Press. Rogers, T. T. and McClelland, J. L. (2004). Semantic Cognition: A Parallel Distributed Processing Approach. Cambridge, MA: MIT Press. Rogers, T. T. & McClelland, J. L. (2008). Precis of Semantic Cognition, a Parallel Distributed Processing Approach. Behavioral and Brain Sciences, 31, 689-749. Rosch, E. (1978). Principles of Categorization. In Rosch, Eleanor and Lloyd, Barbara B. (eds), Cognition and categorization 27-48. Hillsdale, NJ: Lawrence Erlbaum. Sloman, S. A., Love, B. C., & Ahn, W. K. (1998). Feature centrality and conceptual coherence. Cognitive Science, 22, 189-228. Rehder, B. (2007). Essentialism as a generative theory of classification. In A. Gopnik, & L. Schultz, (Eds.), Causal learning: Psychology, philosophy, and computation, pp. 190-207. Oxford, UK: Oxford University Press. Hummel, J. E., & Holyoak, K. J. (1997). Distributed representations of structure: A theory of analogical access and mapping. Psychological Review, 104, 427-466. Schyns, P. G., Goldstone, R. L., & Thibaut, J-P (1998). Development of features in object concepts. Behavioral and Brain Sciences, 21, 1-54. Generalization, similarity, and Bayesian inference. J. B. Tenenbaum, T. L. Griffiths (2001), Behavioral and Brain Sciences, 24 pp. 629-641.

13

Fodor, J. (1975) The Language of Thought. Thomas Y. Crowell Co. (Paperback, Harvard University Press.) Markus, F. G. & Keil, C. F. (2008). Concepts, Correlations and Some Challenges for Connectionist Cognition. Reply to Rogers, T. T. & McClelland, J. L. (2008). Precis of Semantic Cognition, a Parallel Distributed Processing Approach. Behavioral and Brain Sciences, 31, 689-749.

14