Ateitis su dirbtiniu intelektu

Future with AIThe Artificial Brain OdysseyDr. Giedrius Tomas Burachas, Intentiva Inc.

Ar kompjuteriai turet suprasti k jie daro? Ar jie turet suvokti smoningai savo eimininkus, k jie daro, ir reaguoti juos?

1

I and my brain

100 billion neurons, 300 billion connections in 1cm3 = # stars in Milky way

Bet kas esu A? Ir kas esi Tu?100 milijard neuron mano smegenyse? Ar sinapses, kontaktai tarp tu neuronu, kurie rao mano atmint ir patirt? Viename kubiniame centimetre yra daugiau sinapsi negu vaigdi ms galaktikoje.150 000 km mielinu padengt greitj laid akson, perduodani impulsus.

Ne viena mintis ar jausmas nekyla ms galvose kurie nebt palydti neuron suadinimo audros smegenyse.

Butent tie neuroniniai tinklai neioja ir iaukia ir mano atmint apie nuostablia gyvenimo kelion, kuri patyriau San Diege...Mano kiekvienos akimirkos patirtis, perfiltruota per mano pasaulio supratim, yra tik poji interpretacija smegenyse.inios apie pasaul ir apie tas paias smegenis yra raytos mano smegenyse. Pagaliau mano saves supratimas, mano A taipogi yra t pai smegen krybos pasekm.

Taigi, ms smegenys sukuria ir scen, ir aktori mano a ir pasaul kuriame veikiu.

Bet ar imanoma sukurti dirbtines sistemas kurios bt tiek protingos kiap mogaus smegenys?2

AI: predictions, hopes and reality

Pagal mokslo fantastu prognozes, mes turetume jau virs desimt metu buti apsupti protingu kompjuteriu ir masinu. Bene zinomiausia yra Arturo Klarko klasikine apysaka 2001 metu kosmine odiseja.

Siulau paziureti sio klasikinio filmuko istrauka ir paanalizuoti kokius sugebejimus turejo erdvelaivio protingas kompjuteris HAL 9000, kuris tvirtina kad jo klases kompjuteriai niekad nepadare klaidos...

HALas gali valdyti visas kosminio erdvlaivio sistemas, sintezuoti kalb, atpazinti veidus, suprasti kalb, ir protingai bendrauti su monmis bei aisti su jais achmatus. HALas rodo savimons elementus (sako I think), vaizduot (projektuoja savo sivaizdavimus)

Taip pat jis gali sekti gulos nari biologinius parametrus, emocijas, suprasti j veiksmus, intencijas ir nuotaikas. Gali valdyti kalba su intencija ne tik pateikti informacija bet ir valdyti gulos nari nuomones, emocijas. Gali suprasti sudtingas socialines situacijas ir svokas kaip lojalumas, nepasitikjimas; gulos nari veiksm motyvai ir pasekms misijos skmei. Sprendim darymas kaip paalinti grsm misijos skmei ( kas prived prie gulos nario ties).

Kol kas tokie kompjuteriai kaip Halas neegzisstuoja.

Sioj paskaitoj aptarsiu kaip toli jau yra pazengta ta linkme ir kokios kliutys turi buti iveiktos, kad atsirastu tokie kompjuteriai,.

3

...but what is AI?John McCarthy (1955, roots in Lithuania) suggested:AI is a science and engineering aimed at creating intelligent machinesBut what is an intelligent machine?Turing test (1950): a machine can reason if:It can imitate humans so that an average person would assume he/she is dealing with another personNew definitions:Jeff Hawkins: an intelligent system can correctly predict whats coming. Created hierarchical temporal memory (Numenta, Grok; Vicarious Systems)Dr. Kestas Kveraga, Harvard University: visual brain systems use predictive feedback loops to speed up object recognitionPenti Haikonen (Nokia): intelligent systems can predict outcomes of their actionsImagination is required in order to simulate consequences of choosing alternative actions. Igor Aleksander: computers with imagination

McCarthy apibrimas yra tautologija: nieko naujo nepasayta tik perfrazuota.

DI iskiria special intelekt, kaip kad aidimas achmatais, teorem rodinjimas, ir bendrj intelekt kuriuo pasiymi mogus dirbtinio Intelekto srities tikslus yra rayta kad protingos mainos turi sugebti :-Daryti ivadas, protauti, sprsti matematinius udavinius-Planuoti-Mokytis-Natralios kalbos apdorojimas-Judjimas (navigacija, lokomocija) ir objekt manipuliavimas-Aplinkos jutimas ir suvokimas-Socialinis ir emocinis intelektas-Kribingumas

Tiuringo testas: pieinlis koelgs i mano unversiteto prof. Ayse Saygin.Atvirkstinis tiuringo testas: CAPTCHA tikinti kompjuter, kad ivedim daro mogus o ne kompjuteris.

Hawkins, Palm Pilot ir Treo kompaniju steigejas, usidirbo 100tus mln:Pasil paprast ir taikl apibrimSu juo teko ne kart bendrauti, is daznai lankosi Salk institute

4

Achievements of AI

Playing chess: IBMs Deep Blue computer defeated the world championGarry Kasparov in 1997.Used simple search algorithmTriumph of pure AI: no inspiration from ther brainSpeech synthesis: Apple popularized it 25 years ago with Macintosh. computer algorithms have trouble pronouncing irregular words.Terrence Sejnowski, Salk professor, in 1987 created a neural net Nettalk that learned to pronounce them in a way like human baby. Showed advantages of brain-like algorithms. Face detection:Face detection algorithm is ubiquitous in photo cameras. Based on the algorithm invented by MIT professor Paul Viola. Used inspiration from visaul system of primate brain. Had many conversations with him Face recogniiton: A harder problem, but several companies solve it successfully, including Dr. Algimantas Malickas company in Vilnius: Neurotechnology. Relies on AI methods (machine learning, such as SVMs)

Taciau su nemazai udavini kuriuos gali atlikti HALas buvo jei ir neispresta, tai bent gerokai paprogresuota.

achmatu zaidimas: naudoja gerai aprasyras taisykles. Kompjuteriai gali labai gerai spresti simbolines problemas, kaip kad teoremu irodymas, sachmatu ir kitokie zaidimai..

Kalbos sinteze: Terry Sejnowski (mano disertacijos komiteto narys) sukurtas NetTalk yra ypatingai idomus. Tai vienas sekmingiausiu ankstyvu dirbtiniu neuroniniu tinklu panaudojimo pavyzdziu. Idomiausia yra klausyti kaip tas neurotinklas apsimoko is pradziu jis vblena kaip kudikis, po to pradeda aiskau tarti zodzius, ir galiausiai ima taisyklingai tarti. Kolegos juokauja kad Sejnowskis ta programa sugalvojo nes jam nusibodo kad jo kolegos neteisingai taria jo vard.

Atkreipkite dmes pavard Sejnowski: lietuviskai tai reiskia : Sejnietis, mogus is Sejniu. Galime drasiai manyti kad jo aknys Lietuvoje. Veid detekcija: Paul Viola buvo kolega Salk Institute. Teko su juo nemazai kalbetis apie demesio mechanizmus. Jis tuos mechanizmus panaudojo kurdamas savo klasikini veidu detektavimo algoritma. Dabar jis dirba Mikrosofte ir vadovauja naujam startapui, bei padeda musu kompanijai su kontaktais silikono slenyje.

Veid atpainimas: mano biiulis Algis jau prie 25 metus kalbino mane karu su juo kurti kompanija kuri naudotu neuroninius tinklus biometrijoje. A nusprendiau siekti moksl vakaruose, o jis savo svajone tuo tarpu gyvendino Lietuvoje.

Dirbtinis intelektas savoka buvo sugalvota 1955 metais lietuvi kilmes (litvak) MIT mokslininko , kaip kompjuteriu mokslo saka studijuojanti ir kurianti protingas masinas ir kompjuterines programas.

5

Achievements of AI, cntdVoice recognition: Nuance Dragon used in speech transcription, e.g. medicine. Google Voice suitable for transcribing 70-80% voice messages. Weakness: break down in presence of accent, background noise.Language understanding:IBM Watson won Jeopardy game (2011) Largest project Stanford Research Institutes personal assistant (DARPA). SRI system was commercialized and Apple bought it in 2011: SIRI app for iPhone. Maintaining dialogue: No machine has passed the Turing testRecognition of human actions and intentions:Simple algorithms for human action recognition in security tapes (San Diego)Numenta (Vicarious ?): uses brain- inspired principles for human action detection, and other applications.Intentiva: recognizes human intentionsRecognizing emotional and social states: San Diego company Emotient recognizes emotions from facial expressions.

Balso atpainimas: prei jo dirbta daug deimtmei.

Microsoft savo operacinej sistemoj Windows jau koki 15 prideda ir balso atpainimo programas, bet jos veikia nepatenkinamai ir maai kas naudoja.

Nuance paskutiniu metu pasiek labai aukt atpainimo lygi. Jo produktus licenzijuoja net ir Apple balso atpainimo sistema instaliuota iPhone.

A savo telefone naudoju Google autoatsakova su balso traskribavimo servisu: angliskai paliktos zinutes yra paverciamos I teksta ir atsiunciamos I mano google elektronini pasta.

SRI, Stanford Research Instituto konsorcijumas (25 top JAV universitetai, 300 mokslinink, 5 met projektas asmeninis padjjas (DARPA). Naudojama kariniuose komandiniuose centruose.

Numenta naudoja: hierarchine laikne atminti

Emociju atpazinimas:Kolege Marni Bartlet (salk) ir Movelan: sukure programine iranga emociju is veido atpazinimui. Viena ideju: kad televizoriai galetu sekti emocijas. Bet tai kvepia Orvelo 1984 distopine vizija kur kiekvienas zmogais judesys ir emocija yra sekami Didziojo Brolio

6

AI vs. Artificial BrainPrinciple of operation: logical rules created by engineersWorks with standard digital computersSoftware is separated from hardwareMemory is separate from CPU Advantage: the logics of operation is straightforward to understandDisadvantages: Limited tolerance for errorsNeeds a lot of energy for each computational cycle

Principle of operation: adaptive processes, statistical learning rulesRequires neuromorphic electronicsSoftware is merged with hardwareEach processor has its own memoryAdvantages: Tolerance to errors and malfunctions, ability to compensate themAsynchronous parallel operation needs little energyDisadvantage: unexpected emergent phenomena can arisee.g.: artificial epilepsy

Tai visgi ar reikia mums neurobiologini ini apie smegenis kad sukurti tikrai protingas mainas?

Per visa kompjuteri ir dirbtinio intelekto istorij (60-70 met ilgio) egzistavo dvi stovyklos: viena man kad visas problemas galima suformuluoti ir ispresti grynai matematikai, algoritmikai, su kompjueri pagalba ir inios apie smegenis nepads.Kita stovykla buvo suavta smegen stabumo ir taipogi suvok grytai teorinio matematinio prijimo ribotum. 7

When computers and AI surpass human intellect?

Ray Kurzweil

Kalifornijos Technologijos Instituto aukltinio Intelio steigjo Gordono Moro dsnis sako kad kompjuteri galia padidja dvigubai kas 18 mnesi.

Ir netgi yra prana, ga bt netikr, kad po 10-15 met ir buitiniai kompjuteriai pasieks toki gali koki turi mogaus smegenys. Vienas toks prana6as yra Raimondas Kurzweilas kuris skelbia kad singuliarumas yra jau arti ty momentas kai ma6inos pasidarys protingesns u mog.

Paanalizuokime kuo remiasi tokios pranaysts:Prognozs kad mogaus smegen skaiiuojam gali kompjuteriai jau pralenks 10mecio bgyje remiasi labai supaprastintais skaiiavimais.

Argumentas remiasi keletu supaprastinani prielaid.1) Smegenys kaip ir kompjuteriai gali bti ivertinti pagal j skaiiuojamj gali.Taiau smegen situacija labai skiriasi nuo kompjuetri: smegenys yra knytos: jos valdo ir vedioja kn, kuris galnmis manipuliuoja objektus. Motorikos ir manipuliavimo svarb smegenims ir prganizmui pabria tas faktas kad maiausiai pus vis neuron yra smegenlse, senovinj smegen daly kuri planuoja judesius ir juos valdo...

2) Intelektas ir jo galia suprantami labai siaurai: kaip manipuliavim simboliais, reprezantacijomsi, vaizdiniais.Howerd Gardneris iskyr bent 6 dkirtingus intelektus: ne tik login, bet ir emocin, socialin, vaizdin, muzikin, sportin, somatosensorin (pvz. okjai pasiymi juo).Socialin ir emocin neurobiologija dar tik kalasi, ir neinia koki netiktum mokslininkai atras juos bestudijuodami..

3) Skaiiuojamoji kompjuteri galia yra matuojama linijiniais matais kaip kad procesori greitis (instrukcij sk. per sek), procesori skaiius. Na gal dar ir ryi tarp procesori skaiius. T.y. yra daroma vienalytikumo prielaida ir kad skaiiuojama galia auga proporcingai iems matams.

8

Robotics:realizing brain-inspired algorithms in computers

UCSD robot childRecognizes and reacts to human emotions

All modern robots run on traditional CPUs/GPUs

EB project Artificial curiosity: robots with internal motivation for learningRobots animats Emotional/socialrobotsRobot training imitates development of a babyRobobee

Praktikai kiekvienas robotas naudoja 5prastus kompjuterius kaip savo smegenis. Algoritmai naudojami valdyti robotams naudoja vieokius ar kitokius smegen veiklos principus, bet geleys, elektronika nra neuromorfin.

Nors kaip matme kompjuterin ir neuronin stovyklos laimi paeiliui, ir viena takoja kit, vis labiau aikja, kad komjutacinio tankio (computational density) ir energetinio efektyvumo kok turi smegenys nepavyks pasiekti neivysius naujos kartos elektronikos ir skaiiavimo princip kurie daug glaudiau primena smegen struktr.

Taigi ir kompjuteriai bei DI neturi anso pasivyti mogaus intelekto be naujo tipo neuromorfini skaiiavimo prietais, primenei smegenis.

Kad geriau supratume tokius pareikimus turime pasigilinti tai kas yra laikoma paia sudetingiausia mums inoma sistema visoje VISATOJE: mogaus smegenys

9

The BrainLevelsCells: neurons

Neuronal circuits

Nuclei, mapsFunctional systems(e.g., vision, audition, speech, motivation, decision-making, motor)Global behavioral systems

FunctionIntegration of information and feature representationNeuronal algorithms (amplification, WTA, sparse code)Support a functionProcesses info for supporting elements of behaviorChoreography of behaviors, planning

Churchland & Sejnowski

Vienu odiu, aplinka kurioje dirbau tikrai buvo palanki geram smegen esms sisavinimui...

Taigi, kaip smegenys yra sudarytos?

Struktriniams lygmenims atitinka ir funkcijos lygiai10

Neurons-most complex cells

Neurons job: integrate spikes coming from other neurons via synapses and decide whether to generate a spike Spikes are on or offSpike influence is determined by synaptic weights and synchronyExcitation and inhibition are balanced

Buraas et al.

Danai vertinant smegen skaiiuojamj gali neuronai yra skaiiuojami lyg jie bt kokie tranzisori atitikmenys elektroniniuose lustuose.

Bet tai neatsivelgia nepaprast neuron sudtingum.

Vis pirma visos lstels yra sudtingos sistemos, savo sudtingumu nenusileidianios miestui: filmukas.

Priedo egzistuoja nuomon, kad kiekvien neuron reikt laikyti galingu kompjuteeriu, nes jis integruoja deimtis tkstani kit neuron tak ir padaro sprendim koki informacij perduoti toliau.

11

Neuronal circuits info processing unitsMost famous neuronal circuit: macrocolumn of cortex, Decision-making unit

Minicolumn: ~80 neurons Macrocolumn = 100 minicolumns (0.5mm)

Blue Brain project: Dr. Henry MarkramEU project >1 bln Euros, Lausanne & Heidelberg univ. (86 institutions, 10 years)Evolved Machines: Dr. Paul Rhodes

Egzistuoja nuomon kad makrokolonl yra superkompjuteris apdorojantis vien (sensorins ar pan.) informacijos vienet smegenyse

12

Cortical maps & functional systems

Kveraga et al.Visual system2 mln macrocolumns in human cortex Predictionmechanismsspeed upobjectrecognition

13

Brain and behaviorBrain rhythmsExcitation/suppressionSleep/waking cycleMotivationForaging behaviorFight/Flee responsesReproductive behavior

Universal neurochemistry of love: dopamine->testosterone->occytocin

Cartography of human brain (fMRI)LanguageIntrospection

Speech generationSpeechunderstanding

The same parts of the brain areactivated when observing, dreaming and imagining the same scene/object

Network for Introspection (yellow)Brain/mind reading:

Jack Gallant: padejau atsispausdinti prestiiniame urnale15

Neuromorphic systems

SyNAPSE the most ambitious program for building neuromorphic systems (Systems of Neuromorphic Adaptive Plastic Scalable Electronics)DARPA, HP, HRL, IBM and 5 universities (2009-now: ~$100M) Neurosynaptic chipsNeurosynaptic processors Goal:Brain-like chips and systems with10 bln neurons100 trln synapses1kW2 liters of volumeachievements:2009 cat brain-sized system simulated on Blue Gene2011 a chip with 256 nrn, 250K snpsNot finished: 2013 multi-chip neuroprocessor system (1M nrn on each chip)

SyNAPSE projektas tarp IBM ir Cornell University

IBM vadovauja:Ind kilms Dharmendra Modha vadovavo projektui16

Why neuromorphic systems are coming?

The brain is more effective energetically than computers by a factor of 1mln 1bln

K pirmiausia reikia Neuromorfinis lustas?Skaiiavimo elementai simuliuoja neuronus, kurie gauna impulsus, juos sumuoja ir generuoja naujus impulsus videoNeuronai 17

Neuromorphic chipsSyNAPSE DARPA chip:256 neurons (digital)262K programmable synapses65K trainable synapsesNeuroGrid, Stenford Uv, 2009:1 mln. Neurons6 bln. SynapsesReal time(10 spikes/sek)2W!But not trainable...Neuroinformatics Institute, ETH, Zurich, 2013:neuromorphic trainable chipSilicone physics used to simulate neuronal biophysicsImplements liquid states just like the brainQualcomm and The Brain Corporation (>$40 mln):Secretive, however, Qualcomm is building a chip

Dr.E. IzhikevichDr. Rodney DouglasDr. Quabena BoahenDr. Dharmendra Modha

Schematics of the digitalartificial neuron

Stenfordas, kur litvakas mcCarthy sukr dirbtinio intelekto disciplin, ir toliau dirba ioj srity: Prie kelis metus

ETH: Einteino alma mater, kur j mokino kaunietis Minkowskis, sukrs erdvlaiko teorij...

Prie eil met man ten teko skaityti paskiat, gerai pastu chipo krjus Rodney Douglas ir Jacomo Indivieri18

Applications of neuromorphic systems

Applications for vision:

Several neuromorphic chips connected serially by analogy to human visual system: can attend to interesting objects in the visual field.

Neuroscience is moving towards neuroindustry: spiking camera

ConclusionsMachine learning/neural network research has been pushing the limits of computer vision and AI, but to date it has been mostly based on traditional von Neumann type computer architecturesAs the amount of data and complexity of the systems grows, the need for neuromorphic solutions becomes more apparentSince neuromorphic systems as of 2014 are still very far from being of practical value, interim solutions take the shape of ASICs dedicated for machine learning tasks (e.g. Nervana Systems, San Diego) N.B. the images and video clips used herein are protected by copyrights of respective copyright holders