Upload
others
View
11
Download
0
Embed Size (px)
Citation preview
Nick Bostrom este profesor la Facultatea de Filosofie de
la Universitatea Oxfori gi director fondator al Institutuluidespre Viitorul Umaniti{ii gi al Programului asupraImpactului Tehnologiei Viitorului din cadrul Oxford MartinSchool. Este autorul a peste 200 de lucr[ri. A predat la Yale gi
a flcut studii postdoctorale,la Academia Britanici. Bostromare studii detiziab, neurogtiin{i computalionald gi logicnmatematici, dar qi de filosofie.
NIIK Bt]STRI]M
SlJPEl1INTELIEENTAIAI, PE11I[[LE, STllATEEII
Traducere din limba englezd
DORUVALENTIN CASTAhN
*thBucuregti
201 I
SuperintelligencePath s, D angers, Strafegr'es
Nick Bostrom
Copyright @ 2014 Nick BostromEditie publicata pentru prima date in
limba englezdin 2014Edilie publicate prin inJelegere cu
Oxford University Press
Drepturile pentru prezenta traducero
apa(in Editurii Litera
-'d-ri-.--
Carle Pentru Ioil este parte a
Grupului Editorial Utera
O.P 53; C.P, 212, seclor 4,
Bucuregti, Romdnia
tel,: 021 319 6g 93; 0752 1Q1 777
Superinteligenla. Directii, pericole,
strategii
Nick Bostrom
Copyright @ 2019 Grup Media
Litera pentru versiunea in limba
romdniToate diepturile rezervate
Traducere din limba englezd:
Doru Valentin Cdstdian
Editor: Vidra$cu 9i fiii
Redactor: lsabella Prodan
Corectori: Georgiana Enache,
lonel Palade
Copertd: Flori Zahiu
Tehnoredactare $i preprossl
Mihai Suciu
Descrierea CIP a Bibliotecii
Nalionale a RomAniei
BOSTROM, NICK
Superinteligenla. Directii, pericole,
strategii / Nick Boskom;trad.: Doru Valentin Cdstdian -Bucuregti: Litera, 2019
lndox
tsBN 978-606-33-4078-9
l. Bostrom, Nick
li. Cestaian, Doru Valsntin (irad.)
'612.82
CUPRINS
Liste cu figuri, tabgle pi cesete,.--...,.,,..,.....,.;,.-.,.. 9
Port e st e a net erminatd a rfudunicilor .................. 1 1
Prefald ................... 13
Mulsumiri
Capitolul 1. Perfec{ioniri trecute
qi abilit{i prezente ......................... l9
Capitolul2. Ciile spre superinteligenfi .....,...... 69
Capitolul 3. Forme de superinteligenll ,........., t42
Capitolul 4. Cinetica exploziei
de inteligenfi ........ 167
Capitolul 5. Avantajul stfategic decisiv ........... 203
Capitolul 6. Superp-uterri cognitive .....,.........,.., 229
Capitolul 7, Voinla superinteligen td ................ 262
Capitolul 8. Rezuliatul linalva fi darnnarea? .""...............,........, 288
T7
Capitolul 9. Problema controlului ...',..'...'.".. 315
Capitolul 10. Oracole, duhuri,
suverani, unelte',.....'.'..,'.'....."". 356
Capitolul 1 1. Scenarii multipolare'..".............. 386
Capitolul 12. Dobindirea valorilor "....'.'...'."'. 449
Capitolul 13. Alegerea criteriilor de alegere .'. 509
Capitolul I 4. Imaginea strategici ..,.'.'.'.'..".'... 558
Capitolul 15. Momente aIe crizei '....'.'."....'t''.'. 626
Bibtiografie .......'.' 638
Indice ........... "'..'.' 684
IISTE CU FIGURI, TABELE $I CASETE
LrsrA cu FrcuRr
1. Istoria pe termen lung a PIB-ului mondial ..,....23
2. Impactul global pe termen lung al IDNU ..,......67
3. Performanla unui supercomputer ................,.,.. 81
4. Reconstruclia unei neuroanatomii 3Dpornind de la imaginile furnizatede un microscop electronic .........................,...... 88
Harta emulirii globale a creierului ................... 98
Fefele compuse, ca metaforipentru genomurile corectate ....... Il7Aspectul lansirii ...... 168
O scari mai pulin antropomorfe? ................... 185
Un model simplu al exploziei de inteligenle.. 200
Faze intr-un scenariu de lansare IA ..........,..,. 240
Ilustrare schematici a posibilelor traiectoriiale unui unicatum infelept
12. Rezultate ale antropomorfizlrii motivaliei ... 265
13. Ce va fi mai int6i? Inteligenfi artificialdsau emulare cerebrali globali? ..,.595
14. Nivelurile de risc in cursa pentru IA .............. 607
5.
6.
7.
8.
9.
10.
ll.
LrsrA cu TABELE
1. IA in cadrul jocurilor .".""..'... ......' 45
2. Cind vom avea inteligenli digitaldde nivel uman? .....'.... 64
3. In cit timp vom avea superinteligenli? .".'....".. 66
4. Abilitati necesare pentru emularea globalia creierului ....'."...'....,.92
5. Cdqtigurile maxime in materie de IQcare provin din seleclia in cadrulunui set de embrioni
6. Impactul posibil al selec[iei genetice,
dupi diferite scenarii ..'......'.........' 113
7. CAteva curse tehnologice semnificativedin punct de vedere strategic ..'... 211
8. Superputeri: cXteva sarcini relevante
strategic Ai abilitilile corespunzitoare ...........
9. Diferite tipuri de declanqatori
10. Metode de control
11. Trislturi ale diferitelor caste de sisteme .....'..
12. Rezumat al tehnicilor de asimilare
avalorilor """"""""' 506
13. Lista componentelor .'...................'.....'.......,,," 542
LrsrA cu cAsETE
1. Un agent bayesian,ideal"'.......:.'.........'.............. 39
2. Pribuqirea-fulger a btrloei din 2010 ..'.'........'..... 58
3. Ce ne trebuie pentru a relua evolulia? ,.......'.....' 75
236
340
354
384
4. Despre cinetica unei explozii de inteligenle ... 196
5. Curse tehnologice: cAteva exemple istorice ,.. 207
6. Scenariul ADN-ului comandat pe mail ......... 245
7. Cit de mare poate fi colonizarea cosmicl? .....252
8. Captura antropici .... 333
9. Solugii stranii proveninddin cercetarea oarbi .....................379
I0. Formalizarea asimili'rii valorii ........................ 47A
ll. Un sistem de IA care vrea si. fie prietenos ...". 482
12. Doui idei recente (coapte doarpe jumitate) ............. 484
13. O competifie cAt se poate de riscanti ............. 604
18 Nick Bostrom
Alexander Tamas, Max Tegmark, Roman Yamposkyiqi Eliezer Yudkowsky.
Pentru comentariile lor foarte detaliate, lemullumesc urmitorilor: Milan Cirkovic, DanielDewey, Owain Ewans, Nick Hay, Keith Mansfield,Luke Muehlhauser, Toby Ord, fess Riedel, AndersSandberg, Murray Shanahan Ei Carl Shulman' Pentru
sfaturile privind munca de cercetare, vreau sd lemullumesc lui Stuart Armstrong, Daniel Dewey, EricDrexer, Alexandre Erler, Rebecca Roache 9i AndersSandberg.
Pentru ajutorul acordat la pregitirea manuscrisu-
lui,le mulpmesc lui Caleb Bell, Malo Bourgon, Robin
Brandt, Lance Bush, Cathy Douglass, Alexandre Erler,
Kristian Ronn, Susan Rogers, Andrew Snyder-Beattie,
Cecilia Tili gi lui Alex Vermeer. Vreau si-i mulpmescin special editorului meu, Keith Mansfield, pentru in-curajlrile suslinute de pe parcursul proiectului.
Le cer scuze tuturor celor pe care am omis s5-i
men{ionez aici.Nu in ultimul rdnd, le mullumesc celor care au
finanlat acest proiect, familiei qi prietenilor: fhri aju-
torul vostru, aceastl carte n-ar fi existat.
0apitolul 1
PERTECTIONARI TRECUTE
$I ABITITATT PREZENTE
Sd incepem prin a privi in urm6. Istoria, in{eleasd la ceamai largd scard, pare sd indice existenla unor moduridiferite de dezvoltare, fiecare dintre ele fiind mai rapiddecAt cel de dinaintea lui. Aceastd tendintd ne facesd credem cd este posibil un nou mod de dezvoltare(unul chiar mai rapid). $i, totugi, nu punem mare prel pe
aceastd observa{ie * cartea de fafd nu este despre ,,dez-voltare tehnologica" ori despre,,cregtere exponentiala"gi nici nu cuprinde idei defjnite generic prin eticheta,,excentricitate". in cele ce urmeazd, vom trece in revi$td
istoria inteligentei anificiale, Vom evalua, apoi, potenfialulprezent al acestui domeniu. $i, in fine, vom vedea cdteva
opinii ale expe(ilor gi ne vom recunoagte ignoranla inceea ce privegte dezvoltarea viitoare a fenomenului,
Tipuri de progresgi istoria la scari mare
Cu doar cAteva milioane de ani in urmi, strimo-r;ii nogtri inci st[teau aterna[i de crengile copacilort{in pidurile Africii. Din perspectiv* evolufionisti qi
la scard geologici, detaqarea lui Homo sapiens de ulti-mul strlmoq pe care l-am avut in comun cu celelalte
20 Nick Bostrom
maimute mad s-a petrecut rapid. Am deprins mersul
pe doui picioare, ne-am ales cu degete opozabile 9i am
iuferit mici modificdri ale volumului 9i structurii cre-
ierului - cruciald schimbare! -' care au dus la un mare
salt in materie de abilitl1i cognitive' ln consecin!6, oa-
menii pot gindi abstract, dezvolti ralionamente com-
plexe gi iniagazineazd 9i transmit informalii culturale
de la o g"tt.tali" la alta mai bine decAt orice alti specie
de pe planet6.Aceste abilite$ le-au permis oamenilor sd realizeze
tehnologii tot mai performante' ceea'ce i-a determinat
pe strlmogii nogtri s[ lase in urmd pidurea tropica-
i[ qi ,u,r"rru. in special dupi descoperirea agriculturii'
popula[ia totall a lumii a crescut gi, odatl cu ea, qi den-
sit"tea. Cregterea demografici a facilitat aparilia unui
num[r mai mare de idei; densitatea sporitd a frcut po-
sibili rispdndirea mai rapidi a acestora, unii indivizi
dezvoltdnd abilitig specializate. Aceste perfecliondri
au sporit rata progresului 1n matetie de productivitate
economici gi de capacitate tehnologici' Ceea ce s-a in-
tAmplat ulterior, in special dupd Revolulia Industriall
incoace, a generat o a doua schimbare global[, com-
parabili in ceea ce priveqte progresul'
Modificirile ratei progresului au avut urmiri im-
portante. Cu citeva sute de mii de ani in urm[' in tim-
pul preistoriei umane (sau hominide), progresul a fost
utat^a" lent, incdLt capacitatea umani de produc$e a
avut nevoie de aproxiryativ un milion de ani pentru a
cregte indeajurr. .at si poatl asigur^a simpla subzistenli
a unui milion de indivizi in plus. ln jurul anului 5000
i.Hr., dupi revolulia agricoll, rata progresului a crescut
Saperinteligenla
pdnd ln punctul in care acelagi spor demografic a pu'tut fi suslinut in doar doui secole. In zilele noastre, dedup[ Revolulia Industriall, economia mondiali cre$te,
in medie, pani la acelaqi grad,la fiecare 90 de minute.lActuala rati a progresului va produce, gi ea, re-
zultate spectaculoase, daci se menfine indeajuns demult. Dacd economia mondiall va continua si creas-
ci in acelaqi ritm in care a ficut-o in ultimii 50 de ani,omenirea va fi de 4,8 de ori rnai bogati pAnd in 2050
gi de 34 de ori p6ni ln 2100.'?
,,Conversafia noastri centrat[ pe tehnologie qi pemodific[ri continue ale viefii umane mi face si mi
1 Un venit la nivelul subzistenlei astizi este de aproximativ400 de dolari (Chen 9i Ravallion, 2010). Astfel, un milion devenituri reprezinti 400 m0 000 de dolart. PIB-ul omenirii este
de 60 000 000 000 000 qi ln ultimii ani a crescut constant cu oratd de 4Vo (rata compusi de cregtere din 1950, conform luiMaddison - 2010). Aceste numere par si susfini cifra prezentatiiu text, care este, desigur, doar o aproximare la un anumit ordincle magnitudine. Daci ne uitim la rata de creqtere a populafiei lu-nrii, descoperim c6, astizi, populalia lumii cregte cu aproximativun milion la fiecare siptinr{ni qi jurnitate. Dar aceast6, observa{iesubestimeazi rata de crEtere a economiei, din moment ce venitulpe cap de locuitor creqte qi o1" ln jurul anului 5000 d.Hr., imediatdupi revolu{ia agricold, populalia lumii creqtea cam cu un milionla 200 de ani - o accelerare qubstan{iali in raport cu cregterea deun milion la un milion de ani in preistoria umanitd{ii. Chiar Eio$a, este impresionant c5 o cregtere economici neti care lua 200tle ani acum 500 de ani ia doar 9 minute astizi qi ci o creqteredemografici care lua ln trecut doui secole ia astdzi o slptimindqi jumitate. Vezi, de ase$r€nea, Maddison,2005.
2 O astfel de cregtere spectaculoasi poate sugera apari{iaunei singularitili, aqa cum sug€ra John von Neumann intr-oconversalie cu matematicianul Stanislaw Ulam.
21
22 Nick Bostrom
gAndesc ci va apirea un punct singular in istoria spe-
ciei,noastre dincolo de care istoria umanl, a$a cum o
qtim, nu va putea continua"' (Ulam 1958)
Cu toate acestea, perspectiva menlinerii unei cli cu
o creqtere exponenliall siguri plleEte in fala a ceea ce
ar aduce o noud cregtere spectaculoasi a ratei progresu-
lui, similari cu aceea din wemea revoluliei agrare qi a
celei industriale. Economistul Robin Hanson estimea-
zL,bazindtt-se pe date economice 9i demografice, cldublarea economiei din Pleistocen, a societilii de vind-
tori-culegdtori, s-ar realizain aproxirnativ 224 000 de
ani; pentru perioada agrari de 909 ani, iar pentru pe-
rioada industriall de 6,3 ani.l (in modelul lui Hanson,
epoca actuali presupune o combinalie intre modelele
de cregtere din perioada agrardqi cea industriall - eco-
nomia mondiall, per ansamblu' nu progreseaz[ incl in
baza ratei de dublare de 6,3 ani') Daci s-ar produce o
trecere la un model diferit de progres, de magnitudi-
ne similari cu cele doui' anterioare' s-ar ajunge la un
regim al progresului in care economia mondial[ s-ar
dubla, ca mdrime, in numai dou[ slptimini'O astfel de creqtere pare neverosimili, dupl stan-
dardele actuale. Observatorii din celelalte epoci posi-
bil si fi acceptat la fel de greu ideea ca economia din
timpurile respective sd se dubleze de mai multe ori pe
parcursul unei vieli de om' $i totuqi, aceastb stare ex-
traordinari este, pentrutroi, astlzi, ordinarl'
I Hanson,2000lYanZanden (2003); Maddison (1999, 2001); De Long (1998)
Superinteligenla
45r4ol1
rq 1..
""t301'
25 t-
20 j-
rri"l
10t-
sl0
1 700 1 750 1 800 1 850
Anul
Figura 1. lstoria pe termen lung a PIB-ului mondial.llustratd linear, istoria economiei arat6, ca o dreaptdorizontald imbr6tigand axa x, pAnd in punctul in careporneste, brusc, in sus. (a) Chiar gi concentrdndu-ne nu-mai pe ultimii 10000 de ani, tiparuligi menline, in esente,unghiul de 90. (b) Abia in ultimii aproximativ 100 de ani,curba se ridicd sesizabil deasupra nivelului zero. (Liniile
diferite ale tiparului corespund unor seturi de date diferi-te, care ne oferd estimdri ugor diferite.l)
23
lal 5 45N
.s 4.0
3^^O JUcolJ
5E20c: 15oE 1nc Lvo
lr)l oc
=
.9'-c
,gcoEtoL
= ^tod -8000
24 NickBostrom
Ideea unei singularitlli tehnologice ce sti sd se
producl este, astdzi, popularizati la scari largi, in-
cepAnd cu eseul fundamental al lui Vernon Vinge Ei
continuind cu lucririle lui Ray Kurzweil 9i ale altora'1
Cu toate acestea, termenul ,,singularitate" a fost folo-
sit intr-o manier5. confuzi, cu mai multe sensuri' qi a
ajuns si dezvolte o aur[ laicd (9i aproape milenaris-
ti) de conotalii tehno-utopice'2 Din moment ce ma-
joritatea semnificaliilor qi conotaliilor respective sunt
irelevante Pentru demersul nostru' este preferabil s[
ne dispenslm de termenul ,,singularitate", in favoarea
unuia mai riguros.in privinla ,,singularit6fii", sensul care ne interesea-
zit aici prevede posibilita tea unei explozii a inteligenfei'
mai exict, perspectiva unei superinteligenle de tip ar-
tificial. Unii oameni cred in diagrame ale progresului
precum vedem in figura 1, care arati iminenla unei noi
schimblri drastice in modelul progresului' compara-
bile cu revolulia agral:it Ei cu cea industriali' Acestora
le este greu s[ conceapd un scenariu in care ritmul de
dublare a economiei mondiale s[ fie redus la cAteva
sdLptimAni, firi a implica reaLizarea unor creiere mai
rupid* gi mai eficiente decAt cele biologice, cunoscute
noui. Totugi faptul de a lua in serios eventualitatea unei
revolulii a inteligenlei artificiale nu trebuie si lini de
studieiea curbelor de creqtere sau de extrapolarea date-
lor economice din trecut. DupI cum vom vedea, avem
motive mai temeinice pentru a face asta'
')Sandberg, 2010
Superinteligen[a
Marile speran{e
Maginile similare oamenilor in privinla inteligenleigenerale - adicd maqini care si aibl bund judecati, abi-
litatea innlscutd de a lnvila qi raliune gi care si poa-
td deslugi provoclri legate de procesarea informaliilordin domenii diverse, naturale qi artificiale - au fost
un deziderat inc[ din anii 1940, odati cu inventarea
computerelor. ln acel moment, aparilia unor astfel de
magini era preconizati undeva in urmitoarele doud
decenii.l De atunci incoace, rata temporald privindproducerea lor a scizut, anual, cu cdte un an; astfel c6,
rstizi, futurologii care iau in serios aparilia inteligenlei
artificiale de ordin general cred ci ne despart doar cd-
teva decenii de acest eveniment.2Doul decenii reprezinti o perioad[ convenabili
pentru predicatorii schimbirii radicale: suficient de
scurti pentru ca acest fenomen s[ devind relevant qi
irtractiv qi, totugi, suficient de lungd cdt si fie rezonabilir presupune cd, pini atunci, ar putea avea loc trans-
lirrm[ri radicale pe care azi de-abia ni le imaginim. Sd
privim lucrurile la o scali temporalS' mai mici: majo-
ritatea tehnologiilor care vor influenla lumea in cincisilu zece ani sunt deja folosite, in stoc limitat, iar cele
cirre igi vor llsa amprenta asupra lumii in mai pulin de
I Doui declaralii optimiste reluate des in anii 1960: ,,Maqinilevor ff capabile, in aproximativ 20 de ani, si faci tot ceea ce potIrrcc oamenii" (Simon, 1965,1996);,,in decurs de o generaiie [..']prrrtrlema creirii inteligenlei artificiale va fi rezolvati" (Minsky'It)67 , p.2). Pentru o trecere exhaustivi ln revisti a predicfiiloruu privire la IA, vezi Armstrong gi Sottala, 2012.
2 Yezi, de exemplu, Baum et. all, 2011'
25
25 Nick Bostrom
cinsprezece ani probabil c[ existS, 9i ele, deja, ca pro-
totipuri de laborator. Doud decenii constituie, de ase-
menea, durata tipici a carierei unui specialist in astfel
de prediclii, presupunAnd punerea in joc a reputaliei
prin realizarea unei prediclii curajoase.
Faptul c[, in trecut, unii au fbcut estimiri nerealiste
cu privire la aparilia inteligenlei artificiale nu inseam-
ni ci aceasti formi de inteligenll este imposibili, cinu va apirea nicicAnd.l Principalul motiv pentru care
progresul a fost mai lent decdt spera lumea line de fap-
tul ci elaborarea unei maginirii inteligente s-a dovedit
mai dificili decit au preconizat primii care au avut invedere acest proiect. Agadar, nu se gtie cAt de mari sunt
aceste dificulteli gi nici cit ne va lua pentru a le depiqi.
lJneori, o problemi care pare extrem de complicatipoate avea o solulie foarte simpln (deqi situalia inversi
este, probabil, mai comunl).ln capitolul urmitor, vom inspecta ciile posibile
care pot duce la o inteligenld artificiali comparabilicu cea uman6. inainte, permiteli-mi totuqi si subliniez
c[, oricit ne-am poticni intre momentul actual 9i pAni
in cel in care yom avea o maqindrie cu o inteligenllde nivel uman, nici micar acest ultim punct nu va fiunul final. Urmitoarea stalie, prima dupS realizarea
maqiniriei, va fi aceea a inteligenlei artificiale de nivel
suprauman. Trenul s-ar putea si nu opreasci, poate
1 Asta ar putea sugera, totuqi, c[ cercetltorii care se ocupi de
IA gtiu mai puline decAt cred despre cronologia evoluliei - ceea
ce poate avea rezultate contrare:,ei fie vor subestima, fie vor su-
praestima momentului aparilieitnteligenlei artificiale.
Superinteligenla
rrlci nricar sd. incetineasc5, in stalia umanitllii. Posibilrr l-o traverseze ca vdntul.
Matematicianul L|. Good, statistician-gef in echipalul Alan Turing, in timpul celui de-al Doilea RdzboiMonclial, a formulat, pentru prima dati, aspectele*t,rrfiale ale acestui scenariu, Intr-un pasaj des citat,t e tlrteazl din 1965, el sus{ine:
Prin magini ultrainteligentd in{elegem o maEinlerlrc poate dep6gi, de departe, activitatea intelectua-ll1 n oricirei fiin{e umane, oricAt de inteligenti ar firlccasta din urml. Din moment ce construirea uneirrstl'el de magini depinde tocmai de activitatea inte-lcctuali, o magini ultrainteligenti ar putea realiza,rle una singur6, magini chiar mai eficiente; asta artlut:e, firi lndoiald, la o "explozie de inteligenli" care
rtl ldsa cu mult in urm6 inteligenta umani. Astfel,Irrvcntarea unei maqini ultrainteligente va fi ultimulIrrcru pe care trebuie sl-l faci omul, cu condilia ca
rrccasta si fie suficient de docili, incAt si ne arate
cr.llll s-o {inem sub control.l
l'irre evident cd o asernenea dezvoltare a inteligenleivrr l'i asociati cu riscuri existenliale majore gi ci ur-rttrlrile vor trebui previzute cu maximl atenlie, chiar
1l qtiind ci probabilitatea ca ele sd se concretizezerrt l'i redusi (nefiind insd cazul). $i, totugi, pionieriiI r r tel i genfei artificiale, deqi postuleazl iminenla reali-rllrii uneia de nivel umarl, s-au gdndit mai pufin laposibilitatea apariliei unei inteligente supraumane.( lr $i cum latura mentali cu care acegtia fac speculafii
27
(iood, 1965, p, 33
28
unei epoci ce nu s-a remarcat prin gindire critici laadresa-domeniului tehnic.? Nu putem decit si sperim
I O excep{ie este Norbert Wiener, care a avut cAteva presim}iri
cu privire la posibilele consecinfe' Iatd ce scria tn 1960: "Dacivom folosi, pintru a ne atinge scopurile, agenli mecanici cu care
"t t"* ptti" interfera foarie bine dupi pbrnire, pentru ci totul
a..otg.:fou.t. rapid qi este irevocabil 9i nu vom avea suficien-
te inf;malii p.t ito u interveni inainte ca acliunea si ffe fina-
iir"la, "t"tti irebuie si fim cu adevirat siguri c[ sco.pul atribuil
masinlriei este exact scopul dorit de noi, qi nu o palidi aproxi-
maie a lui" (Wiener, 1960). Ed Fredkin a vorbit' 9i el' despre in-
;Jj*ttti; t;1. privind superinteligenfa, intr-un .interviu redat
fuiCorduck, tgzs.panain 1970, qi Good a scris despre riscu
suger6nd crearea unei asocialii care si lupte imp.otriva acestori
iC?"J, isz0). A se vedea 9i articolul siu de mai tdrziu. (G.ood
is82), ln care contureazl citeva dintre ideile ,,normativitifii in
ai*.i*", pe care le vom discuta in Capitolul 13' ln 1984' Marvit
Minsky icria, la rAndu-i, despre citeva lngrijoriri principa
(Minsky, 1984).t Cf. yuodkovski (200s a). Cu privire la importan{a stabili
unor repere etice pentru viitoar4e-tehnologii inainte ca
si apari, vezi Roache (2008). l
Superinteligensa 29
ci, pAni in momentul in care aceaste intreprindereva deveni cu adeverat fezabili, vom avea atit capaci-tatea tehnici pentru a susline ampla dezvoltare infor-matici:, cit gi competenla necesarl pentru a-i asiguraefectele durabile.
Dar, inainte s[ vedem ce va urma, sd arunc[m o
privire scurti peste istoria inteligenlei artificiale.
Perioade de speranfi Ei perioade dedisperare
in vara anului 1956, la Colegiul Dartmouth, zece
oameni de'qtiinfi interesafi, cu tofii, de relelele neu-ronale, de teoria roboticii gi de studiul inteligenfei, au
hotirdt s5 participe la un seminar de qase sdptimdni.Proiectul de vari de la Dartmouth, cum este cunoscut,este vizut cu precidere ca evenimentul in urma c[ru-la a aplrut domeniul de cercetare a inteligenlei artifi-ciale. Mu\i participanli aveau s[ fie considerafi, rnait[rzlrrt, drept pirinli ai domeniului. Spiritul optimistcare ii caracterizape ace$tia transpare din propunereaflcuti Fundaliei Rockefeller, care finanla proiectul;
Propunem desfbqurarea unui studiu realizat de
zece oameni, care si dureze doui luni [...] Studiulpleactr de Ia presupozi{ia cA orice aspect al 1nv6!5riigi orice caracteristici a inteligenlei poate fi, ln prin-cipiu, descrisi atAt de precis, lncAt si fie sirnulat[ de
o magini. Vom lncerca s{ gisim modafite$ prin care
sb determinim maginile ce utilizeazd lirnbajul 9i re-alizeazd abstrac{iuni gi concepte si rezolve proble-me care astizi le sunt rezervate oamenilor, precum
Nick Bostrom
s-ar fi epuizat lntr-un asemenea grad odat[ cu con-
.ep.r"* potibilitelii existenfei unei maqinirii care si
atingi inteligen{a umana' incit, pur 9i simplu, nu mai
pot loncepJqi corolarul - posibilitatea ca maqinile si
devini superinteligente.pe de alte parte, precursorii inteligentei artificiale
nu au luat in ialcul posibilitatea ca intreprinderea lor
si implice riscuri.l Nici mecar nu au verbalizat ^ dar
se se gendeascl serios la aceasti chestiune! * pericolul
impliiat de minlile artificiale sau posibilele consecinle
etice pe care le-ar putea avea existenla unor stepeni
ciberietici: o lacunl uimitoare, mai ales pe fundalul