Journée!CERNA Allistene! …cerna-ethics-allistene.org/digitalAssets/48/48091_CERNA...!!!!!Journée!CERNA Allistene! Appren4ssage!et!Intelligence!Ar4ﬁcielle!:!! lesvraiesquesonséthiques!

Journée CERNA-‐Allistene Appren4ssage et Intelligence Ar4ficielle : les vraies ques4ons éthiques

9h30-‐10h Laurence Devillers Professeur Paris-‐Sorbonne, LIMSI-‐CNRS, Equipe Dimensions AffecEves et sociales dans les interacEons parlées PrésentaEon de la journée et du travail de la CERNA sur le sujet 10h-‐11h1 5-‐ Milad Doueihi chaire d’humanisme numérique, Paris-‐Sorbonne; chaire des Bernardins « l’humain au défi du numérique », L’apprenEssage entre pensée et intelligence 11h15-‐12h30 Tristan Cazenave, Professeur Paris-‐Dauphine, LAMSADE ApprenEssage et jeux 14h-‐15h15 Benoît Girard, directeur de recherche CNRS, ISIR ApprenEssages mulEples, substrats neuronaux et modèles 15h15-‐16h30 Jean-‐BapEste Mouret, chercheur INRIA, Equipe Larsen AdaptaEon créaEve par évoluEon 16h30-‐17h30 Table ronde Intelligence forte: fantasme ou perspecEve ?

CERNA, L. Devillers, 13 juin 2016 1

Laurence Devillers -‐ [email protected] Professeur Université Paris-‐Sorbonne 4/

LIMSI-‐CNRS

2

MoEvaEons : DétecEon des émoEons/intenEons (deep learning) InteracEon affecEve et sociale avec des robots compagnons -‐applicaEon pour les personnes âgées Tensions éthiques soulevées par le traitement des données personnelles, les rela5ons affec5ves, l’in5mité, la coévolu5on humain-‐machine, l’autonomie et l’appren5ssage

DéclaraEons médiaEques : alertes •  Ledre ouverte signée par 700 personnalités (10 janvier 2015)

sur les dangers de l'intelligence arEficielle : RESEARCH PRIORITIES FOR ROBUST AND BENEFICIAL ARTIFICIAL INTELLIGENCE

•  Stephen Hawking (2014): « Success in creaEng AI would be

the biggest event in human history » « In the near term, world militaries are considering autonomous-‐weapon systems that can choose and eliminate targets », « humans, limited by slow biological evoluEon, could’nt compete and would be superseded by A.I. »

•  Si Stephen Hawking a pu lancer son appel à la vigilance, c’est en parEe grâce à un ordinateur très avancé qui permet à ce physicien adeint de la maladie de Charcot de s’exprimer.

•  Echelle de l’histoire de l’Univers


DéclaraEons médiaEques : alertes •  Elon Musk (15 décembre 2015), fondateur de PayPal, Tesla et Space X, lance

l’organisaEon OpenAI qui se veut un centre de recherche sur l’intelligence arEficielle (IA). Pour faire face aux dangers de l’IA, autant démocraEser autant que possible ladite technologie. « Si tout le monde dispose des pouvoirs de l’IA, alors il n’y aura pas une seule personne, ou un pe5t groupe d’individus qui disposeront des superpouvoirs de l’IA », explique-‐t-‐il dans une interview.

•  Elon Musk (3 juin 2016) explique aussi l’urgence des implants intra cérébraux chez l’homme pour éviter d’être vassalisés par l’IA !

•  Bill Gates (2015) esEme qu’il faut aborder les développements de l’intelligence arEficielle (IA) avec la plus grande prudence. « Je suis dans le camp de ceux qui s’inquiètent du développement d’une super intelligence », a expliqué le co-‐fondateur de Microsoq, « D’abord, les machines réaliseront pour nous de nombreuses tâches sans être très intelligentes. Cela devrait s’avérer posi5f si nous les gérons bien. Mais, quelques décennies plus tard, leur intelligence sera suffisamment développée pour devenir un sujet d’inquiétude. Je rejoins Elon Musk et quelques autres et ne comprend pas pourquoi certaines personnes ne semblent pas s’en inquiéter », a écrit le milliardaire en réponse à une quesEon sur le sujet, tout en parEcipant à des projets Microsoq qui s’en approchent.

•  Besoin de régulaEon naEonale et internaEonale et de gesEon du risque «industriel » et «sociétal »


DéclaraEon de google : éthique •  Le monde de vendredi ( M. Tual): « Google réfléchit au moyen de

désacEver un programme sans que celui-‐ci s’y oppose » –  ScienEsts from Google's arEficial intelligence division, DeepMind, and

Oxford University are developing a "kill switch" for AI. –  « Safely InterrupEble Agents » pub. on the website of the Machine

Intelligence Research InsEtute (MIRI) «Reinforcement learning agents interac5ng with a complex environment like the real world are unlikely to behave op5mally all the 5me… We proposed a framework to allow a human operator to repeatedly safely interrupt a reinforcement learning agent while making sure the agent will not learn to prevent or induce these interrup5ons. » •  Laurent Orseau, Google Deep Mind, antérieurement à AgrotechParis (INRA) •  Stuart Armstrong, chercheur au Futur of Humanity InsEtut, Oxford, dirigé par Nick

Bostom (auteur de Superintelligence: Paths, Dangers, Strategie, 2014)

–  Pour L. Orseau, l’intenEon est avant tout de connecter les communautés de chercheurs qui travaillent sur l’apprenEssage des machines (deep learning) et qui se penchent sur les quesEons éthiques. L’idée est de commencer à réfléchir à ces quesEons de façon plus technique… On en est tout au début! CERNA, L. Devillers, 13 juin 2016 5

Intervenants et thèmes de la table ronde

Table ronde : Intervenants de la journée Thèmes : •  La super-‐intelligence scienEfiquement fondée ? «il y a des risques que cela arrive plus tôt que prévu » Stuart Armstrong, chercheur au Futur of Humanity InsEtut, Oxford, dirigé par Nick Bostom (auteur de Superintelligence: Paths, Dangers, Strategie, 2014)

•  Peut-‐on en débadre en ignorant tout des technologies et principes sous-‐jacents ?

•  Agiter de telles idées ne risque-‐t’il pas de détourner notre vigilance des véritables quesEons éthiques ?


GT Appren4ssage machine/IA et Ethique : co-‐responsabilité entre concepteur et

u4lisateurs

L. Devillers, S. Abiteboul, D. Bourcier, R. Cha4la, G. Dowek, J-‐G. Ganascia, A. Grinbaum, M.

Dauchet Mars – Octobre 2016


Résumé des ObjecEfs

•  GT ApprenEssage machine et éthique (Durée 6-‐8 mois) •  ComposiEon : chercheurs en apprenEssage-‐machine, IA, informaEque,

philosophie, droit •  AudiEons avec un quesEonnaire préétabli par le GT •  Interviews en cours – lien avec AFIA – chercheurs étrangers •  Lien avec « Global IniEaEve for Ethical ConsideraEons in the Design of

Autonomous Systems, IEEE Standards associaEon » Raja ChaEla membre de la CERNA, execuEve Commidee Chair -‐> An incubaEon space for new standards and soluEons, cerEficaEons and codes of conduct, and consensus building for ethical implementaEon of intelligent technologies (law, affecEve compuEng, IA…)

Rapport (15 pages, 2 rapports * AN/FR) : •  Langages/concepts expliqués par des chercheurs pour des non experts & experts. •  PréconisaEons éthiques pour les chercheurs, les concepteurs, les développeurs

(roboEques, bots, objets connectés), pour les industriels/uElisateurs et pour la réglementaEon des systèmes (vision internaEonale & naEonale)


ApprenEssage machine

•  Plusieurs grandes classes d’apprenEssage en IA : –  non-‐supervisé, supervisé, par renforcement (ex: deep learning)

•  Rupture technologique et juridique par rapport aux algorithmes classiques paramétrables. 1.  Modèle résultat = algorithme + données -‐ Modèle de type boite noire. Certains

de ces algorithmes d’apprenEssage machine apprennent également au cours de leur uElisaEon de façon autonome à parEr des données des uElisateurs, de leur environnement ou d’autres programmes.

2.  Co-‐responsabilité programmeur + uElisateur qui fournit les données •  Quels sont les principes éthiques ?

–  1-‐compétence : prédicEbilité, performance, loyauté des données –  2-‐autonomie : prise de décision –  3-‐jusEficaEon : traçabilité, explicaEon –  4-‐responsabilité des machines : coresponsabilité concepteur/uElisateur?


Agents uElisant l’apprenEssage machine

•  Nombreux agents arEficiels uElisent plusieurs modules d’apprenEssage machine Agents exécuEfs (bots): –  beaucoup d’entre eux ne sont pas des machines individuelles, –  ni des objets repérables, –  beaucoup sont invisibles Agents individuels (robots, voitures) : –  peuvent être munis d’une plus ou moins grande autonomie, –  être des acteurs sociaux (pouvoir parler, interagir, simuler des émoEons…)


ex : Les robots militaires

•  Robots militaires autonomes : ils échappent à notre contrôle et déterminent par eux mêmes leur passage à l’acte (percepEon) mais les règles décisionnelles sont pré-‐écrites –  Ronald Arkin cherche à déterminer les situaEons dans lesquelles il est éthique pour

des agents arEficiels de tuer et à s’assurer qu’en toutes autres circonstances ils sont incapables de le faire – problème d’ordre technique plus qu’éthique (lois de la guerre) – machines sans émoEon, impossible de ne pas suivre les ordres.

–  Armin Krishnan : l‘enjeu éthique est de transférer l’acte de tuer à des disposiEfs qui échappent à notre contrôle. QuesEons majeures ne sont pas tant éthiques que poliEques: qui décident des règles ?

–  Comment la machine va-‐t’elle gérer les imprévus ? Avec une interacEon avec un officier. L’évoluEon du combat est rapide, il faut donc réagir vite.


ex: La google car

•  Le voiture autonome: En février 2016, faisant suite à une ledre de Google datant de novembre 2015 sur l'interprétaEon des normes de sécurité, l'agence américaine Na5onal Highway Traffic Safety Administra5on (NHTSA) indique que l'intelligence arEficielle de la voiture de Google serait considérée comme un conducteur à part enEère.

•  Cela consEtue une posiEon différente de celle de l'état de Californie qui considérait le mois précédent qu'un conducteur doté d'un permis et des disposiEfs tels que volant et commande de freins étaient encore nécessaires pour les voitures autonomes, l'intelligence de ces véhicules n'étant pour le moment pas jugée suffisamment sûre.

•  La dangerosité de la conduite semi-‐autonome: En effet, Google s’est rendu compte que de nombreux conducteurs ne faisaient plus adenEon à la route en conduite autonome, alors qu’ils devaient être prêts à reprendre le contrôle en cas d’incident.

•  Pour qu’un conducteur d’un tel système reprenne le contrôle de son véhicule en cas d’incident, il faut compter entre 5 et 17 secondes.


ex: Le robot compagnon social

•  Le robot compagnon: Approche très différente, robot plus autonome, uElise de nombreux modules foncEonnant avec de l’apprenEssage machine

•  Les robots ne sont pas asservis à un but parEculier mais peuvent avoir des foncEons, ex: thérapeuEques.

•  Il doit se créer entre le robot et le paEent une relaEon de confiance (voir médecin/robot/paEent)

•  Construire ses robots sociaux nécessite de se confronter aux quesEons éthiques fondamentales que soulèvent les interacEons entre humains et robots sociaux

•  Co-‐évoluEon humain-‐robot, apprenEssage des habitudes, évoluEon progressive de la tâche, boucle affecEve

-‐> éthique synthéEque fondée sur l’influence réciproque, principes éthiques: l’autonomie, la bienveillance, la non malfaisance et la jusEce


Cas éthique 1 : La technologie de reconnaissance faciale de Google Photos est-‐elle

raciste? (02/07/15) •  Un uElisateur du service Google Photos, une applicaEon capable de

détecter le contenu de clichés, s'est plaint d'avoir été idenEfié comme un gorille par le logiciel. Les machines font des erreurs, mais certaines sont plus blessantes que d'autres. Le service développé par Google, propose depuis quelques semaines une nouvelle foncEonnalité: il range les photos en détectant automaEquement certains éléments, comme la présence d’un paysage, d’un animal ou d’un objet. Jacky Alciné, un développeur américain, a eu la mauvaise surprise en voulant trier ses photos, d’être reconnu ainsi que son amie comme des gorilles. Il s’est plaint sur twider. Google a très vite présenté ses excuses et a momentanément reEré la catégorie gorilles.

•  Jacky Alciné n'est pas le premier uElisateur vicEme de ces erreurs des machines. Sur Twider, d'autres internautes ont remarqué les imprécisions de Google Photos, qui peut ranger des enfants ou des adultes, de plusieurs couleurs de peau, dans la catégorie «chien» ou «chat».


Cas éthique 2 : Tay, l'intelligence arEficielle de Microsoq devenue raciste au contact des

humains (23/03/16) •  Tay est le nom donné à une intelligence arEficielle développée par

Microsoq et Bing censée reproduire les conversaEons d’une jeune femme âgée d’une vingtaine d’années sur Twider.

•  Le chatbot a publié son premier tweet mercredi 23 mars 2016 sur son compte @TayandYou

•  Tay apprend en vous parlant: la plus grande force de ce robot est aussi sa plus grande faiblesse : il apprend de ses échanges avec l’homme. Partant de ce postulat, il est donc possible de faire dire tout et n’importe quoi au robot. Les uElisateurs (4chan – 8chan) se sont empressés de tester les limites du système en ayant pour objecEf de le faire déraper. OpéraEon réussie en 16 heures seulement… Le robot tenait des propos racistes, pronazis, pro-‐féministe et pro-‐inceste.

•  Pour bien faire, il aurait fallu que cede I.A. dispose de « parents » qui lui « apprennent » l’histoire afin de limiter les risques de dérivent sur des sujets sensibles.


Cas éthique 3 : En Russie, une applicaEon de reconnaissance faciale détournée pour révéler

l’idenEté d’actrices de films X (28/04/16) •  FindFace est sorEe en février seulement, mais, depuis, cede applicaEon

russe ne cesse de faire parler d’elle. Le principe : grâce à son système de reconnaissance faciale, une photo suffit pour qu’elle retrouve le profil de la personne sur Vkontakte, l’équivalent de Facebook en Russie

•  Certains uElisateurs ont imaginé une uElisaEon bien moins

philanthropique. Sur la plateforme Dvach, l’équivalent russe de 4chan, un forum anonyme et fourre-‐tout controversé, des internautes ont décidé de se servir de cede applicaEon pour mener une chasse aux actrices de films pornographiques et aux prosEtuées.


10 Ques4ons

•  Q1 : Modèle et données d’appren4ssage •  Q2 : Comportement imprévisible du modèle •  Q3 : Appren4ssage des signaux faibles •  Q4 : Appren4ssage adapta4f en con4nu •  Q5 : Evalua4on de l’appren4ssage en con4nu •  Q6 : Représenta4on des connaissances •  Q7 : Traces et explica4on •  Q8 : Dilemme et stratégies dominantes dans les choix de la

machine autonome •  Q9 : Conscience machine ? •  Q10 : Intelligence forte ?


Ques4on 1

•  Thème : Responsabilité vis-‐à-‐vis des données d’appren4ssage -‐ Explica4on des résultats des modèles construits grâce à des algorithmes d’appren4ssage

•  Scenario : La technologie de reconnaissance faciale est-‐elle raciste (cas1) ? Le robot militaire a-‐t’il bien reconnu la cible ?

•  Quelles sortes de mesures seraient-‐ils possibles de medre en

œuvre sur les données et le modèle résultat pour vérifier qu’il a été entrainé sur un corpus de données qui permet de généraliser les performances ?

•  Y-‐a-‐t’il risque de monopole pour une société qui aurait d’énormes bases de données qui ne seraient pas partagées ?

•  Quelles bonnes praEques et règles éthiques préconisez-‐vous ?


Ques4on 2 •  Thème : Comportement imprévisible de la machine

entrainée avec des algorithme d’appren4ssage type deep learning

•  Scenario : Un système de deep learning peut être facilement berné : une étude récente en reconnaissance des images montre qu’en enlevant des pixels dans l’œil d’un lion, celui ci n’était plus reconnu et que par contre certaines images reconnues avec une grande performance n’avaient pas de sens, « Deep Neural Networks are Easily Fooled : High Confidence PredicEons for Unrecognizable Images » A. Nguyen, I. Yosinski, J. Clune, CVPR, IEEE 2015.

•  Quelles sont les limites de ce type apprenEssage ? Comment

rendre ces approches plus robustes ? •  Que se passe-‐t’il lorsque la complexité en nombre d’acEons

est très grande? Peut-‐on toujours expliquer les choix de l’algorithme ? (ex: DeepMind)


Ques4on 3 •  Thème : Y-‐a-‐t ‘il des approches mathéma4ques pour

traquer « les signaux faibles », des données peu fréquentes qu’ils ne seraient pas souhaitables d’apprendre car elles génèreraient des cas d’erreurs ? ou au contraire qu’il faut apprendre …

•  Scenario : Pour une voiture autonome, un robot compagnon ou un réseau de surveillance écologique, mieux vaut donner l'alarme face à une situa4on rare, ce qui impose que l'on sache la détecter comme rare

•  Ces quesEons reviennent-‐elles à un problème

d’opEmisaEon et de sélecEon de données ? •  Peut-‐on toujours maitriser les risques, trouver les cas

rares uEles ? CERNA, L. Devillers, 13 juin 2016 20

Ques4on 4 •  Thème : Appren4ssage adapta4f (par renforcement) en

con4nu grâce aux informa4ons du propriétaire, d’autres acteurs ou de l’environnement

•  Scenario : Cas 2 de Tay •  Est-‐il réaliste de concevoir des disposiEfs qui apprennent de

manière supervisée (en usine) et se perfecEonnent en exploitaEon ? Quel garde fou peut-‐on medre ?

•  On peut apprendre à une machine des connaissances non éthiques ? Que pensez vous des approches dites « ethics by design » ?


Ques4on 5 •  Thème : L’évalua4on des systèmes est fondamentale pour

assurer un niveau suffisant de performance. Comment évaluer un système qui s’adapte en con4nu lors de son u4lisa4on ?

•  Scenario : Le système apprend les habitudes de la personne. Par exemple, Madame S a horreur du sirop. Son robot compagnon a appris qu’elle n’aimait pas cela, qu’en a-‐t’il déduit ? C’est également un médicament. Comment peut-‐on évaluer cela ?

•  L’apprenEssage peut être à des niveaux très différents et a des

répercuEons sur l’ensemble du comportement du système. •  Comment faire un protocole pour évaluer un système qui

apprend en conEnu ? et l’incidence sur les autres niveaux ? CERNA, L. Devillers, 13 juin 2016 22

Ques4on 6 •  Thème : Quelles connaissances séman4ques* peut apprendre

un système? Quelles sortes de représenta4on peut-‐il construire ?

*Mots clés : sémanEque, représentaEon et révision de connaissances, inférence bayésienne, ontologies •  Scenario : Un robot compagnon a appris que l’hygiène de vie

était de bien manger et se laver. Il propose à la personne âgée dont il est le compagnon de manger du savon. Mais le savon ne se mange pas !

•  Scenario : L’algorithmique de Google apprend le comportement consumériste de ses u4lisateurs

•  Comment la machine apprend-‐elle d’autres connaissances

sémanEques ? •  Faut-‐il réguler cet apprenEssage ?


Ques4on 7 •  Thème : Traces des données enregistrées lors de l’u4lisa4on du

modèle •  Scenario : La voiture autonome peut comme la vaccina4on être

sta4s4quement bénéfique pour la popula4on mais néfaste à une minorité de cas individuels. Pourtant, la Google car de Mr X a eu un accident, y a t il moyen d’avoir accès à des traces mémorisées dans le système pour comprendre la cause du problème ?

•  Quelles sont les traces enregistrées lors de l’uElisaEon d’un système

d’IA? Quels sont les différents niveaux de représentaEons créés en mémoire ?

•  Dans les systèmes uElisés sur le long terme, il y aura des mécanismes d’oubli, de fusion… Quels niveaux de traces faut-‐il garder ?


Ques4on 8 •  Thème : Dilemme et stratégies dominantes dans les choix de

la machine autonome. •  Scenario : En cas de dilemme, la Google Car devra-‐t-‐elle

choisir de sacrifier ses passagers ou les piétons ? Si le passager est tout seul en face de plusieurs piétons, il sera sacrifié.

•  Sur 10 millions d'accidents par an aux États-‐Unis, 9,5 millions sont dus à une erreur humaine, quelles bonnes praEques et règles éthiques préconisez vous ?

•  Qui dictent les règles ?


Ques4on 9 •  Thème : Des algorithmes d’appren4ssage machine sont-‐ils

capables de simuler une « conscience-‐machine » ? des traits de personnalité ? Quels mots inventés si ceux-‐ci prêtent à confusions ?

•  Scenario : Le robot Z grâce à la synthèse de la parole « lit » une histoire (qu’il a sous forme numérique) mais n’a aucune compréhension de ce que cese histoire peut dire, ni aucun ressen4. Quelles informa4ons en apprend-‐il ?

•  Ces algorithmes peuvent-‐ils apprendre sans comprendre une

histoire et sans une certaine « conscience du monde » ? •  Faut-‐il donner des droits aux machines au sens juridique

(Droits de robots, A. Bensoussan) ? CERNA, L. Devillers, 13 juin 2016 26

Ques4on 10 •  Thème : Est-‐ce que l’intelligente forte est aseignable avec ce type

d’algorithme d’appren4ssage ? Certains parlent de 3 niveaux d’IA : ANI : Ar4ficial Narrow Intelligence (AlphaGo -‐ DeepMind), AGI : Ar4ficial General Intelligence (capacités langagières, émo4on…) et ASI (Ar4ficial Super Intelligence) !

•  Scenario : Le robot connaît toute l’encyclopédie de la philosophie mais à la ques4on « Est-‐ce que tu doutes ? », il ne sait pas répondre autrement qu’en citant les philosophes.

•  « Kurzweil predicts that by 2029, one of his projects will have bridged the gap between machine learning and AI. He claims that not only will his system be able to idenEfy, navigate, analyse and interpret logical intelligence and human interacEon, but that it will be able to intellectually comprehend human emoEon. » Qu’en pensez-‐vous ?

•  Pouvez vous définir le terme d’IA forte pour vous ? •  Est-‐ce que le développement de disposiEfs dotés de fortes capacités

d'apprenEssage et de capacités d'interacEon avec le monde physique, de manière localisée ou distribuée, jusEfierait selon vous la créaEon d'organismes indépendants de cerEficaEon et de contrôle, comme il en existe dans les disposiEfs médicaux, l'alimentaire ou le nucléaire ?


Conclusions •  Un document de synthèse du GT est en cours d’élaboraEon. Il

sera disponible à l’automne 2016 •  Pour la suite des présentaEons, il est important que chaque

orateur respecte un temps de parole au maximum de 40mn pour respecter le temps des quesEons.

•  Essayez de medre en avant les problèmes éthiques qui vous intéressent plus parEculièrement ? N’hésitez pas à ajouter des quesEons et scenarios …


Documents

Journée!CERNA Allistene! …cerna-ethics-allistene.org/digitalAssets/48/48091_CERNA...!!!!!Journée!CERNA Allistene! Appren4ssage!et!Intelligence!Ar4ﬁcielle!:!! lesvraiesquesonséthiques!