L’altérité dans un dialogue homme-robot

Jean CaelenLaboratoire d’Informatique

de Grenoble

2

Pla

n

Partie I : L’altérité dans le dialogue humain

Partie II : L’éthique dans l’interaction humain-robot Partie III : Modélisation de l’interaction humain-robot

Partie I : L’altérité dans le dialogue humain

3

L’altérité comme fondement du dialogueLe dialogue est un Faire à deux ou à plusieurs qui

prend racine dans le soi et permet de construire une action commune en vue d’un but qui constitue la visée du dialogue ou de l’interaction

L’altérité maintient et fonde le dialogue comme processus de co-construction de valeurs et de signes à travers l’action conjointe.

Dans le dialogue humain l’altérité fonde l’intersubjectivité

4

L’altérité chez Paul Ricoeur

Deux significations majeures de l’identité personnelle◦ Au sens idem = le mêmeTraits de permanence dans le temps qui fait que l’on

s’identifie comme soi, notamment par la mémoire

◦ Au sens ipse = le soi-mêmeMobile, se maintient par réflexivité à travers l’altérité

Se manifeste dans trois types de relationSoi/monde, soi/autre, soi/soi (conscience) à travers diverses facettes +être, +avoir, +conjoint

5

Les 8 facettes Je-Tu-Monde+être+être(soi) le regard sur soi, dans un

jugement réflexif,

+être(soi-même) ce que je ressens de moi à travers l’autre

+être(autre) attention du Tu vers le Je

+avoir+avoir(soi) ce que je possède

+avoir(autre) ce qui m’est transmis par l’autre (connaissance, information, objet),

+avoir(monde) ce que je reçois du monde ou d’une institution, d’un groupe, médié par l’autre

+conjoint+avoir(commun) un bien indivisible

+être(commun) force du lien : de haine (--), méfiance (-), indifférence (0) à empathie (+), connivence (++), amour (+++), etc.

Je Tu+être(commun)

+être(autre)

+être(soi-même)+être(soi)

Monde

+avoir(monde)

+avoir(commun)

+avoir(autre)

+avoir(soi)

Le dialogue est un jeu interactionnel basé sur la notion d’intérêtUn dialogue est un jeu au cours duquel chaque

participant joue des « coups » à l’aide d’actes de langage pour atteindre son but.

Un dialogue se présente comme une suite d’échanges (actions, transactions), les échanges visant à résoudre des sous-buts ou des pré-conditions et à faire progresser des gains (valeurs ou utilités)

Le dialogue se maintient par l’intérêt des acteursIntérêt individuel / intérêt conjoint = gains sur les

valeurs d’altérité

7

Dialogue D = (I, Bi, A, Gi, T) I = ensemble des interlocuteurs {i} ayant chacun

son système de valeursBi = buts des interlocuteurs i

A = ensemble des actes de dialogue {FA, FF, FS, FFS, FD, FP}

Gi = ensemble des gains des interlocuteurs i avec les notations GE

= gain espéré, GC = gain conjoint

T = type de jeu (répété ou non, à connaissances incomplètes, à somme nulle ou non, etc.)

8

Hypothèse les locuteurs sont seulement capables de savoir si

leur gain augmente ou diminue au cours du jeu de dialogue. Ils règlent leur dialogue de manière opportuniste en fonction de l'évolution des gains à l'intérieur même de la finalité du dialogue (leurs buts). Pour cela ils ne font pas de calculs autres que des comparaisons.

9

AlgorithmeBeginDialogue

DJ : Initialization of the game D = (B(i), A, I, Gi, T)If T = repeated game Then

Initialize gains Gi with those of previous stage game Else Gi = 0

EndifOpening of Dialogue by phatic acts Let i is the first speaker :Compute goal B(i), expected gain GE

i which produces Speech Act FipWhile GE > 0 do For each j ≠ i I do

j analyses Fip according to T j computes his acquired gain GA

j and the joint gain GC

j evaluates his goal B(j) and expected gain GEj

End For each If k I : GE

k > GAk + GC then

i = ki produces the speech act Fip aiming to increase his gain

Endif EndWhileIf D = new game Then go to DJ

EndDialogue10

Application : dialogue entre un mendiant et un passant

11

M (Mendiant) : une pièce svp...

P (Passant) : tu ferais mieux de travailler plutôt que de mendier !

M : j'étais au chômage et je n'ai pas trouvé d'emploi

P : ouais, moi aussi j'ai été au chômage...

M : alors ! vous me comprenez…

P : va te faire voir avec ta pièce !

M : bon, ça va !

+avoir(monde)

+avoir(autre)

+avoir(soi)

+être (soi)

+être(soi-même)

+être(autre)

GC

M : une pièce svp... FF(x) : pièce(x) ; BM = obtenir(x) 

GEM +argent 0 +favorable +compassion +empathie

P : tu ferais mieux de travailler plutôt que de mendier FD(Travailler) ; BP = 0

GEP +conforme à ses principes

+vertueux

GAM 0 -favorable 0 -méfiance

M : j'étais au chômage et je n'ai pas trouvé d'emploi FS(y) : histoire(y) BM est maintenu ; BM =

obtenir(x) GEM +argent +justification +tolérance +0

GAP +conforme 0P : ouais, moi aussi j'ai été au chômage... FS(z) : histoire(z), z = y GEP +conforme +convaincu -déni

GAM 0 0 0M : alors vous me comprenez… FS(expressif)GEM +pitiéGAP -

P : va te faire voir avec ta pièce FS(x)GEM

GAM 0 0 0 - -

GAP + - -

Partie II : L’éthique dans l’interaction humain-robot

13

Ethique et robotiqueLe robot « autonome » (par ex. drones militaires)

◦ Limitation des capteurs et de la perception de l’opérateur via les interfaces du robot et travail déporté dans l’interaction

◦ Responsabilité du robot ? (car il agit de plus en plus en lieu et place de l’humain)

Le robot « partenaire » (par ex. robot compagnon)◦ Limitation des bonnes intentions du robot◦ Responsabilité du robot ? (car il peut induire de mauvais

comportements de l’usager)

14

Responsabilité Incombe à l’opérateur ou au fabricant en cas de

non-conformitéMais…

◦ L’opérateur n’a pas le contrôle total du robot (surtout s’il est autonome) ou il peut en avoir une confiance démesurée

◦ Les réseaux d’acteurs diluent la responsabilité◦ Il y a une dimension émotionnelle dans la prise de décision◦ La complexité du robot est croissante (on ne maîtrise pas

le logiciel qui peut avoir des bugs ou des comportements inattendus)

D’où perte du sens de la responsabilité chez l’opérateur et diminution de la vigilance

15

16

Cette incapacité à prendre en compte l’ensemble des facteurs est une cause d’erreur pouvant engendrer des drames, comme dans le cas de l’opération conduite en novembre 2001 contre le chef des opérations militaires d’Al-Qaïda dans les alentours de Kaboul : les deux missiles tirés depuis un Predator ont effectivement atteint leur but, mais au moment de l’impact, la voiture de la cible croisait un car scolaire, faisant de nombreuses victimes parmi les enfants.

L’homme présente donc deux grandes failles entre sa sensibilité émotionnelle et ses limites physiologiques, notamment cognitives, que les machines, plus fiables, devraient pouvoir combler, à condition de pouvoir y implémenter un comportement éthique.

Eth

iqu

e in

carn

ée d

ans

le r

ob

ot

?

L’éthique des robots

Isaac Asimov (1920-1992). Dès 1942, dans son roman de science-fiction Runaround, avait énoncé ses Trois lois de la robotique :

1. Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu’un être humain soit exposé au danger.

2. Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la première loi.

3. Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la première ou la seconde loi.

17

Droit des robots

Entre 2006 et 2007, le gouvernement de la Corée du Sud et le Réseau de recherche européen sur la robotique (Euron) posent la possibilité d’établir une charte du droit des robots. 

Le robot « sujet » car autonome et « intelligent » a des droits : il ne doit pas nuire à l’humanité et l’humain ne doit pas lui nuire.

« Tout comme a été créée la notion de personne morale, il devrait être possible de créer une personne robot afin de lui reconnaître des droits et obligations qui l’assimileront à une personne physique. Enfin, il conviendrait de lui attribuer une identité, avec par exemple un numéro identifiant, et de la doter d’un patrimoine, englobant tous les biens représentatifs inhérents au fonctionnement du robot. » A. Bensoussan

« Aussi, il nous semblerait plus pertinent d’intégrer dans le protocole régissant le comportement du robot un ensemble de lois qu’il ne peut enfreindre, et d’établir un cadre juridique international strict concernant leur usage. » O. Sarre

18

Difficultés d’implémentationUn robot est-il capable d’évaluer complètement

une situation et les conséquences de ses actions ?A-t-il toutes les informations nécessaires ?A-t-il toutes les règles de droit, principes et normes

nécessaires ?Quel est la limite à trouver entre risque et sécurité

?Le robot n’a pas de stress positif appelé

intelligence émotionnelle et ne pourrait donc pas non plus utiliser ses « émotions » comme paravent

19

20

Que les machines soient capables de réagir conformément à des règles dites « éthiques » préprogrammées est une chose, mais cela n’en fait pas des agents capables de raisonnements éthiques ou moraux pour autant. Les robots, comme toute machine, ne sont ni moraux ni immoraux mais amoraux, c’est-à-dire qu’on ne peut pas leur prêter de morale : c’est l’utilisation qui en est faite, sous-jacente à des décisions humaines, qui déterminera si leur emploi est ou non éthique

Les

ro

bo

ts s

on

t am

ora

ux

21

Ethique de la discussionJürgen Habermas Théorie De L’agir Communicationnel, tente de ramener

dans l’éthique kantienne les intérêts et le bien-être des personnes.  Il s’agit de permettre au processus interne induit par l’impératif kantien (la réflexion par rapport à la maxime de l’action et à sa possible universalisation) de se sortir du sujet pour prendre le terrain de la discussion, pratique, externe. Une discussion est éthique si elle ressemble autant que possible à une situation de liberté de parole absolue et de renoncement aux comportements « stratégiques »

Karl-Otto Apel Éthique De La Discussion, s'appuyant en partie sur l'œuvre d'Habermas, cherche dans l’éthique de la discussion une fondation rationnelle de l'éthique…

L’éthique de la discussion répond à deux principes : (U) Seules peuvent prétendre à la validité les normes qui pourraient trouver

l’accord de tous les concernés en tant qu’ils participent à une discussion pratique [principe d’universalité]

(R) Dans le cas de normes valides, les conséquences et les effets secondaires qui d’une manière prévisible découlent d’une observation universelle de la norme dans l’intention de satisfaire les intérêts de tout un chacun doivent pouvoir être acceptés sans contrainte par tous [principe de rationalité]

Critique et limites Activité morale « idéale » – Recherche de la vérité

universelle (sincérité et objectivité à travers l’intersubjectivité)

Activité stratégique – Jeu des intérêts (rationalité instrumentale) incompatible avec l’activité morale « idéale »

« Les acteurs, en se mettant d’accord sur quelque chose, émettent des exigences de validité ou plus précisément des exigences de vérité, de justesse ou de sincérité selon qu’ils se réfèrent à quelque chose qui se produit dans le monde objectif (en tant qu’ensemble des états-de-chose existants), dans le monde de la communauté sociale (en tant qu’ensemble des relations interpersonnelles légitimement établies au sein du groupe social) ou dans le monde subjectif personnel (en tant qu’ensemble des expériences vécues auxquelles chacun a le privilège d’accéder). Mais alors que dans l’activité stratégique l’un influe sur l’autre empiriquement (que ce soit en le menaçant d’une sanction ou en lui faisant miroiter des gratifications) afin d’obtenir la continuation escomptée de l’interaction, dans l’activité communicationnelle, chacun est motivé rationnellement par l’autre à agir conjointement et ce en vertu des effets d’engagements illocutoires inhérents au fait que l’on propose un acte de parole. » 22

Libéralisme : John Rawls

Remplace la notion d’éthique par celle de justice ou d’équité dans une vision libérale revisitée de la société :

Chaque personne a droit à un système pleinement adéquat de libertés de base égales pour tous, compatible avec un même système de liberté pour tous [principe d’universalité]

Les inégalités sociales et économiques doivent satisfaire à deux conditions  [principe d’équité] :◦ Elles doivent d’abord être attachées à des fonctions et à des

positions ouvertes à tous, dans des conditions de juste égalité des chances.

◦ Elles doivent procurer le plus grand bénéfice aux membres les plus désavantagés de la société. 

Théorie de la Justice, 1971

23

Les courants pragmatistesLes communautariens : Michaël Walser, Alaisder McIntyre,

Charles Taylor, Stanley Cavel◦ La morale n’est pas universelle mais un standard au sein de nations ou de

sociétés particulières même si ce standard peut s’étendre à d’autres nations par un processus de réitération (McIntyre)

◦ L’état de guerre ne justifie pas l’absence d’éthique, une guerre menée de manière juste ne doit pas attaquer directement et intentionnellement des non combattants (Walser)

◦ L’éthique passe par la reconnaissance intersubjective des identités (Taylor)

◦ La tâche de la rationalité est de découvrir les critères qui guident nos jugements (Cavel), elle établit la supériorité locale d’une solution sur une autre et défend sa validité d’après des critères d’amélioration progressive (Taylor)

◦ L’articulation n’est pas une simple exposition du soi de l’agent mais ce qui dans la position de l’agent se réclame du lien social (ce que l’agent reconnaît comme effort incontournable de « faire société » avec les autres)

◦ Il s’agit de rendre explicites les engagements mutuels des agents, de manière à les obliger à assumer leurs responsabilités

24

Application homme-robot La vérité des faits reste contextuelle et découle d’une

délibération collective : il n’y a que des normes communautaires et non universelles

La responsabilité des agents est basée sur leur engagement, non sur une quelconque rationalité

Ce qui conduirait pour une relation homme/robot à :1. Délibérer avant la mission/session pour définir des normes

ou des règles et engager tous les acteurs dans leurs responsabilités

2. Fixer des normes ou des règles au robot et notamment lui demander de fournir des « faits » au retour de mission (sorte de boîte noire)

3. Examiner ces faits au regard des règles établies à la fin de la mission, les justifier et les juger dans un souci d’amélioration progressive

25

Partie III : Modélisation de l’interaction humain-robot

26

Est un « faire » conjointOrienté vers un butC’est donc un dialogueDialoguer ou interagir avec un robot = MêmeQue doit être l’altérité du robot ? (pour appliquer le

même modèle qu’en dialogue humain) = le robot n’a pas les mêmes intérêts, en particulier :+avoir(soi) = 0+avoir(soi-même) = 0

27

Interaction H-R = Dialogue

ModélisationLe même modèle s’applique en modifiant les gains

pour le robotL’utilisation en sera « éthique » si :1. Un dialogue préalable établit les règles ou

normes comportementales du robot entre agents concernés

2. L’opérateur et/ou l’usager reste présent et engagé dans l’interaction

3. Les règles sont réajustées dans un souci d’amélioration permanente

28

Dialogue D = (I, Bi, A, Gi, T, R) I = ensemble des interlocuteurs {i} ayant chacun

son système de valeursBi = buts des interlocuteurs i

A = ensemble des actes de dialogue {FA, FF, FS, FFS, FD, FP}

Gi = ensemble des gains des interlocuteurs i avec les notations GE

= gain espéré, GC = gain conjoint

T = type de jeu (répété ou non, etc.)R = règles comportementales du robot

29

AlgorithmeBeginDialogue

Define Rules R (deliberation + comittment)EndDialogueBeginInteraction

DJ : Initialization of the game D = (B(i), A, S, I, Gi, T, R)If T = repeated game then

Initialize gains Gi with those of previous stage game Endif

Opening of Dialogue by phatic acts: i is the first speakerCompute goal B(i), expected gain GE

i which produces Speech Act FipWhile GE > 0 do For each j ≠ i I do

j analyses Fip according to T and R j computes his acquired gain GA

j and the joint gain GC

j evaluates his goal B(j) End For Each If k I : GE

k > GAk + GC then

i= ki produces the speech act Fip aiming to increase Gi + GC

Endif EndWhileIf D = new game Then go to DJ

EndInteractionMissionAnalysis

Debriefing 30

Rei

tera

tion

ExempleDiscussion de la mission

Règle = FA(tirer) si et ssi !x : cible(x) viseur(x) (= cible unique dans le champ de vision)

Interaction(…)

Opérateur = « qu’est-ce que tu détectes ? »

Robot = « c’est un pick-up »

Opérateur = « tire »

Robot = « il y a aussi un bus, que faire ? »

Opérateur = « OK, attends »

Ou Opérateur = « tire »

Robot = FA(tirer) FS(je fais un rapport) FA(rapport)

31

ConclusionExtension de la théorie des jeux au dialogue

comme à l’interaction homme-robotAltérité : dissymétrique, doit être compensée par

l’éthique (règles externes) Ethique : résulte alors d’une discussion préalable

sur les missions et comportement du robot ainsi que sur la responsabilité de l’opérateur

Contrairement au dialogue humain, un niveau d’éthique doit être introduit dans l’interaction homme-robot

32