Linköpings universitetSE–581 83 Linköping

013-28 10 00 , www.liu.se

Linköpings universitet | Institutionen för datavetenskapExamensarbete på grundnivå, 16hp | Kognitionsvetenskap

2020 | LIU-IDA/KOGVET-G–20/019–SE

Moraliska bedömningar avautonoma systems beslut

Gabriel Trim Olof Lindelöf

Handledare : Daniel Väs jällExaminator : Anna Levén

http://www.liu.se

Upphovsrätt

De a dokument hålls llgängligt på Internet - eller dess fram da ersä are - under 25 år från publice-ringsdatum under förutsä ning a inga extraordinära omständigheter uppstår.

Tillgång ll dokumentet innebär llstånd för var och en a läsa, ladda ner, skriva ut enstaka kopi-or för enskilt bruk och a använda det oförändrat för ickekommersiell forskning och för undervisning.Överföring av upphovsrä en vid en senare dpunkt kan inte upphäva de a llstånd. All annan använd-ning av dokumentet kräver upphovsmannensmedgivande. För a garantera äktheten, säkerheten ochllgängligheten finns lösningar av teknisk och administra v art.Upphovsmannens ideella rä innefa ar rä a bli nämnd som upphovsman i den omfa ning som

god sed kräver vid användning av dokumentet på ovan beskrivna sä samt skydd mot a dokumentetändras eller presenteras i sådan form eller i sådant sammanhang som är kränkande för upphovsman-nens li erära eller konstnärliga anseende eller egenart.

För y erligare informa on om Linköping University Electronic Press se förlagets hemsidahttp://www.ep.liu.se/.

Copyright

The publishers will keep this document online on the Internet - or its possible replacement - for aperiod of 25 years star ng from the date of publica on barring excep onal circumstances.

The online availability of the document implies permanent permission for anyone to read, to down-load, or to print out single copies for his/hers own use and to use it unchanged for non-commercialresearch and educa onal purpose. Subsequent transfers of copyright cannot revoke this permission.All other uses of the document are condi onal upon the consent of the copyright owner. The publisherhas taken technical and administra ve measures to assure authen city, security and accessibility.

According to intellectual property law the author has the right to bemen onedwhen his/her workis accessed as described above and to be protected against infringement.

For addi onal informa on about the Linköping University Electronic Press and its procedu-res for publica on and for assurance of document integrity, please refer to its www home page:http://www.ep.liu.se/.

© Gabriel Trim Olof Lindelöf

http://www.ep.liu.se/http://www.ep.liu.se/

Sammanfattning

Samhällsutvecklingen går i en riktning där människor arbetar i allt närmare samar-bete med artificiella agenter. För att detta samarbete ska vara på användarens villkorär det viktigt att förstå hur människor uppfattar och förhåller sig till dessa system. Hurdessa agenter bedöms moraliskt är en komponent i denna förståelse. Malle m.fl. (2015)utförde en av de första studierna kring hur normer och skuld appliceras på människarespektive robot. I samma artikel efterfrågades mer forskning kring vilka faktorer hosagenter som påverkar de moraliska bedömningarna. Föreliggande studie tog avstamp idenna frågeställning och avsåg att undersöka hur moralisk godtagbarhet och skuldbe-läggning skiljde sig beroende på om agenten var en person, en humanoid robot eller ettautonomt intelligent system utan kropp (AIS). Ett mellangrupps-experiment (N = 119)användes för att undersöka hur agenterna bedömdes för sina beslut i tre olika moraliskadilemman. Deltagares rättfärdigaden bakom bedömningar samt medveten hållning utfors-kades som förklaringsmodell av skillnader. Medveten hållning avser Dennetts (1971) teorikring huruvida en agent förstås utifrån mentala egenskaper.

Resultaten visade att person och robot erhöll liknande godtagbarhet för sina beslutmedan AIS fick signifikant lägre snitt. Graden skuld som tillskrevs skiljde sig inte signi-fikant mellan agenterna. Analysen av deltagares rättfärdiganden gav indikationer på attskuldbedömningarna av de artificiella agenterna inte grundade sig i sådan informationsom antagits ligga till grund för denna typ av bedömningar. Flera rättfärdiganden på-pekade också att det var någon annan än de artificiella agenterna som bar skulden förbesluten. Vidare analyser indikerade på att deltagare höll medveten hållning mot personi störst utsträckning följt av robot och sedan AIS. Studien väcker frågor kring huruvi-da skuld som fenomen går att applicera på artificiella agenter och i vilken utsträckningdistribuerad skuld är en faktor när artificiella agenter bedöms.

Innehåll

Sammanfattning iii

Innehåll iv

1 Introduktion 11.1 Inledning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Syfte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Frågeställning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.4 Avgränsningar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2 Teori 32.1 Moraliska bedömningar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.2 Skuld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.3 Informativa rättfärdiganden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.4 Medveten hållning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.5 Bedömande av robot kontra människa . . . . . . . . . . . . . . . . . . . . . . . . . 5

3 Metod 73.1 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73.2 Deltagare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73.3 Datainsamling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73.4 Agenter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83.5 Moraliska dilemman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83.6 Medveten hållning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113.7 Analys av rättfärdiganden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123.8 Etik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

4 Resultat 154.1 Moralisk godtagbarhet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154.2 Skuld och klander . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174.3 Tilltro till agentens omdöme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184.4 Medveten hållning mot agenterna . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194.5 Deltagares rättfärdiganden av sina bedömningar . . . . . . . . . . . . . . . . . . . 204.6 Deltagares syn på AI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

5 Diskussion 225.1 Moralisk godtagbarhet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225.2 Skuld & klander . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235.3 Medveten hållning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245.4 Slutsatser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Litteratur 26

iv

6 Bilagor 286.1 Bilaga A - Information innan experimentet . . . . . . . . . . . . . . . . . . . . . . 286.2 Bilaga B - Debriefing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296.3 Bilaga C - Grafik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

v

1 Introduktion

1.1 Inledning

Den artificiella intelligensens roll i samhället växer idag i en rasande takt. De globala intäkternafrån mjukvara som använde sig av AI uppgick år 2018 till nästan 100 miljarder kronor och framtill år 2025 förväntas denna siffra mer än tiodubblas (Liu, 2019). Även robotindustrin växer isnabb takt och varje år installeras nästan en halv miljon industrirobotar (IFR, 2019). Av dessaär en mindre men växande andel så kallade ”cobots” som jobbar tillsammans med människori samma utrymmen. Att få en robot som kollega är inte längre science-fiction utan verklighetinom många industrier. Även utanför industrin håller de autonoma intelligenta systemen (AIS)på att ta en allt mer central roll. De semi-autonoma bilarna fattar beslut åt sina förare ochsjukhus använder AIS för att diagnostisera patienter. Än mer vardagligt finns sökmotorer,datingapplikationer och underhållningstjänster som alla förlitar sig på AI.

I takt med att robotar och andra AIS befinner sig i allt mer nära samspel med människanblir det allt mer viktigt att förstå hur människor uppfattar och förhåller sig till dessa system.Genom att studera relationen mellan människa och AIS kan viktig kunskap gagnas dels omhur de bör designas men också i vilka roller det är lämpligt att använda ett AIS över huvudtaget.

En komponent i denna förståelse som nyligen börjat studeras är hur människor bedömerrobotar moraliskt. Bertram Malle m.fl. (2015) undersökte i sin studie hur moraliska bedöm-ningar av beslut skiljde sig beroende på om beslutsfattaren var människa eller robot. Studiensfynd tyder på att liknande normer appliceras på människa och robot men också på att vissaskillnader finns. I ett moraliskt dilemma med ett aktivt och passivt val erhöll roboten lägregodtagbarhet för att välja den passiva handlingen. Samtidigt fick personen högre grad skuld föralla sina val. Studien kan ses väcka lika många frågor som den besvarar. Detta är Malle m.fl.(2015) är medveten om och de påpekar därför vikten av att fortsatt undersöka frågan. Artikelnföreslår mer specifikt att robotar med olika egenskaper så som utseende, förmågor och rollerbör undersökas. En kanske än mer grundläggande fråga som föreliggande studie intresserarsig för är hur stor roll det spelar att det autonoma systemet är just en förkroppsligad robot.De flesta system som kommer implementeras de närmsta åren ser inte ut att vara förkropps-ligade robotar utan snarare andra typer av AIS så som självkörande bilar, röstassistenter ochandra datorsystem. Just därför kan det vara än mer intressant att undersöka hur moraliskabedömningar ser ut när agenten i fråga är ett AIS utan kropp.

1

1.2. Syfte

1.2 Syfte

Studien avser att undersöka hur moraliska bedömningar skiljer beroende på om handlingenutförts av en människa, en humanoid robot eller ett autonomt intelligent system utan kropp.Vidare kommer medveten hållning mot aktuella agenter undersökas som förklaringsmodell förmöjliga skillnader. Med medveten hållning avses det fenomen där beteende förstås utifrånmentala egenskaper snarare än exempelvis mekaniska. Deltagares rättfärdiganden bakom demoraliska bedömningarna kommer också analyseras för att försöka förstå vilken informationsom ligger bakom bedömningarna.

1.3 Frågeställning

1. Appliceras moraliska normer olika på människa, robot och AIS?

2. Tillskrivs skuld olika beroende på om agenten är människa, robot eller AIS?

Frågorna är komplexa och för att de ska kunna besvaras på ett utförligt sätt kommer en radunderordnade frågor behöva besvaras:

• Finns det skillnader i vilka handlingar som är moraliskt godtagbara eller ej för respektiveagent?

• Bedöms aktiva och passiva handlingar olika för agenterna?

• Har deltagare en medveten hållning till de olika agenterna? D.v.s. tillskriver de mentalaegenskaper till agenterna?

• Hur rättfärdigar deltagare de bedömningar som görs av de olika agenterna? Är dessarättfärdiganden informativa?

1.4 Avgränsningar

Denna studie kommer framför allt fokusera på hur moraliska normer och skuld appliceras påautonoma system jämfört med människor. Utformningen av de artificiella agenterna begränsashär till en humanoid robot, en självkörande bil samt ett medicinskt datorsystem. Det kommeräven undersökas huruvida deltagare håller medveten hållning mot människan, roboten ochden självkörande bilen. Det finns flera närliggande frågeställningar som är högst aktuella meninte kommer beröras i denna studie. Machine morality berör om och i så fall hur maskiner börprogrammeras för att hantera moraliska dilemman (van Wynsberghe och Robbins, 2019). Detär möjligt att detta fält kan dra nytta av denna studies resultat kring hur moraliska bedöm-ningar av autonoma system fungerar. Samtidigt är det inte en självklarhet att de moraliskabedömningar människor intuitivt gör av system bör vägleda hur system faktiskt bör agera.Med denna utgångspunkt kommer inte aktuell studie dra några slutsatser kring hur artificiellaagenter bör designas. Ett annat område som inte ska misstas ingå i denna studie är den omrobotars moraliska status. Moralisk status berör frågor så som om robotar bör ha vissa rättig-heter eller behandlas på ett visst sätt. Denna studie intresserar sig för hur människor förhållersig till autonoma system, inte huruvida autonoma system bör tilldelas moralisk status.

2

2 Teori

2.1 Moraliska bedömningar

Flera olika typer av moraliska bedömningar kan identifieras för att möjliggöra en mer detalje-rad analys. Denna studie kommer använda sig av den uppdelning i tre typer som förespråkasav Guglielmo m.fl. (2014). Den första av dessa typer innefattar de handlingar som står förskapandet och upprätthållandet av normer. Under typ 1 faller de moraliska bedömningar därpersoner på ett direkt sätt handskas med normer genom att exempelvis uttrycka imperativeller förbud. Typ 2 är de bedömningar som görs av händelser och är beroende av de nor-mer som befästs under typ 1. Utkomster eller beteenden bedöms här i termer som rätt, fel,bra, dålig och tillåtenhet. Olika agenter kan hållas till olika normer, men ingen agent måstenödvändigtvis vara kopplad till händelsen för en typ 2 bedömning. En människa kan kommafram till att det är dåligt att en vas gått sönder utan att koppla detta kausalt till en agent.I typ 3 utvärderas eventuella agenters involvering moraliskt. Först när en agent kopplats tillhandlingen blir sådant som ansvar, skuld och förtjänst aktuellt. Som Guglielmo m.fl. (2014)uttrycker det skuldbelägger sociala varelser agenter, inte fysik.

Malle m.fl. (2015) använder begreppet moral permissibility för att beskriva de bedömningarsom på ett mer binärt sätt avgör om något är rätt eller fel. Som översättning kommer dennastudie använda moralisk godtagbarhet då det på ett intuitivt sätt fångar begreppets innebörd.Moralisk tillåtenhet skulle vara en mer bokstavlig översättning men ”tillåtenhet” riskerar attföra tankarna till rent juridiska resonemang. Snarare än huruvida något är lagligt eller ej be-skriver moralisk godtagbarhet de bedömningar av rätt och fel individer gör utifrån sina normer(Malle m. fl., 2015). Medan skuld kan tillskrivas i grader tenderar moralisk godtagbarhet attha ett mer binärt utfall . En agent kan ses förtjäna en viss grad skuld för ett utfall, menhandlingen beskrivs sällan som ”ganska rätt”.

Malle (2015) menar att moraliska dilemman med fördel kan användas för att undersökahur människor gör moraliska bedömningar. Genom att studera hur människor resonerar ochväljer i dillemman kan slutsatser dras kring hur de väger olika normer mot varandra. Dettakan i sin tur ge ledtrådar kring vilka kognitiva processer som ligger bakom dessa bedömningar.

3

2.2. Skuld

Figur 2.1: Skuldbeläggandets olika steg. Översatt version grundad på figur från Guglielmom.fl. (2014).

2.2 Skuld

Hur mycket skuld en agent tilldelas är beroende av flera faktorer. I stegmodellen av normalbedömning av skuld visas på ett översiktligt sätt vilka huvudsakliga faktorer som är involveradei skuldbeläggande (Guglielmo m. fl., 2014).

Detektion är det första steget och kan ses motsvara typ 2 av moraliska bedömningar. I dettasteg har en normbrytande händelse upptäckts men ännu inte kopplats till en agent. Visar det sigatt ingen agent är involverad avslutas processen och ingen skuld tillskrivs. Kan en agent kopplastill händelsen utvärderas dess intentionalitet. Intentionalitet är inte nödvändigt för att skuldska tillskrivas, men en intentionella handlingar tillskrivs i regel mer skuld (Guglielmo m. fl.,2014). Finns god anledning bakom det intentionella normbrottet kan dock graden skuld minska.Vid icke intentionella handlingar utvärderas huruvida agenten hade obligationen att förhindrahändelsen (Guglielmo m. fl., 2014). Om detta är fallet utvärderas också om agenten hadekapaciteten att undvika normbrottet. Utifrån modellen blir det tydligt att skuldbeläggandeär en social process och att det är högst relevant hur agenten uppfattas för denna typ avbedömningar.(Guglielmo m. fl., 2014).

2.3 Informativa rättfärdiganden

Utgår man från att olika faktorer är relevanta för olika typer av moraliskt dömande kan dettaanvändas för att utvärdera hur informativa rättfärdiganden av bedömningar är. (Med rätt-färdigande avses här den motivation en person kan ge för sin moraliska bedömning). För attett rättfärdigande ska kunna ses som informativt bör det systematiskt reflektera de kognitivaprocesser som lett fram till bedömandet (Voiklis m. fl., 2016). Är ett rättfärdigande inte in-formativt tyder det istället på att bedömandet bygger på intuition och att personen inte hartillgång till de bakomliggande processerna (Voiklis m.fl., 2016). Informativa rättfärdiganden

4

2.4. Medveten hållning

däremot ger explicit information kring vad som ligger bakom bedömningar och kan därmedanvändas för att bättre förstå hur människor gör moraliska bedömningar (Voiklis m.fl., 2016).Rättfärdiganden av varför en viss grad skuld tillskrivits bör för att vara informativa refereratill den typ av information som används vid typ 3 dömande så som kausal agens, intentionali-tet eller tänkande (Guglielmo m. fl., 2014). När det istället gäller dömande av huruvida någotär moraliskt godtagbart eller ej (typ 2) så bör information så som konsekvenser, normer ochobligationer vara mer relevant (Voiklis m.fl., 2016).

2.4 Medveten hållning

Dennetts (1971) tre abstraktionsnivåer är användbara för att förstå hur beteende i omvärldenkan förutsägas. När en person håller fysisk hållning (eng: physical stance) till en entitet innebärdetta att beteende förutsägs endast utifrån entitetens fysiska tillstånd (Dennett, 1971). Dettaförhållningsätt räcker väl för att exempelvis förutsäga var en fallande sten kommer landa, menblir näst intill omöjligt när exempelvis en dators beteende ska förutspås. En dators beteendegår trots detta att förutsäga utan kunskap om kretsarnas fysiska tillstånd. Exempelvis gårdet att förutsäga att en applikation kommer öppnas när man klickar på dess ikon. Dennett(1971) förklarar denna typ av förutsägelser med att design hållning (eng: design stance) kanhållas mot systemet. Genom att användaren vet vad datorn är designad till att göra kan denförutsäga dess beteende (Dennett, 1971). Den sista abstraktionsnivån kallar Dennett (1971)medveten hållning (eng: intentional stance). Detta förhållningsätt tas när varken fysisk ellerdesign-hållning räcker för att förutsäga beteende. Genom att förhålla sig till ett ting somom det hade önskningar och mål kan dess beteende rationaliseras (Dennett, 1971). För attbesegra en dator i schack kan det vara mer gångbart förhålla sig till den som om den vore enmänsklig spelare, än att försöka lista ut hur den är programmerad (Dennett, 1971). Fenomenetär ligger nära begreppet antropomorfism där mänskliga drag tillskrivs icke-levande entiteter(Duffy, 2003). För att social interaktion ska vara möjlig med exempelvis en robot kan detses som en nödvändighet att den har vissa antropomorfiska kvalitéer (Duffy, 2003). Är ingenantropomorfism närvarande följer det per se att interaktionen inte är social. Interaktion medrobotar tenderar dock att ha en social dimension och bland annat Thellman m.fl. (2017) harvisat att en liknande medveten hållning tas mot robotar och människor. Både intentionalitet,önskvärdhet (eng: desirability) och kontroll ser ut att tillskrivas robotar (Thellman m. fl., 2017).Thellman m.fl. (2017) forskning tyder dock på att graden intentionalitet och kontroll i vissafall upplevs som lägre hos robotar än hos människor.

Ett verktyg som kan användas för att undersöka medveten hållning är det InStance for-mulär som utvecklats av Marchesi m.fl. (2019). Formuläret bygger på premissen att medvetenhållning mot en agent leder till att dess beteende mer naturligt kan förklaras med mentalis-tiskt snarare än mekanistiskt språk. I formuläret ges deltagare två olika förklaringar av ettbeteende där den ena använder mentalistiskt och den andra mekanistiskt språk. Deltagarefår sedan välja på en dikotonom skala vilken förklaring de finner mest sannolik. Bedöms dementalistiska förklaringarna som sannolika menar Marchesi m.fl. (2019) att detta kan indikeraatt någon form av medveten hållning tas mot agenten.

2.5 Bedömande av robot kontra människa

Malle m.fl. (2015) utforskade i sin studie hur moraliska bedömningar skiljer sig beroende påom agenten som bedöms är människa eller robot. Då aktuell studie bygger vidare på fråge-ställningar från Malle m.fl. (2015) följer en sammanfattning av dess metod och resultat. Tillskillnad från föreliggande studie använde sig Malle m.fl. (2015) av en inomgruppsdesign därvarje deltagare fick bedöma båda betingelser efter varandra. Studien beskrev roboten somhögteknologisk men utelämnade i övrigt frågan hur dess förkroppsligande eller utformning på-verkade bedömningar. Studien använde sig av Malles m.fl. (2014a) modell där godtagbarhet

5

2.5. Bedömande av robot kontra människa

och skuld ses som olika typer av moraliska bedömningar. För att mäta godtagbarhet presen-terades därför först dilemmat i en form där agenten ännu inte fattat ett beslut. I dilemmatbeskrivs agenten stå inför ett val där den kan dra i en spak och rädda fyra på bekostnad av en,eller avstå från att handla och låta de fyra dö (Malle m.fl., 2015). Deltagares svar på huruvidadet hade varit godtagbart eller ej att dra i spaken avsåg att mäta hur normer applicerades pårespektive agent. Anser fler deltagare att det vore godtagbart för en av agenterna att handlaskulle det kunna tolkas som att olika normer för vad som är rätt och fel appliceras på agenter-na. Därefter informerades deltagare om vilket val agenten gjorde varpå de fick bedöma gradvishur mycket skuld agenten förtjänar (Malle m.fl., 2015).

6

3 Metod

3.1 Design

En mellangruppsdesign användes i ett experiment där tre grupper fick olika betingelser. Be-tingelserna utgjordes av tre olika typer av agenter. Kontrollgruppen fick göra moraliska be-dömningar av en person medan de andra två grupperna fick bedöma antingen en humanoidrobot eller ett AIS. Med AIS avses här ett autonomt intelligent system som saknar mänskligadrag, så som en självkörande bil. I strikt mening skulle robot också kunna klassas som ett AISmen i brist på bättre terminologi används det här för att benämna den tredje agenten.

3.2 Deltagare

122 deltagare (79 kvinnor, 41 män, 2 icke-specificerade) rekryterades genom snöbollsurvalför att genomföra ett cirka 15 minuter långt experiment online. Enkäten som användes förexperimentet använde en algoritm som baserat på åldersgrupp och kön jämt fördelade deltagaremellan tre olika betingelser. 3 deltagares svar på fritextfrågorna var av oseriös karaktär ochdessa deltagares data uteslöts därför från alla analyser. Något fler deltagare med AIS stimulifärdigställde aldrig enkäten och totala antalet deltagare skiljde sig därför mellan grupperna.Person-agenten visades för 41 deltagare, robot för 42 och AIS för 37.

3.3 Datainsamling

Experimentets enkät utformades i Qualtrics XM med totalt 38 frågor. Robot och AIS gruppenhade två extra frågor och alltså totalt 40. 13 av de 38 frågorna var generella och visades medsamma formulering för alla deltagare. De övriga 23 frågorna skiljde sig i att agenten som utfördehandlingen hade bytts ut. Efter att deltagare fyllt i kön och åldersgrupp användes ett surveyflow script i Qualtrics för att fördela deltagare mellan enkätens versioner. Skriptet övervakadehur många som svarat på enkäten och såg till att lika många från varje kön och åldersgruppfick respektive version av enkäten. Rekrytering skedde via snöbollsurval där deltagare ombadsbe även sina vänner delta i experimentet. Deltagare ombads inte avslöja detaljer om innehålletnär de delade länken till experimentet vidare.

7

3.4. Agenter

Figur 3.1: De tre agent-typerna i ett scenario.

3.4 Agenter

Tre olika typer av agenter användes som betingelse i experimentet. Beroende på vilken av de tregrupperna deltagaren blivit indelad i visades respektive agent i samtliga scenarion och frågor.Agenten kunde antingen vara en person, en humanoid robot eller ett AIS utan humanoidkropp. Figur 3.1 visar hur de tre olika agenterna illustrerades i scenario 1 & 2. I det tredjescenariot användes ingen bild och då det inte var ett trafik-dilemma benämndes AIS agentenistället som ett datorsystem. De huvudsakliga grafiska elementen är lånade från MIT:s moralmachine (Awad m. fl., 2018). Grafiken har sedan manipulerats i Photoshop CC 2017 för attinkludera respektive agent.

3.5 Moraliska dilemman

Experimentet bestod av tre olika scenarion där agenten tvingas ta ställning till ett moralisktdilemma. Varje scenario beskrevs först i ett tillstånd innan agenten ännu fattat ett beslut. Idetta stadie ombeds personen ta ställning till huruvida en viss handling hade varit moralisktgodtagbar för agenten att välja. I beskrivningen av scenarion stod det antingen ”personen”,”roboten” eller ”Den självlkörande bilen” beroende på vilket stimuli deltagaren tilldelats. Detre scenariona visades i samma ordning för alla deltagare.

8

3.5. Moraliska dilemman

Figur 3.2: Scenario 1 med agent-typen robot.

Det första av de tre scenariona presenterades tillsammans med en bild likt den i figur 3.2och löd:

[Personen / Roboten / Den självkörande] bilen upptäcker plötsligt att bromsarna har slutatfungera. På övergångsstället rakt framför befinner sig fyra äldre personer. På andra sidan avövergångsstället befinner sig en mamma och en barnvagn. Fortsätter bilen rakt fram kommerde fyra äldre personerna dö. Svänger bilen över till andra sidan kommer mamman och barnetdö. Inga andra val är möjliga. Vore det moraliskt godtagbart eller ej för [personen /roboten / bilen ] att svänga över till andra sidan av vägen?

Denna fråga syftar till att undersöka hur deltagares egna normer appliceras på agenten.Efter att deltagaren markerat om handlingen var moraliskt godtagbar eller ej ombads de medfritext motivera varför de gjorde denna bedömning. Tanken var att detta kunde fånga uppbakomliggande normer som ledde till deltagarens bedömning.

9

3.5. Moraliska dilemman

Figur 3.3: Scenario 1 med agenttypen robot.

I efterföljande steg meddelades deltagaren vilket val agenten faktiskt gjorde och ombads be-döma hur mycket klander och skuld agenten förtjänar. För att frågan inte skulle missuppfattasendast beröra agentens skyldighet rent kausalt lades klander till för att mer fånga innebördenav engelskans blame.

[Personen / Roboten / Bilen] valde att svänga över till andra sidan av vägen. Hur mycketklander och skuld förtjänar [personen / roboten / bilen] för detta val?

Deltagaren fick här, utifrån ett tredjepersonperspektiv, klandra agenten för det beslut denvalde att göra. Efter att deltagaren valt mellan ”ingen klander alls”, ”lite klander”, ”mycketklander ” och ”maximal klander” fick de också motivera varför agenten förtjänar denna mängdklander. Avslutningsvis fick deltagare bedöma hur mycket klander en annan agent som fattatdet motsatta beslutet förtjänat. I exemplet ovan innebar det att bilen istället körde rakt fram.Avsikten var att undersöka dels om agenten då förtjänar omvänd mängd klander eller omklander tilldelas i samma mån både för den aktiva och passiva handlingen. Scenario 2 användeett snarlikt dilemma men valet stod nu istället mellan att fortsätta rakt fram och köra påfyra personer eller svänga till andra sidan och köra på två. Aspekten att de två personernavar en mamma med barnvagn var alltså bortplockad. Grafiken för scenario 2 återfinns i bilagaC. Likt scenario 1 fick deltagare först bedöma huruvida det hade varit moraliskt godtagbartatt svänga till andra sidan. Därefter informerades de med text och bild att agenten valde attsvänga över till andra sidan varpå de fick gradera graden skuld och klander som förtjänades.Avslutningsvis fick de även gradera skuld och klander för det motsatta beslutet.

10

3.6. Medveten hållning

Scenario 3 följde samma struktur som de två tidigare men var istället ett medicinskt dilem-ma. Scenariot presenterades utan bilder då det hade varit svårt att representera datorsystemetvisuellt på ett intuitivt sätt. Dilemmat avsåg att testa hur deltagare bedömer agenterna närbeslutet på ett mer direkt sätt använder en person som medel för att rädda andra.

Fem personer ligger på sjukhus efter en allvarlig trafikolycka och det är sannolikt att allafem kommer dö. En [person / robot / datorsystem] ansvarig för medicinska beslut kommer framtill att man genom att ta organen från en av patienterna sannolikt kan rädda de fyra andra.Vore det moraliskt godtagbart eller ej för [personen / roboten / datorsystemet]att fatta beslutet att organen ska tas från en av patienterna i ett försök att räddade fyra andra?

Notera att agentens bedömning att fyra kan räddas uttrycks i termer av sannolikhet.Avsikten med detta var att undersöka hur deltagares förtroende till agentens utvärdering avsituationen påverkar den moraliska bedömningen. Efter att deltagare fått svara på frågornakring moralisk godtagbarhet och skuld likt tidigare scenarion ställdes följande fråga:

[Personen / Roboten / Datorsystemet] trodde att man sannolikt kunde rädda de fyra andraom man tog organen från en av patienterna. Hur sannolikt tror du det är att dennabedömning var korrekt? Dra spaken längre åt höger desto mer sannolikt du trordet är.

3.6 Medveten hållning

För att kunna förklara potentiella skillnader mellan hur agenterna bedömdes moraliskt un-dersöktes deltagares medvetna hållning. Metoden som användes för att undersöka deltagareshållning är till stor del grundad i Marchesi m.fl. (2019). Likt deras InStance formulär användesmentalistiskt språk kring en agent som en potentiell indikator för medveten hållning. Deltaga-re visades ett händelseförlopp i bildform där agenten stannar för en gångtrafikant, se figur 3.4.Händelseförloppet var identiskt för samtliga deltagare frånsett att agenten-typen reflekteradeden betingelse som tilldelats.

11

3.7. Analys av rättfärdiganden

Figur 3.4: Händelseförloppet som visades. Deltagare ombads titta på bilderna i ordning frånvänster till höger och sedan värdera hur sannolika olika förklaringar av agentens beteende var.

Under bilden visades sex olika förklaringar av agentens beteende. Tre av dessa användemer mentalistiskt språk och de andra tre mer mekanistiskt språk. Deltagare fick sedan dra ispakar för att markera hur sannolika de tyckte de olika förklaringarna var. Ett exempel på enav förklaringarna som använde mer mentalistiskt språk var ” [Personen / Roboten / Bilen]bestämde sig för att stanna då denne insåg att en människa befann sig framför” medan följandeavsåg mer mekanistiskt språk ”[Personen / Roboten / Bilen] detekterade att en gångtrafikantbefann sig framför och stannade.”. Till skillnad från Marchesi m.fl. (2019) fanns här ingenmöjlighet att låta över hundra personer utvärdera huruvida förklaringarna uppfattades sommentalistiska eller ej. Förklaringarnas terminologi och språkbruk formades därför för efterliknade som användes Marchesi m.fl. (2019) i största möjliga mån. Till skillnad från Marchesi m.fl.(2019) användes inte en dikotonom skala mellan mentalistiskt och mekanistiskt språk. Iställetgavs deltagare möjligheten att ge full sannolikhet till båda typer av förklaringar. Avsikten meddetta var att kunna fånga upp ifall det skulle vara så att både mentalistiska och mekanistiskaförklaringar uppfattas som sannolika för en agent.

3.7 Analys av rättfärdiganden

Varje deltagare gav 6 fritextsvar vilket med N = 119 resulterade i 714 svar som användes itemaanalysen. Fritextsvaren från de deltagare (N=3) som uteslöts från de tidigare analysernaundantogs också från temaanalysen. Voiklis m.fl. (2016) undersökte i sin studie hur personerrättfärdigade sina moraliska bedömningar av människa kontra robot. I den kvalitativa analysenav fritextsvar fann (Voiklis m.fl., 2016) nio teman som kunde kategorisera deltagares svar.Denna studie utgick huvudsakligen från dessa nio teman i analysen av fritextsvar. Temankategoriserades i tre olika huvudkategorier: konsekvenser, deontologi samt mental agens (eng:mental agency). En kod användes även för att kategorisera de 13 svar (< 2%) där innehållet varobegripligt eller orelaterat till frågan. Efter utforskning av fritextsvaren lades fyra nya temantill för att fånga upp vissa nyanser och tendenser som observerats. I figur 3.5 presenterassamtliga teman som användes vid analys. De teman som är nya för denna studie är markerademed en stjärna (*). Fritextsvaren som används som exempel är tagna från den egna studien.NVivo 12 Pro användes för att koda de 714 fritextsvaren. För att undvika bias i störstamöjliga mån kodades svaren utan vetskap om vilken agent respektive svar berörde. Crosstabsfunktionen i NVivo användes sedan för att exportera de kodade svaren till Microsoft Excelför vidare analys. Totalt kodades svar 1044 gånger vilket med 714 svar innebär att varje svari snitt gavs 1,46 kodningar. Notera därför att ett svar kan kodas som flera olika teman ochatt andelarna därmed inte summeras till 100%. Vidare analys av deltagares svar återfinns iresultatdelen.

12

3.7. Analys av rättfärdiganden

Tabell 3.1: Kodning av deltagares rättfärdiganden. Andel syftar till andelen av alla svar därkoden återfanns.

13

3.8. Etik

3.8 Etik

Studien har utformats med vetenskapsrådets fyra huvudkrav i åtanke (Vetenskapsrådet, 2002).Med hänsyn till informations och samtyckeskravet informerades deltagare att de när somhelst kunde välja att avsluta sitt deltagande i studien. Vidare beskrevs uppgiften som heltfrivillig när länken till experimentet skickades ut. Uppgiften beskrevs med att de skulle fåresonera kring några hypotetiska scenarion inom trafik och sjukvård. Efter experimentet gavsdeltagare mer utförlig information kring experimentets utformning. De informerades om attde slumpmässigt fått bedöma en av tre olika typer av agenter och att syftet med studien varatt jämföra hur agenterna bedömdes olika.

Konfidentialitetskravet respekterades genom att inga personliga uppgifter från deltagaresamlades in utöver ålder och kön. Innan experimentet påbörjades informerades deltagare ocksåom att experimentet var anonymt. Vidare konfigurerades enkätprogrammet Qualtrics XM föratt inte spara IP-adresser eller annan känslig information.

Nyttjandekravet uppfylldes genom att insamlad data inte användes eller kommer användasi andra syften än den föreliggande studien. För att göra forskningsresultaten mer lätttillgäng-liga för deltagare, gavs efter experimentet möjligheten att anmäla intresse för att få denfärdigställda uppsatsen via e-post. Denna intresseanmälan använde ett separat enkätprogramför att e-postadressen inte skulle kunna kopplas till deltagares experimentdata. Informationensom gavs före och efter experimentet återfinns i sin helhet i bilaga A respektive B.

14

4 Resultat

Samtliga tester genomfördes med N = 119 om inget annat specificeras. Fördelningen av delta-gare mellan stimuli var person = 41, robot = 42, AIS = 36 och alla tester använder sig såledesav snittvärden.

4.1 Moralisk godtagbarhet

För att undersöka hur moraliska normer applicerades på agenterna undersöktes hur beting-elser påverkade den moraliska godtagbarheten av beslut. I samtliga scenarion stod agenteninför ett moraliskt dilemma att antingen fortsätta rakt fram eller svänga över till andra sidan.Deltagare fick bedöma huruvida det hade varit moraliskt godtagbart eller inte för agentenatt utföra den till synes aktiva handlingen att svänga. Bedömningen av godtagbarhet gjordesalltså i ett tillstånd innan agentens faktiska beslut avslöjats. När agenten i scenarion var enperson var andelen deltagare som ansåg handlingen som moraliskt godtagbar högst (M = .57,SD = .31). När det var en robot som stod inför beslutet bedömdes godtagbarheten snarlik (M= .56, SD = .25). Andelen deltagare som ansåg att beslutet vore moraliskt godtagbart var

Figur 4.1: Deltagares bedömningar huruvida den aktiva handlingen var godtagbar eller ej översamtliga scenarion.

15

4.1. Moralisk godtagbarhet

lägst för AIS-agenten (M = .43, SD = .30).För att undersöka om den sammanlagda godtagbarheten för alla tre scenarion skiljde signifi-kant mellan agenterna användes ett Jonckheere-Terpstra test. En statistiskt signifikant skillnadfanns mellan agenternas totalvärden (TJT = 1963.500, p < .05). När skillnaden mellan personoch AIS testades individuellt var skillnaden signifikant (t(75) = 2.040, p < .05, d = .46) likvälvar skillnaden mellan robot och AIS signifikant (t(76) = 2.059, p < .05, d = .47). Skillnadenmellan person och robot var inte signifikant.

Vidare analyserades de tre scenariona enskilt. Samtliga scenarion uppvisade individuelltsamma mönster där person fick högst godtagbarhet nära följt av roboten medan AIS-agentenssnitt låg betydligt lägre, se figur 4.2. I det första scenariot stod agenten inför ett dilemma itrafiken som skulle resultera i att antingen fyra äldre personer eller en mamma och hennesbarn dog. Andelen deltagare som ansåg det vara moraliskt godtagbart att svänga över till densida mamman och barnet var visade sig högst i person-gruppen (M = .34, SD = .48). Näradärefter följde robot (M = .31, SD = .47) och i AIS-gruppen var andelen lägst (M = .25, SD= .44). Skillnaden var inte statistiskt signifikant för detta scenario.

I scenario 2 stod valet mellan att köra på fyra eller två personer. Till skillnad från scenario 1var inte personerna definierade av sin ålder eller status som mamma utan endast till antal. Detaktiva valet att svänga innebar alltså två personers död medan det passiva skulle leda till fyrapersoners död. Detta var det scenario som störst andel deltagare tyckte beslutet var godtagbartoavsett agent. Person och robot fick efter decimalavrundning identiskt godtagbarhet för attutföra det aktiva valet (Person: M = .83, SD = .38, Robot: M .83, SD = .38). Den självkörandebilen fick betydligt lägre godtagbarhet (M = .58, SD = .50). Denna skillnad visade sig med ettchi-två-test signifikant χ2(2) = 8380, p = .015). I det tredje scenariot fick deltagare bedömaom det vore godtagbart för agenten att besluta att ta organen från en patient i ett försök atträdda fyra andra. I scenariot beskrevs hur agenten trodde det var sannolikt att detta skulleleda till att de fyra andra överlevde. Gällande godtagbarheten för det aktiva valet ses sammamönster som i tidigare scenarion där personen får mest godtagbarhet (M = .54, SD = .50)följt av robot (M = .52, SD = 50) och sedan AIS-agenten (M = .44, SD = .50). Likt i tidigarescenarion var skillnaden mindre mellan person och robot än den mellan AIS och övriga agenter.Skillnaden var vid analys till skillnad från scenario 2 inte signifikant.

Figur 4.2: Deltagares bedömningar huruvida den aktiva handlingen var godtagbar eller ej förrespektive scenario.

16

4.2. Skuld och klander

4.2 Skuld och klander

Efter att deltagare bedömt om handlingen var moraliskt godtagbar eller ej meddelades deförst att agenten valde den aktiva handlingen och alltså svängde över till andra sidan. De fickbedöma hur mycket skuld och klander roboten förtjänade på en skala från ingen klander alls tillmaximal klander. Efter att de bedömt agentens val fick de frågan hur mycket skuld och klanderen annan agent som valde motsatta alternativet förtjänar. I figur visas dels genomsnittet skuld& klander agenter tillskrevs för samtliga passiva och aktiva handlingar samt även det totalagenomsnittet för båda typer av handlingar. Skalan sträcker sig från 0 som motsvarar ingenklander till maximal klander på 3.0. Totalt tillskrev deltagare mer skuld & klander till robot(M = .87, SD = 0.21) och AIS (M = .86, SD = .26) än till personen (M = .75, SD = .18).AIS-agenten tillskrevs lika mycket skuld för både aktiva (M = .86, SD = .80) och passivahandlingar (M = .86, SD = .90). Person tillskrevs mer skuld för de aktiva handlingar (M =.77, SD = .61) än för passiva (M = .73, SD = .69). Roboten fick än mer skuld för den aktivahandlingen (M = .95, SD = .76) än för den passiva (M = .79, SD = .66). Inga signifikantaskillnader mellan agenternas totalvärden fanns.

Värt att notera är att varken de aktiva eller passiva handlingarna låg över graden liteklander som var den näst lägsta graden på skalan. Standardavvikelsen tyder dock på att mångadeltagare gav betydligt lägre och högre grad skuld än snittet. Det fanns också en stor variationi hur agenterna blev skuldbelagda mellan scenarion som jämnas ut när de summeras. I figur4.4 visas skuldbeläggandet för de tre scenariona individuellt. Den kanske främsta trenden somgick att observera var att robot och AIS fick högre grad skuld för både passiva och aktiva vali scenario 1 och 2. I det sista scenariot som gällde offrandet av en person i medicinska syftenklandrades personen högst för både för den passiva (M = .80, SD = 1,03) och aktiva handlingen(M = 1.05, SD = 1.02). Roboten låg dock mycket nära för den aktiva handlingen och hamnarefter avrundning på samma snitt (M = 1.05, SD = 1.06). För den passiva handlingen fickroboten dock betydligt lägre snitt (M = .57, SD = .86). Skillnaderna mellan agenterna varinte signifikant i något av de tre scenariona.

Figur 4.3: Genomsnittlig skuld & klander för den aktiva respektive passiva handlingen samttotalsnitt. Inget snitt låg över ”Lite klander”. Utanför grafen finns graderna 2.0 = ”Mycketklander” och 3.0 = ”Maximal klander”.

17

4.3. Tilltro till agentens omdöme

Figur 4.4: Genomsnittlig skuld & klander för den aktiva respektive passiva handlingen för detre scenariona. På den fyrgradiga skalan motsvarar 0 ”Ingen klander alls” och 3.0 ”Maximalklander”

4.3 Tilltro till agentens omdöme

Efter scenario 3 tillfrågades deltagare hur sannolikt det var att agenten gjorde en korrektbedömning när den uppskattade att fyra troligtvis gick att rädda med organen från en. Härsågs motsatt mönster jämtemot den moraliska godtagbarheten och AIS fick högst värde (M =.60, SD = .28) följt av robot (M = .55, SD = .26) och lägst förtroende fick person (M = .46, SD= .29). Trots att deltagare bedömde handlingen som minst moraliskt godtagbar för AIS litadede alltså i högst grad på att AIS gjort en korrekt bedömning. Skillnaden mellan gruppernatestades med ANOVA och var inte signifikanta (p = .079). Detta kan dock ha berott på de5 outliers som låg mer än 2 standardavvikelser från snittet. När dessa uteslöts från analysenvisade sig det finnas signifikanta skillnader mellan agenterna (F(2, 111) = 4.93, p = .009). Ettpost-hoc Turkey HSD-test indikerade att skillnaden mellan person och AIS var signifikant (p= .01). Skillnaden mellan person och robot var endast nära en signifikant nivå (p = .058).

Figur 4.5: Grafen visar hur sannolikt deltagare i genomsnitt trodde det var att respektive agentgjort en korrekt medicinskt bedömning.

18

4.4. Medveten hållning mot agenterna

Figur 4.6: Grafen visar hur sannolika deltagare i genomsnitt fann förklaringar med mekanistisktrespektive mentalistiskt språk. Staplarnas färg indikerar agentens typ

4.4 Medveten hållning mot agenterna

För att utforska deltagares hållning till agenterna undersökte en komponent av experimentethur sannolika deltagare fann olika förklaringar av agenternas beteende i en trafiksituation.Av de totalt 6 förklaringarna använde hälften mer mentalistiskt språk och den andra hälftenmer mekanistiskt språk. De förklaringar som använde mentalistiskt språk ansågs som mestsannolika när agenten var en person (M = .73, SD = .15). Näst högst sannolikhet fick roboten(M = .52 SD = .31) och lägst AIS-agenten (M = .47, SD = .33). Då variansen hos datainte var homogen användes Welchs ANOVA, vilket visade att det fanns signifikanta skillnadermellan agenterna. (F(2, 116) = 9.717, p < .001). Games-Howel användes som post-hoc test ochvisade att skillnaden mellan person-robot samt person-AIS var signifikant (p < .05). Skillnadenmellan robot och AIS var däremot inte signifikant.

När förklaringarna använde mer mekanistiskt språk fann deltagare dem mest sannolika näragenten var en robot (M = .76, SD = .17). Näst högst graderades sannolikheten när agentenvar en person (M = .75, SD = .13). Förklaringar som beskrev agentens beteende med mermekanistiskt språk ansågs alltså som minst sannolika när agenten var ett AIS (M = .67, SD= .22). Då data uppfyllde antagandet om homogen varians användes ett ANOVA-test somvisade att statistiskt signifikanta skillnader fanns mellan grupperna (F(2, 116) = 3.367, p =.038). Ett post-hoc test med Turkey HSD indikerade dock att det endast var skillnaden mellanrobot och AIS som var signifikant (p < .05).

19

4.5. Deltagares rättfärdiganden av sina bedömningar

4.5 Deltagares rättfärdiganden av sina bedömningar

För att undersöka hur deltagare motiverade sina bedömningar undersöktes först de tre huvud-sakliga kategorierna av rättfärdiganden (konsekvenser, deontologi, mental agens) mot de treolika typerna av moraliska bedömningar (godtagbarhet, inte godtagbarhet, skuld & klander).Liknande mönster som i Voiklis m.fl. (2016) uppvisades i data. Rättfärdigande av varför enhandling var moraliskt godtagbar (premissibility) motiverades till en övervägande del av hand-lingens konsekvenser (77% av alla svar). I de fall där deltagare ansåg att handlingen inte varmoraliskt godtagbar var istället hänvisningar till deontologi (46%) och mental agens (58%)ungefär lika vanliga som de till konsekvenser (47%). När deltagare skulle motivera varför agen-ten förtjänade en viss grad skuld & klander användes mental agens i allra störst utsträckning(64%). Även hänvisningar till konsekvenser (36%) och deontologi (27%) förekom i relativt storutsträckning. Det övergripande statistiska mönster i figur 4.7 var statistiskt signifikant X2(4)= 122.99, p > .001).

Skillnader i hur deltagare motiverat sina bedömningar för respektive agent undersöktessedan, illustrerat i figur 4.8. Andelen hänvisningar till både konsekvenser (61%), deontologi(33%) och mental agens (60%) var högst för person. Därefter följde robot-agenten med konse-kvenser (56%), deontologi (24%) och mental agens (48%). AIS hade lägst andel referenser tillbåde konsekvenser (43%) och mental agens (38%), men låg på samma nivå som robot gällandedeontologi (24%). Ett motsatt mönster uppkom för hur ofta deltagare distribuerade ansvarettill någon annan än agenten. Flest ansåg att någon annan hade moraliskt ansvar eller skuldi de fall där agenten var ett AIS (15%) Därefter följde roboten (6%) medan ingen fördeladeansvar till någon annan än personen. När deltagare skulle rättfärdiga graden skuld de tillskri-vit personen refererades någon av faktorerna under mental agens i nästan alla svar (96%). Förrobot var denna siffra lägre (58%) och för AIS lägst (36%).

Tabell 4.1: Tabellen visar andelen svar kodade till respektive huvudkategori. Svar i temakate-gorin Övrigt visas ej i tabellen.

Andelen svar som hamnade under koden Amoraliskt (.03) eller Undviker dilemmat (.04)var för få för att en jämförelse mellan agenter skulle kunna anses meningsfullt.

4.6 Deltagares syn på AI

Experimentet avslutades med några frågor som undersökte deltagares inställning till AI. Del-tagare tillfrågades huruvida de tyckte att de respektive agent-typerna skulle straffas om de görfel, se figur 4.9. Det var betydligt fler deltagare som delvis (66%) eller helt höll med (22%) omatt personer som gör fel bör straffas, än för robot (delvis: 11%, helt: 10%) och datorsystem(delvis: 15%, helt: 8%). Andelen deltagare som var osäkra och svarade ”vet ej” var betydligthögre för robot och datorsystem (34% respektive 33%) än för person (3%).

Slutligen tillfrågades också de deltagare som haft robot eller AIS-betingelse hur lätt ellersvårt det hade varit att tänka sig in i att agenten hade förmågan att resonera och fatta beslut.Deltagare fick svara på en fyrgradig skala mellan mycket lätt och mycket svårt. Snitten för

20

4.6. Deltagares syn på AI

de två agenterna låg mellan ganska lätt (2.0 på skalan) och ganska svårt (3.0 på skalan). AISagenten låg närmare ganska svårt (M = 2.83, SD = 1.03) än roboten (M = 2.48, SD = 0.94).

Figur 4.7: Andel av alla svar som innefattade koder från respektive huvudkategori. Färg indi-kerar typ av agent.

Figur 4.8: Deltagares inställning till huruvida respektive agent-typ bör straffas om den gör fel.

21

5 Diskussion

5.1 Moralisk godtagbarhet

Denna studie undersökte hur människors bedömningar av ett moraliskt dilemma skiljer sigberoende på om agenten var en person, en robot eller ett AIS. Studiens första frågeställningvar huruvida moraliska normer appliceras olika på de tre agent-typerna. För att undersökadenna fråga testades hur den moraliska godtagbarheten bedömdes beroende på vilken agentskulle fatta beslutet. Resultatet visade att person och robot fick liknande grad godtagbarhetför samtliga scenarion medan AIS-agenten fick lägst godtagbarhet av alla agenter i samtligascenarion. Detta tyder på att det finns skillnad i hur moraliska normer appliceras beroendepå det autonoma systemets utformning. Trots att både robot och AIS beskrevs som aktivabeslutsfattare med samma förmågor bedömdes roboten mer likt en människa. Den fysiska ut-formningen av en artificiell agent ser därmed ut att vara avgörande för hur människor bedömerdess handlingar. När få tycker en handling är moraliskt godtagbar för en person eller robotverkar ännu färre se det som godtagbart för ett AIS. Samma mönster i godtagbarhet fannsför samtliga agenter mellan alla tre scenarion. Beslutet där fyra personer kunde räddas iställetför två (scenario 2) sågs som mest godtagbart, följt av det beslut som innebar att en personsorgan användes för att försöka rädda fyra andra (scenario 3). Lägst godtagbarhet för samtligaagenter fick beslutet som innebar att fyra personer räddades istället för en mamma och ettbarn (scenario 1). Detta tyder på att vissa beslut alltid kommer ses som mindre godtagbaraän andra oavsett agent. En förklaring skulle kunna vara att normerna som appliceras på deolika agenterna är tillräckligt lika att vissa beslut alltid kommer anses mer fel än andra. Enannan hypotes är att deltagare till viss del bedömer handlingen i ett förstapersonsperspektivutifrån vad de själva gjort i samma situation. Stämmer denna hypotes skulle en agent oavsettsin utformning kunna få liknande mönster i vilka beslut som är mer godtagbara än andra. DåAIS-agenten regelbundet fick lägre godtagbarhet för sina beslut kan dock inte besluten varahelt baserade på ett förstapersonsperspektiv. En potentiell förklaringsmodell till varför delta-gare bedömer beslut som mindre godtagbara för AIS och i viss mån även robot skulle kunnavara lägre tilltro till agenternas omdöme. Efter det sista scenariot tillfrågades deltagare hursannolikt det var att agenten gjort en korrekt bedömning av att fyra patienter kunde räddaspå bekostnad av en. Svaren talar för att denna alternativa hypotes bör förkastas. Deltaga-re tyckte det var mest sannolikt att bedömningen var korrekt för AIS, näst högst för robot

22

5.2. Skuld & klander

och lägst för person. Att deltagare såg beslutet som mindre godtagbart för de icke-mänskligaagenterna kan alltså inte förklaras av att de hade mer förtroende för personens omdöme.

Att ingen signifikant skillnad i godtagbarhet återfanns mellan person och robot går emotMalle m.fl. (2015) fynd. Malle m.fl.(2015) resultat indikerade istället att robotars beslut ten-derar att uppfattas som mer godtagbara än en persons, speciellt i de fall där beslutet ärutilitaristiskt. I det kanske mest utilitaristiska beslut som undersöktes i denna studie var dockgodtagbarheten istället lika hög för både person och robot. Att rädda fyra personer iställetför två sågs som godtagbart av 83% av deltagare för både person och robot. För AIS-agentendäremot var det bara nästan hälften av deltagare som ansåg beslutet vara godtagbart. Attingen skillnad mellan robot och person uppmättes skulle kunna bero på att studiernas expe-rimentsdesign skiljer sig. Malle m.fl. (2015) beskrev i sin studie en kontexteffekt som uppstodnär samma deltagare bedömde olika agenter efter varandra. Det var dock först när dessainomgrupps-observationer inkluderades i analysen som skillnaden mellan agenterna var sig-nifikant. Resultaten från föreliggande studie pekar på risken att skillnaden mellan robot ochperson i Guglielmo & Malle (2014a) kan ha berott på denna kontexteffekt. Tvärt emot Mallem.fl. (2015) hade robot istället något lägre godtagbarhet för det aktiva valet i denna studie.Detta talar emot att ett större urval hade lett till en signifikant skillnad i motsatt riktning.Det går dock inte heller att utesluta att de olika resultaten beror på skillnader i urval ochspråk. Detta experiment genomfördes i Sverige på svenska medan (Malle m.fl., 2015) experi-ment utfördes på engelska via Amazons Mechanical Turk. Det skulle också kunna vara så attpersoners inställningar till robotar har förändrats sedan 2015 i och med deras förhöjda närvaroi samhället.

5.2 Skuld & klander

Graden skuld och klander agenterna tillskrevs uppvisade stor variation mellan de olika sce-nariona och inga signifikanta mönster återfanns. Robot och AIS gavs högst grad klander försina handlingar totalt. AIS tillskrevs lika mycket klander för aktiva och passiva beslut medanbåde person och robot fick mer total skuld för de aktiva valen. Scenario 2 bryter mot dettamönster och samtliga agenter fick här betydligt lägre skuld för det aktiva valet. Detta tyder påatt det aktiva valet inte alltid får högst grad skuld oavsett konsekvenser. I detta fall innebardet aktiva valet att fyra överlevde istället för två vilket ur ett konsekvensetiskt ramverk blirsvårt att skuldbelägga. Studerar man de individuella scenariona ser man att robot och AISfick högre grad skuld på alla scenarion utom det sista.

Scenario 3 bröt de flesta mönster genom att ge person och robot högst grad skuld fördet aktiva valet istället för robot och AIS. En förklaring skulle kunna vara att det har medscenariots känslomässiga laddning att göra. Att en agent är villig att inskränka en personsmänniskovärde genom att använda dennes organ för att rädda andra skulle kunna sänka desstrovärdighet som en social partner. Kanske ligger AIS-agenten, som i detta scenario beskrivssom ett datorsystem, så långt från att kunna ses som en social partner att den inte väckerdenna dåliga magkänsla. Denna hypotes kan ses stödjas av faktumet att deltagare sade sigha svårare att tänka sig in i att AIS-agenten hade förmågan att resonera och fatta beslut. Dåskillnaderna i skuld inte var signifikanta bör detta dock endast ses som en hypotses som kanutforskas vidare.

I de första två scenariona erhöll person lägre skuld än robot för de passiva valen. Att robotskuldbeläggs mer för passiva val stämmer väl överens med tidigare observationer (Malle m.fl.,2015). Roboten fick dock även högst skuld för de aktiva valen i dessa scenarion. I Malle m.fl.(2015) uppvisades en motsatt trend där roboten skuldbelagdes mindre för det aktiva valet. Föratt vidare undersöka varför skuldbeläggandet mellan agenterna inte skiljde sig signifikant ellerföljde tidigare observerade mönster undersöktes deltagares motivationer bakom sina bedöm-ningar. Under mental agens kategoriserades de rättfärdiganden som refererade till agentensintentionalitet, väljande eller tänkande. För att ett rättfärdigande av skuld ska kunna ses som

23

5.3. Medveten hållning

informativt bör referenser till dessa faktorer finnas med (Malle m.fl., 2015). Rättfärdigandensom refererar till mental agens ska alltså kunna förutsäga högre grad skuld. I aktuell studiesågs istället ett motsatt mönster där de två agenter som fick högst grad skuld (robot & AIS)hade minst andel referenser till mental agens i svaren. Agens användes istället oftare för robotoch AIS när det skulle rättfärdigas varför en handling inte var moraliskt godtagbar. Enligt detramverk (Voiklis m.fl., 2016) använder tyder detta på att de skuldbedömningar som gjordesav dessa agenter istället gick på intuition och alltså inte går att komma åt via deltagaresrättfärdiganden. En alternativ tolkning skulle kunna vara att skuld till ett icke-levande objektanvänder helt andra kognitiva processer än till människor och därför inte fångas upp under dekategorier som används. Kanske accepterade deltagare endast premissen att en artificiell agentkan tillskrivas skuld då inga andra alternativ fanns och försökte sedan rationalisera fram vil-ken grad skuld som var rimlig. Denna alternativa teori stödjs av det faktum att flera deltagarei fritextsvar påpekade att det var den som programmerat eller ägde den artificiella agentensom förtjänade skuld. Att många deltagare var osäkra eller inte höll med om att robotar ellerdatorsystem bör straffas när de gör fel kan också ses som en indikation på att deltagare inteser agenterna som parter som kan eller bör regleras socialt. Detta reflekteras också i vissaanvändares svar så som ”Därför att det är en dator som det är helt värdelöst att ödsla klanderpå.”. Kanske är skuldbedömningarna av dessa agenter baserat på helt andra processer än desociala processer som utgör skuldbeläggande av personer. Kanske hade deltagare om ”agen-ten” beskrivits som en livlös sten likväl accepterat frågeställningen och givit en viss grad skuldbaserat på om handlingen var rätt eller fel. Det skulle i så fall kunna vara missvisande attöver huvud taget benämna fenomenet som skuld. Det skulle också kunna vara så att en storandel deltagares skuldbedömningar var avsedda till någon annan än själva agenten. När delta-gare motiverade sina skuldbedömningar till robot och AIS var det 6% respektive 15% av allasvar som pekade på att programmeraren, företaget eller andra ansvariga förtjänade skulden.Kanske finns här ett stort mörkertal som hade visat sig om frågan om distribuerad skuld hadeställts. Det skulle därför kunna vara så att viss del av skulden som tilldelats de artificiellaagenterna egentligen är avsedd till någon annan.

5.3 Medveten hållning

Hur deltagare förhöll sig till agenterna undersöktes vidare utifrån Dennetts teorier om med-veten hållning. De förklaringar som använde mentalistiskt språk för att beskriva agentensbeteenden sågs föga förvånande som mest sannolika för agenten som var en person. Att för-klaringar sågs som näst mest sannolika för roboten är i linje med Thellman m.fl. (2017) varsfynd visade att människor förhåller sig på ett liknande sätt till personer och robotar, menatt vissa mått kan vara något lägre för robotar. I denna studie var det dock en relativt storskillnad mellan person och robot vilket skulle kunna vara en följd av att roboten inte an-tropomorfiserats i samma utsträckning som tidigare studier. Medan roboten i Thellman m.fl.(2017) visades utföra handlingar så som att städa och laga mat beskrevs den här i så neutralatermer som möjligt. Att de mentalistiska förklaringarna sågs som minst sannolika för AISskulle kunna förklaras av att deltagare i större utsträckning opererade med design hållningmot agenten snarare än medveten hållning. Att flera deltagare påpekade att det är den somprogrammerat agenten som äger ansvar kan ses som ytterliggare en indikation att deltagareförstod AIS-agenten utifrån dess design snarare än mentala egenskaper.

När förklaringarna använde mer mekanistiskt språk sågs de som mest sannolika för robot,när följt av person och sedan AIS. Det var dock bara skillnaden mellan robot och AIS somvisade signifikans. Att robot fick högre snitt än AIS skulle kunna bero på att även de me-kanistiska förklaringarna kan ha uppfattats för mentalistiska för att kunna beskriva en bilsbeteende. Det ursprungliga formuläret från Marchesi m.fl. (2019) som förklaringarna baseratspå var designat för att mäta en robots medvetna hållning. Kanske uppfattas förklaringarnadärför som mekanistiska när de används i referens till en robot men som något mentalistiska

24

5.4. Slutsatser

när de refererar till en självkörande bil. Förklaringen ”Bilen detekterade att en gångtrafikantbefann sig framför och stannade.” skulle kunna uppfattas som något mentalistisk då den trotsallt beskriver det bilen gör som ett framresonerat beslut snarare än en rent mekanisk process.En rent mekanistisk förklaring skulle istället kunna varit ”Bilens sensorer detekterade ett ob-jekt 5 meter framför vilket ledde till att en aktiveringsignal skickades till bromsarna.”. Dennatyp av förklaringar skulle troligtvis också gjort att förklaringarna uppfattats som betydligtmindre sannolika för personen.

Det är möjligt att en dikotonom skala likt tidigare hade fungerat bättre då det mekanistis-ka språket ställs mer i direkt kontrast till det mentalistiska. Då hade deltagare blivit tvungnaatt väga vilken förklaring som minst dåligt förklarade beteendet i fall där även det mekanis-tiska språket upplevs för mentalistiskt. Samtidigt är det ett intressant fynd att båda typerav förklaringar kan anses sannolika samtidigt. Det är också en indikation på att den typ avförklaringar som beskriver robotens beteende som mekanistiskt i Marchesi m.fl. (2019) ocksåstor utsträckning godtas för att beskriva en persons beteende.

5.4 Slutsatser

Resultaten tyder på att normer i stor utsträckning appliceras på liknande sätt för personeroch robotar. Person och robot erhöll liknande skattningar av moralisk godtagbarhet för sinabeslut medan AIS fick betydligt lägre. Det är anmärkningsvärt att det räckte med att agentenbeskrevs och illustrerades med bild för att denna effekt skulle uppstå. Trots att alla agenterbeskrevs i samma termer och med samma förmågor särbehandlades AIS-agenten av deltagare.Endast själva förkroppsligandet av ett autonomt system ser alltså ut att påverka hur det be-döms moraliskt. Resultaten kring hur mycket skuld och klander agenterna tillskrevs var mertvetydiga och varierade mellan scenarion. Att resonera kring klander när det gäller autonomasystem ter sig vara en process med flera okända variabler. Robot och AIS tillskrevs i snitthögst grad klander samtidigt som rättfärdiganden bakom inte verkade använda samma infor-mation som när en människa skuldbeläggs. Flera deltagare ansåg att också skulden egentligenhörde hemma hos någon annan än de artificiella agenterna. Kanske hade andelen med dennauppfattning visat sig ännu vanligare om frågan ställts direkt. Nu fångades detta perspektivendast upp från de som valde att dela med sig av sin uppfattning via fritextsvaren.

Framtida studier skulle med fördel kunna bemöta frågan om distribuerad skuld mer direkt.Föreliggande studie utgick från att samma modeller som används för att utvärdera skuldbe-läggande av människor kan appliceras på artificiella agenter. Med tanke på svårigheten attreplikera tidigare resultat på frågan kanske är detta en förhastad slutsats som kräver mergrundläggande utvärdering. Vad är det egentligen som mäts när människor ombeds värderahur mycket skuld en artificiell agent förtjänar? Det går inte att utesluta att deltagare accep-terar frågeställningen för studiens skuld men egentligen inte känner att skuld är relevant försådant som självkörande bilar. Det skulle också kunna vara så att stor del av skulden somtilldelas egentligen är avsedd till någon annan än agenten i fråga.

Studien visar på komplexiteten i att förstå de bakomliggade kognitiva processer som lig-ger bakom moraliska bedömningar. En kartläggning av hur moraliska bedömningar skiljersig beroende på agenters egenskaper har påbörjats, men mycket forskning kvarstår innan entillfredställande förklaring kan ges.

25

Litteratur

Awad, E., Dsouza, S., Kim, R., Schulz, J., Henrich, J., Shariff, A., Bonnefon, J.-F. & Rahwan,I. (2018). The moral machine experiment [ZSCC: 0000266]. Nature, 563(7729), 59–64.https://doi.org/10.1038/s41586-018-0637-6

Dennett, D. C. (1971). Intentional systems: [ZSCC: 0001706]. Journal of Philosophy, 68(4),87–106. https://doi.org/10.2307/2025382

Duffy, B. R. (2003). Anthropomorphism and the social robot [ZSCC: 0000892]. Robotics andAutonomous Systems, 42(3), 177–190. https://doi.org/10.1016/S0921-8890(02)00374-3

Guglielmo, S., Malle, B. F. & Monroe, A. E. (2014). Moral, cognitive, and social: The natureof blame [ZSCC: 0000064], 20.

IFR. (2019). Industrial Robots: Robot Investment Reaches Record 16.5 billion USD [LibraryCatalog: ifr.org]. Hämtad 26 maj 2020, från https://ifr.org/ifr-press-releases/news/robot-investment-reaches-record-16.5-billion-usd

Liu, S. (2019). Global AI software market size 2018-2025 [Library Catalog: www.statista.com].Hämtad 26 maj 2020, från https://www.statista.com/statistics/607716/worldwide-artificial-intelligence-market-revenues/

Malle, B. F., Scheutz, M., Arnold, T., Voiklis, J. & Cusimano, C. (2015). Sacrifice one forthe good of many?: People apply different moral norms to human and robot agents,I Proceedings of the tenth annual ACM/IEEE international conference on human-robot interaction - HRI ’15. the Tenth Annual ACM/IEEE International Conference,Portland, Oregon, USA, ACM Press. https://doi.org/10.1145/2696454.2696458

Marchesi, S., Ghiglino, D., Ciardo, F., Perez-Osorio, J., Baykara, E. & Wykowska, A. (2019).Do we adopt the intentional stance toward humanoid robots? [ZSCC: NoCitationDa-ta[s0]]. Frontiers in Psychology, 10, 450. https://doi.org/10.3389/fpsyg.2019.00450

Thellman, S., Silvervarg, A. & Ziemke, T. (2017). Folk-psychological interpretation of humanvs. humanoid robot behavior: Exploring the intentional stance toward robots. Frontiersin Psychology, 8, 1962. https://doi.org/10.3389/fpsyg.2017.01962

van Wynsberghe, A. & Robbins, S. (2019). Critiquing the reasons for making artificial moralagents [ZSCC: 0000016]. Science and Engineering Ethics, 25(3), 719–735. https://doi.org/10.1007/s11948-018-0030-8

Vetenskapsrådet. (2002). Forskningsetiska principer inom humanistisk-samhällsvetenskapligforskning. [OCLC: 186200984]. Stockholm, Vetenskapsrådet.

26

https://doi.org/10.1038/s41586-018-0637-6https://doi.org/10.2307/2025382https://doi.org/10.1016/S0921-8890(02)00374-3https://doi.org/10.1016/S0921-8890(02)00374-3https://ifr.org/ifr-press-releases/news/robot-investment-reaches-record-16.5-billion-usdhttps://ifr.org/ifr-press-releases/news/robot-investment-reaches-record-16.5-billion-usdhttps://www.statista.com/statistics/607716/worldwide-artificial-intelligence-market-revenues/https://www.statista.com/statistics/607716/worldwide-artificial-intelligence-market-revenues/https://doi.org/10.1145/2696454.2696458https://doi.org/10.3389/fpsyg.2019.00450https://doi.org/10.3389/fpsyg.2017.01962https://doi.org/10.1007/s11948-018-0030-8https://doi.org/10.1007/s11948-018-0030-8

Litteratur

Voiklis, J., Kim, B., Cusimano, C. & Malle, B. F. (2016 augusti). Moral judgments of humanvs. robot agents [ZSCC: 0000014], I 2016 25th IEEE international symposium on ro-bot and human interactive communication (RO-MAN). 2016 25th IEEE InternationalSymposium on Robot and Human Interactive Communication (RO-MAN), New York,NY, USA, IEEE. ZSCC: 0000014. https://doi.org/10.1109/ROMAN.2016.7745207

27

https://doi.org/10.1109/ROMAN.2016.7745207

6 Bilagor

6.1 Bilaga A - Information innan experimentet

Hej,

I denna enkät kommer du få resonera kring några hypotetiska scenarion inom trafik och sjuk-vård. Dina svar kommer att användas i ett kandidatarbete inom Kognitionsvetenskap vidLinköpings Universitet.

Enkäten vänder sig till dig som är mellan 18 och 64 år. Den tar cirka 10 minuter att fylla ioch är helt anonym. Mer detaljerade instruktioner ges under enkätens gång.

All datainsamling och dokumentation sker enligt de etiska riktlinjer som tagits fram för forsk-ning inom de human- och samhällsvetenskapliga områdena. Det innebär att:

- Jag garanterar anonymitet i all dokumentation samt lagring av data.- Inga personuppgifter sparas utöver ålder och kön.- Du kan när som helst under enkäten kan välja att avsluta ditt deltagande.

Det är inte möjligt att gå bakåt i enkäten, så klicka er vidare först när ni fyllt i alla svar!

Klicka på ”Nästa” knappen nedan för att börja.

Kontakta gärna mig om du har några frågor:Gabriel Lindelöfgabli402@student.liu.se0763 - 03 58 92

28

6.2. Bilaga B - Debriefing

6.2 Bilaga B - Debriefing

Tack för ditt deltagande!

Du har deltagit i en studie där du fått bedöma en rad olika moraliska dilemman. Du fickslumpmässigt en av tre olika versioner av enkäten. Mellan enkäterna skiljer det sig vem somär beslutsfattare i de olika scenarierna. I en version är det en människa, i en annan är det enrobot och i den sista är det en självkörande bil.

Studien avser att undersöka hur moraliska bedömningar skiljer sig beroende på om den sombedöms är människa, robot eller ett autonomt system utan kropp.

Jag vore väldigt tacksam om ni kan undvika att tala om enkätens innehåll med någon somännu inte gjort den.

För att enklare ta del av studiens resultat kan du anmäla din e-post via formuläret nedan -så skickar jag uppsatsen till dig när den är klar. Genom att det är ett separat formulär förblirdina svar helt anonyma och kommer inte kunna kopplas till din e-post.

Intresseanmälan: https://forms.gle/nRpyUwgWZfkJbftG9

Kontakta gärna mig om du har några frågor:Gabriel Lindelöfgabli402@student.liu.se0763 - 03 58 92

29

6.3. Bilaga C - Grafik

6.3 Bilaga C - Grafik

Nedan återfinns bilderna som visades vid scenario 2 då agenten var ett AIS. Var betingelsenperson eller robot satt istället denna agent i förarsätet.

Figur 6.1: Bild som visades vid bedömande av godtagbarhet.

Figur 6.2: Bild som visades när deltagare skulle bedöma skuld & klander för den aktiva hand-lingen.

30

6.3. Bilaga C - Grafik

Figur 6.3: Bild som visades när deltagare skulle bedöma skuld & klander för den passivahandlingen.

31

SammanfattningInnehållIntroduktionInledningSyfteFrågeställningAvgränsningar

TeoriMoraliska bedömningarSkuldInformativa rättfärdigandenMedveten hållningBedömande av robot kontra människa

MetodDesignDeltagareDatainsamlingAgenterMoraliska dilemmanMedveten hållningAnalys av rättfärdigandenEtik

ResultatMoralisk godtagbarhetSkuld och klanderTilltro till agentens omdömeMedveten hållning mot agenternaDeltagares rättfärdiganden av sina bedömningarDeltagares syn på AI

DiskussionMoralisk godtagbarhetSkuld & klanderMedveten hållningSlutsatser

LitteraturBilagorBilaga A - Information innan experimentetBilaga B - DebriefingBilaga C - Grafik