We present a moral reasoner, Moral Coppélia, which combines connectionism, utilitarianism, and ethical theory about the moral duties autonomy, non-maleficence, beneficence, and justice with affective states and personality traits. We, moreover, treat human autonomy in the sense of self-determination as well as making a meaningful choice. Our system combines bottom-up with top-down approaches, calculating the effect of an act on the total moral utility in the world. Moral Coppélia can reproduce the verdicts of medical ethicists and health judges in real-life cases and can handle the emotional differences between logically identical problems such as the Trolley and Footbridge dilemma. It also deals with properties of character and personality such as honesty and humility to explain why logic reasoning is not always descriptive of actual human moral behavior. Apart from simulating known cases, we performed a split-half experiment with the responses of 153 participants in a criminal justice experiment. While fine-tuning the parameters to the first half of the data, the encompassing version of Moral Coppélia was capable of forecasting criminal decisions, leading to a better fit with the second half of the data than either of the loose component parts did. In other words, we found empirical support for the integral contribution of ratio, affect, and personality to moral decision making, which, additionally, could be acceptably simulated by our extended version of the Moral Coppélia system. 1. Moral Coppélia: Affective moral reasoning with twofold autonomy and a touch of personality Matthijs Pontier MatthijsPon@gmail.com 2. Overview of this presentation • SELEMCA • Moral Reasoning • Silicon Coppelia: Model of Emotional Intelligence • Moral Reasoning + Silicon Coppelia = Moral Coppelia • Predicting Crime with Moral Coppelia • Conclusion • Future Work London, 03-04-2014 MEMCA-14 Symposium at AISB50 2 3. SELEMCA • Develop ‘Caredroids’: Robots or Computer Agents that assist Patients and Care-deliverers • Focus on patients who stay in long-term care facilities 3London, 03-04-2014 MEMCA-14 Symposium at AISB50 4. Possible functionalities • Care-broker: Find care that matches need patient • Companion: Become friends with the patient to prevent loneliness and activate the patient • Coach: Assist the patient in making healthy choices: Exercising, Eating healthy, Taking medicine, etc. 4London, 03-04-2014 MEMCA-14 Symposium at AISB50 5. Applications: Care Agents 5London, 03-04-2014 MEMCA-14 Symposium at AISB50 6. Applications: Care Robots 6London, 03-04-2014 MEMCA-14 Symposium at AISB50 7. Background Machine Ethics • Machines are becoming more autonomous  Rosalind Picard (1997): ‘‘The greater the freedom of a machine, the more it will need moral standards.’’ • Machines interact more with people We should manage that machines do not harm us or threaten our autonomy • Machine ethics is important to establi

1. Ethische en Emotioneel Intelligente Zorgrobots die onze Autonomie stimuleren
Matthijs Pontier
matthijspon@gmail.com

2. Waar ik het over ga hebben
•Zorg in Nederland
•SELEMCA
•Moreel redeneren voor Robots
•Emotionele Intelligentie: Silicon Coppelia
•Moreel redeneren + Silicon Coppelia = Moral Coppelia
•Ongewenst gedrag voorspellen
•Mogelijke toepassingen
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die onze Autonomie stimuleren
2

3. Zorg in Nederland
•Zorgvraag stijgt
•Bezuinigingen zorg
•Hogere werkdruk voor zorgverleners
•We worden afhankelijker van onze naasten
•Verantwoordelijkheid voor onze zorg en gezondheid komt meer bij onszelf te liggen
•Dat vergt best wel wat van ons en daar kunnen we best wat hulp bij gebruiken!
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
3

4. SELEMCA
•‘Caredroids’ ontwikkelen: Robots of Computer Agents die Patienten en Zorgverleners kunnen ondersteunen
4
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

5. Applicaties: Zorg-agents
5
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

6. Applicaties: Zorgrobots
6
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

7. Mogelijke functionaliteiten
•Zorgmakelaar:
Zoek zorg die past bij behoeften patient
•Vriendje: Wordt vriendjes met patient om eenzaamheid te voorkomen en activeer de patient
•Coach: Assisteer de patient in het maken van gezonde keuzes: Bewegen, Gezond eten, Medicijnen nemen, etc.
7
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

8. Hoe ervaren mensen caredroids?
•Mensen kijken vooral naar deze 4 punten:
1. Wat kun je er mee?
2. Gedraagt het zich ethisch goed of slecht?
3. Hoe ziet het eruit?
4. Is het realistisch?
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
8

9. Uiterlijk / realisme zorgrobots
•Uncanny valley: Te menselijk wordt een beetje eng
•We associeren bijna-menselijk met dood / zombies
9
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Ontwerp robots waarvan realisme in uiterlijk matcht met realisme gedrag

10. Affordances: wat kun je ermee?
•Zorg dat de robot nuttig is voor patienten en hulpverleners
 Zorg dat de robot expert is in zijn taak
 Personaliseer gedrag van robot naar de gebruiker
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
10

11. Machine Ethics: Ethische Robots
•Machines worden steeds autonomer
 Rosalind Picard (1997): ‘‘The greater the freedom of a machine, the more it will need moral standards.’’
•Machines interacteren steeds meer met mensen
We moeten zorgen dat machines ons geen kwaad doen, of onze autonomie bedreigen
•Machine ethics is belangrijk om mensen machines te laten vertrouwen
11
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

12. Domein: Medische Ethiek
•Patienten zijn kwetsbaar. Moreel gedrag van de robot is daarom extra belangrijk
•In zorg zijn er vaak conflicten tussen:
1.Autonomie
2.Weldoen
3.Niet-schaden
4.Gerechtigheid
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
12

13. Moral reasoning system
We hebben een moral reasoning system ontwikkeld dat kan balanceren tussen verschillende morele doelen
Beslissingen kwamen overeen met medisch-ethische experts
13
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

14. Model autonomie
Leiden, 14-11-2014
14
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren
Resultaten:
Mogelijk rechtszaken te simuleren over o.a:
•Bemoeizorg
•Gedwongen opname na zelfbindingsverklaring

15. Limitaties moral reasoning
•Alleen moral reasoning resulteert in ‘koude beslissingen’
•Wallack, Franklin & Allen (2010): “even agents who adhere to a deontological ethic or are utilitarians may require emotional intelligence as well as other ‘‘supra-rational’’ faculties, such as a sense of self and a theory of mind”
•Tronto (1993): “Care is only thought of as good care when it is personalized”
15
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren

16. Probleem: Onmogelijk te simuleren: Trolley Dilemma vs Footbridge Dilemma
•Greene et al. (2001): morele dilemma’s varieren systematisch varieren in hoeveel emotionele verwerking ze oproepen, en dat deze variaties morele beslissingen beinvloeden
•Hun studie was geinspireerd op twee verschillende varianten van een ethisch dilemma
•Trolley dilemma (onpersoonlijk)
Footbridge dilemma (persoonlijk)
Asimov’s 3 wetten schieten hier tekort!
16
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren

17. Oplossing: Voeg Emotionele Verwerking toe
•Eerder ontwikkelden we Silicon Coppelia, een computermodel van emotionele intelligentie.
•Dit kan in anderen geprojecteerd worden voor een Theory of Mind
•Het leert van ervaringen Personalisatie
Voeg Moral Reasoning toe aan Silicon Coppelia:
•Moral reasoning menselijker
•Personaliseer morele beslissingen en vooral ook communicatie daarover
17
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

18. Silicon Coppelia
18
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

19. Silicon Coppelia
•We ontwikkelden Silicon Coppelia met het doel emotioneel intelligente robots te ontwikkelen
•Uit simulatie experimenten bleek:
Systeem gedraagt zich in lijn met theorie en intuitie
•Volgende stap: vergelijk gedrag systeem met menselijk gedrag in een speeddating experiment
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
19

20. Turing Test
•Turing Test was oorspronkelijk alleen met tekst
•Wij hebben uitgebreid met emotionele communicatie
•Emotionele gezichtsuitdrukkingen
•Menselijke spraak
•Achteraf vragenlijst: Wat denk je dat Tom van je vond? En wat vond je van Tom?
 Continue maat: komt meer uit dan simpelweg ja/nee
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
20

21. Speed-dating Experiment
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

22. Resultaten
•Participanten zagen geen verschil in eigenschappen
•Participanten zagen geen verschil in cognitief- affectieve structuur (relaties tussen eigenschappen)
•Model waarin condities (1: mens, 2: robot) als hetzelfde waren aangenomen, verklaarde data beter dan model waarin condities als verschillend waren aangenomen
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
22

23. Conclusies Speed-Date
•We hebben zo’n goede simulatie van menselijk emotioneel gedrag, dat jonge vrouwen een man niet van een computer konden onderscheiden
•Belangrijk voor:
•Het begrijpen van menselijk emotioneel gedrag
•Het ontwikkelen van menselijke robots / technologie
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
23

24. Silicon Coppelia + Moral Reasoning:
Beslissingen gebaseerd op:
1. Rationele invloeden
•Helpt deze actie me mijn doelen te bereiken?
2. Affectieve invloeden
•Reflecteert deze actie de betrokkenheid
die ik voel tegenover de gebruiker?
•Reflecteert deze actie de distantie
die ik voel tegenover de gebruiker?
3. Moral reasoning
•Is deze actie ethisch goed?
Leiden, 14-11-2014
24
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

25. Resultaten Moral Reasoning + Silicon Coppelia
1 dood; 5 gered Doe niets
Moral system
Trolley X
Footbridge X
Moral Coppelia
Trolley X
Footbridge X
25
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

26. Voorspellen ongewenst gedrag
•Veel bewijs dat emoties fundamenteel zijn bij het maken van criminele beslissingen
•Maar emoties worden nog nauwelijks gebruikt in modellen van criminele beslissingen
 Studie relatie tussen Ratio, Emoties, Moraliteit
 Moral Coppelia toepassen op criminologische data
 Criminele beslissingen participanten voorspellen
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
26

27. Data op model passen
Match:
• Honesty/Humility to Weightmorality
• Perceived Risk to Expected Utility
• Negative State Affect to EESA
Parameter Tuning:
1.Zoek optimale fits voor de initiele sample
2.Voorspel de beslissingen van de holdout sample
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
27

28. Predicting Criminal Choices
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
28
Ratio
Emo
R+E
Moral
M+R
M+E
M+R+E
morcc
0
0
0
0.68
0.42
0.453
0.435
wmor
0
0
0
1.00
0.96
0.97
0.87
partrat
1
0
0.34
0
1
0
0.64
partemo
0
1
0.66
0
0
1
0.36
R2 initial
0.7553
0.8792
0.9222
0.9336
0.9871
0.9798
0.9881
R2 holdout
0.7192
0.9060
0.9323
0.9281
0.9803
0.9778
0.9821

29. Conclusies criminologie studie
•Validatie van Moral Coppélia:
Moral Coppélia kan gebruikt worden om menselijke criminele beslissingen te voorspellen
•Dit vergroot ons begrip van criminele beslissingen
•Nuttig in toepassingen
•Crimineel gedrag voorspellen?
•Serious games: virtuele misdadiger
•Entertainment
•Theory of Mind
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
29

30. Toepassingen: Een systeem met ‘6’ thema’s
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

31. Motivatie
Motiveer gebruiker om te doen wat nodig is.
Bijvoorbeeld een game voor mensen met een handicap om deel te nemen aan het sociale proces. Of elke dag bewegen.
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

32. Financieel
Ondersteuning bij het maken van financiële beslissingen
Bijvoorbeeld welke zorgverzekeraar? Moet je sparen om straks niet te eindigen in een armoedig verzorgingshuis?
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

33. Connectiviteit
Ondersteuning in het verbinden met netwerken die voor jou relevant zijn.
Zo zouden eenzame bejaarden gekoppeld kunnen worden aan vrijwilligers of gelijken in de buurt.
En kunnen diabetici elkaar ontmoeten in communities en kennis delen.
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

34. Historie
Registreren van zorg / gezondheidshistorie.
Dagelijks als er niets aan de hand is of juist op momenten dat je zorg nodig hebt. Zodat dit, met jouw toestemming, uitgewisseld kan worden tussen verschillende zorgverleners.
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

35. Voeding
Ondersteuning om
gezonde voeding te nemen.
Misschien heb je een speciaal dieet of heb je tijdelijk supplementen nodig.
Registreert wat je eet en geef aan wat je nodig hebt.
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

36. Acute hulp
Alarm slaan als iets mis gaat.
Ben je gevallen in de badkamer? Val je flauw omdat je te weinig gegeten hebt? Hartaanval? Dan alarm slaan!
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

37. Applications: - Virtual Storytelling - (Serious) Games
37
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

38. Virtual Coach
38
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

39. Caredroids
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

40. ‘Rijdende tablets’ die ouderen ondersteunen
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
40

41. Zorgrobot Zora bij EO Dit Is De Dag
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
41

42. Robot huisdier
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
42
Huisdier, met ingebouwde spraak-synthesizer, aangedreven door emotioneel intelligente software

43. Companion Robots
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

44. 44
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

45. House Robots
45
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
Leiden, 14-11-2014

46. House Robots
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
46

47. OS dat een relatie met je opbouwt en je begrijpt
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
47

48. Conclusies
•Door behulp van theorieen uit (medische) ethiek kunnen we robots bouwen die zorgtaken verlichten en autonomie patienten kunnen stimuleren
•Emoties toevoegen aan rationeel moreel redeneren is belangrijk als robots communiceren met mensen
•De combinatie van ratio en affect maakt robots menselijker (bijvoorbeeld bij het verlenen van zorg, of in entertainment)
48
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren

49. Discussie
•Technologie kan zorg verbeteren + efficienter maken
•Belangrijk om hierbij te bedenken wat al wel kan,
maar ook wat nog niet kan
•Privacy-schendingen liggen op de loer
 Privacy by design
Laat gebruiker eigenaar eigen gegevens blijven
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
49

50. Boek: Machine Medical Ethics
Leiden, 14-11-2014
Ethische en Emotioneel Intelligente Robots die Autonomie stimuleren
50
http://www.springer.com/engineering/robotics/book/978- 3-319-08107-6
•Hoe ethische zorgrobots ontwikkelen?
•Voordelen open source
•Hoe zorgrobots ethisch inzetten?
•Veranderde arts-patient relatie
•Deep Brain Stimulation
•Inzet sex-robots
•Enz.

51. Bedankt!
51
Matthijs Pontier
matthijspon@gmail.com
http://camera-vu.nl/matthijs
Matthijs Pontier
Matthijs85
Leiden, 14-11-2014
Emotioneel Intelligente Robots die Morele Beslissingen maken en Autonomie stimuleren