Automatische Erkennung der Frustration von Autofahrern · • Erkennung von Frustration zur Prävention von Unfällen • Optimierung der User Experience während (Rapid) Prototyping

Automatische Erkennung der Frustration von Autofahrern

Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017DLR.de • Folie 1

Ergebnisse und Anwendungsmöglichkeiten

Klas Ihme, Meng Zhang & Meike Jipp


Links: http://fox59.com/2017/02/03/police-case-of-road-rage-led-to-crash-that-flipped-over-car/Oben: http://www.cbs8.com/story/34169218/possible-road-rage-incident-in-mira-mesa-under-investigation

Rechts: http://www.focus.de/auto/ratgeber/sicherheit/wut-am-steuer-fordert-hohen-blutzoll-aggressive-fahrer-toeten-jedes-jahr-1200-menschen_aid_902625.html

• 80 % der Fahrer erleben Wut, benehmen sich aggressiv oder neigen gar zu Road Rage (AAA, 2007)

• Bei 50 % der tödlichen Unfälle in den USA mindestens ein aggressiver Fahrer beteiligt (AAA, 2007)

• Aggressive Fahrweise ist die Ursache für rund ein Drittel der Verkehrsunfälle mit Todesopfern in Deutschland (GDV, 2013)

DLR.de • Folie 3

Aggressionen im Straßenverkehr

Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017

Wie kann man Aggressionen im Straßenverkehr verhindern?

Ziel: Aufbau eines Systems zur verlässlichen Erkennung von Frustration

• Datenbasiert ohne Befragung von Nutzern • Echtzeitfähig

Motivation: Frustration – Aggression im Straßenverkehr

DLR.de • Folie 4 Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017

Frustration

Aggression

Sicherheits-kritisches

Fahrverhalten

Blockierung von

Zielerreichung

Intelligente Assistenz


Komponenten von Emotionen

Appraisal/kognitive Bewertung des Ereignisses

Physiologische Veränderung

Action tendencies: Motivational, Verhaltensänderung

Gesichtsausdruck und Stimme: Kommunikation von Emotion und geplantem Verhalten

Subjective Feeling: Subjektive Komponente durch Beobachtung der eigenen Zustandsveränderung


Indikatoren von Frustration im Auto

Appraisal/kognitive Bewertung des Ereignisses

Physiologische Veränderung

Action tendencies: Motivational, Verhaltensänderung

Gesichtsausdruck und Stimme: Kommunikation von Emotion und geplantem Verhalten

Subjective Feeling: Subjektive Komponente durch Beobachtung der eigenen Zustandsveränderung

Welche spezifischen Gesichtsausdrücke sind indikativ für Frustration beim Autofahren?

Objektive Klassifikation von Gesichtsausdrücken: Facial Action Coding System


Ekman et al. (2002),Bilder: http://www.cs.cmu.edu/~face/facs.htm, https://www.researchgate.net/publication/220716822_Data_Mining_Spontaneous_Facial_Behavior_with_Automatic_Expression_Coding

https://de.pinterest.com/explore/facial-muscles/

1) Welche spezifischen Gesichtsausdrücke sind indikativ für Frustration?

2) Können wir aus Videoaufnahmen des Gesichts automatisiert erkennen, ob jemand frustriert ist?


Fragestellungen

DLR.de • Folie 9

Methode

1) Manuelle Kodierung nach Facial Action Coding System (FACS)

2) Untersuchung auf Basis automatischer Kodierung


Induktion von Frustration

DLR.de • Chart 10 • Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017

DLR.de • Folie 11

Versuchsablauf

baseline70 – 120 s

subjective rating drive withtime pressure

6 x

noFrustFrust

subjective rating

SAM

NASA-TLX

SAM


DLR.de • Folie 12 > Automatische Erkennung der Frustration von Autofahrern > Klas Ihme, Meng Zhang, & Meike Jipp > 08.02.2017

Manipulationsprüfung

]*

]*]*

Ihme, Dömeland, Freese & Jipp, submitted


Spezifischer Gesichtsausdruck von Frustration:Ergebnisse der manuellen Kodierung

Ihme, Dömeland, Freese & Jipp, submitted

DLR.de • Folie 14

Spezifischer Gesichtsausdruck von Frustration:Automatische Analyse

Evidenz von 18 AUsPitch, Roll, Yaw Normalisierung am

MW der 1. min.

30 VP x 2 Bed. x ~ 6 min. x 3

+

< -10° v > 20°

< -10° v > 10°

< -10° v > 10°

Vorverarbeitung

Clustering Test

noFrust

Frust

%


Zhang, Jipp & Ihme, in prep.


Spezifischer Gesichtsausdruck von Frustration:Ergebnisse automatische Analyse

neutral

neutral

Wut / Konzentration

Frustration

Lächeln


DLR.de • Folie 16

Spezifischer Gesichtsausdruck von Frustration:Ergebnisse der automatisierten Analyse

Extrahierter Gesichtsausdruck scheint guter Prädiktor für Frustration zu sein

In frustrierter Fahrt werden auch andere Gesichtsausdrücke gezeigt, deshalb genauere Modellierung sinnvoll



Neutral Lächeln Wut/Konz. Frustration Neutral in NoFrust 22.6 10.1 22.8 10.9 33.7in Frust 20.6 10.3 19.2 27.3 22.7

** *

F+W

neutral

Lächeln

neutral

Frust

Wut/ Kon-zentration

DLR.de • Folie 17

Gesichtsausdruck von Frustration: zeitlicher Verlauf



• Gesichtsausdruck von Frustration: Aktivierung von Muskeln im Mundbereich

• Maschinelle Erkennung des Gesichtsausdrucks über Clusteringverfahren scheint möglich

• Clusteringverfahren zur Modellierung des Verlaufs von Frustration hilfreich

DLR.de • Folie 18

Zusammenfassung der Ergebnisse


• Gesichtsausdruck vielversprechender Indikator für Frustration von Autofahrern

• Erweiterung der Ergebnisse auf andere Emotionen

• Aufbau eines Echtzeitsystems zur Emotionserkennung

• Entwicklung von Strategien zur Reduktion von Frustration


Fazit und Ausblick

• Erkennung von Frustration zur Prävention von Unfällen

• Optimierung der User Experience während (Rapid) Prototyping im Human-Centred Design-Prozess (z.B. für Assistenzsysteme)

• Integration digitaler Assistenten mit Emotionserkennung ins Auto

DLR.de • Folie 20

Anwendungsfelder


Bilder: https://www.confused.com/on-the-road/safety/too-close-for-comfort-how-to-deal-with-tailgatershttps://raheelhcc.wordpress.com/2015/02/19/reimagining-hci-stuck-in-technological-tunnel-vision/

https://www.futurum.xyz/digital-assistants-become-key-differentiator-automotive-brands/

Vielen Dank für die Aufmerksamkeit!

Deutsches Zentrum für Luft- und Raumfahrt e.V. (DLR)Institut für Verkehrssystemtechnik | Human Factors | Lilienthalplatz 7 | 38108 Braunschweig

Dr. Klas Ihme Telefon 0531 295-3497 | Telefax 0531 295-3402 | [email protected] | Institut für Verkehrssystemtechnik


Fragen?


AAA, 2007: http://exchange.aaa.com/safety/roadway-safety/aggressive-driving/#.WKR5TuQ3lzIGDV, 2013: http://www.gdv.de/2013/03/kampfmaschine-auto/Ekman, P., Friesen, W. V., & Hager, J. (2002). The Investigator´s Guide for the Facial Action CodingSystem. Salt Lake City: A Human face.Ihme, K., Dömeland, C., Freese, M., & Jipp, M. Frustration in the face of the driver: A simulator study onfacial muscle activity during frustrated driving. (eingereichter Beitrag)Zhang, M., Jipp, M. & Ihme, K. Automatic Detection of Frustrated Facial Expressions of Car Drivers (inVorbereitung)

Vorarbeiten:Zhang M, Ihme K, & Jipp M. Maschinelle Erkennung der Frustration von Autofahrern ausVideoaufnahmen des Gesichts: Vorläufige Ergebnisse. 5. Interdisziplinärer Workshop KognitiveSysteme, Bochum, Germany, 14-16 March, 2016.Dömeland C, Ihme K, & Jipp M. Autofahren im (An-)Gesicht der Frustration: Eine Fahrsimulatorstudiezur Untersuchung der Gesichtsmuskelbewegung von Autofahrern während frustrierenderVerkehrssituationen. 57. Tagung experimentell arbeitender Psychologen, Hildesheim, Germany, 8-11March, 2015.

> Identifikation und Prädiktion relevanter Nutzerzustände im Automobil > Uwe Drewitz & Klas Ihme > 02.11.2016DLR.de • Folie 23

Referenzen

Documents

Automatische Erkennung der Frustration von Autofahrern · • Erkennung von Frustration zur Prävention von Unfällen • Optimierung der User Experience während (Rapid) Prototyping