Upload
katharina-reitz
View
176
Download
1
Embed Size (px)
DESCRIPTION
Design and implementation of a multiplayer game on smartphones that changes difficulty according to the players physiological data.
Citation preview
Smartphone Games based on physiological DataMasterarbeit, Abschlussvortrag
am 01.11.2011
Katharina Reitz
Inhalt
1. Einführung2. Umsetzung3. Dateneinbindung4. Evaluation5. Ergebnis 6. Ausblick7. Demo
2 / 30
• Smartphone-Spiel• Physiologische Signale • Biofeedback• Ziel:
– individuelleres Spielerlebnis– mehr Spielspaß
• Laborumgebung
1. Einführung
3 / 30
• kleines Display• „Casual Gamer“• Aufmerksamkeit
• Sensoren• Kontext
1.1 Smartphone
4 / 30
18
4cm
• Elektrokardiogramm (EKG)– Herzrate (HR)– Herzratenvariabilität (HRV)
• Elektrodermale Aktivität (EDA)– Reizinduziert– Kriterien
1.2 Physiologische Maße
5 / 30
Latenz Erholungszeit
63% Amplitude
Zeit [s]
EDA [μS]
SCR
Am
plitu
de
Stimulus
Quelle: in Anlehnung an [EDA]Quelle: in Anlehnung an [EKG]
1.3 Vorgehensweise
6 / 30
KonzepteSpiel
DatenanbindungFeedback
Vorab-Implementierung Voruntersuchung
Finale ImplementierungV1: mit Biofeedback
V2: ohne Biofeedback
Hauptuntersuchung
2. Umsetzung: Spielkonzept
• leicht zugänglich• # Spielelemente• starke Reaktionen
• „Spacewar!“
• • Action-Weltraum-Multiplayer-Spiel
7 / 30
Quelle: http://de.wikipedia.org/wiki/Spacewar!
2.1 Spielaktionen
8 / 30
Schi!strukturFeuern Spezial-ButtonSchildobjekt
+
SLOW!
2.2 Spielfeld
9 / 30
2.3 Werkzeuge
• Android (Java)– quelloffen– starke Verbreitung
• Engines– Spiel– Physik
• Multiplayer-Erweiterung
10/ 30
2.4 Engines
• Andengine– Basisklassen– Sprite- und Sound-Verwaltung
• Box2D– Kollisionserkennung– Schiffsbewegung
11/ 30
Quelle: www.andengine.org
Quelle: www.box2d.org
2.5 Client-Server-Ansatz
12/ 30
ClientServer
Touch-Eingabe
Bewege Schiff-Grafik
Neigungsänderung
Erhöhe Trefferpunkte Spieler x
Touch auf Spielfeld]Feuerbefehl Laser
[Touch auf Spezialbutton]Aktiviere Slow-Mo
3. Datenanbindung
13/ 30
Varioport
Varioport
EDA
EDA + EKG
EKG
Status Trigger
LABServer
Smartphone
Proband
FeedbackController
Spiel
3.1 Technik
• Socket-Programmierung• TCP: Anmeldung Laborserver• UDP: physiologische Daten• Datenaustauschformat: JavaScript Object Notation
(JSON)
14/ 30
3.2 Feedback-Loop
15/ 30
Quelle: in Anlehnung an [Amb11]
System-Reaktion
Physiologische Reaktion
Eingabe(Berührung, Neigung)
Ausgabe(V isuell, Akustisch)
3.3 Spielerzustand
16/ 30
HR
Statistikwert
hoch
niedrig hoch
zu schwierig ok
schwierig zu leicht
Dis
tress
Task Engagement
hoch
niedrig hoch
a b
c d
Quelle: [Fai07]
• Statistikwert (SW) = Punkte Spieler / (Punkte Spieler + Punkte Gegner)
• hoher SW = Spieler erfolgreich• Distress-Engagement-Modell
3.4 Adaptive Spielelemente
• 5 Schwierigkeitsstufen
• Pulsieren der Schiffe• EDA + EKG + SW = Schwierigkeitsänderung• Regelsatz
17/ 30
Spielelement Einheit -2 -1 0 1 2
Geschwindigkeit Schiff Impulswert 10 15 20 25 30
Dauer Schildschutz Sekunden 2 4 6 8 10
Aufladezeit Slow-Mo Sekunden 25 20 15 10 5
4. Evaluation
• Signaltests– Ableitungsort EDA– Vergleichsmessungen EDA
• Voruntersuchung– 3 Testspiele– Signalverhalten
• Hauptuntersuchung– Biofeedback vs. Non-Biofeedback
18/ 30
4.1 Ableitungsort EDA
19/ 30
Knöchel
A B
E
Phalanxdistalis
Phalanxproximalis
des Großzehs
C
F
Daumenballen(Thenar)
Phalanx distalisPhalanx medialisPhalanx proximalis
Kleinfingerballen(Hypothenar)
Handgelenkfurche
A B
D
E
EllenbogenC6 C7 C8Dermatome
G
Quelle: In Anlehnung an [Bou88] Quelle: In Anlehnung an [Bou88]
4.2 Vergleichsmessungen
• Lesen Bewegung Spielen
20/ 30
Zeit
EDA
[mS]
1.0
1.5
2.0
2.5
3.0
1000 2000 3000 4000 5000Zeit
EDA
[mS]
1.0
1.5
2.0
2.5
3.0
1000 2000 3000 4000 5000Zeit
EDA
3.6
3.8
4.0
4.2
1000 2000 3000 4000 5000
4.3 Voruntersuchung (VU)
• 11 Personen• 3 Spiele (Spaß, Langeweile, Stress)• Spieldauer 5 min• Erkennung signifikanter Signalwerte
21/ 30
4.4 VU Auswertung (1)
• Bewertung der Spiele• Mittelwerte physiologische Signale
22/ 30
4.5 VU Auswertung (2)
23/ 30
Zeit
EDA
[mS]
2
3
4
5
0 1000 2000 3000 4000
Zeit
EDA
[mS]
3.6
3.8
4.0
4.2
4.4
4.6
0 1000 2000 3000 4000
Zeit
EDA
[mS]
3.0
3.2
3.4
3.6
3.8
0 1000 2000 3000 4000 5000
Stress
Langeweile
Spaß
Spiel 1
Spiel 2
Spiel 3
4.6 Hauptuntersuchung (HU)
• 10 Personen• Gegenüberstellung • Biofeedback vs. Non-Biofeedback
24/ 30
• Spielanpassung alle 30 sec• Spieldauer 300 sec (5 min)• 10 Spielabschnitte
• 10 Mittelwerte / Spieler (EDA und EKG)• Normierung• Aufzeichnung Spielanpassung
4.7 HU Auswertung (1)
25/ 30
• gepaarter t-Test, α = 0.05• H0 = „Zwischen den Spielvarianten gibt es keinen signifikanten Unterschied.“
• Gesamtspiel
• 2. Spielhälfte: H0 abgelehnt für EDA !
4.8 HU Auswertung (2)
26/ 30
Spielabschnitt
Mitt
elw
. ohn
e Bi
o
0.0
0.5
1.0
1.5
2.0
2 4 6 8 10Spielabschnitt
Mitt
elw
. mit
Bio
0.0
0.5
1.0
1.5
2.0
2 4 6 8 10Spielabschnitt
Diff
eren
z M
ittel
werte
−0.3
−0.2
−0.1
0.0
0.1
0.2
2 4 6 8 10
• wahrnehmbarer Unterschied (subjektiv)• 80 % bevorzugen Biofeedback• Grund: Abwechslung• Wahrnehmung Veränderungen
– 90% Schiffsgeschwindigkeit– 60% Slow-Mo Fähigkeit– 40% Dauer Schildschutz
• Logdaten unterschiedliche Spielverläufe / Spieler
4.9 HU Fragebögen
27/ 30
5. Ergebnis
• Ziel erreicht• Signal Vor- und Nachverarbeitung• Anzahl Probanden• Displaygröße • Implementierung Spiel
28/ 30
6. Ausblick
• Reiz-Bezogenheit EDA• Betrachtung aller Spieler• Feldexperiment• Sensor-Integration• Visualisierung Biofeedback
29/ 30
7. Demo
30/ 30
Ende
Danke für Ihre Aufmerksamkeit.
Quellenverzeichnis
• [Amb11] AMBINDER, Mike: Biofeedback in Gameplay : How Valve Measures Physiology to Enhance Gaming Experience. (2011)
• [EDA] EDA Signalverlauf, ETH Zürich. http://www.wearable.ethz.ch/
• [EKG] EKG Signal. http://de.wikipedia.org/w/index.php?title=Datei:EKG_Komplex.svg&filetimestamp=20100524035909
• [Fai07] FAIRCLOUGH, Stephen H.: Psychophysiological Inference and Physiological Computer Games. In: Interfaces 7 (2007). http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.102.5873&rep=rep1&type=pdf
• [Bou88] BOUCSEIN, Wolfram: Elektrodermale Aktivität: Grundlagen, Methoden und Anwendungen. Springer, 1988. - ISBN 3540185860
32/ 19
5.8 VU Auswertung (1)
33/ 19
Zeit
Amplitude
0.05
0.10
0.15
0.20
0.25
●
●
●
●
●
●
●
●
●
●
●●●
●
●
●●
●
●
●
●●●●
●
●
●
●●●
●
●●
●●
●
●
●●●●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●●●
●
●
●
●
●
●
●
●
●
●●
●
●●
●
●
●
●
●●●●●●●●
●●
●●●
●
●
●
●
●●
●●
●
20 40 60 80 100
Spaß
Med
ian
Ampl
itude
−0.05
0.00
0.05
0.10
0.15
0.20
0.25
0.30
●
●
●
●
●●
●
●●
●
●
●
●
●
● ●●●
●
●
●
●
●●
1 2 3 4 5 6
player● 4● 5● 6● 7● 8● 9● 10● 11
5.3 Software
• Kubios (HRV)• POLAR Pro Trainer (HR)• Ledalab (EDA)• R (Plotting)• Kriterien
– Signalverlauf– Amplitude– Anstiegszeit
34/ 19
2. Umsetzung
• simples Spielkonzept• intuitive Steuerung• quelloffene Entwicklungswerkzeuge• Multiplayer
35/ 19
3. Datenanbindung
• Einbindung des Spielers– physiologische Maße– Feedback
• Spielerzustand• Adaptive Spielelemente
36/ 19
• Laborumgebung (Server, Workstation)• Varioport• 2 Android Smartphones• Pulsgurt• Mobile Device Cam• Fragebögen
4.1 Werkzeuge
37/ 19
Valence
Arousal hoch
negativ
niedrig
positiv
Relaxed
Passiv
Verärgert
Glücklich
Gelangweilt
Energiegeladen
• Distress-Engagement
3.3 Modelle Spielerzustand
• Valence-Arousal
38/ 19
Quelle: [Fai07]Quelle: [Amb11]
Dis
tress
Task Engagement
hoch
niedrig hoch
a b
c d