Upload
educational-technology
View
2.009
Download
0
Embed Size (px)
Citation preview
1
W I S S E N T E C H N I K L E I D E N S C H A F T
Usability Benchmark und Aktivitäts-
Analyse mit Eye Tracking von Mobile
Augmented Reality unterstützten
Ernährungsempfehlungen
Diplomarbeitspräsentation, 08.10.2015
Betreuer:
Univ.-Doz. DI Dr.techn. Martin Ebner, IICM
Verena Rexeis
Diplomarbeit in einer Kooperation mit JOANNEUM RESEARCH Digital, DI Dr. Lucas Paletta
2 2 Inhalt
• Einleitung
• Usability-Test, Eye Tracking, 7 Stages of Action
• Forschungsfrage
• App „MANGO“
• Studiendesign
• Auswertung
• Ergebnisse
• Ausblick
08.10.2015
Verena Rexeis
3 3 Usability-Test (1)
Usability, dt. Gebrauchstauglichkeit
• …Ziele effektiv, effizient und zufriedenstellend erreichen (DIN EN ISO 9241-11)
• System muss erlernbar, einprägsam und fehlerfrei sein (Nielsen, 1993)
User Experience
08.10.2015
Verena Rexeis
Bildquelle: nach Sarodnick et al. (2011, S. 22)
4 4 Usability-Test (2)
• Teil des Usability Engineering Lifecycle
• repräsentative Testpersonen
• verwenden fertig entwickelte Systeme
• Messungen und Beobachtungen
• zB Formale Experimente, Fragebögen,
Thinking-Aloud-Tests, Benutzungsstudien,…
08.10.2015
Verena Rexeis
5 5 Eye Tracking
• Aufzeichnung Augenbewegungen
• Fixationen -> Aufmerksamkeit (Holmqvist et al., 2011)
• Sakkaden – Bewegungen zwischen Fixationen
• Head Mounted Displays (zB Eye Tracking Glasses)
• infrarote Lichtquellen
• Reflexionen auf Hornhaut
• Messung videobasiert
• Augen- und Szenen-Kamera
08.10.2015
Verena Rexeis
Bildquelle: vgl. Santner et al. (2013)
6 6 Seven Stages of Action (1)
08.10.2015
Verena Rexeis
Bild
qu
elle
: n
ach
No
rma
n (
201
3, S
. 3
9)
ZIEL
WELT bzw. SYSTEM
Wie bearbeite ich es?
Was kann ich machen?
Was ist passiert?
Ist es das, was ich wollte?
KLU
FT D
ER D
UR
CH
FÜH
RU
NG
KLU
FT DER
EVA
LUATIO
N
7 7 Seven Stages of Action (2)
08.10.2015
Verena Rexeis
Bild
qu
elle
: n
ach
No
rma
n (
201
3, S
. 41)
ZIEL
WELT bzw. SYSTEM
KLU
FT D
ER D
UR
CH
FÜH
RU
NG
KLU
FT DER
EVA
LUATIO
N
INTERPRETIEREN
WAHRNEHMEN
VERGLEICHEN
SPEZIFIZIEREN
AUSFÜHREN
PLANEN
8 8 Forschungsfrage
Können mit Usability Benchmark und Aktivitäts-Analyse
durch Eye-Tracking-Unterstützung vertiefende
Kenntnisse für die App-Entwicklung im Bereich
Ernährungsempfehlung gewonnen werden?
08.10.2015
Verena Rexeis
9 9 Testumgebung „MANGO“-App (1)
„MANGO – Mobile Augmented Reality for Nutrition
Guidance and Food Awareness“
• Ernährungsphilosophie „functional eating“
• automatische Lebensmittelerkennung
• Betriebssystem Android; iOS dzt. nicht geplant
08.10.2015
Verena Rexeis
Bildquellen: functionaleating.at
14 14 Studiendesign (1)
16 Testpersonen (8m, 8w)
Vorbefragung inkl. functional eating Typenzuordnung
Eye-Tracking-Teil:
• Szenarien
• Aufgaben
• Typenbeschreibung durchlesen
• 3x Lebensmittel scannen
• das beste der aufgebauten Lemis +
• 3 wichtigsten Gemüsesorten nennen
08.10.2015
Verena Rexeis
15 15 Studiendesign (2)
App-Bewertung
• User Experience Questionnaire (UEQ)
• System Usability Scale (SUS)
• Wahrscheinlichkeit herunterladen & verwenden
Checkliste zum Studienablauf
Pre-Test mit 2 Personen
08.10.2015
Verena Rexeis
16 16 Auswertung – Benchmark (1)
• 5 messbare Kernaufgaben (KA)
• 11 Ziele zu KA
• 3 Gesamt-Ziele
• 80% erfüllte Kernaufgaben (Ziel 6)
• User-Performance bei den Zielen 1a-3b, 4a, 5a
55% (Ziel 7)
• SUS-Score von 80(%) (Ziel 8)
08.10.2015
Verena Rexeis
zB KA 1 Auffinden der eigenen fe-Typenbeschreibung Ziel 1b 75% d. User schaffen KA1 innerhalb von 15 Sek.
17 17 Auswertung – Benchmark (2)
Verwendete Metriken:
• Zeiten
• Wege zum Ziel
• Bugs
• richtige/falsche Scans
• Antworten-Auswertung
• SUS/UEQ-Auswertung
Gesamtbeurteilung durch kombinierte Metriken
08.10.2015
Verena Rexeis
18 18 Auswertung – Aktivitäts-Analyse
• Unterteilung von Aufg. 2 in Sieben Stages of Action
• ergibt drei verschiedene Ziele
• Kamera öffnen
• Lebensmittel scannen
• Detailinformationen aufrufen/nachlesen
• Zuordnung zu Stages
• Dauern der Stages
• durchschnittliche Blickdauern [ms]
• # der Fixationen
• Fixationen/Sekunde
08.10.2015
Verena Rexeis
19 19 Ergebnisse – Benchmark (1)
Zielvorgaben
08.10.2015
Verena Rexeis
Erfüllungs-Quoten der Benchmark-Zielvorgaben n=15
Aufgabe 1 Aufgabe 2 Ziel 1a Ziel 1b Ziel 2a Ziel 2b Ziel 3a Ziel 3b Ziel 3c Ziel 3d
Zielwert 90% 75% 90% 75% 75% 70% 55% 90% erreicht 73% 53% 47% 60% 47% 74% 33% 40%
Aufgabe 3 Aufgabe 4 Gesamt-Ziele Ziel 4a Ziel 5a Ziel 5b Ziel 6 Ziel 7 Ziel 8
Zielwert 75% 50% 75% 80% 55% 80% erreicht 53% 13% 47% 73% 55% 80%
Kernaufgaben
20 20
Tes
tper
son
#
Dau
er K
A
Erf
olg
reic
he
KA
(
von
5)
Erf
üllt
e Zi
ele
(
von
8)
# A
bst
ürz
e
SU
S-Sc
ore
Dau
er
KA
Zie
le
Feh
lerf
reih
eit
SU
S
Mit
telw
ert
Mit
telw
ert
inkl
. s
ech
s U
EQ-S
kale
n
T01 58 4 4 0 90 50% 80% 50% 100% 90% 74% 77% T04 80 4 2 7 67,5 11% 80% 25% 0% 68% 37% 47% T05 87 4 1 6 85 0% 80% 13% 14% 85% 38% 60%
Ergebnisse – Benchmark (3)
Gesamt-User-Performance (Auszug)
08.10.2015
Verena Rexeis
T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57% T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76% T12 32 5 8 2 90 94% 100% 100% 71% 90% 91% 89% T13 35 5 5 1 87,5 89% 100% 63% 86% 88% 85% 82% T15 40 3 4 0 67,5 80% 60% 50% 100% 68% 72% 75%
Gesamt-Score (n=15) 66% 69%
90% Konfidenzintervall Bereich 7% 5%
22 22 Ergebnis – App-Bewertung (2)
herunterladen & verwenden
• vor der Benützung:
• 𝑀𝑣 = 2,88 𝑆𝐷𝑣 = 1,5
• nach der Benützung:
• 𝑀𝑛 = 2,63 𝑆𝐷𝑛 = 1,7
• männliche Testpersonen
• vor: 𝑀𝑚𝑣 = 2,75 nach: 𝑀𝑚𝑛 = 1,88
• weibliche Testpersonen
• vor: 𝑀𝑤𝑣 = 3 nach: 𝑀𝑤𝑛 = 3,38
08.10.2015
Verena Rexeis
23 23 Ergebnisse – Aktivitäts-Analyse
• keine positive Entwicklung in Eye-Tracking-Daten mit
fortschreitenden Scan-Versuchen
• User-Verhalten durch Stages-Einteilung transparent
• Auslöseversuche
• innerhalb des Kamerabildes ohne Auswirkung
• verlassen der App über Menüleiste
08.10.2015
Verena Rexeis
24 24 Ausblick
Empfehlungen
• Implementation Tutorial
• Integration Feedback beim Scannen
• Überarbeitung Aufbereitung Lebensmittel-Datenbank
• Stabilitätsprobleme beheben
• vergleichende Usability-Tests bzgl. des Benchmarks
und der Gesamt-User-Performance
08.10.2015
Verena Rexeis
25 25 Quellen
Andrews, Keith (2015). „Human–Computer Interaction“ Lecture Notes. URL:
http://courses.iicm.tugraz.at/hci/hci.pdf (besucht am 7.10.2015)
DIN EN ISO 9241-11 (1999). Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten -
Teil 11: Anforderungen an die Gebrauchstauglichkeit; Leitsätze (ISO 9241-11:1998); Deutsche Fassung
EN ISO 9241-11:1998; Ausgabedatum: 1999-01. Berlin: Beuth-Verlag
Norman, Donald A. (2013). The Design of Everyday Things. Revised and Expanded Edition. United
States: Basic Books. ISBN: 9780465050659
Santner, Katrin, Gerald Fritz, Lucas Paletta und Heinz Mayer (2013). „Visual recovery of saliency maps
from human attention in 3D environments“. In: 2013 IEEE International Conference on Robotics and
Automation. ICRA 2013. (Karlsruhe), S. 4297–4303. DOI: 10.1109/ICRA.2013.6631185
Sarodnick, Florian und Henning Brau (2011). Methoden der Usability Evaluation: Wissenschaftliche
Grundlagen und praktische Anwendung. 2. Aufl. Huber: Wirtschaftspsychologie in Anwendung. Bern,
Schweiz: Verlag Hans Huber. ISBN: 9783456848839
08.10.2015
Verena Rexeis
26
W I S S E N T E C H N I K L E I D E N S C H A F T
Vielen Dank für Ihre
Aufmerksamkeit!
Verena Rexeis
27 27 Anhang
Benchmark mit Ergebnissen (1)
Aufg. 1 Lesen der eigenen fe-Typenbeschreibung KA 1 Auffinden der eigenen fe-Typenbeschreibung 100% Ziel 1a 90% d. User in KA1 wählen direkt fe im Hauptmenü aus 73% Ziel 1b 75% d. User schaffen KA1 innerhalb von 15 Sek. 53%
Aufg. 2 3x Lebensmittel scannen ausprobieren und App kennenlernen KA 2 Kameramodus öffnen 100% Ziel 2a 90% d. User in KA2 wählen direkt Kamera im Hauptmenü aus 47% Ziel 2b 75% d. User schaffen KA2 innerhalb von 10 Sek. 60%
08.10.2015
Verena Rexeis
KA 3 Drei oder mehr Lemi-Scans durchführen 87% Ziel 3a 75% d. User schaffen drei Scans innerhalb 1 Min. 47% Ziel 3b Mittel der richtigen Scan-Anteile/User mind. 70% 74% Ziel 3c 55% d. User haben ausschließlich richtige Scan Ergebnisse 33% Ziel 3d Kameramodus bei 90% d. User ohne Abstürze 40%
28 28 Anhang
Benchmark mit Ergebnissen (2)
08.10.2015
Verena Rexeis
Aufg. 3 Bestes Lemi in fe-Typ der aufgebauten Lemis finden KA 4 Bestes Lemi in fe-Typ der aufgebauten Lemis finden 67% Ziel 4a 75% d. User schaffen KA4 innerhalb von 2 Minuten 53%
Aufg. 4 Wichtigsten drei Gemüsesorten in fe-Typ finden KA 5 Wichtigsten drei Gemüsesorten in fe-Typ finden 13% Ziel 5a 50% d. User schaffen KA5 innerhalb 1 Minute 13% Ziel 5b 75% d. User schaffen KA5 innerhalb 2 Minuten teilw. Richtig
(zwei Lemis unabhängig von Platzierung genannt) 47%
Gesamt-Ziele Ziel 6 80% der KA erfolgreich 73% Ziel 7 55% der Ziele 1a, 1b, 2a, 2b, 3a, 3b, 4a, 5b erfüllt 55% Ziel 8 SUS-Score von 80 80%
29 29
Tes
tper
son
#
Dau
er K
A
Erf
olg
reic
he
KA
(
von
5)
Erf
üllt
e Zi
ele
(
von
8)
# A
bst
ürz
e
SU
S-Sc
ore
Dau
er
KA
Zie
le
Feh
lerf
reih
eit
SU
S
Mit
telw
ert
Mit
telw
ert
inkl
.
se
chs
UEQ
-Ska
len
T01 58 4 4 0 90 50% 80% 50% 100% 90% 74% 77% T02 40 4 6 2 82,5 81% 80% 75% 71% 83% 78% 77% T03 54 4 7 2 90 56% 80% 88% 71% 90% 77% 74% T04 80 4 2 7 67,5 11% 80% 25% 0% 68% 37% 47% T05 87 4 1 6 85 0% 80% 13% 14% 85% 38% 60% T06 80 3 3 3 90 12% 60% 38% 57% 90% 51% 63% T07 49 4 6 1 77,5 65% 80% 75% 86% 78% 77% 68%
Anhang
Gesamt-User-Performance (1)
08.10.2015
Verena Rexeis
30 30
T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57% T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76% T11 85 3 2 4 90 3% 60% 25% 43% 90% 44% 64% T12 32 5 8 2 90 94% 100% 100% 71% 90% 91% 89% T13 35 5 5 1 87,5 89% 100% 63% 86% 88% 85% 82% T14 39 3 6 0 70 81% 60% 75% 100% 70% 77% 60% T15 40 3 4 0 67,5 80% 60% 50% 100% 68% 72% 75% T16 58 3 4 3 70 49% 60% 50% 57% 70% 57% 64%
Gesamt-Score 66% 69%
90% Konfidenzintervall Bereich 7% 5%
Anhang
Gesamt-User-Performance (2)
08.10.2015
Verena Rexeis
Tes
tper
son
#
Dau
er K
A
Erf
olg
reic
he
KA
(
von
5)
Erf
üllt
e Zi
ele
(
von
8)
# A
bst
ürz
e
SU
S-Sc
ore
Dau
er
KA
Zie
le
Feh
lerf
reih
eit
SU
S
Mit
telw
ert
Mit
telw
ert
inkl
.
se
chs
UEQ
-Ska
len