· 3 Dr. Ralf Dörner Praktikum Visualisierung – Workshop Usability 5 WS 2002/2003 ˆ User sagt bei seiner Tätigkeit ständig, was er gerade denkt

1

Dr. Ralf Dörner

*RHWKH�8QLYHUVLWlW��)UDQNIXUW

*UDSKLVFKH�'DWHQYHUDUEHLWXQJ

��

Praktikum Visualisierung WS 2002/2003

WS 2002/20032Praktikum Visualisierung – Workshop UsabilityDr. Ralf Dörner

��

� Usergruppen sind i.d.R. nicht homogen

� Erfahrung mit dem System (Neuling, Experte)

� Erfahrung mit Computern

� Erfahrung mit der Task Domain

� Andere Unterscheidungen:

� Alter, Geschlecht, Farbenblindheit, Rechtshänder, Intelligenz, räumliches Vorstellungsvermögen

� Der User verändert sich mit dem System (Evolution des Users), manchmal sogar während eines Tests

2


��

� Beobachtung� Direkt� Vermittelt

� Befragung� Fragebogen� Interview

� Test� Kontrolliertes Experiment� Korrelationsstudie


��

Testvorbereitung

Einführung

Durchführung

Debriefing

3


��

� User sagt bei seiner Tätigkeit ständig, was er gerade denkt

� Experimentator protokolliert

� Experimentator erinnert den User an das Verbalisieren, greift aber sonst nicht ein

� Anfangs dem User ein Beispiel geben, da Test unnatürlich erscheint


��

� Offene Fragen� Skalen

� Likert scale� Behauptungen aufstellen

� Rating (Skala 1-5)

� Semantic differential scale� Zwei Gegensätze aufzeigen

� 7 Intervallschritte dazwischen

� Anordnungsfragen� Multiple-Choice Fragen

4


��







Welche Verbesserungs-vorschläge haben Sie?

Worüber haben Sie sich bei der Benutzung der Softwaregeärgert?


��







5


��







(1) Stimmt gar nicht(2) Stimmt meist nicht(3) Weiss nicht(4) Stimmt meist(5) Stimmt genau

Das Audio hat eine gute Qualität: __

Das Video läßt sich nicht kontrollieren: __


��







6


��







Das Video ist:

langsam _ _ _ _ _ _ _ schnell

klar _ _ _ _ _ _ _ verschwommen

zu klein _ _ _ _ _ _ _ zu groß


��







7


��







Wie häufig nutzen die folgenden Möglich-keiten, Hilfe zu erhalten?(1 – am häufigsten; 4 – am wenigsten häufig)

F1 – Button __Kontextmenü rechte Maustaste __Tooltip __Menü – Eintrag „Help“ __


��







8


��







Welche Funktionen der Videosteuerunghaben Sie genutzt?(Kreuzen Sie bitte alles Zutreffende an)

Stop �Pause �Nächstes Bild �Vorheriges Bild �Schneller Bildvorlauf �Schneller Bildrücklauf �


��







9


��

� Anfangs allgemeine Fragen über den Antwortenden stellen (z.B. Alter, Erfahrung)

� Klare, eindeutige Aussagen und Testanweisungen (i.d.R. keine Rückfrage möglich)

� Keine doppelte Verneinung


�� !��"��

� Unabhängige Variablen (Factors)� Treatment Factor� Group Factor� Trials Factor� Blocking Factor� Error Factor

� Abhängige Variable(n) (Score)

10


�� !��"��

� S(A): Subject is nested with A:Between Subject Effects

� S x A: Subject crossed with A:Within Subject Effects

� Benötigte Anzahl Subjects:� Multiplikation d. Level des Between Subject Factors

� Benötigte Anzahl Messungen pro Subject :� Multiplikation d. Level der Within Subject Factors


�� !��"��

� Statistische Auswertung� Nullhypothese� Konfidenzwerte� Verfahren:

Chi-Quadrat TestDiskretDiskret

Wilcoxon / Mann-WhitneyKontinuirlichZwei Werte

RegresionsanalyseNormalverteiltKontinuirlich

ANOVANormal- verteiltDiskret

t - TestNormal-verteiltZwei Werte

��

11


#��$��%&'�

380650467639660696T3

720568790663976786545T2

596789611655781T1


�� !��"��

��

��

12


�� !��"��


&(�� )

� Verwendung operationaler Definitionen� Bsp. „Intuitiv“ vs. „Anzahl der Fehler“

� Standardisierung und Kontrolle der Versuchsbedinungen

� Vermeidung systematischer Fehler (bias)� Placebo Effekt� Rosenthal Effekt� Hawthorne Effekt

13


*�� )

� Genauigkeit der Messung

� Konsistenz

� Stabilität

� Reproduzierbarkeit


'�� )

� Was wollen wir messen?

� Welche Kriterien stellen wir auf?

� Welches Verfahren wählen wir?

� Was messen wir mit dem Verfahren wirklich?

14


��+��

� User nicht lächerlich machen

� Entspannte Situation schaffen

� Versagensängste etc. des Users aktiv vermeiden


�� , ��

� Auch Testverfahren / Testpläne testen und überprüfen

� Methoden:� Testverfahren explizit dokumentieren� Expert Review / Walkthrough� �� durchführen !!

� 10% - 15% des Testbudgets aufwenden� 80% - 90% der Probleme finden

Documents

· 3 Dr. Ralf Dörner Praktikum Visualisierung – Workshop Usability 5 WS 2002/2003 ˆ User sagt bei seiner Tätigkeit ständig, was er gerade denkt