Miary użyteczności

Na podstawie „Measuring the user experience” Tom Tullis, Bill Albert

Natalia Bednarz

16.03.09

Miary użyteczności - znaczenie

• Wskazywanie problemów, ich skali oraz przyczyn.

• Porównywanie różnych rozwiązań.

• Pomiar zadowolenia i preferencji użytkowników.

• Ocena wpływu zmian.

• Wskazanie obszarów usprawnień oraz zwiększenia ROI.

26.03.09

3

Miary użyteczności - rodzaje

• wydajności,

• problemów,

• zadowolenia,

• behawioralne i fizjologiczne,

• łączone i porównawcze,

• inne.

36.03.09

4

Miary wydajności

• Oparte na zachowaniu użytkownika.

• Analiza wykonywania zadań (liczba oraz sposób).

• Co najmniej 8 uczestników – znaczące wnioski, rozsądny przedział ufności.

• Odpowiedź na pytanie: CO?, a nie DLACZEGO?

46.03.09

5

Miary wydajności - rodzaje

1.Ukończenie zadania.

2.Czas wykonania zadania.

3.Wykryte błędy.

1.Efektywność.

5.Nauczalność.

56.03.09

6

1. Ukończenie zadania (task success)

• Szerokie zastosowanie.

• Jasne określenie zadania (końca).

• Łatwa interpretacja i analiza – dane binarne.

• Analiza danych: sukces binarny (przedziały ufności), poziomy sukcesu.

66.03.09

7

Przedziały ufności – metoda Walda

Przedziały ufności jako funkcja wielkości grupy respondentów.

76.03.09

Poziomy sukcesu

• Metoda 0/1 nie zawsze najlepsza.

• Równie ważne elementy:– stopień ukończenia zadania,– doświadczenie użytkownika,– sposób wykonania.

86.03.09

2. Czas wykonania zadania (time-on-task)

• Pomiar efektywności i użyteczności.

• Przeważnie „szybciej znaczy

lepiej”.

• Pomiar powtarzalnych czynności (formularze, rezerwacje, zakupy).

• Umożliwia szacowanie wzrostu zyskowności (czas wykonania – liczba użytkowników).

96.03.09

3. Pomiar błędów (errors)

• Stosowany, kiedy błędy są przyczyną: znacznej utraty efektywności (utrata danych), wysokich kosztów (zwrot produktu), niewykonania zadania.

• Analiza danych: liczba błędów przy każdym zadaniu, procent badanych popełniających błąd.

106.03.09

4. Efektywność (efficiency)

• Analiza „wysiłku” włożonego w wykonanie zadania (liczba kroków, wyświetlonych stron). poznawczy (znajdowanie odpowiedniego

miejsca, decyzja, interpretacja), fizyczny.

• Wskaźnik „Lostness”

116.03.09

Lostness

N – liczba różnych stron odwiedzonych

S – całkowita liczba odwiedzonych stron

R – optymalna liczba stron

L=sqrt[(N/S – 1)2 + (R/N – 1)2]

L<0,4 brak większych błędów

L>0,5 obecność istotnych błędów126.03.09

136.03.09

5. Nauczalność(learnability)

• Czas doskonalenia.

• Najczęściej stosowane do badania przyjazności nowej aplikacji w firmie.

• Analiza danych: zmiany miar wydajności w czasie, określone odstępy czasu (w zależności od

przewidywanej częstotliwości użycia).

146.03.09

Miary problemów(issue-based metrics)

• Wyodrębnianie błędów użyteczności w obszarach: wykonania zadania, dostrzegalności elementów, posługiwania się nawigacją, interpretacji informacji.

• Wartościowe – rzeczywiste (analiza zachowania użytkownika).

156.03.09

Miary problemów - analiza

1. Wskaźniki ciężkości błędów (severity ratings) – nadanie priorytetowości.

2. Wskaźniki oparte na doświadczeniu użytkownika.

3. Wskaźniki

łączone.

166.03.09

Miary problemów - analiza

• Częstotliwość występowania unikalnych błędów.

• Częstotliwość występowania błędów na 1 uczestnika, w poszczególnych zadaniach.

• Kategoryzacja (nawigacja, nazewnictwo, zawartość strony, funkcjonalność itp.).

176.03.09

Miary opinii użytkowników(self-reported)

Dokładne zbadanie:

• opinii badanych,

• sposobu wykonywania zadań,

• poziomu zapamiętywalności.

186.03.09

Miary opinii użytkowników – po zakończeniu zadania

Skala Likerta – przeważnie pięciostopniowa; stopień akceptacji zjawiska.

196.03.09

Miary opinii użytkowników – po zakończeniu zadania

Skala semantyczna – prezentująca przeciwstawne określenia (5 lub 7 stopni).

206.03.09

Miary opinii użytkowników – po zakończeniu badania

216.03.09

SUS – 10 zdań do oceny przez użytkownika.

Miary opinii użytkowników – serwisy internetowe

Przykład – WAMMI.

• pomiar zadowolenia użytkowników,

• benchmarking,

• ogólna ocena atrakcyjności, skuteczności, przydatności, nauczalności.

226.03.09

Miary behawioralne i fizjologiczne

• obserwacja zachowania,

• facial expressions,

• eyetracking,

• rytm serca, przewodnictwo skóry,

• pomiar stresu.

236.03.09

Miary łączone i porównawcze

• Łączenie kilku miar w jedną.

• Porównywanie z wartościami wzorcowymi.

Ogólnie: dostarczanie finalnych odpowiedzi.

Wyzwanie: właściwe i logiczne połączenie wyników z różnych skal.

246.03.09

256.03.09

ROI?

• Prosta odpowiedź:porównywanie, wpływ zmian, preferencje, zapamiętywalność.

• Trudna odpowiedź: usunięcie błędu, a oszczędność, poprawa funkcjonalności, a poprawa zysku. symulacje – potrzebne dane.

6.03.09 26

Dziękuję

Natalia Bednarz

6.03.09 27