Er brukerne dumme? (Frokostseminar om brukertesting)

Er brukerne dumme?

Frokostseminar – Making Waves – 9. november 2010

• Både Tarantell og Making Waves har lang erfaring med brukertesting. Vi har utført tester for en rekke norske virksomheter, blant annet Norwegian, Finanstilsynet, Helly Hansen, Norsk Tipping og Sparebanken Vest.

• På dette frokostseminaret vil vi dele våre erfaringer og vise hvordan funn fra brukertester kan gi deg fornøyde brukere som oppfører seg slik du ønsker på nett og dermed øker inntjeningen din.

• Vi ser på hvordan en brukertest bør gjennomføres og hvilke resultater du kan oppnå når den gjøres riktig. Du får vite når du bør gjennomføre en test, hva den kan gi svar på, hvordan den bør utformes og hvordan brukere bør velges ut.

• Gjennom konkrete eksempler vil vi vise hvorfor brukertesting er oppskriften på smarte, resultatgenererende og fornøyde brukere.

Brukertesting

HVA SKAL VI SNAKKE OM?

08.30 Er brukerne dumme?

Hvorfor brukertest?

Hva kan brukertesten gi svar på?

09.15 Kaffe og frukt + Spørsmål samles inn i esken

09.30 Hvordan gjennomfører vi en god brukertest?

Hvordan kommer man fra brukertesten til resultat og de gode tiltakene?

10.15 Oppsummering og diskusjon

10.30 Takk for nå!

Agenda

HVA SKAL VI SNAKKE OM?

Erfaring

• Ca. 10 års erfaring som konsulent i hhv. Razorfish, Creuna, Tarantell og Making Waves

• Ca. 10 års erfaring med informasjonsarkitektur

• Jevnlig brukertesting av ulike løsninger og nettsteder de siste 10 år

Utdanning

• Cand.mag. fra UiO

Haakon Halvorsen Leder for Experience research

HVEM ER VI?

Erfaring

• Brukertesting og evaluering av nettsteder i Tarantell og Making Waves

• Brukerinvolvering i design, funksjonelle kravspesifikasjoner og evaluering av kontrollrom i Scandpower Risk Management

• Utprøving av integrerte operasjoner og nye samarbeidsformer ved Statoils forskningssenter

Utdanning

• Sivilingeniør i industriell design fra NTNU

• Bachelor i sosialantropologi fra UiB

Ragnhild Ask Torvik Experience researcher

HVEM ER VI?

Er brukerne er dumme? Av og til kan det virke slik…

• Hvorfor forlater brukerne fulle handlekurver i nettbutikken eller ledige flyseter midt i bookingen?

• Hvorfor overser de viktig informasjon og klikker seg videre i feil retning?

Hvorfor gjør brukerne slik?

ER BRUKERNE DUMME?

1. De er dumme!

2. De har tunnelsyn!

3. De er late!

4. De er trege!

5. De juger!

6. De liker ikke forandring!

7. De glemmer!

Topp 7 frustrasjoner

ER BRUKERNE DUMME?

MEN: Brukerne har ALLTID rett :D OG: Det er din feil!

ER BRUKERNE DUMME?

• Vi har prinsipper for design og usability

• Bygger på bl.a. kognitiv psykologi

• Er informasjonsarkitektur, interaksjonsdesign og grafisk design godt utført?

• OG: Fungerer det i denne brukssituasjonen?

Hva gjør at de feiler?

ER BRUKERNE DUMME?

Ergonomi

ER BRUKERNE DUMME?

• Tilbyr du noe som brukerne har behov for og kan se verdien av?

Morvilles kube

Brukeropplevelse er sammensatt av 7 faktorer

ER BRUKERNE DUMME?

• Hvor mye truer du brukerne dine til å gjøre før de får noe tilbake?

• Hvor mye forlanger du at de skal investere i sin tid for at du skal gi de det de ba om i første omgang?

• Hvem tar oppvasken?

"I'm Not Here To Be In a Relationship"

Forventninger

ER BRUKERNE DUMME?

Jakob's Law of the Web User Experience

“Users spend most of their time on other websites."

ER BRUKERNE DUMME?

Hvorfor brukertest? Alt du lurer på om brukertesting men ikke turde å spørre om…

11.11.2010 © MAKING WAVES 20

• «Vi ønsker å forsikre oss at det er brukervennlig før vi lanserer!»

• «Vi er uenige med avdeling XYZ om en rekke ting og vi tar en brukertest for å finne ut hva som er riktig»

• «Vi har penger igjen på budsjettet og må bruke det opp før jul (!)»

• «Jeg har blitt anbefalt av en venn å gjennomføre brukertesting på nettsidene våre, det er visst veldig artig og gir bra resultat»

• «Kunden har spesifisert at brukertesting er inkludert i prosjektet»

Hvorfor brukertesting?

HVORFOR BRUKERTEST?

11.11.2010 © MAKING WAVES 22

• «Sjefen min tror at nettstedet er perfekt og tror at vi ikke trenger penger på neste års budsjett til videreutvikling av nettstedet»

• «Vi har fått levert en elendig løsning fra vår leverandør og ønsker bevis for at det er så dårlig som vi tror…»

• «Vi er opptatt av at løsningen er så enkel å bruke som mulig»

• «Vi er opptatt av resultater og ønsker at det blir minst 5% færre handlekurver som forlates på nettstedet vårt»

forts. hvorfor brukertesting?

HVORFOR BRUKERTEST?

11.11.2010 © MAKING WAVES 23

• «Liker brukerne nettsidene våre?»

• «Finner de frem på nettsidene våre?»

• «Har de problemer med navigasjonen vår?»

• «Klarer brukerne å bestille flybilletter?»

• «Klarer brukerne å betale regningene sine eller bestille fond?»

• «Hvor får de problemer på nettsiden vår?»

• «Skjønner de det nye kommunikasjonskonseptet vårt?»

• «Ser de innloggingen? Og klarer de å logge inn?»

Hva lurer våre oppdragsgivere på?

HVORFOR BRUKERTEST?

11.11.2010 © MAKING WAVES 24

• Det finnes mange eksempler på at brukertesting lønner seg.

• De mest kjente eksemplene er akkurat nå:

– «How one extra field cost $12m» (Expedia, 2010)

– «The $300m button» (Ukjent, 2009 – se uie.com)

• How Changing a Button Increased a Site's Annual Revenues by $300 Million

– «Hvordan Making Waves (Tarantell) sørget for et titalls millioner kroner ekstra på bunnlinjen for Norwegian» (2009)

ROI på brukertesting

HVORFOR BRUKERTEST?

11.11.2010 © MAKING WAVES 25

Hva kan brukertesten gi svar på? Når bør du gjennomføre brukertest og når kan en annen metode gi svar

på dine spørsmål?

11.11.2010 © MAKING WAVES 26

• Donald Norman bruker begrepene

– visceral (om det estetiske m.m.)

– behavioral (om adferd)

– reflective (om det intellektuelle)

• Brukertesten svarer på spørsmål knyttet til adferd - behavioral.

• Den kan ikke fortelle om brukeren syns ditt nettsted er visuelt tiltalende eller intellektuelt utfordrende og spennende.

Hva svarer brukertesten på?

HVA KAN BRUKERTESTEN GI SVAR PÅ?

KVALITATIV

HOLDNING

KVANTITATIV

ADFERD

Brukerintervjuer Brukertesting

Logganalyser

Feltstudier Fokusgrupper

Cardsorting

Eyetracking

Sidetrafikk

Spørreundersøkelser

Personas

Ekspertevaluering

Persepsjonsanalyse

Polling

Andre metoder


Finnbarhetstest

• Større internasjonale aktører som f.eks. Expedia bruker analytics aktivt for å optimalisere design

• Komplementært til design og usability

”If you stare at the dashboard, you crash”

Data driven design


• Video fra brukertest av Helly Hansen hvor alle brukerne sier noe slikt som:

– «Jeg har ikke problemer med engelsk, men alle andre derimot…» og

– «Helly Hansen er norsk, hvorfor har de ikke norske sider»

• Det egentlige høydepunktet kommer når en av brukerne skal betale for varene, men lurer på om det blir toll på varene fordi det er et engelsk nettsted. Så lurer han på om det er et engelsk nettsted og er egentlig veldig usikker…

• Eksemplet viser at noen ganger er det også riktig og viktig å høre hva brukerne sier.

Video: Er engelsk greit?


PAUSE

Husk å legge dine spørsmål i esken!

Hvordan gjennomfører vi en god brukertest?

Oppmerksomhetstesten:

Tell antall pasninger mellom de hvitkledde

spillerne

50%

Ser ikke den dansende bjørnen i det hele tatt. NB! En gruppe som fikk i oppdrag å se på de svarte spillerne la merke til bjørnen dobbelt så mange ganger!

Resultatet

HVORDAN GJENNOMFØRE EN GOD BRUKERTEST?

38

• «Kan vi være med på brukertestingen selv?»

• «Hvor mye koster det?»

• «Blir det billigere om vi stiller med egne folk til å gjøre testen?»

• «Blir det billigere om vi ikke bruker lab?»

• «Hvor mange brukere må vi teste?»

• «Når bør vi gjøre testen?»

Praktiske spørsmål


11.11.2010 © MAKING WAVES 39

• Lag en testplan

• Vurder om testen skal kjøres i lab eller annet sted

• Rekrutteringskriterier og rekruttering av brukere

• Forbered oppgaver til testen

• Pilottest

• Utfør brukertesten

• Oppsummering med kunden

• Analysere funn og redigere video

• Prioritere funn og tiltak

• Workshop/ presentasjon

Brukertesten fra A til Å


Rekrutter personer som kan være reelle brukere.

• Velg dine viktigste målgrupper

• Både demografi og interesser kan være kriterier

• For Helly Hansen var ett av kriteriene at de måtte være interessert i utendørssport

• Unngå ”eksperter”, med mindre du lager noe helt spesielt – vi unngår å rekruttere folk fra IT og media til de fleste av våre tester

Rekruttering


• Stor forskjell på brukerne, selv om du har rekruttert f.eks to kvinnelig sykepleier på 32 år.

• Ofte har én bruker i testen fremstått som en ”superbruker”, som raser gjennom alle oppgavene og får til alt slik kunden hadde forventet

DERFOR ANBEFALER VI

• Minst 3 fra hver målgruppe

• IKKE bruk egne ansatte eller folk med IT bakgrunn

Målgrupper


Hvor mange brukere trenger du?

• Noen sier at 5 – 6 er det magiske nummeret, men vår anbefaling om 3 brukere fra hver målgruppe tilsier at 6-8 brukere er bedre.

• Desto mer komplekse problemstillinger og oppgaver, desto flere brukere trenger vi.

• Vi opplever ofte at det blir færre funn når vi kommer til bruker nr 8 og 9, men det kan være nye ting som avdekkes der også.

Antall brukere


• Open ended vs scripted

• Vi har ofte ca 8 oppgaver

• De gås igjennom med oppdragsgiver og med pilotbruker før testen

• Bruker ofte 40 – 50 minutter i selve testen

Et typisk testscript:

• Introduksjonsspørsmål for at brukeren skal slappe av

• Praktiske oppgaver

• Debrief og brukerens opplevelse av site

Oppgaver til testscript

• Brukertest bør sees av hele prosjektgruppen – Designer – Informasjonsarkitekt – Prosjektleder – Programmerere

• Fra kunde bør deltakere komme fra:

– Ledelse – Markedsføring – Kundestøtte – IKT!

• MEN sørg for at hver person ser minst 2 personer. • Det er veldig lett å få et helt feil bilde av en test dersom man er uheldig og

observerer en person som enten er «for god» eller «for dårlig».

Hvem bør observere testen?


45

Testoppsett


Brukeren blir

presentert for en

rekke

testoppgaver

Interaksjonen som

skjer med

systemet blir tatt

opp og lagret som

videofiler.

Han/hun blir filmet med to

videokameraer og blir også

overvåket fra PC til PC

forbindelse for å se

musbevegelser mm.

På observasjonsrommet registreres

brukerens handlinger, analyseres og

loggføres av observatør(er)

Oppdragsgiver: Den som bestiller brukertesten.

Testdeltaker: Forsøkspersonene som blir rekruttert til å delta i

brukertesten.

Testleder: Veileder brukerne og gir testoppgavene ut fra testskriptet.

Hovedobservatør: Vår observatør, som noterer, markerer videoklipp

og gjennomgår funn med oppdragsgiver underveis.

Observatører: Alle representanter fra Oppdragsgiver som har

interesse av å observere brukertesten fra observasjonsrommet.

Aktører


Testdeltakerne (brukerne)


Å være en god moderator/ testleder er ikke lett… Du må være

• tålmodig

• nysgjerrig

• ikke avbryte

• ikke lede for mye

• ikke bekrefte

• få dem til å tenke høyt

Moderering


• Bruk «innestemmen»

• Behandle deltakerne med respekt

• Se hva brukerne gjør, ikke legg vekt på subjektive meninger om design eller interaksjon.

• Diskuter funn med de andre i pausen mellom deltakerne

• Ta med en stor dose tålmodighet!

• Hvis du bare kommer for å spise pizza og drikke brus…. Ok, det hadde vært billigere å sitte på Peppes ;)

Retningslinjer for observatører


50

• Vit hva du skal se etter: – Tenk igjennom mulige scenarier og test oppgavene på deg selv og

vær forberedt! – Legg inn stikkord i testscriptet slik at du og alle som skal observere

vet litt hva de skal se etter.

• Brukere skal sees ikke høres! – Mer om dette kommer….

• Noter gjerne banale hendelser og marker tidspunktet for når noe

vesentlig skjer slik at det er lett å finne tilbake. – Dette ser man ofte etter at det har skjedd og man rekker ofte ikke å

skrive ned hva som faktisk skjedde. – Banale hendelser skaper ofte et mønster som du får bruk for senere.

Observasjon


51

• Når testdeltakere bruker ord og setninger som:

– «Jeg ville ha…»

– «Andre ville ha gjort…»

– «Hvis denne knappen hadde vært rød…»

– «Jeg klarte ikke dette, men andre ville ha…»

• Dvs. alle antakelser og hypoteser brukerne gjør om sine egne og andres handlinger kan du se bort fra!

• MEN…

Brukere skal sees, ikke høres!


52

• Når de gir svar på spørsmål som:

– «Hva tror du vil skje hvis du klikker på denne?»

– «Kan du forklare meg hva du kan gjøre her?»

– «Hva er dine erfaringer med dette fra før?»

– «Hva forventer du å finne på nettsiden?»

– Dvs. deres forventninger til hva som skal skje og hva de har opplevd før kan måles opp mot det som faktisk skjer der og da!

– All informasjon som er nyttig for å forstå hvordan de tenker er også nyttig.

Lytt til brukerne dine!


53

• Open ended vs. Scripted testoppgaver

• Realisme – skal brukeren kjøpe noe?

• Situasjon – testsituasjonen påvirker bl.a. tålmodighet etc.

• Antall brukere

• Demografi? Hvor viktig er dette og hva?

• Erfaring med tema, erfaring med internett etc.

• Testleder (ledende spørsmål etc)

Faktorer som påvirker resultatet


Huskelister

For bedre gjennomføring

Ansvarlig Beskrivelse Tidspunkt

Oppdragsgiver og MW

Oppdragsgiver og MW

Min. 1 uke før testen

Oppdragsgiver og MW Utarbeide verveguide til rekruttering av deltakere Helst 2 uker før testen

Oppdragsgiver og

rekrutteringsbyrå

Rekruttere testdeltakere – husk å ha 2(1) deltakere i reserve Helst 2(1) uker før testen

Oppdragsgiver Utarbeide innhold til prototypen Min 1 uke før testen

Rekrutteringsbyrå / MW Sett opp timeplan for testen. Minimum 15 minutters pause

mellom deltakerne.


Rekrutteringbyrå Minne deltakere om brukertest Dagen før

Oppdragsgiver og MW Avstemme testscript Min. 4 dager før testen

MW Booke test-rommene Min. 2 uker før testen

Oppdragsgiver Kjøp deltakerpremie eller sørg for at disse er tilgjengelig.

Gavekort på 500,- er standard.


Forberedelse



Testleder og test-

medhjelper

Gjennomfør minimum 1 pilottest med spørreskjema og

etterintervju

PILOTTEST, helst 3 dager

før hovedtest

MW Gjør endringer i testopplegget (testscript/prototyp) dersom

det er nødvendig etter pilottesten

Etter pilottest

MW Ta utskrift av taushetserklæringen hvis nødvendig Dagen før testen

MW Kjøp forfriskninger til bruk under testen (farris, cola etc.) Dagen før testen

Oppdragsgiver Evt. godkjenning av justert testscript Etter pilottest

Pilottest



Making Waves Informer resepsjonen om at testen skal gjennomføres og gi

timeplan for testen (med navn)

Før testen

Making Waves Heng timeplanen på døra til testplanen. Informer alle på

teststedet om testen

Før testen

Making Waves Ha Kaffe og forfriskninger til Testdeltakerne klart Rett før testen

Making Waves Sjekk at det er film i kameraene Rett før testen

Making Waves Sørg for at prototypen er resatt og satt til å vise førstesiden

(minimer)

Rett før testen

Making Waves Be deltaker signere taushetserklæring TESTEN

Making Waves Gjennomfør spørreundersøkelse TESTEN

Making Waves Gjennomfør praktisk test TESTEN

Making Waves Gjennomfør etterintervju TESTEN

Making Waves Gi deltakeren deltakerpremie TESTEN

Making Waves Skriv problemrapport med funn fra brukertesten. Etter testen

Making Waves Opptak fra testen klargjøres til leveranse dersom dette er

avtalt på forhånd

Etter testen

Making Waves og

Oppdragsgiveren

Overlevere problemrapport til Oppdragsgiveren i et eget

presentasjonsmøte

Oppdragsgiveren godkjenner problemrapporten.

Etter at rapporten er ferdig

Brukertesten



Making Waves Making Waves/ Oppdragsgiver Oppstartsmøte

Making Waves Making Waves/ Oppdragsgiver Avstemming av testscript

Making Waves Making Waves/ Oppdragsgiver Presentasjon av

testresultater

Møter


For å gjennomføre en brukervennlighetstest kreves følgende maler:

• Verveguide

• Taushetserklæring

• Timeplan og deltakerliste

• Excelark til testmedhjelper

• Forintervju

• Testskript

• Etterintervju

• Skjema for utfylling av potensielle testdeltakere

Testmaler


Et reellt eksempel fra en Brukertest

• Du vil få se en 4 minutter lang video

• Noter hva som skjer

• Deretter viser vi hvordan vi analyserte testen

Video: eksempel

Fra funn til tiltak

11.11.2010 © MAKING WAVES 62

«The usability test and cardsort has nothing to do with creating a good design, you can create an incredible crappy design from using these... We have proven this time and time again!»

- Jared Spool: IA Summit keynote 2008

• Nedenfor er det illustrert hvordan en typisk testprosess ser ut:

– En prioritert liste over tiltak med løsningsforslag fra brukertesten

som fører til en wireframeskisse og grafisk uttrykk

Fra prioritert tiltaksliste til skisse

Anbefaling

11.11.2010 © MAKING WAVES 65

66

Designbrief: Vi endrer designet på selve filtreringen

Denne inndelingen

må splittes opp og

restruktureres

Activity må

forklares og

settes under

«Gender» i

rekkefølge

«Technology» må

forklares og eventuelt

ny navngiving

«Collection»

må forklares /

showcases

2 1

3

4 5

Før

Etter

Diskusjon/ spørsmål

Oppsummering

• Ikke gjør brukerne dine dumme!

• Design for virkelige mennesker og situasjoner

• Test og test igjen

• Få med flest mulig fra din organisasjon til å observere testen

Oppsummering

BRUKERTESTING

Ta kontakt!

Haakon Halvorsen

Manager Experience Research

[email protected]

mobil 992 96 717

twitter: @haakonha

mailto:[email protected]