Management of Information Systems - Aalborg …Under analysen er der behov for at kunne-Se skærmbilledet-Se og høre forsøgspersonens handlinger-Se forsøgspersonens ansigtsudtryk

Design og evaluering af brugergrænseflader

Usabilityevaluering

Jan Stage

HCI-LabInstitut for Datalogi

[email protected]

Design og evaluering af brugergrænseflader 2

Oversigt08.15-10.00 1. Usabilityevaluering

2. Tænke-højt teknikken

10.00-10.45 3. Demonstration og øvelse i Usabilitylaboratoriet

10.45-12.00 4. Erfaringer med usabilityevaluering af IBM'selektroniske patientjournal (IPJ-systemet)

5. Heuristisk inspektion og andre teknikker


1. Usabilityevaluering• Nordjyllands amt overvejer at

stille eksplicitte krav til brugbarhed og brugbarheds-evaluering i udbudsmaterialet for det kommende EPJ-system

• Hvorfor er der så stærkt (og stigende) fokus på brugbarhed?

• Forskellige tendenser:- Risiko, stadig flere systemer, som

påvirker eller involverer menneskers helbred

- Rationalisering, systemerne har stadig flere (interne) brugere

- Nødvendighed, systemer uden direkte mulighed for hjælp

- Konkurrence, systemer i direkte konkurrence med andre systemer

I alle disse tilfælde skal fejl i brugen af systemet undgås

• De forskellige typer af systemer udvikles:- Antallet og typen af brugere- Brugssituationen og –formålet- Kompleksiteten af hardware og

software

• Generelt har brugere svært ved at interagere med mange typer af IT-systemer

• Undersøgelser viser f.eks. at brugere har svært ved at gennemføre selv enkle handler eller lignende transaktioner på web-steder


Et simpelt eksempel• Opgave:

Brug Air New Zealands web-sted til at booke en flybillet fra Auckland til Aalborg


Startsiden• First page: the menu is

too long (cosmetic)• First page: buttons are

not clearly related to choices (serious)

• First page: the menu is too long (cosmetic)

• First page: buttons are not clearly related to choices (serious)


• Apparently, the problem has been experienced before

• The solution to the problem is not elegant but acceptable

• Apparently, the problem has been experienced before

• The solution to the problem is not elegant but acceptable


• International bookings: the tabular design relates unrelated items (cosmetic)

• International bookings: the search button is difficult to find and the label is confusing (serious)

• International bookings: the tabular design relates unrelated items (cosmetic)

• International bookings: the search button is difficult to find and the label is confusing (serious)



• General: there is no help to orientation and navigation (serious)

• General: there is no help to orientation and navigation (serious)

• Output: the text at the top comes up first and is experienced as the only output, because it takes several seconds before the lower part appears (cosmetic)

• Output: there is no indication of the way in which the user can proceed (critical)

• Output: the text at the top comes up first and is experienced as the only output, because it takes several seconds before the lower part appears (cosmetic)

• Output: there is no indication of the way in which the user can proceed (critical)


Formål med brugbarhedsevaluering• Hvem deltager i en brugbarhedsevaluering, og hvad er

formålet?• Formålet med en brugbarhedsevaluering er at undgå

problemer som dem, eksemplet viste• Ordet brugbarhedsevaluering eller -test bruges ofte ukritisk

om enhver metode, der bruges til evaluering af et produkt eller system

• Definition (Rubin):- En proces baseret på deltagere, der repræsenterer målgruppen,

hvor det evalueres i hvilket omfang et produkt opfylder specifikke brugbarhedskriterier

- Udelukker ekspertbaserede testformer såsom gennemgang (cognitive walkthrough) og heuristisk inspektion

• Kræver en definition af/et sæt kriterier for brugbarhed (hvad) samt fastlæggelse af hvornår, hvordan og hvor


Hvad er brugbarhed?• Kaldes også brugervenlighed• Hvordan kan vi definere det?• Mål for brugbarhed:

- Indlæring: let at lære at bruge (tid)

- Huskbart: let at huske at bruge (tid)

- Effektivitet: hurtigt og problemfrit at bruge(tid og fejlrate)

- Tilfredshed: tilfredsstillende at bruge (glæde – subjektivt)

Kombineres til et samlet mål• Vanskeligt at bruge i praksis –

f.eks. Unix eller et CAD-system

• Et andet mål for brugbarhed:Fravær af problemer:kritisk - alvorligt - kosmetisk

• Kritisk problem- Brugeren er ude af stand til at

fortsætte sit arbejde uden at få hjælp af en anden person.

- Brugeren føler, at systemets opførsel er stærkt irriterende eller irrationel.

- Der er en kritisk forskel mellem det, brugeren tror, at systemet gør, og det, systemet rent faktisk gør.

• Virker godt i praksis som kriterium for brugbarhed – et bud på ”hvad”


Hvornår skal evalueringen foregå? 1.

User and UsageNeeds Analysis

2.Specification ofRequirements

3.Preliminary

Design

4.DetailedDesign

5.Product

Build

6.ProductRelease

ComparisonTest

ExploratoryTest

AssessmentTest

ValidationTest


BrugbarhedsevalueringVi har nu set på:• Hvad: definition af brugbarhed• Hvornår: placering i udviklingsprocessenVi mangler stadig:• Hvordan• Hvor


2. Tænke-højt teknikken• Tænke-højt er egentlig en teknik til en afgrænset aktivitet i

en brugbarhedsevaluering (selve testen)• Grundbegreber: test, evaluering, metode, teknik• Men betegnelsen bruges også meget bredere om en metode

eller tilgang til brugbarhedsevaluering• Rubins metode er baseret på denne bredere brug af ordet• Metoden giver et bud på ”hvordan”


Rubins metode:Aktiviteter i brugbarhedsevaluering

• When in development process:• Exploratory• Assessment• Validation• Comparison

• Location and equipment• Participants and roles

Determine basicsTest report:

• Purpose• Key questions• User profile• Test method• Task list• Context and

equipment• Test monitor role• Data to be collected• Report structure

Planprocess

• Recreation of context• Selection of test subjects• Design of tasks

Create test situation

• Introduction• Task solving• Data collection• Logging• Debriefing

Conducttest

• Transcription of log files• Data summary• Data analysis• Documentation (report)

Interpretdata


Tænke-højt som teknik i testen• Forsøgspersonen er en bruger,

der anvender systemet i arbejdet med en række opgaver

• Opgaverne er realistiske i brugssammenhængen

• Brugeren "tænker højt" imens: udtrykker sine intentioner, forventninger, oplevelser og forståelse

• En forsøgsleder observerer • Forsøgslederen hjælper, når

forsøgspersonen er gået i stå• Forsøgslederen minder

forsøgspersonen om at tænke højt


• Testlederens adfærd- vær upartisk- pas på kropssprog og

ytringer- tænk på hver forsøgsperson

som et individ- stil spørgsmål i stedet for at

give svar• Relation til forsøgsperson

- lad være med at redde dem- vær sikker på at opgaven er

afsluttet

• Testlederens adfærd- vær upartisk- pas på kropssprog og

ytringer- tænk på hver forsøgsperson

som et individ- stil spørgsmål i stedet for at

give svar• Relation til forsøgsperson

- lad være med at redde dem- vær sikker på at opgaven er

afsluttet

ForsøgslederVæsentlige egenskaber:• Sold viden om usability engineering• Hurtig til at lære• Kan etablere sympatisk forhold• God hukommelse• God lytter• Kan håndtere usikkerhed• Fleksibel og i stand til at

improvisere• Kan være opmærksom i lang tid• Indlevende – i stand til at åbne

andre personer• Tænker i store linier• God til at kommunikere• God til at organisere

Typiske problemer• Styrer i stedet for at støtte• Bruger for meget

opmærksomhed på dataindsamling

• Virker bedrevidende• Styrer slavisk efter testplanen• Etablerer ikke gode relationer til

deltagerne• Drager for hurtige konlusioner

Typiske problemer• Styrer i stedet for at støtte• Bruger for meget

opmærksomhed på dataindsamling

• Virker bedrevidende• Styrer slavisk efter testplanen• Etablerer ikke gode relationer til

deltagerne• Drager for hurtige konlusioner


Forsøgspersoner (brugere)• Mål 1: svarer til brugergruppen

- Demografi- Erfaring

• Mål 2: giver grundlag for holdbare konklusioner- Mange brugere giver grundlag for kvantitative udsagn. F.eks.

54,5% af de uerfarne brugere kunne løse en simpel opgave ved hjælp af systemet

- Få brugere giver grundlag for kvalitative udsagn. F.eks. flere af brugerne havde svært ved at forstå og skelne mellem de grundlæggende begreber

• Andre studerende kan være problematisk- Motivation- Demografi og erfaring


Opgaver• Udspringer af opgavelisten i

testplanen• Repræsenterer virkeligt arbejde

med systemet:- Beskriver slutresultat- Motiverer opgaverne (hvorfor de skal

løses)- Indeholder aktuelle data og navne- Beskriver systemets tilstand ved

starten af arbejdet- Samler mindre delopgaver i

meningsfulde helheder

• Overvejelser:- Forskellige rækkefølge mellem

forsøgspersoner- Læs op eller læs selv- Hvor meget ad gangen

Typiske problemer• Vage og uklare• Overordnede og

generelle• Giver for meget hjælp• Indeholder jargon

som ikke er brugernes• Tvinger brugeren ind i

et bestemt forløb• Kommer i atypisk

rækkefølge

Typiske problemer• Vage og uklare• Overordnede og

generelle• Giver for meget hjælp• Indeholder jargon

som ikke er brugernes• Tvinger brugeren ind i

et bestemt forløb• Kommer i atypisk

rækkefølge


Dataopsamling: Hvor• Tænke-højt teknikken stiller store krav til dataopsamling• Under analysen er der behov for at kunne

- Se skærmbilledet- Se og høre forsøgspersonens handlinger- Se forsøgspersonens ansigtsudtryk og kropssprog- Høre hvad forsøgspersonen siger

• Et usabilitylaboratorium er et effektivt instrument til indsamling af disse data i en meget høj kvalitet

• Laboratoriet er altså et svar på spørgsmålet om ”hvor”


Usabilitylaboratorium

Subject Room 1

Subject Room 2

Control Room

curtain

operator

• Etableret 2000-2001- Februar 2000: fase 1 - etablering af

første laboratorium- Ultimo 2000: fase 2 - udbygning og

komplettering- Januar 2001: fase 3 - flytning til anden

bygning og redesign

• Til undervisning, forskning og samarbejde med virksomheder

• Sponsorer:- Nokia- Siemens- Institut for Datalogi- Det Teknisk-Naturvidenskabelige fakultet

• Evalueringer:- Administrative systemer- Web-baserede systemer- Multimediesystemer og spil- Mobiltelefoner- Andre mobile apparater- Samarbejdssystemer


Laboratorium: Udstyr• 4 motoriserede

kameraer• Scanconverter til

optagelse af skærmen• Kontrolboks til

kameraer• Mixer• Elektronisk krydsfelt• To mikrofoner

(rummikrofon og knaphålsmikrofon)

• Bånd (Media100 og VHS)


Laboratorium: Roller• Personer i

anvendelsesområdet • Forsøgsleder • Bruger

• Logger• Videooperatør

• Produktekspert• Observatører

Subject Room 1

Subject Room 2

Control Room

curtain

operator


Bearbejdning af data• Formål: at sikre datamaterialet, så det også kan bruges

efter et stykke tid• Opgaver:

- Skriv notater rent og udbyg med forklaring (mens det huskes)- Lav oversigt over forløbet for hver forsøgsperson (tabel eller

regneark) – kaldes også en logfil

• Gør det allerede mens der testes eller efter hver dags testning – fordi:- Giver os mulighed for at begynde at se mønstre- Overblik og check på, at vi ikke har glemt noget- Hurtigere i gang med analysearbejdet


Logfil• Sammenhæng mellem: Opgave – Tid – Hændelse med forklaring

• Eventuelt søjle med angrebsvinkel: læser opgave, orienterer sig,navigerer, besvarer opgave, osv.

• Logning på computer løbende: giver en kladde til logfilen• Relation til problemliste tilføjes senere


28:50 Opgave 2, spørgsmål 1Begynder at løse opgaven med det samme men ser ikke, at hun er inde i den forkerte patient.

Går tilbage til belægningslisten ved at trykke F7 og vælger den rigtige patient. Hun er usikker på hvordan værdier skal indtastes. Hun dobbeltklikker på værdierne til venstre påskærmbilledet, men dette giver kun historik.

Trykker på skriv-knappen men finder ud af, at det er forkert og går tilbage. Prøver med drop-down menuen og kigger pålister. Hun kan ikke huske, hvordan hun får indrapporteret værdierne. Prøver at fjerne delvinduet om medicin. Hun ved, at det er det rigtige billede hun er inde i. Hun har meget svært ved at gennemskue hvilke muligheder hun har, og hvilke hun allerede har brugt. FL spørger om der noget som hun ikke har trykket på.

P14

P4

P31

33:28 Trykker tilfældigt på den rigtige knap (Rapport), og er med det samme klar over, at det er det rigtige.

P19


Analyse af data• Identificer overraskende

resultater – for eksempel:- En opgave tager meget længere

tid at løse end andre opgaver- En bruger tager meget længere

tid end andre brugere for at løse en opgave

- Kig efter forskelle og ligheder mellem opgaver, brugere, systemer osv.

• Identificer steder, hvor brugere laver fejl, hvor de skifter angrebsvinkel, osv.

• Find årsagen til, at der bruges længere tid eller laves fejl –oftest vanskeligt og tidskrævende

• Prioritering af problemer:- kritisk – alvorligt – kosmetisk

• Samles i en problemliste og en oversigt over tidsforbrug


3. Demonstration og øvelse i laboratoriet

Subject Room 1

Subject Room 2

Control Room

curtain

operator

• Øvelse: vi skal lave en test i laboratoriet

• Brug for:- Forsøgsleder- Forsøgsperson

de to går ind i testrum 1• Resten opholder sig i

kontrolrum og testrum 2


Diskussion: Fordele og ulemper ved tænke-højt forsøg• Hvad er fordele og ulemper?• Fordele:

- Giver “meget stærk oplevelse”- Ret præcis problempåpegning- Giver indtryk af brugerens

“mentale model”- Kan gennemføres tidligt i

projektet• Ulemper:

- Unaturlig situation- Forsøgslederrolle meget svær- Omfattende analysearbejde- Fokus på “novice-brugere”- Etiske aspekter:

• Designere påvirkes meget stærkt• Det er en meget stresset situation• Hvem og hvad testes ??• Hvem skal have adgang til

oplysningerne/optagelserne?

Resultater:• Der påpeges mange typer af

problemer i brugergrænsefladerne:- layout- “dialog-gang”- dokumentation

• Ofte testes systemet på systemets (opgavernes) præmisser.

• ”Virkning” påpeges – ”Årsag” skal analysen afdække

• Brugerne (forsøgspersonerne) opfatter det som hårdt - men lærerigt og positivt


Diskussion: Hvor skal evalueringen foregå?Relevance (virkelighed):• Evaluering i den situation og

sammenhæng, hvor teknologien skal anvendes

• Fokus på brug• Mange faktorer kan påvirke resultatet

Rigour (laboratorium):• Evaluering i et laboratorium fjernt fra

brugssituationen• Fokus på systemet eller apparatet• Styr på variable faktorer• Kunstig situation


4. Usabilityevaluering af IPJ-systemet• IPJ 2.3: Elektronisk patientjournal udviklet af IBM Sverige• Implementeret på et antal (ca. 10) sygehuse i Norden

(blandt andet Frederikshavn-Skagen Sygehus)• Erstatning for den ”almindelige” papirbaserede

patientjournal• På Frederikshavn-Skagen Sygehus implementeres systemet

på en bærbar computer på et rullebord, som kan ”køres” med rundt på afdelingen

• Præsentation af metode og resultater fra vores første brugbarhedsevaluering

• Samtidig en øvelse i at identificere og kategorisere problemer - nok den vanskeligste aktivitet i en evaluering


Brugere

16tBegynderErfaren2 år2 år31Kvinde

14tBegynderLet øvet3 mdr.7 år34Kvinde

15tBegynderLet øvet1½ år10 år36Kvinde

15tBegynderLet øvet½ år12 år37Kvinde

15tBegynderIngen1¾ år17 år41Kvinde

30tLet øvetLet øvet24 år24 år46Kvinde

28tLet øvetBegynder6 år25 år48Kvinde

15tBegynderLet øvet18 år31 år54 Kvinde

Modtagetundervis.

ErfaringIPJ

ErfaringIT

Erfaringafdeling

Erfaringsygeplejerske

AlderKøn


Opgaver• Testpersonerne fik stillet 3 overordnede opgaver, som de

skulle løse ved hjælp af systemet• Opgaverne var lavet sammen med sygeplejersker


Opgaver

Eksempel i det følgende

Opgave 1: Rapport

• Det er d. 2 maj 2002. Du er gruppeleder og er mødt ind i på afdelingen efter 2-ugers ferie. Du skal i gang med at planlægge arbejdsopgaver for resten af dagen for dig selv, en SSA, og to sygeplejestuderende.

• Der er to nye patienter på afdelingen. Agnes Winther er ikke selvhjulpen og får i.v. medicin. Casper Hansen er på diæt.

a) Placer disse to patienter på afdelingen.

b) Skitser arbejdsopgaver for den kommende dag for patienterne Dennis Skov-Sørensen og Doris Pedersen ud fra den information, systemet stiller rådighed.

Opgave 3: Stuegang

• Du er på stuegang med den ansvarlige læge. I står nu inde ved patient Casper Hansen, som er indlagt med besværet respiration og tendens til hævede ben og har taget på i vægt.

a) Find de informationer som er relevante at skitsere for lægen.

• Lægen siger efterfølgende at patienten skal have taget væsketal dagligt, vejes dagligt, samt observeres for ødemer (f.eks. hævede ankler)

b) Opret et nyt notat om den kommende pleje.

c) Tilføj relevante punkter på arbejdslisten

Opgave 2: Morgenrunde

• Du har netop målt blodtryk, puls og temperatur på Doris Pedersen. Du har målt værdierne til – blodtryk 130/90, puls 105, temperatur 40,2

a) Indrapportér ovenstående værdier for Doris.

• Du lægger mærke til den forhøjede temperatur. Du vil oprette en plejeplan for Doris.

b) Angiv problem, mål og handling for den forhøjede temperatur.


Kvantitative data: Tid for opgaveløsning

03:3007:4806:0507:5604:4710:0012:21Gennemsnit

53:5409:1807:0115:5712:5708:418

44:4514:4702:5311:3515:307

45:3005:4007:1506:5510:2015:206

36:3205:1209:5002:2505:5013:155

41:3503:1506:0007:1004:3002:4006:1511:454

37:4503:4508:0504:2006:1501:2508:1005:453

48:1504:4307:2303:5309:4022:362

39:0809:2606:3002:0515:1205:551

Samlet3.c3.b3.a2.b2.a1.b1.aTestperson

Opgave

4 problemer3 problemer

13 problemer3 problemer6 problemer6 problemer

13 problemer4 problemer

Den første testperson

Lys grå: opgave ikke løst helt, forsøgsleder hjalp meget eller forsøgsperson blev bedt om at gå videreSort: ikke arbejdet med opgaven


Øvelse 1: Identificering• Videoklip med testperson 3 (0:17:05)• Hun løser opgave 2.b.• I dette klip skal I identificere de brugbarhedsproblemer, som

I mener testpersonen støder ind i• Opsamling og diskussion i plenum


Logfil: Eksempel


Identificerede brugbarhedsproblemer (1)• 13 brugbarhedsproblemer er identificeret i denne opgave (4 er

oplevet flere gange, f.eks. P10 og P22) – to eksempler:

• Problem #10. Betjening: er ikke sikker i brugen af enkeltklik ogdobbeltklik.Alle testpersonerne har problemer med at afgøre, hvornår de skal enkeltklikke, og hvornår de skal dobbeltklikke, og flere af dem oplever det mange gange i løbet af testen. Testpersonerne har problemer med dette blandt andet i belægningslisten, i menuerne i rullegardiner, i udfyldelsen af en plejeplan og i vinduet til registrering af måleværdier. Dette problem medfører nogle gange, at testpersonerne laver alvorlige fejl, fordi de uforvarende får valgt en person, som de så begynder at arbejde med, eller kommer ind i et vindue, som de ikke ved, hvorfor de endte i, og hvordan de kommer ud af. Problemet medfører også, at de har svært ved at åbne elementer i forskellige lister i systemet.

• Problem #11. Notattyper: kan ikke overskue listen med mulige notattyperVed udarbejdelse af nye notater oplever testpersonerne gentagne gange problemer med at vælge i listen med mulige notattyper. For det første er listen meget kort (kun fire typer synlige ad gangen). Det får en testperson til at tro, at der ikke er andre muligheder en de fire, og derfor vælger hun en daglige rapport, selv om det var en plejeplan hun ønskede. For det andet er listen ikke ordnet alfabetisk. Flere testpersoner kører flere gange frem og tilbage i listen, før de vælger, fordi de skal se alle elementer igennem for at vælge den rigtige. For det tredje er der mange notattyper, som ligner hinanden meget. Det gælder for eksempel for plejeplaner, hvor der er en del forskellige, hvad der gør det svært for testpersonerne at afgøre, hvilken der er den rigtige. (illustreret på næste slide)


Problem 11 (Statusbilledet)


Identificerede brugbarhedsproblemer (2)


Notater• Journalnotaterne var kilden til

mange brugbarhedsproblemer

• Alle notater om en patient findes i listen i statusbilledet

• Skrivning af et notat startes ved at trykke på Skriv-knappen

• Derefter vælges notattype• Derefter kommer der et vindue

frem med alle elementer (termer)• Det samlede notat kan ses i et

separat vindue, men indholdet af dette kan ikke manipuleres direkte

• Hver term udfyldes i et separat vindue

• Når en term er afsluttet kommer den frem i notatet


Eksempel på kritisk problem (P2): Inkonsistens

• De fleste sygeplejersker så ordineringen af morfin

• Ingen af dem så det røde obs-felt og den tilknyttede information


Kategorisering af problemer:Fravær af problemer som mål• Kategorisering er

svært• Kritisk problem:

- Brugeren er ude af stand til at fortsætte sit arbejde uden at få hjælp af en anden person.

- Brugeren føler, at systemets opførsel er stærkt irriterende eller irrationel.

- Der er en kritisk forskel mellem det, brugeren tror, at systemets gør, og det, systemets rent faktisk gør.

• Alvorligt og kosmetisk er mildere grader af dette

Kritisk forskelStærkFuldstændigt(går i stå)Kritisk

Betydelig forskel

MiddelFlere minutter

Alvorligt

Mindre forskel

Lettere< 1 minutKosmetisk

Forventning vs. faktisk

Irritation/IrrationalitetForsinket


Eksempel: Kategorisering af problemerVi har blandt andet identificeret følgende tre problemer i testen af IPJ. Kategoriser demefter alvor: kosmetisk, alvorlig og kritisk.

Problem #1:Testpersonerne kan som hovedregel godt anvende den information, de finder. Men de kan ikke se, om der er information, som de ikke finder og er derfor usikre på, om de har fundet al relevant information. Det fører til, at de har svært ved at få overblik over en enkelt patient.

Problem #2:Et par af testpersoner oplever, at systemet meddeler dem, at der er opdateret på patientlisten. Men da disse testpersoner ikke har foretaget nogle ændringer bliver de forvirrede, men begge trykker på OK for at være på den sikre side.

Problem #3:Næsten alle testpersoner laver fejl, fordi de ikke kan huske numrene på de funktionstaster, der kan bruges som genveje i systemet. Det gælder klart mellem de tre basale vinduer (belægningsliste, basisbillede og statusbillede), hvor testpersoner trykker en af de andre muligheder, når de vil over i et af disse vinduer. Testpersonerne har tilsyneladende svært ved at skabe og anvende en klar relation mellem koder og vinduer.

KosmetiskKritisk Alvorligt

Går i stå, kan ikke gennemføre opgaven Sinker brugeren i lidt

længere tid men forhindrer ikke gennemførelsen af opgaven

Bliver sinket i kortere tid, mindre kritisk forskel mellem forventning og handling


OpgaverOpgave 1: Rapport

• Det er d. 2 maj 2002. Du er gruppeleder og er mødt ind i på afdelingen efter 2-ugers ferie. Du skal i gang med at planlægge arbejdsopgaver for resten af dagen for dig selv, en SSA, og to sygeplejestuderende.

• Der er to nye patienter på afdelingen. Agnes Winther er ikke selvhjulpen og får i.v. medicin. Casper Hansen er på diæt.

a) Placer disse to patienter på afdelingen.

b) Skitser arbejdsopgaver for den kommende dag for patienterne Dennis Skov-Sørensen og Doris Pedersen ud fra den information, systemet stiller rådighed.

Opgave 3: Stuegang

• Du er på stuegang med den ansvarlige læge. I står nu inde ved patient Casper Hansen, som er indlagt med besværet respiration og tendens til hævede ben og har taget på i vægt.

a) Find de informationer som er relevante at skitsere for lægen.

• Lægen siger efterfølgende at patienten skal have taget væsketal dagligt, vejes dagligt, samt observeres for ødemer (f.eks. hævede ankler)

b) Opret et nyt notat om den kommende pleje.

c) Tilføj relevante punkter på arbejdslisten

Opgave 2: Morgenrunde

• Du har netop målt blodtryk, puls og temperatur på Doris Pedersen. Du har målt værdierne til – blodtryk 130/90, puls 105, temperatur 40,2

a) Indrapportér ovenstående værdier for Doris.

• Du lægger mærke til den forhøjede temperatur. Du vil oprette en plejeplan for Doris.

b) Angiv problem, mål og handling for den forhøjede temperatur.


Øvelse 2• Videoklip med testperson 2 (1:10:19)• Hun løser opgave 1.a.• I dette klip skal I identificere og kategorisere de

brugbarhedsproblemer, som I mener testpersonen støder ind i

• Opsamling og diskussion i plenum


Kategoriserede brugbarhedsproblemer


Første evaluering: Samlede resultater• Testpersonerne brugte mellem

36 og 53 minutter på testen• Ingen af testpersonerne løste

alle opgaver (løste 2 til 6 spørgsmål ud af 7)

• En vis korrelation mellem erfaring og løste opgaver

• Oplevede meget stor belastning/frustration

• Ialt 75 brugbarhedsproblemer:- 9 var kritiske- 39 var alvorlige- 27 var kosmetiske

• Heraf blev 31 problemer ”kun” identificeret af én testperson

• Systemer fungerer godt- Belægningslisten giver et godt

overblik over patienterne- God fremvisning af data om den

enkelte patient

• Systemer fungerer godt- Belægningslisten giver et godt

overblik over patienterne- God fremvisning af data om den

enkelte patient

• Systemet fungerer mindre godt- Informationer om patienter er

fragmenterede- Svært at skabe overblik over

kommende arbejdsopgaver- Svært at forstå og gennemskue

systemets dele og sammenhænge

• Systemet fungerer mindre godt- Informationer om patienter er

fragmenterede- Svært at skabe overblik over

kommende arbejdsopgaver- Svært at forstå og gennemskue

systemets dele og sammenhænge


Anden brugbarhedsevaluering• Første evaluering blev gennemført i maj måned 2002• Anden evaluering blev gennemført i august måned 2003• Samme system, samme opgaver, samme testpersoner (på

nær 1, som var rejst)• Den første evaluering foregik omkring det tidspunkt, hvor

systemet blev taget i brug. Det betød, at brugerne var novicer

• Den anden evaluering foregik efter et års brug. Nu var der altså tale om erfarne brugere

• Fokus på erfaring og effektivitet (i stedet for let at lære)- Hvilke problemer er forsvundet?- Nye problemtyper?- Subjektive holdninger?


Anden evaluering: Samlede resultater• Testpersonerne brugte mellem 29

og 47 minutter på testen• 4 testpersonerne løste alle

opgaver (de andre 4 manglede 1 eller 2 spørgsmål)

• Meget mindre oplevelse af belastning/frustration

• Ialt 86 brugbarhedsproblemer:- 12 var kritiske- 38 var alvorlige- 36 var kosmetiske

• En række problemer er forsvundet, mens andre stadig opleves

• Mange af de problemer, som går igen, er ikke så alvorlige, fordi brugerne kan manøvrere uden om dem

• Væsentlige problemer i systemet forsvinder ikke med øget erfaring

• Systemet fungerer godt- Understøtter centrale dele af arbejdet,

specielt måleværdier og plejeplaner- Godt integreret i arbejdet med

patientpleje- Sygeplejerskerne har en

grundlæggende forståelse af systemets dele og deres brug i centrale arbejdsopgaver.

- Belægningslisten giver et fornuftigt overblik over patientbeholdningen

• Systemet fungerer godt- Understøtter centrale dele af arbejdet,

specielt måleværdier og plejeplaner- Godt integreret i arbejdet med

patientpleje- Sygeplejerskerne har en

grundlæggende forståelse af systemets dele og deres brug i centrale arbejdsopgaver.

- Belægningslisten giver et fornuftigt overblik over patientbeholdningen

• Systemet fungerer mindre godt- Svært at få overblik over den enkelte

patients tilstand – informationerne er meget fragmenterede

- Arbejdslisten er vanskelig at opdatere, giver uklare informationer og er svær at bruge i planlægningen af arbejdet

- Systemet lægger op til dobbeltregistrering og tillader en meget forskellig praksis med hensyn til placering af bestemte informationer. Det har medført en stor usikkerhed både i registrering og søgning af information

• Systemet fungerer mindre godt- Svært at få overblik over den enkelte

patients tilstand – informationerne er meget fragmenterede

- Arbejdslisten er vanskelig at opdatere, giver uklare informationer og er svær at bruge i planlægningen af arbejdet

- Systemet lægger op til dobbeltregistrering og tillader en meget forskellig praksis med hensyn til placering af bestemte informationer. Det har medført en stor usikkerhed både i registrering og søgning af information


De vigtigste kritiske problemer


Arbejdslisten• Arbejdslisten er kilden til

mange nye problemer• Den er baseret på et helt

andet design og en anden dialogform

• Informationer er ikke integreret med patient-informationerne


5. Heuristisk inspektion og andre teknikker• Teknikker til brugbarhedstest: oversigt• Heuristisk inspektion• Øvelse i heuristisk inspektion• Heuristisk inspektion kontra tænke-højt


Teknikker til brugbarhedstest

TilbagemeldingInterviewSpørgeskemaer

FokusgruppeObservationAnvendelsesstatistik

Brugerorganisation(felt)

Heuristisk inspektionKognitiv inspektion

Tænke-højtKonstruktiv interaktionLaboratorium

Udvikler kontrollererBruger kontrollerer

Andre dimensioner: Rigorisme (planlagt og styret forløb) RealismeKvalitativt Kvantitativt


Heuristisk inspektionLaboratorium + Udviklerkontrol• Deltagerne gennemgår systemet ud fra

en checkliste• Scenarium med relevante opgaver kan

strukturere processen• Systemet gennemgås to gange:

1. Fokus på helhed og umiddelbare indtryk2. Fokus på detaljer såsom funktioner i

forhold til opgaver

• Deltagerne arbejder individuelt og noterer problemer

• I fællesskab udarbejdes en samlet liste• Problemerne kategoriseres eventuelt

(kritisk, alvorligt, kosmetisk)• Rettelsesforslag udarbejdes, prioriteres

og overdrages til udviklerne

Eksempel på checkliste:Enkel og naturlig dialogTal brugerens sprogMinimer krav til hukommelsenSørg for konsistensGiv feedbackLav tydelige udgangeLav genvejeGiv konstruktive fejlmeddelelserForebyg fejl

Eksempel på checkliste:Enkel og naturlig dialogTal brugerens sprogMinimer krav til hukommelsenSørg for konsistensGiv feedbackLav tydelige udgangeLav genvejeGiv konstruktive fejlmeddelelserForebyg fejl


Øvelse (1)Antal inspektioner – Molich & Nielsens resultater:

1: ca. 35% af alle problemer findes3-5: ca. 70% af alle problemer findes

Denne påstand er meget omdiskuteret

Øvelse (fra Molich & Nielsen):Functionality: A service from Manhattan Telephone (MANTEL) to home users. Typical users have little knowledge of data processing. They can dial into the system, which will provide the name and address of a telephone subscriber in the United States, given the telephone number of the subscriber.Assumptions: For each telephone number there is at most one subscriber. All telephone numbers consist of exactly ten digits (3 digit area code and 7 digit local number). The user's computer has a traditional alphanumeric, monochrone display with 24 lines of 80 characters each and a typewriter-like keyboard with the usual extra keys found on most keyboards, including 10 function keys marked PF1-PF10.


Øvelse (2)Dialogue: Enter by selecting "Computer Telephone Index" from the main MANTEL menu. The system then issues the prompt:

ENTER DESIREDTELEPHONE NO. ANDRETURN

If the user enters anything other than exactly 10 digits to this prompt, the system answers:

ILLEGAL NUMBER: TRY AGAIN

If the user enters a telephone number which is not in use, the system answers:

UNKNOWN TELEPHONE NUMBER

If the area code is 212 (Manhattan), the system will normally display the the screen shown within 5 seconds. For other area codes, the system must retrieve the necessary information from external databases. This may take up to 30 seconds.


Øvelse (3)


Øvelse (4)


Øvelse (5)


Øvelse (6)


Øvelse (7)


Tænke-højt kontra Heuristisk inspektion• www.hotmail.com• 8 laboratorier testede web-

stedet- Professionelle firmaer- Forskningsmiljøer- Studerende

• Testen skulle omfatte et antal specificerede funktioner

• Selve udførelsen kunne tilrettelægges frit

• Formålet var at undersøge kvaliteten af brugbarhedstest

• 1 af laboratorierne indgik ikke seriøst i undersøgelsen

• 6 af laboratorierne baserede deres evaluering på test medbrugere- De fandt mellem 17 og 75

problemer af forskellige kategorier

• 1 af laboratorierne baserede deres evaluering på enkombination af heuristisk inspektion og test medbrugere- De fandt 150 problemer- De beskrives tit med

formuleringen “might be a problem”

- 107 af deres problemer findes ikke af nogen af de andre

- De finder 19 ud af 26 “core problems” men uklart hvordan


RESULTATER


Tænke-højt versus inspektion

94491.9185.2

118681.7235.1

1601591.0404.0

0113

89129

913124

191837

4968159

Tænke-højt forsøg Gruppe-inspektion Individuel inspektion

Problemtyper (antal)

ProblemkategorierKategori 1 (antal)Kategori 2 (antal)Kategori 3 (antal)Ingen aktion (antal)

Unikke problemer for hver metode (antal)

Samlet tid (i timer)Problemtyper (antal)Tid/problemKategoriproblemerTid/SPA

(Karat, Campbell og Fiegel, Comparison of Empirical Testing and Walkthrough Methods in User Interface Evaluation, 1992)


Publikationer (vores)Kjeldskov J. and Stage J. (2004) New Techniques for Usability Evaluation of Mobile Systems.

International Journal of Human-Computer Studies (forthcoming 2004)Kjeldskov J. and Stage J. (2003) Designing the Handheld Maritime Communicator. In Proceedings of the

1st Conference on Designing User Experiences, DUX 2003. San Francisco, CA, USA. ACM.Kjeldskov J. and Stage J. (2003) The Process of Developing a Mobile Device for Communication in a

Safety-Critical Domain. In Proceedings of the 9th IFIP TC13 International Conference on Human Computer Interaction, Interact 2003. Zürich, Switzerland. IOS Press

Kjeldskov J. and Skov M. B. (2003) Creating a Realistic Laboratory Setting: A Comparative Study of Three Think-Aloud Usability Evaluations of a Mobile System. In Proceedings of the 9th IFIP TC13 International Conference on Human Computer Interaction, Interact 2003. Zürich, Switzerland. IOS Press

Kjeldskov J. and Skov M. B. (2003) Evaluating the Usability of Mobile Systems: Exploring Different Laboratory Approaches. In Proceedings of 10th International Conference on Human-Computer Interaction 2003, Crete, Greece. Lawrence Erlbaum Associates

Kjeldskov J. and Skov M. B. (2003) Evaluating the Usability of a Mobile Collaborative System: Exploring Two Different Laboratory Approaches. In Proceedings of the 4th International Symposium on Collaborative Technologies and Systems 2003, Orlando, Florida. SCS press

Skov, Mikael B. & Jan Stage (2002). Evaluation of an Object-Oriented Modeling Method: Designing an Interactive Narrative Multimedia System. Computers & Graphics.

Skov, M. B. and Stage, J. (2003) Supporting Novices in Detecting Web Site Usability Problems: A Comparison of the Think-Aloud and Questionnaire Methods. Proceedings of the 10th Conference on Human-Computer Interaction. London: Lawrence-Erlbaum.

Skov, M. B. and Stage, J. (2003) Enhancing Usability Testing Skills of Novice Testers: A Longitudinal Study. Proceedings of the 2nd Conference on Universal Access in Computer-Human Interaction. London: Lawrence-Erlbaum.


Publikationer (andre)Dix, A., Finlay, J., Abowd, G., og Beale, R. (1998). Human-Computer Interaction,

Prentice-HallKarat, C.-M., Campbell, R., and Fiegel, T. Comparison of Empirical Testing and

Walkthrough Methods in User Interface Evaluation. Proceedings of CHI ’92, ACM Press, 397-404.

Molich – CUE: http://www.dialogdesign.dk/cue.htmlMolich, R. (2000). Brugervenligt webdesign. Teknisk forlag.Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S. and Carey T. (1994). Human-

Computer Interaction. Addison-Wesley.Rubin, J. (1994). Handbook of Usability Testing. Wiley.Shneiderman, B. (1998). Designing the User Interface, 3rd ed. Addison-Wesley.Spool, J. M. m.fl. (1999). Web Site Usability. A Designer's Guide. Morgan Kaufmann.

Documents

Management of Information Systems - Aalborg …Under analysen er der behov for at kunne-Se skærmbilledet-Se og høre forsøgspersonens handlinger-Se forsøgspersonens ansigtsudtryk