Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest

Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest

Hanne-Pernille Stax, ph.d

HPS@DST.DK

Tema 2:

Nye datamuligheder

2

Plan

Kvalitetsudvikling af digital dataindsamling på Danmarks statistik

1. Nye datamuligheder2. Digitale skemaer og standardiseret

interaktion3. Metoder i brugertest af digitale

skemaer4. Fund fra brugertest af digitale skemaer5. Kvalitetsudvikling af digitale skemaer

3

1. Nye datamuligheder

Digital dataindsamling• Digitale skemaer, der udfyldes online.

Fordele for NSI:• Data kan valideres ved udfyldelse –

respondenten stoppes hvis der er fejl.• Data kan anvendes direkte i systemer til

statistikproduktion.• NSI sparer tid til tastning / scanning.• NSI undgår fejl ved tastning/ scanning.

4

1. Nye datamuligheder

Digital dataindsamling• Digitale skemaer, der udfyldes online.

Fordele for respondenten:• Data kan valideres ved udfyldelse –

respondenten stoppes hvis der er fejl.• Kun relevante spørgsmål vises.• Dynamisk vejledning – kun hjælp når der

er behov.• Dynamiske beregninger mv. som støtte.

5

2. Det digitale skema som tekst - eller interaktionelt medie?

Kvalitet – Hvad skal vi teste?

Tekst-forståelse: Respondenten skal selv læse, forstå og handle på præ-formuleret tekst.

• Test: Kvalitet/forståelighed af sprogligt/visuelt input til respondenten.

Interaktion: Ikke alt er vist fra start.

Skema-elementer vises som respons på respondentens handlen.

• Test: Respondentens interaktion med skemaets elementer.

6

3. Metoder i brugertest: Issues

Dataindsamling til business-statistik

Interne testere• Bemærker respondenten x?• Forstår respondenten x?• Anvender respondenten x som

intenderet?• Mangler respondenten noget?

X = element, ord, vejledning, dynamisk funktion, etc…

7

3. Metoder i brugertest: Issues

Dataindsamling til business-statistik

Eksterne brugere• Matcher begreber / koncepter

respondentens sprogbrug / records?• Matcher opgørelsesmåder / kategorier

respondentens records?• Fungerer skema-elementer

så de letter respondentens byrde / task?• Fungerer skema-elementer

så de sikre høj data-kvalitet?

8

3. Testforløb

Teknisk test – Fungerer x som specificeret

Brugertest1. Etnografisk præ-interview

2. Observation af udfyldelse – uden hjælp

3. Think-aloud protocol

4. Probing – kognitiv interviewing

5. Debriefing interview

9

3. Metoder: Etnografisk interview

Indledende interview om…• Forventninger• Kompetencer• Hvordan R plejer at udfylde skemaer.

• Giver info. om ”normal” brug • Fastholder R i ”egen” rolle

10

3. Metoder: Observation af besvarelse

• R udfylder som normalt• Tester hjælper/forklarer IKKE undervejs• Optag eller notér.

11

3. Metoder: Think-aloud

• Alle tanker & idéer er væsentlige• Spørg hvad R tænker – hvis der er pauser• 2 personer kan samarbejde og diskutere• Optag eller notér.

Fordele: • Respondenten vælger fokus• Mulighed for fokus på ukendte problemer.

Ulemper:• Forstyrrer svarproces at skulle tale undervejs• Kan motivere til ”unormalt” høj tankeaktivitet • Ikke systematisk belysning af issues.

12

3. Metoder: Probing / kognitivt interview

• Løbende - Spørg mens der svares+ Nemt at huske- Forstyrrer svarproces

• Retrospektive - Spørg bagefter+ Autentisk svarproces- Svært at huske + effekt af senere tasks

• Lokalt motiverede - Spørg til Rs handlen+ Respondentens perspektiv- Ikke systematisk belysning af kendte issues

• Forberedte - Spørg til kendte issues+ Systematisk fokus på kendte issues- Ukendte issues kan overses

13

3. Metoder: De-briefing

Opfølgende interview om…• Oplevelse• Vurdering / evaluering• Input & idéer til forbedring

14

4. Fund: Vejledninger

Struktur – Før:• Vejledning før opgave / task• Kronologisk – nummererede punkter• Som en opskrift:

1. Vælg først x2. Angiv så y3. Ret evt. z4. …

15

4. Fund: Vejledning

Struktur - Efter• Nummereret liste fungerer fint - før task.• Men – respondenter går direkte til task

og læser så vejledning ”bagfra”...• Re-designes m. markerede keywords:

– Regnskabsår: Gør x og y– Lønudgifter: Udfyld z og p– Udgået: Marker f og q– …

16

4. Knap – Før: ”?” ud for hver type

17

4. Knap – Efter: ”Eksempler” på flere typer

18

4. Skema-elementer udenfor skærm - Før

Vises

Vises

Vises

19

4. Skema-elementer udenfor skærm - Efter

20

4. Overført info. - Før

21

4. Overført info. - Efter: Kant + beregning

22

5. Kvalitetsudvikling – Survey

Test

2. VersionPublicering

Draft1. version

23

5. Kvalitetsudvikling – På tværs af surveys

SurveyB

SurveyC

SurveyA

Generelle fund

24

5. Kvalitetsudvikling – På tværs af NSIs

NSI / ESS Working group

NSI A NSI B NSI C

Survey A-Z Survey A-Z Survey A-Z

NSI D

Survey A-Z

Tak for opmærksomheden

Spørgsmål og kommentarerer velkomne

HPS@DST.DK