Upload
walda
View
26
Download
0
Embed Size (px)
DESCRIPTION
Tema 2: Nye datamuligheder. Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest. Hanne-Pernille Stax, ph.d [email protected]. Plan. Kvalitetsudvikling af digital dataindsamling på Danmarks statistik Nye datamuligheder - PowerPoint PPT Presentation
Citation preview
Kvalitetsudvikling af digital dataindsamling på Danmarks Statistik – gennem brugertest
Hanne-Pernille Stax, ph.d
Tema 2:
Nye datamuligheder
2
Plan
Kvalitetsudvikling af digital dataindsamling på Danmarks statistik
1. Nye datamuligheder2. Digitale skemaer og standardiseret
interaktion3. Metoder i brugertest af digitale
skemaer4. Fund fra brugertest af digitale skemaer5. Kvalitetsudvikling af digitale skemaer
3
1. Nye datamuligheder
Digital dataindsamling• Digitale skemaer, der udfyldes online.
Fordele for NSI:• Data kan valideres ved udfyldelse –
respondenten stoppes hvis der er fejl.• Data kan anvendes direkte i systemer til
statistikproduktion.• NSI sparer tid til tastning / scanning.• NSI undgår fejl ved tastning/ scanning.
4
1. Nye datamuligheder
Digital dataindsamling• Digitale skemaer, der udfyldes online.
Fordele for respondenten:• Data kan valideres ved udfyldelse –
respondenten stoppes hvis der er fejl.• Kun relevante spørgsmål vises.• Dynamisk vejledning – kun hjælp når der
er behov.• Dynamiske beregninger mv. som støtte.
5
2. Det digitale skema som tekst - eller interaktionelt medie?
Kvalitet – Hvad skal vi teste?
Tekst-forståelse: Respondenten skal selv læse, forstå og handle på præ-formuleret tekst.
• Test: Kvalitet/forståelighed af sprogligt/visuelt input til respondenten.
Interaktion: Ikke alt er vist fra start.
Skema-elementer vises som respons på respondentens handlen.
• Test: Respondentens interaktion med skemaets elementer.
6
3. Metoder i brugertest: Issues
Dataindsamling til business-statistik
Interne testere• Bemærker respondenten x?• Forstår respondenten x?• Anvender respondenten x som
intenderet?• Mangler respondenten noget?
X = element, ord, vejledning, dynamisk funktion, etc…
7
3. Metoder i brugertest: Issues
Dataindsamling til business-statistik
Eksterne brugere• Matcher begreber / koncepter
respondentens sprogbrug / records?• Matcher opgørelsesmåder / kategorier
respondentens records?• Fungerer skema-elementer
så de letter respondentens byrde / task?• Fungerer skema-elementer
så de sikre høj data-kvalitet?
8
3. Testforløb
Teknisk test – Fungerer x som specificeret
Brugertest1. Etnografisk præ-interview
2. Observation af udfyldelse – uden hjælp
3. Think-aloud protocol
4. Probing – kognitiv interviewing
5. Debriefing interview
9
3. Metoder: Etnografisk interview
Indledende interview om…• Forventninger• Kompetencer• Hvordan R plejer at udfylde skemaer.
• Giver info. om ”normal” brug • Fastholder R i ”egen” rolle
10
3. Metoder: Observation af besvarelse
• R udfylder som normalt• Tester hjælper/forklarer IKKE undervejs• Optag eller notér.
11
3. Metoder: Think-aloud
• Alle tanker & idéer er væsentlige• Spørg hvad R tænker – hvis der er pauser• 2 personer kan samarbejde og diskutere• Optag eller notér.
Fordele: • Respondenten vælger fokus• Mulighed for fokus på ukendte problemer.
Ulemper:• Forstyrrer svarproces at skulle tale undervejs• Kan motivere til ”unormalt” høj tankeaktivitet • Ikke systematisk belysning af issues.
12
3. Metoder: Probing / kognitivt interview
• Løbende - Spørg mens der svares+ Nemt at huske- Forstyrrer svarproces
• Retrospektive - Spørg bagefter+ Autentisk svarproces- Svært at huske + effekt af senere tasks
• Lokalt motiverede - Spørg til Rs handlen+ Respondentens perspektiv- Ikke systematisk belysning af kendte issues
• Forberedte - Spørg til kendte issues+ Systematisk fokus på kendte issues- Ukendte issues kan overses
13
3. Metoder: De-briefing
Opfølgende interview om…• Oplevelse• Vurdering / evaluering• Input & idéer til forbedring
14
4. Fund: Vejledninger
Struktur – Før:• Vejledning før opgave / task• Kronologisk – nummererede punkter• Som en opskrift:
1. Vælg først x2. Angiv så y3. Ret evt. z4. …
15
4. Fund: Vejledning
Struktur - Efter• Nummereret liste fungerer fint - før task.• Men – respondenter går direkte til task
og læser så vejledning ”bagfra”...• Re-designes m. markerede keywords:
– Regnskabsår: Gør x og y– Lønudgifter: Udfyld z og p– Udgået: Marker f og q– …
16
4. Knap – Før: ”?” ud for hver type
17
4. Knap – Efter: ”Eksempler” på flere typer
18
4. Skema-elementer udenfor skærm - Før
Vises
Vises
Vises
19
4. Skema-elementer udenfor skærm - Efter
20
4. Overført info. - Før
21
4. Overført info. - Efter: Kant + beregning
22
5. Kvalitetsudvikling – Survey
Test
2. VersionPublicering
Draft1. version
23
5. Kvalitetsudvikling – På tværs af surveys
SurveyB
SurveyC
SurveyA
Generelle fund
24
5. Kvalitetsudvikling – På tværs af NSIs
NSI / ESS Working group
NSI A NSI B NSI C
Survey A-Z Survey A-Z Survey A-Z
NSI D
Survey A-Z