1

Hvordan lager man gode surveyspørsmål?

Hvordan lager man gode surveyspørsmål?

Bernt AardalBernt Aardal

2

DefinisjonDefinisjon• ’Survey’: et forskningsdesign der et utvalg

enheter trekkes fra en populasjon og undersøkes med henblikk på å trekke slutninger til populasjonen

• Mange ulike innsamlingsmetoder• Besøksintervju, telefonintervju, automatisert

telefonintervju (lydbånd), post-enquete, e-post, internett (QuestBack), ”mentometer” (fokusgrupper, kontinuerlige reaksjoner)

• ’Survey’: et forskningsdesign der et utvalg enheter trekkes fra en populasjon og undersøkes med henblikk på å trekke slutninger til populasjonen

• Mange ulike innsamlingsmetoder• Besøksintervju, telefonintervju, automatisert

telefonintervju (lydbånd), post-enquete, e-post, internett (QuestBack), ”mentometer” (fokusgrupper, kontinuerlige reaksjoner)

3

Hva måles?Hva måles?

• Atferd• Fact-finding• Kunnskap• Holdninger• Motiver

• Atferd• Fact-finding• Kunnskap• Holdninger• Motiver

• Kan misbrukes både bevisst og ubevisst

• Krever kunnskap og erfaring

• Kan misbrukes både bevisst og ubevisst

• Krever kunnskap og erfaring

4

Hvor galt kan det gå?Hvor galt kan det gå?• ”Synes De at livsforsikring er billig og

vel anvendte penger, eller har De ingen omtanke for Deres familie?”

• ”Støtter De tanken om et motorsykkel-senter i Fredensroveien med utendørs racerbane, eller ser De heller at ungdommen dør på gata som sprøytenarkomane?”

• ”Synes De at livsforsikring er billig og vel anvendte penger, eller har De ingen omtanke for Deres familie?”

• ”Støtter De tanken om et motorsykkel-senter i Fredensroveien med utendørs racerbane, eller ser De heller at ungdommen dør på gata som sprøytenarkomane?”

5

Hvem, hva og hvorfor spør du?

Hvem, hva og hvorfor spør du?

• Hvem: har svarpersonene forutsetninger for å svare på spørsmålene?

• Hva: er formålet med spørsmålet og undersøkelsen helt klart?

• Hvorfor: bare ”kjekt å vite”?

• Hvem: har svarpersonene forutsetninger for å svare på spørsmålene?

• Hva: er formålet med spørsmålet og undersøkelsen helt klart?

• Hvorfor: bare ”kjekt å vite”?

6

Måling av atferdMåling av atferd• Mange svaralternativer: hvilken av

følgende ti aktiviteter er viktigst for deg?• Biter seg merke i enkelte alternativer (poleffekt)

• Hvor mange ganger i løpet av de siste fire årene har du..? • Tidsrom forkortes eller forlenges

(teleskopeffekt)

• Vil du begrense din egen bilkjøring hvis kollektivtrafikken blir bedre utbygd?• Hypotetiske spørsmål gir hypotetiske svar

• Mange svaralternativer: hvilken av følgende ti aktiviteter er viktigst for deg?• Biter seg merke i enkelte alternativer (poleffekt)

• Hvor mange ganger i løpet av de siste fire årene har du..? • Tidsrom forkortes eller forlenges

(teleskopeffekt)

• Vil du begrense din egen bilkjøring hvis kollektivtrafikken blir bedre utbygd?• Hypotetiske spørsmål gir hypotetiske svar

7

Hva er problemet?Hva er problemet?• Hvor ofte slår De Deres kone?• 1. Svært ofte• 2. Ofte• 3. Nokså ofte• 4. Nokså sjelden• 5. Sjelden• 6. Aldri

• Hvor ofte slår De Deres kone?• 1. Svært ofte• 2. Ofte• 3. Nokså ofte• 4. Nokså sjelden• 5. Sjelden• 6. Aldri

8

Hva er problemet?Hva er problemet?• Hvor ofte slår De Deres kone?• 1. Ofte• 2. Av og til• 3. Nokså sjelden• 4. Sjelden, aldri

• Hvor ofte slår De Deres kone?• 1. Ofte• 2. Av og til• 3. Nokså sjelden• 4. Sjelden, aldri

9

Måling av kunnskapMåling av kunnskap• Kan ikke brukes i postskjema eller Questback• Er vanskelighetsgraden tilpasset formålet og

svarpersonene?• Utdanningsnivå (forsker vs. svarperson)• Yrkes- og erfaringsbakgrunn (ikke nødv. høy vs.

lav)• Spørsmål med ulik vanskelighetsgrad• Kunnskapsspørsmål kan nesten aldri bli for lette

• Gjør kunnskapsspørsmål ”ufarlige”• Vet du tilfeldigvis?• Eller er du ikke så opptatt av dette spørsmålet?

• Kan ikke brukes i postskjema eller Questback• Er vanskelighetsgraden tilpasset formålet og

svarpersonene?• Utdanningsnivå (forsker vs. svarperson)• Yrkes- og erfaringsbakgrunn (ikke nødv. høy vs.

lav)• Spørsmål med ulik vanskelighetsgrad• Kunnskapsspørsmål kan nesten aldri bli for lette

• Gjør kunnskapsspørsmål ”ufarlige”• Vet du tilfeldigvis?• Eller er du ikke så opptatt av dette spørsmålet?

10

11

Måling av motiverMåling av motiver

• Hvorfor ikke spørre direkte?• Ubevisste og komplekse motiver• Ønske om å dekke til (pynte på)

motivene• Jeg stemmer på parti X fordi det tar

vare på de svake i samfunnet• Jeg stemmer på parti X fordi det

forsvarer mine økonomiske interesser

• Hvorfor ikke spørre direkte?• Ubevisste og komplekse motiver• Ønske om å dekke til (pynte på)

motivene• Jeg stemmer på parti X fordi det tar

vare på de svake i samfunnet• Jeg stemmer på parti X fordi det

forsvarer mine økonomiske interesser

12

Måling av holdningerMåling av holdninger• Påstander man sier seg enig eller

uenig i (Likert-skalaer)• A sier og B sier: hvem er du mest

enig med?• Holdningsskalaer (f.eks. 0-10)• Måler vi holdninger eller luft?• Hvor sentrale er holdningene for

svarpersonen?• Hvor stabile er de over tid?

• Påstander man sier seg enig eller uenig i (Likert-skalaer)

• A sier og B sier: hvem er du mest enig med?

• Holdningsskalaer (f.eks. 0-10)• Måler vi holdninger eller luft?• Hvor sentrale er holdningene for

svarpersonen?• Hvor stabile er de over tid?

13

PåstanderPåstander

• Ja-effekt: tendens til å si seg enig• Ikke egnet til å si noe om nivå• Motvirkes ved å slå sammen

påstander med ulik retning til indekser

• Ja-effekt: tendens til å si seg enig• Ikke egnet til å si noe om nivå• Motvirkes ved å slå sammen

påstander med ulik retning til indekser

14

A sier og B sier...A sier og B sier...

15

A sier og B sier...A sier og B sier...• Mer realistisk valgsituasjon (A eller B)• Men er alternativene gjensidig

utelukkende?• A: å øke velstanden i landet• B: å fordele velstanden mer jevnt

• Spørres det om mer enn ett holdningsobjekt?• A sier: God utdanning og en høy stilling er

belønning god nok, og forskjellene i lønn mellom ulike yrker kan godt reduseres betraktelig

• Mer realistisk valgsituasjon (A eller B)• Men er alternativene gjensidig

utelukkende?• A: å øke velstanden i landet• B: å fordele velstanden mer jevnt

• Spørres det om mer enn ett holdningsobjekt?• A sier: God utdanning og en høy stilling er

belønning god nok, og forskjellene i lønn mellom ulike yrker kan godt reduseres betraktelig

16

HoldningsskalaerHoldningsskalaer

17

HoldningsskalaerHoldningsskalaer• Må tydeliggjøre referanserammen• ”I politikken snakkes det i blant om

venstresiden og høyresiden. Hvor vil du plassere deg...

• Må forankre ytterpunktene på skalaen (er de dekkende?)

• Tidkrevende å gjennomføre• Fordel med visuell støtte (kort)

• Må tydeliggjøre referanserammen• ”I politikken snakkes det i blant om

venstresiden og høyresiden. Hvor vil du plassere deg...

• Må forankre ytterpunktene på skalaen (er de dekkende?)

• Tidkrevende å gjennomføre• Fordel med visuell støtte (kort)

18

Strengt forbudt!Strengt forbudt!• Flertydige spørsmål• ”sørger vi etter din mening godt nok for

kvinner og barn i dagens samfunn?”• ikke mer enn ett holdningsobjekt pr.

spørsmål

• Dobbelte nektelser• ”er du enig eller uenig i at vi ikke bør

tillate forurensende biltrafikk i boligområder?”

• Flertydige spørsmål• ”sørger vi etter din mening godt nok for

kvinner og barn i dagens samfunn?”• ikke mer enn ett holdningsobjekt pr.

spørsmål

• Dobbelte nektelser• ”er du enig eller uenig i at vi ikke bør

tillate forurensende biltrafikk i boligområder?”

19

”Vet ikke” & ”på midten” svar”Vet ikke” & ”på midten” svar

• Skal de utelates, tillates eller tilbys?• Avhengig av innsamlingsform

• Postskjema/Questback: tillate = tilby

• Varierer med utdanningsnivå, usikkerhet og overbevisning

• Balansen mellom ”for” og ”mot” påvirkes lite

• Skal de utelates, tillates eller tilbys?• Avhengig av innsamlingsform

• Postskjema/Questback: tillate = tilby

• Varierer med utdanningsnivå, usikkerhet og overbevisning

• Balansen mellom ”for” og ”mot” påvirkes lite

20

Hvordan tolkes spørsmålene?Hvordan tolkes spørsmålene?

• Et vanskelig spørsmål tolkes slik at det er lettere å svare på

• Vidt meningsinnhold snevres inn• Deler av spørsmål med flere

beskrivende ledd blir oversett

• Et vanskelig spørsmål tolkes slik at det er lettere å svare på

• Vidt meningsinnhold snevres inn• Deler av spørsmål med flere

beskrivende ledd blir oversett

21

RekkefølgeffekterRekkefølgeffekter• Plassering i spørreskjemaet kan

påvirke svarene• Mener du er viktig å kreve høy

moralsk vandel av våre ledere?• Har du noen gang arbeidet svart,

dvs. uten å betale skatt for inntekten?

• Plassering i spørreskjemaet kan påvirke svarene• Mener du er viktig å kreve høy

moralsk vandel av våre ledere?• Har du noen gang arbeidet svart,

dvs. uten å betale skatt for inntekten?

22

Supplerende litteratur

Supplerende litteratur

• Arlene Fink: How to Ask Survey Questions, London: Sage, 2008

• Tove Mordal: Som man spør får man svar, Oslo: Tano, 1989

• Jean M. Converse & Stanley Presser: Survey Questions. Handcrafting the Standardized Questionnaire, London: Sage, 1986

• Arlene Fink: How to Ask Survey Questions, London: Sage, 2008

• Tove Mordal: Som man spør får man svar, Oslo: Tano, 1989

• Jean M. Converse & Stanley Presser: Survey Questions. Handcrafting the Standardized Questionnaire, London: Sage, 1986

23