Embed Size (px)
Citation preview
www.donsbach.netProf. Donsbach
Philosophische Fakultät – Institut für Kommunikationswissenschaft
Prof. Donsbach
Ringvorlesung
Methoden der empirischen Sozialforschung II
Sommersemester 2010
2
www.donsbach.net
Gastvortrag Dr. Stipp
3
www.donsbach.net
Ablauf
Sommersemester 2010
4. Komplex Durchführung von Befragungen
16 13.04.10 Hagen Inhaltsanalysen I
17 20.04.10 Hagen Inhaltsanalysen II
18 27.04.10 Donsbach Einführung in die standardisierte Befragung
19 04.05.10 Donsbach Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft
20 11.05.10 DonsbachSpezielle Verfahrensformen bei persönlichen, telefonischen und schriftlichen Umfragen
21 18.05.10 Donsbach Neuere Formen der quantitativen Befragung
22 01.06.10 Gastvorlesung (Thema ist noch offen)
www.donsbach.netProf. Donsbach
Vorlesung 19
Fragebogenkonstruktion: Von der Kunstlehre zur
Wissenschaft
Prof. Dr. Wolfgang DonsbachInstitut für Kommunikationswissenschaft
5
www.donsbach.net
The Art of Asking Questions (Payne 1951)
Scientific Paradigm for Surveys (Tourangeau 2003)
Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15 (1),3-7. Tourangeau, R., Rips, L. J. und Rasinski, K. (2000). The psychology of survey response. Cambridge: University Press.
Payne, S. L. (1951). The art of asking questions. Princeton: University Press.
6
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur
7
www.donsbach.net
8
www.donsbach.net
9
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur
10
www.donsbach.net
11
www.donsbach.net
Unvermeidbare Fehler
Instrumentelle Fehler
Vermeidbare Fehler
Fehlerarten
Stichprobenfehler Zeit-Fehler
Fehlende Daten Meinungsklima-
Fehler
12
www.donsbach.net
Unvermeidbare Fehler
Instrumentelle Fehler
Vermeidbare Fehler
Fehlerarten
Handwerk Sorgfalt Klienten
13
www.donsbach.net
Unvermeidbare Fehler
Instrumentelle Fehler
Vermeidbare Fehler
Fehlerarten
Manipulationen bei Sample Fragebogen Auswertung Präsentation
14
www.donsbach.net
15
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur
16
www.donsbach.net
Fragebogen und Frageformen
Definition:„Ein Fragebogen ist eine mehr oder weniger standardisierte Zusammenstellung von Fragen, die Personen zur Beantwortung vorgelegt werden mit dem Ziel, deren Antworten zur Überprüfung der den Fragen zugrunde liegenden theoretischen Konzepte und Zusammenhänge zu verwenden. Der Fragebogen ist das Verbindungsstück zwischen Theorie und Analyse.“(Porst, 1998, S.21)
17
www.donsbach.net
Grundprinzip: Nicht der Interviewer – der Fragebogen muss schlau sein“
Noelle-Neumann/Petersen 2005, 102
18
www.donsbach.net
Frageformen
19
www.donsbach.net
20
www.donsbach.net
Meinungen/Einstellungen
Ist die deutsche Wiedervereinigung für Sie eher Anlass zur Freude oder zur Sorge?
Anlass zur Freude 58% Anlass zur Sorge 10% Teils / Teils 30% Weiß nicht 3%
(DNN-Barometer September 2000, n= 514 Befragte)
21
www.donsbach.net
„Eine Bürgerinitiative will ja einen Tunnel statt der geplanten Brücke. Der Tunnel hätte den Vorteil, dass wahrscheinlich der Titel Weltkulturerbe erhalten würde. Sein Nachteil wäre wahrscheinlich eine Bauverzögerung und höhere jährliche Betriebskosten. Würden Sie sich bei dieser Alternative für einen Tunnel oder für die im Bau befindliche Brücke entscheiden?“
Feb 2008
Mai 2008
Für Tunnel 34,1 32,6
Für Brücke 53,3 57,1
Weder noch 7,4 5
Weiß nicht / unentschieden 4,2 5,3
Meinungen/Einstellungen
DNN-Barometer, Bevölkerung Dresdens ab 18 Jahre; n = 515 (Feb), 479 (Mai)
22
www.donsbach.net
23
www.donsbach.net
Überzeugungen/Werte (IfD) Was für eine Gesellschaft finden Sie eigentlich besser: Eine
Gesellschaft, in der der Staat hauptsächlich für seine Bürger verantwortlich ist, oder eine Gesellschaft, in der die einzelnen Bürger so viel wie möglich selbst für sich zu lösen versuchen?
Der betreute und der selbständige Mensch
23
59
18
48
27 25
Staat für Bürgerverantwortlich
Bürger versuchen,soviel wie möglich
selbst lösen
unentschieden0
20
40
60
80
100 West Ost
Prozent
Quelle: Institut für Demoskopie Allensbach, November 2001
"Was für eine Gesellschaft finden Sie besser: Eine Gesellschaft, in der der Staat hauptsächlich für seine Bürger verantwortlich ist, oder eine Gesellschaft, in der die einzelnen
Bürger so viel wie möglich selbst für sich zu lösen versuchen?"
24
www.donsbach.net
25
www.donsbach.net
26
www.donsbach.net
Wissen/Verhalten
„Im Juni sind ja Oberbürgermeisterwahlen. Waren Sie bei den letzten OB-Wahlen wahlberechtigt?“
Ja 83%Nein 17%
„Und sind Sie auch wählen gegangen?“Ja 77%Nein 22%Anderes 1%
Wahlbeteiligung 2001: 48,1% (Erster Wahlgang)
DNN-Barometer, Mai 2008, n= 1044
27
www.donsbach.net
28
www.donsbach.net
29
www.donsbach.net
30
www.donsbach.net
31
www.donsbach.net
32
www.donsbach.net
EigenschaftenHaben Sie selbst Schröder in der letzten Zeit im Fernsehen gesehen?
Ja 78 %Nein 22 % Filter Frage 7
Und wie wirkte Schröder da auf Sie. Ich lese Ihnen jetzt einigeEigenschaften vor. Bitte sagen Sie mir immer ob Sie dieser voll und ganz,überwiegend etwas oder gar nicht zustimmen.
Stimme zu Voll u. ganz überwiegend etwas gar nicht weiß nicht
WarmherzigKompetentGewandtSympathischUnsicherVertrauenswürdigEnergischSeriösGelassenUmgänglich
33
www.donsbach.net
34
www.donsbach.net
35
www.donsbach.net
36
www.donsbach.net
37
www.donsbach.net
Ziel: Vermeidung von Ausstrahlungs- und Kontexteffekten Ausstrahlungseffekte = Nachdenken über eine Frage
beeinflusst Antwort auf nachfolgende Frage Beispiel: Frage zu Arbeitslosigkeit gefolgt von Frage zu
Performanz des Kanzlers Puffer: Andere Themen dazwischen Interviewer: „Ich habe Ihren Fragebogen sortiert“
Pufferfragen
38
www.donsbach.net
39
www.donsbach.net
Eisbrecherfrage(Trend Dezember seit 1995)
Seit Ende November gibt es ja wieder den Striezelmarkt in Dresden. Finden Sie eigentlich, dass der Striezelmarkt noch immer eine Attraktion Dresdens ist oder glauben Sie das eher nicht? (N= 512 Befragte)
Immer noch Attraktion 83 % Eher nicht 13 % Weiß nicht 4 %
(DNN-Barometer Dezember 2004, n= 504 Befragte)
Jetzt im Sommer ist ja wieder Biergartensaison und man sitzt gerne draußen, um etwas zu essen oder zu trinken. Waren Sie in diesem Jahr schon in einem Biergarten?Ja 47 %Nein 53 %
(DNN-Barometer Juli 2002, n= 514 Befragte)
Warum?
40
www.donsbach.net
41
www.donsbach.net
a
Filterfragen
Und wen kennen Sie da? [offen mit
Direktverschl.]
Und haben Sie schon mal von ... gehört? [ ja/nein ]
aKennen Sie eigentlich schon Politiker, die in einem der Dresdner Wahlkreise zur nächsten Bundestags-wahl
als Direktkandidaten antreten? [ ja/nein ]
ungestützte Bekanntheit
gestützte Bekanntheit
42
www.donsbach.net
43
www.donsbach.net
44
www.donsbach.net
45
www.donsbach.net
46
www.donsbach.net
47
www.donsbach.net
48
www.donsbach.net
49
www.donsbach.net
50
www.donsbach.net
Vorteile Befragte können sprechen, wie sie es gewöhnt sind Sachverhalte werden angesprochen, die man vielleicht bei
einer geschlossenen Befragung vergessen hat Nachteile
Misst eher Verbalisierungsfähigkeit eines Befragten als Einstellungen zum Thema
Misst eher Antwortbereitschaft Hoher Aufwand bei der Vercodung bei der Datenaufbereitung Sehr heterogene Antwortmuster
Wichtig: Geschlossene Fragen setzen voraus, dass man die möglichen Antwortalternativen kennt
Offene Fragen
51
www.donsbach.net
52
www.donsbach.net
53
www.donsbach.net
54
www.donsbach.net
55
www.donsbach.net
Vorteile mittels zusätzlicher Kategorie kann festgestellt
werden, ob die Vorgaben der geschlossenen Frage allumfassend waren oder nicht
wird verwandt, wenn Antwortvorgaben gut abgeschätzt aber nicht definitiv sicher erfasst werden können
Nachteile Vercodungsaufwand der offenen Frage Aufweichung der Standardisierung des Interviews
Halboffene Fragen oder Hybridfragen
56
www.donsbach.net
Weitere Unterscheidungen für Fragen
Dichotom Polytom
ListenKartenspieleBildblätter
ZeichnungenAnimationen (Web)
Mit optischer Präsentation
Ohne optische Präsentation
Beispiele (Folien)
57
www.donsbach.net
Sonderform: Split-Ballot
„Split-ballot“ = Teilen der Stichprobe Nach Zufallsprinzip, z. B. jedes zweite Interview anders Gründe:
Platz- bzw. Zeitsparen (Aufteilung von Fragen auf halbe oder Drittel-Stichproben
Rotation von Stimulus-Abfolgen (Vermeidung von Primacy-/Recency-Effekte)
Experiment zur Wirkung von Frageformen oder anderen Stimuli (z. B. Kontexteffekte) – Beispiele folgen
Beispiel: DNN-Barometer
58
www.donsbach.net
(18a) Stellen Sie sich vor, einige Leute auf der Straße fangen an, über das Thema Waldschlösschenbrücke zu reden. Würden Sie sich gerne an der Unterhaltung beteiligen oder würden Sie das nicht? Ja, würde mich gern einschalten 46% Nein, würde das nicht 47% Weiß nicht/k.A. 7%
(18b) Stellen Sie sich vor, einige ihrer Freunde fangen an, über das Thema Waldschlösschenbrücke zu reden. Würden Sie sich gerne an der Unterhaltung beteiligen oder würden Sie das nicht? Ja, würde mich gern einschalten 73% Nein, würde das nicht 25% Weiß nicht/k.A. 2%
(18) Und sind Sie für oder gegen den Bau der Waldschlösschenbrücke?Dafür 59 %Dagegen 31 %Unentschieden 10 %
DNN-Barometer Mai 2006
Split A Split B
Sonderform: Split-Ballot
59
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur
60
www.donsbach.net
61
www.donsbach.net
62
www.donsbach.net
63
www.donsbach.net
63(vgl. Petersen 2002)
64
www.donsbach.net
65
www.donsbach.net
66
www.donsbach.net
67
www.donsbach.net
68
www.donsbach.net
69
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur
70
www.donsbach.net
Thematische KontexteffekteStimmungen als KontexteSkalen-VerwendungReihenfolge-EffekteInterviewer-EffekteAnwesenheit anderer Personen
Einflüsse auf das Antwortverhalten
71
www.donsbach.net
Thematische Kontexteffekte
72
www.donsbach.net
Tourangeau, Roger et al. (1989): Carry-over effects in attitude surveys. POQ, 53, 495-524
Target Issue Context Set One
Context Set Two
Persian Gulf Lebanon Iran
Rights of accused
Fear of crime Civil liberties
Welfare Government responsibility
Economic individualism
Abortion Traditional values
Rape
Defense spending
Arms control Soviet threat
Nicaragua Vietnam Cuba
73
www.donsbach.net
ContextApprove U.S. policy in Persian Gulf
Lebanon 46,6Iran 54,2Neutral 42,6
ContextApprove Court Decision Legalizing Abortion
Traditional values 55,0Rape 58,4Neutral 51,7
Tourangeau, Roger et al. (1989): Carry-over effects in attitude surveys. POQ, 53, 495-524
74
www.donsbach.net
75
www.donsbach.net
Stimmungen als Kontexte
76
www.donsbach.net
Experimente: Abhängigkeit der Urteile über generelles Glücklichsein/ Zufriedenheit mit Leben von Stimmung zum Zeitpunkt des Interviews
Experiment 1: Induzierung von Stimmung in Exp1 durch vorangegangene Fragen nach fröhlichen und traurigen Ereignissen im eigenen Leben
Signifikante Unterschiede Experiment 2: Wetter (Sonne/Regenwetter) zum Zeitpunkt des
Interviews Zusätzlich varriiert: Bedeutung des Wetters (einmal gar nicht erwähnt,
einmal beiläufig durch Interviewer ("By the way, how is the weather down there?"), einmal als Hauptanliegen der Umfrage deklariert ("We are intersted in how the weather affects persons moods")
Signifikante Unterschiede
Schwarz, Norbert & Gerald L. Clore (1983): Mood, Misattribution, and Judgments of Well-being: Informative and Directive Functions of Affective States. JP&SPsych 45, 513-523
Stimmungen als Kontexte
77
www.donsbach.net
Erklärung
Traditionelle Vorstellung: Befragte haben relativ feste Einstellungen, die im Interview abgerufen werden, wahrscheinlich falsch
Stattdessen: Accessibility-Hypothese = Befragte generieren Antworten auf Basis verfügbarer Informationen und Gefühle im Moment der Befragung
Kein systematischer Weg, sondern „Sampling-Prozess“, bei dem Befragte eine schnelle Auswahl aus ihren vorhandenen Einstellungen treffen
In diesen Situationen „Oversampling“ der aktivierten Einstellungen Kontexte aktivieren solche Einstellungen: je näher dran am Thema,
desto stärker ihr Einfluss
78
www.donsbach.net
Skalen-Verwendung
79
www.donsbach.net
Einfluss von numerischen Werten bei Skalen"How often do you get a haircut/visit a museum/attend a poetry reading"
Schwarz et al. 1998: IJPOR
5,6
4,1
1,8
4,4
3,1
1,3
Getting a haircut Visiting a museum attending poetry reading0
1
2
3
4
5
6
7Skala 0-10 Skala 1-11
80
www.donsbach.net
Reihenfolge-Effekte
81
www.donsbach.net
Experiment 1
82
www.donsbach.net
83
www.donsbach.net
“…the larger the proportion of time respondents spent looking at the top half of the options, the more likely
they were to choose an option from that part.”
84
www.donsbach.net
Interviewer-Effekte
85
www.donsbach.net
2 Einflussquellen: Erfahrung, Art der Schulung demografische Merkmale (Alter, Geschlecht, Hautfarbe)
Interviewer müssen keine Experten auf dem Gebiet sein Art der Interviewer-Schulung:
Soziale Umgangsformen Hinweis auf Einhalten der Frageformulierung Wie viel darf bei Unverständnis erläutert werden? Umgang mit „schwierigen“ Interviewpartnern
Einfluss des Interviewers
86
www.donsbach.net
87
www.donsbach.net
88
www.donsbach.net
89
www.donsbach.net
Catania, Joseph A./Binson, Diane/ Chanchola, Jesse (1996): Effects of
Interviewer Gender, Interviewer Choice,
and Item Wording on Responses to
Questions Concerning Sexual
Behavior. Public Opinion Quarterly,
vol 60, 345-375
90
www.donsbach.net
91
www.donsbach.net
92
www.donsbach.net
93
www.donsbach.net
94
www.donsbach.net
Anwesenheit anderer Personen
95
www.donsbach.net
Fragebogenlänge
96
www.donsbach.net
EFFECTS OF QUESTIONNAIRE LENGTH ONPARTICIPATION AND INDICATORS OF RESPONSEQUALITY IN A WEB SURVEYMIRTA GALESICMICHAEL BOSNJAK
Public Opinion Quarterly, Vol. 73, No. 2, Summer 2009, pp. 349–360
This paper investigates how expected and actual questionnaire length affects cooperation rates and a variety of indicators of data quality in web surveys. We hypothesized
• that the expected length of a web-based questionnaire is negatively related to the initial willingness to participate.
• Moreover, the serial position of questions was predicted to influence four indicators of data quality. We hypothesized that questions asked later in a web-based questionnaire will, compared to those asked earlier, be associated with
• (a) shorter response times, • (b) higher item-nonresponse rates, • (c) shorter answers to open-ended questions, and • (d) less variability to items arranged in grids.
To test these assumptions, we manipulated the stated length (10, 20, and 30 minutes) and the position of questions in an online questionnaire consisting of randomly ordered blocks of thematically related questions.
As expected, the longer the stated length, the fewer respondents started and completed the questionnaire. In addition, answers to questions positioned later in the questionnaire were faster, shorter, and more uniform than answers to questions positioned near the beginning.
97
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur
98
www.donsbach.net
99
www.donsbach.net
Temporäre Determinanten(Kontexteffekte)
Permanente Determinanten
100
www.donsbach.net
ELM angewendet auf Umfrageforschung
101
www.donsbach.net
Beispiel: Heuristiken bei Anwendung von Skalen
102
www.donsbach.net
3 Experimente deutsches Sample, Erfolg im eigenen Leben, 11 Punkte-Skala Endpunkte: überhaupt nicht erfolgreich -
sehr erfolgreich Version A: 0 –10 Version B: -5 - +5 Ergebnis: Version A: 34% gaben Werte zwischen 0 und 5. Version B: 13 %
103
www.donsbach.net
Einfluss von numerischen Werten bei SkalenFrage: "Wie erfolgreich waren Sie bisher in Ihrem Leben?" Endpunkte jeweils verbal:
"überhaupt nicht erfolgreich", "sehr erfolgreich",
0 02
57
20
14
20 20
63 3
1 0 1 1 1
9 9
23
35
14
42
0/-5 1 2/--3 3 4 5 6 7 8 9 10-04 -02 -01 00 +01 02 +03 +04 +05
0
5
10
15
20
25
30
35
40Skala 0-10 Skala -5 bis +5
Bevölkerung der Bundesrepublik Deutschland, 1988, IfD-Umfrage 5007; Quelle: Schwarz et al. 1991
104
www.donsbach.net
„We conclude from the reported findings that respondents may use the numeric values provided on a rating scale to disambiguate the meaning of scale labels.“
bei 0 bis 10: legt nahe, dass Forscher Anwesenheit oder Abwesenheit von bestimmten Eigenschaften wissen will (in diesem Fall Erfolg oder Glück)
bei -5 bis +5 mit Nullpunkt in der Mitte: legt nahe, dass Abwesenheit der Eigenschaft mit Null korrespondiert, während negative Punkte Anwesenheit seines Gegenteils anzeigen.
Generell bei Minuspunkten: legen nahe, dass Forscher ein bipolares Konzept der Dimension unterstellt
105
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und
Fragen Regelwerke Literatur
106
www.donsbach.net
Prüfer, Peter, Rexroth, Margrit (1996): Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, Nr. 39, S. 95-115
107
www.donsbach.net
108
www.donsbach.net
Prüfer, Peter, Rexroth, Margrit (1996): Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, Nr. 39, S. 95-115
109
www.donsbach.net
110
www.donsbach.net
111
www.donsbach.net
112
www.donsbach.net
113
www.donsbach.net
114
www.donsbach.net
Think Aloud-Test
zentrale kognitive Technik Befragter aufgefordert, „laut zu denken“ und dabei
sämtliche Gedankengänge, die zur Antwort führen bzw. führten zu formulieren.
Ziel: Hinweise darauf, wie Frage oder einzelne Begriffe verstanden wurden
"verbal protocols"
115
www.donsbach.net
116
www.donsbach.net
117
www.donsbach.net
Oksenberg/ Cannell/Kalton (1991) und Presser/Blair (1994): Vergleiche Übereinstimmendes Fazit: keine Methode, die in allen
Problembereichen am besten ist Probleme oft erkennbar, aber nicht deren Ursache Kognitive Verfahren wie Probes und Think-Aloud-Verfahren: liefern die
meisten Verständnisprobleme, aber z.B. keine Interviewerprobleme Empfehlung: Mehrere Verfahren einsetzen Fowler (1995): Einsatz von Focus Groups, kognitiven Laborinterviews
und einen Feld-Pretest mit Auswertung der Antwortverteilungen Ressourcen?
Was ist das beste Verfahren?
118
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur
119
www.donsbach.net
120
www.donsbach.net
Fowler, F. J. Jr. (2001): Why it is so easy to write bad questions. ZUMA-Nachrichten, Nr. 48, S. 49 – 66.
121
www.donsbach.net
Content standards Cognitive standards Interpersonal standards Psychometric standards Usability Multi-mode capability Multi-language
capability Cost effective use of
survey time
Analytische Ziele und Auskunftsfähig-keiten der Respondenten
Kognitive Fähigkeiten des Resp. berücksichtigen
Soziale Situation des Interviews berücksichtigen
Validität, Reliabilität der Messungen
Nutzerfreundlichkeit des Instruments
Verwendbarkeit in allen Modi
Verwendbarkeit in allen Sprachen
Kostenbewusster Einsatz der Ressourcen von Forscher und Befragtem
122
www.donsbach.net
Im letzten Monat hat die UNO eine weltweite Umfrage durchgeführt. Die Frage war: "Teilen Sie uns bitte ihre ehrliche Meinung zur Lösung
der Nahrungs-Knappheit im Rest der Welt mit." Die Umfrage stellte sich, nicht unerwartet, als Riesenflop heraus: In Afrika wussten die Teilnehmer nicht was "Nahrung" ist. Osteuropa wusste nicht, was "ehrlich" heißt. Westeuropa kannte das Wort "Knappheit" nicht. Die Chinesen wussten nicht, was "Meinung" ist. Der Nahe Osten fragte nach, was denn "Lösung" bedeute. Südamerika kannte die Bedeutung von "bitte" nicht. Und in den USA wusste niemand, was "der Rest der Welt" ist!
Probleme internationaler Umfragen
123
www.donsbach.net
10 Gebote nach Porst (2000)Du sollst... 1. ...einfache, unzweideutige Begriffe verwenden, die von allen
Befragten in gleicher Weise verstanden werden!2. ...lange und komplexe Fragen vermeiden!3. ...hypothetische Fragen vermeiden!4. ...doppelte Stimuli und Verneinungen vermeiden!5. ...Unterstellungen und suggestive Fragen vermeiden!6. ...Fragen vermeiden, die auf Informationen abzielen, über die
viele Befragte mutmaßlich nicht verfügen!7. ...Fragen mit eindeutigem zeitlichen Bezug verwenden!8. ...Antwortkategorien verwenden, die erschöpfend und disjunkt
(überschneidungsfrei) sind!9. ...sicherstellen, dass der Kontext einer Frage sich nicht auf
deren Beantwortung auswirkt!10. ...unklare Begriffe definieren!
124
www.donsbach.net
Zusammenstellung von Informationen zum Untersuchungsthema Nutzung von Ergebnissen aus Daten- und Fragearchiven Nutzung von Ergebnissen aus systematischer Grundlagenforschung
(z.B. split-ballot-Experimente) Einbettung einzelner Fragen in ein System aussagekräftiger
Indikatoren Prüfen der Zuverlässigkeit der Antworten mittels Kontrollfragen Fragebogen im Team ausarbeiten (verschiedene Sichtweisen) Intensives Pretesting Dokumentation der Ergebnisse bei der Fragebogenentwicklung und
Einbettung neu gewonnener Ergebnisse in Trendreihen (Methodenforschung)
Der Weg zu einem guten Fragebogen (DFG-Enquete)
Quelle: Max Kaase (Hrsg.): Deutsche Forschungsgemeinschaft. Qualitätskriterien der Umfrageforschung. S. 24
125
www.donsbach.net
Why is it easy to ask bad questions?
Das existierende Methodenwissen wird nicht angewendet
Die Regeln können im Konflikt zueinander stehen: machen Fragen in einer Hinsicht besser, in einer anderen aber schlechter
Die angewendeten Testverfahren sind nicht immer aussagekräftig
Es besteht ein Hang in der Wissenschaft, auf Kosten der Qualität die Vergleichbarkeit zu wahren.
(Fowler 2001, S. 54)
126
www.donsbach.net
Gliederung
Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur
127
www.donsbach.net
Abschnitte aus allgemeiner Methoden-Literatur
Atteslander, P. (2000), Methoden der empirischen Sozialforschung, Berlin/New York: de Gruyter.Bortz, J. & Döring, N. (1995), Forschungsmethoden und Evaluation für Sozialwissenschaftler: Berlin: Springer.Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag.Diekmann, A. (1995), Empirische Sozialforschung. Reinbek: Rowohlt.Friedrichs, J. (1982), Methoden der empirischen Sozialforschung, Opladen: Westdeutscher Verlag.Schnell, R., Hill, P. & Esser, E. (1992), Methoden der empirischen Sozialforschung, München: Oldenbourg.
Literatur
128
www.donsbach.net
Einführung in die standardisierte BefragungGroves, R. (1987). Research on survey data quality. Public Opinion Quarterly 52 (4). 156-172.Kaase, M. (1999). Qualitätskriterien der Umfrageforschung. Berlin: Akademie-Verlag.Wüst, A.M. (1998). Die Allgemeine Bevölkerungsumfrage der Sozialwissenschaften als Telefonumfrage. ZUMA-Arbeitsbericht 98(04).Price, V. & Neijens, P. (1997). Opinion quality in public opinion research. International Journal of Public Opinion Research 9, 336-360.Noelle-Neumann, E., Petersen, T. (2000). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin.: Springer.Koch, W. (1998). Wenn "mehr" nicht gleichbedeutend mit "besser" ist: Ausschöpfungsquoten und Stichprobenverzerrungen in allgemeinen Bevölkerungsumfragen. ZUMA-Nachrichten, 22(42).Porst, R., Ranft, S.& Ruoff, B. (1998). Strategien und Maßnahmen zur Erhöhung der Ausschöpfungsquoten bei sozialwissenschaftlichen Umfragen. Ein Literaturbericht. ZUMA-Arbeitsbericht 98(07).Rasinski, K.A. (2008). Designing Reliable and Valid Questionnaires. In: W. Donsbach M.W. Traugott (eds.): The SAGE Handbook of Public Opinion Research. Los Angeles u.a.: Sage, S. 361-373.
