Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in...

Philosophische Fakultät – Institut für Kommunikationswissenschaft

Ringvorlesung: Einführung in die Methoden der empirischen

Sozialforschung II

Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft

PD Dr. Wolfgang Schweiger

2

Von der Kunstlehre zur Wissenschaft

The Art of Asking Questions

Scientific Paradigm for Surveys Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15, 3-7.

Tourangeau, R.; Rips, L. J.;Rasinski, K. (2000). The psychology of survey response. Cambridge: University Press.

Payne, S. L. (1951). The art of asking questions. Princeton: University Press.

3

Heutiger Ablauf

Effekte der Frageformulierung & Skalengestaltung

Kontexteffekte

Evaluation von Fragen & Fragebogen

Regelwerke & Kuchbücher

Die schlimmste Frage der Welt?

4

Der Fragebogen ist ein sensibler Stimulus

Jedes Messinstrument ist reaktiv

Messen = Stimulus

Ergebnisse einer Befragung

Tatsächliche Meinungen usw. der Befragten

Störeinflüsse

5

Effekte der Frageformulierung &

Skalengestaltung

6

Glauben Sie an die große Liebe?

Ja 52%

Nein 29%

Ungewiss 19%

Frageformulierungen - Split-Ballot-Experimente (1)

Glauben Sie eigentlich an die große Liebe?

Ja 57%

Nein 26%

Ungewiss 17%

Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195.

7

Frage an Hausfrauen: Würden Sie eigentlich gerne berufs-tätig sein, wenn es möglich wäre?

möchte berufstätig sein 52%nein, mache lieber HH 32%unentschieden 16%

Frageformulierungen - Split-Ballot-Experimente (2)

Frage an Hausfrauen: Würden Sie eigentlich gerne berufs-tätig sein, oder machen Sie am liebsten nur Ihren Haushalt?

möchte berufstätig sein 38%nein, mache lieber HH 46%unentschieden 16%

Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195; Erhebungszeitpunkt: 1973.

8

Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie verbieten?

ja, verbieten 21%

nein 79%

Frageformulierungen - Split-Ballot-Experimente (3)

Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie nicht erlauben?

nicht erlauben 48%

erlauben 52%

Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 197.

9

Do you favor or oppose the proposal for a constitutional amendment to require a balanced Federal Budget by the year 2003 and every year after that?

favor 70%

oppose 18%

undecided 12%

Frageformulierungen – ‚Mitliefern‘ von Argumenten

Do you favor or oppose the proposal for a constitutional amendment to require a balanced budget that cuts Government spending on Medicare by 20% over the next 7 years?

favor 31%

oppose 58%

don‘t know 11%

10

Skalengestaltung – Zahlen (1)

Schwarz, N, Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183, S. 179; n=70 Undergraduates.

11

Skalengestaltung – Zahlen (2)

Schwarz, N., Knäuper, B., Hippler, H.-J., Noelle-Neumann, E., Clark, L (1991). Rating Scales. Numeric Values may Change the Meaning of Scale Labels. Public Opinion Quarterly, 55, 570-582, S. 573

12

Skalengestaltung – Design (1)

Schwarz, N., Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183, S. 179; n=97 Undergraduates.

13

Skalengestaltung – Design (2)

Schwarz, N., Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183; n=97 Undergraduates.

14

Kontexteffekte

15

Das Interview als soziale Situation

Stabile Persönlichkeit & kognitive Struktur

InterviewerAktuelle Kognitionen &

Affekte

Befragte/r Interview

Fragebogen

Hintergründe

Stimulus

Rekonstruktion von Verhalten,

Wissen, Emotionen & Einstellungen

Befunde

16

Beantwortung von Testfragen als Informationsverarbeitung

Verstehen der Frage

Abruf relevanter Informationen

UrteilsbildungAntwort-formulierung

17

Kontexteffekte im Überblick

Befragter

• Stimmungen

• Themeninteresse & -kompetenz

• Soziale Erwünschtheit & Tabus

Fragebogen

• Thematische Kontexteffekte

• Reihenfolge-Effekte

• Konsistenz- & Kontrast-Effekte

Interviewer

• Interviewer-Effekte

• Anwesenheit anderer Personen

Hintergründe

• Sponsorship-Effekt

• Incentives

18

Stimmungen als Kontexte

Experiment: Auswirkung von Stimmungen

• Stimmungsinduktion durch vorangegangene Fragen nach positiven oder negativen Ereignissen in letzter Zeit (‘feel good’ / ‘feel bad’)

• Signifikante Unterschiede bei Fragen zu …o Glücklichsein (‚happiness‘) o Lebenszufriedenheit

Erklärung

• Verfügbarkeitsheuristik (Tversky & Kahneman): Befragte generieren Antworten auf Basis verfügbarer Informationen und Gefühle im Moment der Befragung

Schwarz, N.; Gerald, L. C. (1983). Mood, Misattribution, and Judgments of Well-being: Informative and Directive Functions of Affective States. Journal of Personality and Social Psychology, 45, 513-523.

19

Thematische Kontexteffekte

Tourangeau, R. et al. (1989). Carry-over effects in attitude surveys. Public Opinion Quaterly, 53, 495-524.

20

Reihenfolge-Effekte

Reihenfolge-Effekte bei generellen vs. spezifischen Bewertungen

• Frage: Generelle Bewertung – Zufriedenheit mit Leben

• Frage: Spezifische Bewertung – Zufriedenheit mit Ehe

Frage-Reihenfolge & Korrelationen

• Lebenszufriedenheit Ehezufriedenheit: r= 0,32

• Ehezufriedenheit Lebenszufriedenheit: r= 0,67

Erklärung

• Verfügbarkeitsheuristik: Frage nach Ehe aktiviert Gefühle/Erlebnisse, die Frage nach allgemeinem Lebensglück beeinflusst

Schwarz, N., Strack, F. & Mai, H.-P. (1991). Assimilation and Contrast Effects in Part-Whole Question Sequences: A Conversational Logic Analysis. Public Opinion Quarterly, 55 (1): 3-23.

21

Interviewer-Effekte im Überblick

Faktoren

• Demografische Merkmale (Alter, Geschlecht, Hautfarbe)

• Auftreten, Sympathie, usw.

• Erfahrung & Schulung

Interviewer-Schulung

• Interviewer müssen keine …o thematischen Experten und o Befragungs-Experten sein

• Ziel: Minimale Beeinflussung des Befragteno Einhalten der Frageformulierung & Antwortvorgabeno Minimale Erläuterungen bei Unverständnis

• Umgang mit ‚schwierigen‘ Interviewpartnern

22

Interviewer-Effekte (1)

Interviewer-Effekte bei Wahlstudien

• Studie zum Interviewer-Einfluss bei Wahlprognose zur Gouverneurs-Wahl in Virginia

• Vorhersage in Befragung: haushoher Sieg für schwarzen Kandidaten (Wilder) gegenüber weißem Kandidaten (Coleman)

• Wahlausgang: nur knapper Vorsprung für Schwarzen

Ursache?

Finkel, S.E., Guterbock, T.M & Borg, M.J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia 1989. Public Opinion Quaterly, 55, 313-330.

23

Interviewer-Effekte (2)

Respondent’s Predisposition

Republicans Democrats

Voting Intention White Interviewer

Black Interviewer

White Interviewer

Black Interviewer

Wilder (B) 26,5 27,0 70,5 94,7

Undecided 4,1 21,6 11,3 5,3

Coleman (W) 69,4 51,4 18,2 0,0

Finkel, S.E., Guterbock, T.M & Borg, M.J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia 1989. Public Opinion Quaterly, 55, 313-330.

24

Sponsorship-Effekt – Beispiel Website-Besucherbefragung

Website-Bewertung im selben Fragebogen nach fünf Fragen zu unterschiedlichen Bewertungsdimensionen

Mangel-haft

Aus-reichend

Befrie-digend

Gut Sehr gut

Gesamt

Website-Bewertung am Frage-bogenanfang

Mangelhaft 11 4 3 0 0 18

Ausreichend 1 17 10 3 1 32

Befriedigend 0 6 37 22 3 68

Gut 0 3 9 70 9 91

Sehr gut 0 0 3 4 14 21

Gesamt 12 30 62 99 27 230

Eigene Erhebung; n=230; MW1: 3,08; MW2: 3,24; t=2,81; p<0,01

25

Sensible Themen (1)

Experiment zur Telefonabfrage sexuellen Verhaltens – Faktoren

• Auswahlmöglichkeit des Interviewers nach Geschlecht

• Geschlechtskonstellation Interviewer – Befragter

• Standardfragen vs. unterstützende Fragen; z.B.

Catania, J.A., Binson, D., Canchola, J., Pollack, L.M., Hauck, W. & Coates, T.J. (1996). Effects of interviewer gender, interviewer choice, and item wording on responses to questions concerning sexual behavior. Public Opinion Quarterly, 60 (3): 345-375.

26

Catania et al., 1996

Sensible Themen (2)

27

Sensible Themen (3)

Catania et al., 1996

28

Evaluation von Fragen & Fragebogen

29

Evaluationsverfahren im Überblick

Prüfer, P., Rexroth, M. (1996). Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, 39, 95-115, S. 96f.

30

Behavior Coding

31

Behavior Coding

Vorgehen

• (Video-/Audio-Aufzeichnung von Interviews)

• Beobachtung des (aufgezeichneten) verbalen oder nonverbalen Verhaltens von Interviewer und Befragten

• Grobe Codierung

• Fragen, bei denen bestimmte Verhaltensweisen häufig vorkommen, sind veränderungsbedürftig

Beispiele

• Interviewer liest entgegen Anweisung Frage nicht wörtlich vor

• Befragter bittet um Wiederholung der Frage

• Befragter bittet um Erläuterung

32

Behavior Coding: mögliches Codesystem

Prüfer & Rexroth 1996, S. 100

33

Think-Aloud

34

Think-Aloud / Methode des lauten Denkens

Varianten

• Concurrent-Think-Aloud-Methode: Die Befragten werden aufgefordert, laut zu denken, während sie ihre Antwort formulieren.

• Retrospektive-Think-Aloud-Methode: Die Befragten werden aufgefordert, nach der Beantwortung der Frage zu beschreiben, wie die Antwort zustande kam.

• Verbale Protokolle Codierung

Ziel

• Hinweise darauf, wie Fragen oder einzelne Begriffe verstanden werden

35

Response Latency

36

Response Latency

• Response Latency / Reaktionszeit als Indikator für Aufwand der Informationsverarbeitung zu einem Thema / einer Frage

• Lange Reaktionszeiten als Indikator für Frageprobleme

• Einfache & kostenlose Messung bei computerunterstützten Befragungen

37

Response Latency

Bassili, J. & Scott, B. S. (1996). Response Latency as a Signal to Question Problems in Survey Research. Public Opinion Quarterly, 60, 390-399, S. 393.

38

Regelwerke & Kuchbücher

39

Wie befragt man richtig?

Grundsätze

• Ein Interview soll wie ein normales Gespräch verlaufen!

• Antwortvorgaben müssen zu Fragen passen!

• Dramaturgie und Umfeld des Interviews beachten!

• Befragte ernst nehmen!

40

Porst (2000): 10 Gebote

1. Einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise verstanden werden!

2. Lange und komplexe Fragen vermeiden!3. Hypothetische Fragen vermeiden!4. Doppelte Stimuli und Verneinungen vermeiden!5. Unterstellungen und suggestive Fragen vermeiden!6. Fragen vermeiden, die auf Informationen abzielen, über die viele

Befragte mutmaßlich nicht verfügen!7. Fragen mit eindeutigem zeitlichen Bezug verwenden!8. Antwortkategorien verwenden, die erschöpfend und disjunkt

(überschneidungsfrei) sind!9. Sicherstellen, dass der Kontext einer Frage sich nicht auf deren

Beantwortung auswirkt!10.Unklare Begriffe definieren!

Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to-Reihe, Nr. 2.

41

1. Verwende einfache & unzweideutige Begriffe

Grundvoraussetzung für standardisierte Befragungen: Frage muss von allen Befragten in gleicher Weise verstanden werden

einfache, unzweideutige Fragen entwickeln!

Ideal: gemäßigte, formal korrekte Umgangssprache

• Achtung: Einfachheit richtet sich nach dem befragten Personenkreiso Expertenbefragung vs. repräsentative Befragung

• Konflikt zwischen einfacher und unzweideutiger Formulierung

im Zweifelsfall für eindeutige Fragen entscheiden

Beispiel

• „Wie hoch ist Ihr eigenes monatliches Nettoeinkommen? Ich meine dabei die Summe, die nach Abzug der Steuern und Sozialversicherungsbeiträge übrigbleibt.“

• „Wie viel verdienen Sie im Monat?“

42

2. Vermeide lange & komplexe Fragen

Fragen …

• werden schnell unverständlich

• können Zielperson verwirren

• enthalten häufig Redundanzen oder überflüssige Informationen

Beispiel

• „Wie Sie wissen, sind manche Leute politisch ziemlich aktiv, andere Leute finden dagegen oft keine Zeit oder haben kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir jedesmal, wie oft Sie persönlich so etwas tun bzw. wie häufig das bei Ihnen vorkommt. (Liste mit den Antwortkategorien oft - manchmal - selten - niemals). Zuerst: wie oft führen Sie eine politische Diskussion?“

• „Wie häufig nehmen Sie an öffentlichen Diskussionen zu politischen Themen teil, oft, manchmal, selten oder nie?“

43

3. Vermeide hypothetische Fragen

• Bei hypothetischen Fragen muss sich Befragter eventuell in unrealistische bzw. unbekannte Situationen versetzen

• Problem: Hat sich der Befragte mit der hypothetischen Situation schon einmal auseinandergesetzt?

• Wie nahe oder entfernt ist diese Situation für sie/ihn?

Aussagekraft der Befunde?

Beispiele

• „Einmal angenommen, Sie würden im Lotto eine Million Mark gewinnen - würden Sie dann aufhören zu arbeiten oder würden Sie weiterarbeiten?“

• Stellen Sie sich einmal vor, Sie wären verheiratet und hätten einen Sohn im Alter von etwa 16 Jahren, der seine Lehre abbrechen möchte, um Fußballprofi zu werden. Würden Sie ihn in diesem Wunsch unterstützen oder würden Sie ihm raten, zuerst seine Ausbildung zu Ende zu bringen?

44

4. Vermeide doppelte Stimuli & Verneinung

Doppelte Stimuli

• Bei doppelten Stimuli sind zwei unterschiedliche Antworten möglich

• Beispiel: „Hören Sie gerne Musik von Chopin und Wagner?“

Verwirrend und frustrierend für Befragte

Ergebnisse unbrauchbar

Doppelte Verneinung

• Verwirrend für Befragte

• Beispiel: „Es ist nicht gut, wenn die Wähler nicht zur Wahl gehen.“ mit der Antwortskala 1 „trifft überhaupt nicht zu“ bis 7 „trifft voll und ganz zu“

45

5. Vermeide Unterstellungen & suggestive Fragen (1)

Unterstellungen

• Unterstellungen führen dazu, dass derjenige, der die Unterstellung nicht teilt, die Frage nicht beantworten kann

• Beispiel: „Hat der mangelnde Respekt der Schüler vor ihren Lehrern Ihrer Ansicht nach Einfluss auf die tägliche Unterrichtsgestaltung in den Schulen?“

Suggestive Fragen

• Suggestive Fragen legen Befragtem eine Antwort nahe

Befunde wertlos (Ausnahme: Legitimationsforschung)

• Beispieleo „Finden Sie nicht auch, dass…?“o „Führende Wissenschaftler sind der Ansicht, …. Halten Sie diese

Ansicht für richtig, oder halten Sie diese Ansicht für falsch?“

46

Es wird ja in Dresden darüber diskutiert, am Waldschlöss-chen eine Elb-Brücke für den Straßenverkehr zu bauen. Sind Sie für oder gegen den Bau der Waldschlösschenbrücke?

dafür 58%

dagegen 22%

weiß nicht 14%

5. Vermeide Unterstellungen & suggestive Fragen (2)

Sind Sie dafür, statt der land-schaftszerstörenden, langen Waldschlösschenbrücke mindestens zwei Dresden-typische, kürzere und kosten-günstigere Brücken mit insgesamt höherer Entlas-tungswirkung zu bauen?

dafür 59%

dagegen 18%

weiß nicht 21%

DNN-Barometer

47

6. Vermeide zu schwierige Fragen

Vermeiden von Fragen, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen

• Verfügt die anzusprechende Zielgruppe über Informationen, die zur Beantwortung der Frage ausreichend sein könnten?

• Frustrationseffekt, evtl. Fragebogenabbruch

Beispiel

• „Sind in Ihrer Gemeinde bereits Maßnahmen zur Umsetzung der lokalen Agenda 21 getroffen worden?“

48

7. Verwende eindeutige Zeitbezüge

Fragen mit eindeutigen zeitlichen Bezug verwenden

• Bei Sachverhalten oder Meinungen, die sich auf bestimmte Zeiträume beziehen, müssen diese Zeiträume definiert werden

Schlecht

• „In der letzten Zeit ...“

• „Früher“

• „In naher Zukunft ...“

Gut

• „Seit dem ...“

• „In den letzten 12 Monaten ...“

49

8. Verwende erschöpfende & überschneidungsfreie Antwortkategorien

Überschneidungsfreie Antwortkategorien

• Antwortkategorien müssen vom Befragten zweifelsfrei zugeordnet werden können, daher dürfen Überschneidungen nicht möglich sein

• Beispiel: Einkommen 0-500 €, 500-1000 €; 1000-2000 € usw.

Erschöpfende Antwortkategorien

• Abdeckung alle möglichen Antworten durch Antwortvorgaben

• Beispiel: „Was ist Ihr Lieblingssender?“ Antwortvorgaben ARD, ZDF, Arte, 3Sat

• Besser: „Nun folgt eine Liste ausgewählter Fernsehsender. Welchen davon mögen Sie am liebsten?“

50

9. Achte auf den Kontext

Kontext der Frage darf sich nicht auf andere Fragen auswirken

• schwer zu kontrollieren

• Erfahrungen durch Pretest oder im ungünstigsten Falle bei der Datenauswertung

Beispiel

• Frage: „Alles in allem: Was halten Sie ganz allgemein von der CDU?“ - Antwortskala von 1 = „überhaupt nichts“ bis 11 = „sehr viel“

• Vorfrage 1: „Wissen Sie zufällig, welches Amt Richard von Weizsäcker ausübt, das ihn außerhalb des Parteiengeschehens stellt?“ – Mittelwert 3,4

• Vorfrage 2: kein politischer Inhalt – Mittelwert 5,2

• Vorfrage 3: „Wissen Sie zufällig, welcher Partei Richard von Weizsäcker seit mehr als 20 Jahren angehört?“ – Mittelwert 6,5

51

10. Definiere unklare Begriffe

• Unklare & ungebräuchliche Begriffe vermeiden

• Bei Bedarf definieren

• Problem: Forscher verfügt meist über ausgeprägten Wissenshintergrund

Betriebsblindheit

Unnötige Überforderung der Befragten

Beispiele

• „Mediennutzung“

• „Was glauben Sie: In welchem Alter beginnt bei Männern normalerweise die Andropause?“

• „Mit dem Begriff Andropause umschreibt man das Eintreten hormoneller Veränderungen beim Mann, die sich auf das Gefühls- und Sexualleben auswirken können. Vergleichbar ist dieser Prozeß der Menopause bei Frauen, also den sogenannten Wechseljahren. Was glauben Sie....“.

52

Die schlimmste Frage der Welt?

53

Die schlimmste Frage der Welt?

• Antwort-Alternative nicht ausformuliert

• setzt Wissen voraus (Wer ist Franco?)

• keine Alltagssprache („retaliatory“)

• wertende Begriffe – Suggestivfrage („piracy“)

• vage (Welche Gegenmaßnahmen?)

Gallup Umfrage (1937):

„Are you in favor of direct retaliatory measures against Franco‘s piracy?“

(„Sind Sie für direkte Vergeltungsmaßnahmen gegen Francos Untaten?“)

54

55

56

Literaturtipps

• Atteslander, P. (2000). Methoden der empirischen Sozialforschung. Berlin, New York: de Gruyter.

• Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer.

• Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag.

• Dillman, D.A. (2006). Mail and Internet Surveys: The Tailored Design Method — 2007 Update with New Internet, Visual, and Mixed-Mode Guide. New York u.a.: Wiley.

• Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to-Reihe, Nr. 2. Online unter: http://www.gesis.org/Publikationen/Berichte/ZUMA_How_to/.

• Schnell, R., Hill, P. & Esser, E. (1992). Methoden der empirischen Sozialforschung. München: Oldenbourg.

• ZUMA – Zentrum für Umfragen, Methoden und Analysen: http://www.gesis.org/ZUMA/index.htm.