Upload
elisa-hense
View
111
Download
0
Embed Size (px)
Citation preview
www.donsbach.netProf. Donsbach
Philosophische Fakultät – Institut für Kommunikationswissenschaft
Ringvorlesung
Methoden der empirischen Sozialforschung II
Sommersemester 2010
2
www.donsbach.net
Ablauf
Sommersemester 2010
4. Komplex Durchführung von Befragungen
16 13.04.10 Hagen Inhaltsanalysen I
17 20.04.10 Hagen Inhaltsanalysen II
18 27.04.10 Donsbach Einführung in die standardisierte Befragung
19 04.05.10 Donsbach Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft
20 11.05.10 DonsbachSpezielle Verfahrensformen bei persönlichen, telefonischen und schriftlichen Umfragen
21 18.05.10 Donsbach Neuere Formen der quantitativen Befragung
22 01.06.10 Gastvorlesung (Thema ist noch offen)
www.donsbach.netProf. Donsbach
Vorlesung 21
Einführung in die standardisierte Befragung
Prof. Dr. Wolfgang DonsbachInstitut für Kommunikationswissenschaft
4
www.donsbach.net
Gliederung
Demoskopie und öffentliche Meinung
Ursprünge
Beginn und Entwicklung der modernen Demoskopie
Nomenklatur
Unterscheidungskriterien für Befragungen
Fehlerquellen
Literatur
5
www.donsbach.net
6
www.donsbach.net
7
www.donsbach.net
8
www.donsbach.net
Merkantilismus, Kapitalismus
Aufstrebendes Bürgertum
(noch) unpolitische Öffentlichkeit
Ende 16. Jhd./17. Jhd.
(dann) politische Themen
England: frühes18. Jhd
Legitimiert sich gegen Autorität
Gemeinwohl Egalitär
Rational
Denaturierung/ Strukturwandel
Kaffeehäuser/Salons
„topics of government“
Öffentliche Meinung bei Habermas: Grundannahmen
9
www.donsbach.net
10
www.donsbach.net
Hoher Entscheidungs-
bedarf von Gesellschaften
Gesellschaften sind komplex
Aufmerksamkeit des Bürgers ist ein
knappes Gut
Reduktion von Komplexität durch
die öffentliche Meinung
Aufmerksamkeitsregeln
Entsch
eid
ungsre
geln
Meinungsbildung, u.a. in den entscheidungs- befugten Instanzen
Öffentliche Meinung bei Luhmann: Grundannahmen
11
www.donsbach.net
12
www.donsbach.net
"Unter öffentlicher Meinung versteht man wertgeladene, insbesondere moralisch aufgeladene Meinungen und Verhaltensweisen, die man – wo es sich um festgewordene Übereinstimmung handelt, zum Beispiel Sitte, Dogma – öffentlich zeigen muss, wenn man sich nicht isolieren will; oder bei im Wandel begriffenem ‚flüssigen‘ Zustand öffentlich zeigen kann, ohne sich zu isolieren."
Noelle-Neumann 1996
Definition der öffentlichen Meinung bei Noelle-Neumann
13
www.donsbach.net
Person A Andere
Eigene Meinung zu Thema X
Wahrnehmung der Umweltmeinung zu
Thema X
aktuell
Zukunft
konsonant
dissonant
Direkte Umwelt-wahrnehmung
Wahrnehmung aus Medien
Keine Isolationsfurcht
Reden
Isolationsfurcht Schweigen
Wahrnehmung der Umwelt-
meinung zum Thema X
Zeitpunkt t1
Zeitpunkt t2
Quelle: Donsbach 1987, 327
14
www.donsbach.net
15
www.donsbach.net
1. Any opinion held by a majority of citizens
2. The opinion of elites, with intellectual capacity or powers to influence society
3. Any opinion concerning public affairs (definition by object of opinion)
4. An opinion reached through a public process of learning and consensus
5. Any opinion allowed to be expressed in public without fear of social isolation
Schönbach and Becker (1995)
Dimensionen in den Definitionen von öffentlicher Meinung
16
www.donsbach.net
Ist Demoskopie = öffentliche Meinung?
Was ist öffentliche Meinung?
Normative Konzepte
Funktionale Konzepte
Soziologische und Sozialpsychologische Konzepte
Demoskopische Konzepte: Öffentliche Meinung = das, was die Demoskopie misst?
Trotz Definitions-Wirrwarr: Öffentliche Meinung ist Kernelement der Demokratie
Zwar: In repräsentativer Demokratie folgt aus Mehrheitsmeinung des Volkes kein direkter Auftrag an die Regierung
Aber: Indikator für Loyalitäts-Niveau für Regierung zwischen Wahlen
Demoskopie als Streitpunkt
17
www.donsbach.net
Gliederung
Demoskopie und öffentliche Meinung
Ursprünge
Beginn und Entwicklung der modernen Demoskopie
Nomenklatur
Unterscheidungskriterien für Befragungen
Fehlerquellen
Literatur
18
www.donsbach.net
Menschen zählen
Denken in Variablen
Menschen befragen
Repräsen-tativität
Moderne Umfrageforschung
Elemente der modernen Meinungsforschung?
19
www.donsbach.net
20
www.donsbach.net
Frühformen von Erhebungen
Altertum: bereits erste zahlenmäßige Erhebungen• Babylonien, Assyrien, Ägypten, Indien, China, Persien, Israel,
Griechenland und das römische Reich: Volkszählungen (lat. census)• König David (um 1000 v. Chr.) Volkszählungen, (deswegen angeblich
von Gott mit Pestepidemie bestraft, Samuel 24) seit Servius Tullius (Wende zum 5. Jhd. v. Chr.):
• Aufstellung von Bürgerlisten alle fünf Jahre• Zweck: Vermögensschätzungen, Wehrfähigkeit, Steuerkraft der Bürger
Mittelalter:• vereinzelte Volkszählungen in Städten
Menschen zählen
21
www.donsbach.net
Menschen zählen
Denken in Variablen
Menschen befragen
Repräsen-tativität
22
www.donsbach.net
22
23
www.donsbach.net
„Politische Arithmetik“
17.Jhd. Durchführung bevölkerungspolitischer Studien basierend auf Londoner Sterberegister
1662: „Natural and Political Observation upon the Bills of Mortality“ → Berechnung erster Sterbetafeln
Benutzung statistischer Daten (Sekundäranalysen, Primärerhebungen)
1676: Petty (engl. Arzt): „The Political Anatomy of Ireland“ → erste systematisch empirische Soziographie (über irische Bevölkerung) basierend auf Reisebeobachtung
1741: Johann Süßmilch (Feldprediger, 1707-1767): „Die göttliche Ordnung in den Veränderungen des menschlichen Geschlechts“
systematische Untersuchung von Heirats- und Geburtsraten, Fertilität und Mortalität im Verhältnis zur Bevölkerungsgröße
Quantifizierung von Menschen nach bestimmten Merkmalen
Denken in Variablen
24
www.donsbach.net
Moralstatistik
• Begründer: Belgier Adolphe Quételet (1796-1874)• numerische Erfassung persönlicher Eigenschaften und
sozialer Verhaltensweisen• Übertragen mathematischer Erkenntnisse auf Studium der
Bevölkerung (z.B. Kriminalität)• Anwendung Wahrscheinlichkeitstheorie• Anwendung multivariater Tabellen• „l`homme moyen“
menschliches Verhalten in Zahlen ausdrücken
Denken in Variablen
25
www.donsbach.net
Friedrich Jonas (Geschichte der Soziologie):
"Quetelet gibt damit die Zielvorstellung oder das Ideal für die empirische Sozialforschung, wie sie sich im 19. und beginnenden 20. Jhd. ausbreitet. Die vorurteilslose Erfassung und Beschreibung von Sozialtatsachen soll die Gesetzmäßigkeiten offenbaren, die hinter den Werten und Institutionen die menschlichen Gesellschaften zusammenhalten"
Einbettung in Geschichte der empirischen Sozialforschung
26
www.donsbach.net
Adolph Wagner (1864): Statistisch-anthropologische Untersuchung der
Gesetzmäßigkeit in den scheinbar willkürlichen menschlichen Handlungen. Hamburg 1864
Wilhelm Drobisch (1867): Die moralische Statistik und die menschliche Willensfreiheit. Leipzig
PRO
CONTRA
Aber Streit: Darf man Statistik auf Menschen anwenden?
Vgl. Noelle-Neumann & Petersen 2000: Einleitung; Oberschall, A. (1997): Empirische Sozialforschung in Deutschland 1848-1914. Freiburg & München: Alber
Denken in Variablen
27
www.donsbach.net
Wenn wir die Heiraten, die Selbstmorde, die Verbrechen untersuchen und ihre Gesetze entwickeln, so können wir ebenfalls mit großer Genauigkeit vorherbestimmen, wie viele Heiraten, Ehescheidungen, Selbstmorde, Verbrechen werden im nächsten Jahr stattfinden, und wie werden sie sich verteilen. Und die Resultate dieses Jahres werden bei der späteren Prüfung ebenso genau zutreffen, als wenn wir uns in jenem fremdartigen Staatswesen befänden. Das Merkwürdigste dabei aber bleibt, daß wir in dieser Weise als dienende Glieder eines großen Mechanismus fungieren, dennoch aber eine ganz unbeschränkte freie Bewegung besitzen, welche diesen Mechanismus nicht in seinem vorgezeichneten Gang stört“ (S.44ff.)
Adolph Wagner (1864) erklärt den Unterschied zwischen normativen und statistischen Gesetzen
Denken in Variablen
28
www.donsbach.net
29
www.donsbach.net
(747-814): Karl der Große erste auf Fragebögen beruhende Umfragen,
verschickte einheitliche Fragebögen an Bischöfe des Reiches (Vergleich ihrer Auffassung zu kirchlichen Streitfragen)
1558 – 1565: zweite bekannte Umfrage in Mexiko (span. Franziskanermönch Fray Bernadino de Sahagún)
• Bericht über Sprache und Sitten der Azteken
• standardisierte Gespräche mit Einheimischen
„das erste Projekt empirischer Sozialforschung in der Geschichte“ (Noelle-Neumann, Petersen 2000, S.39)
Menschen befragen
30
www.donsbach.net
• Ab Ende 18. Jhd.: Sozialumfragen zur Lage der Arbeiter durch einzelne Forscher
• 1787: systematische Untersuchung mittels Fragebogen zum Budget der Landarbeiter durch Engländer David Davies
• Demokratisierung → wachsende Öffentlichkeit → Wahl- und Parteiprogramme wurden mithilfe von Sozialumfragen an die Wählerschaft angeglichen
• 19. Jhd.: Interesse an sozialen Problemen und politischen Einstellungen der gewöhnlichen Leute durch Regierung, Intellektuelle
• 19./20. Jhd.: Bildung, Wahlrecht, Konsum → Zeitungen konkurrierten um Festlegung der öffentlichen Meinung
• Werbetreibende: Informationen zu Vorlieben, Bedürfnisse, Konsumverhalten
• → Markt-, Zielgruppen- und Meinungsumfragen
Menschen befragen
31
www.donsbach.net
1909-1911: Max Weber – Umfrage über physiologische Eigenschaften der Industriearbeiter in Dtl. („Nach wie vielen Stunden werden Sie müde?“)
1912: Adolf Levenstein – erste große Einstellungsumfrage in Deutschland: • 8000 schriftliche Fragebögen an Gruben-, Stahl- und
Textilarbeiter in Deutschland• Schneeball – Auswahlverfahren• 63% Rücklauf
1920er USA: Gründung von 60 Umfrageinstituten (1916-1926)
Menschen befragen
32
www.donsbach.net
Menschen zählen
Denken in Variablen
Menschen befragen
Repräsen-tativität
33
www.donsbach.net
34
www.donsbach.net
35
www.donsbach.net
Gliederung
Demoskopie und öffentliche Meinung
Ursprünge
Beginn und Entwicklung der modernen Demoskopie
Nomenklatur
Unterscheidungskriterien für Befragungen
Fehlerquellen
Literatur
36
www.donsbach.net
Oberschall, A. (2008). The Historical Roots of Public Opinion Research. In: Donsbach, W. & Traugott, M.W. (eds.): The Sage Handbook of Public Opinion Research. Los Angeles, London, New Delhi, Singapore: Sage Publications, pp.
Geburt der modernen Demoskopie: George Gallup
„In 1933, the young George Gallup, who earned a PhD in psychology from a small mid-western university and who combined careers in academia and market research, decided to draw on both these fields to create public opinion polling. He collected and studied detailed voting records for the U.S. over a century, and sent out ballots to a small but carefully selected group of voters in each state based on his analysis of past electoral behavior. He estimated results for the 1934 congressional elections with great accuracy. He continued to experiment with these hybrid methods of choosing purposive samples of voters based on political geography, and founded the American Institute of Public Opinion (AIPO) in 1935 whose goal was “impartially to measure and report public opinion on political and social issues of the day without regard to the rightness and wisdom of the views expressed.” AIPO conducted national public opinion surveys using Gallup’s method of combining purposive sampling with quotas for relatively small sizes …whose results he distributed to subscribing newspapers in the form of press releases.“
37
www.donsbach.net
Durchbruch: Gallup versus Literary Digest
Literary Digest
• 10 Mio Fragebögen versandt
• 2,3 Mio zurück
• Landon: 55%,
• Roosevelt: 41%
Tatsächliches Ergebnis:
Roosevelt: 61%
Landon: 37%
Gallup
• 3000 persönl. Interviews
• Richtige Voraussage
Ursachen:
• Niedrige Ausschöpfung: 25 %
• Verzerrte Ausschöpfung
• Verzerrte Ausgangsstichprobe: Basierten auf eigenen Abonnenten sowie Adressen von Telefon- und Autobesitzern unterrepräsentierten ärmere Bevölkerungsschichten (mehr Wähler der Demokraten)
• 1938: LD eingestelltSquire, P. (1988): Why the 1936 Literary
Digest was wrong. POQ 52, 125-33
38
www.donsbach.net
Pioniere: George Gallup, Elmor Roper, Archibald Crossley: seit 20ern Marktforschung, seit 30ern politische Themen
1937 Paul Lazarsfeld: Office of Radio Research, später Bureau of Applied Social Research
1941 National Opinion Research Center (NORC) U of Chicago
1944: Lazarsfeld, Paul F., Bernard Berelson & Hazel Gaudet: The People's Choice. New York
1946: American Association for Public Opinion Research (AAPOR)
1946 Survey Research Center U of Michigan
1947: World Association for Public Opinion Research
1947: Institut für Demoskopie Allensbach
1948: Public Opinion Quarterly
Stationen
39
www.donsbach.net
1940s 50s 60s 70s 80s 90s 2000s North
America Canada#
USA#
Latin America Brazil* Argentina
Uruguay#
Colombia# Mexico#
Puerto Rico* Venezuela#
Ecuador# Peru#
Costa Rica*
Bolivia Chile*
Dominican Rep.
Europe
Austria Czecho-slovakia Denmark Finland France#
Italy Netherlands
Norway Sweden
UK*
Germany Switzerland
Spain# Belgium
Luxembourg
Ireland Portugal#
Belgium Greece Hungary Iceland
Bosnia Bulgaria Croatia Czech Rep
Estonia Latvia Poland
Rumania Russia Ukraine
Georgia Macedonia Serbia &
Montenegro
Asia India# Japan Lebanon*
Israel# Korea UAE
Hong Kong# Pakistan Taiwan# Turkey
Singapore Thailand Vietnam
Australia/ Oceania Australia Philippines New Zeeland Malaysia Indonesia
Africa Ivory Coast* South Africa Egypt
Nigeria Zimbabwe Cameron Kenya
Countries added 14 3 9 10 13 16 8
Membership 2004
*Not member 2004 #Original member firm exchanged 64
Accumulation of Countries in Gallup International Association 1947-2004
40
www.donsbach.net
Gesellschaft für Konsumforschung (GfK) 1935, aber erste Repräsentativbefragungen in den 50ern
EMNID 1945, aber anfangs nur Adressensammlung von Vertriebenen, erste Umfragen 1948/49
1945 erste Repräsentativbefragungen in Deutschland durch OMGUS (Office of Military Government US).
1947 Institut für Demoskopie Allensbach erstes deutsches Umfrageinstitut (aber eben nicht das älteste Institut unter denjenigen, die heute Umfragen durchführen
Geschichte in Deutschland
41
www.donsbach.net
Anwendungen
42
www.donsbach.net
43
www.donsbach.net
Veröffentlichung von Umfragedaten vor Bundestagswahlen
12 Wochen vor Wahltermin - vier überregionale Zeitungen
Quelle: Brettschneider 2004
65 8333
94
168
328
651
1980 1983 1987 1990 1994 1998 20020
100
200
300
400
500
600
700
800
Und in den Medien
44
www.donsbach.net
45
www.donsbach.net
46
www.donsbach.net
47
www.donsbach.net
48
www.donsbach.net
49
www.donsbach.net
50
www.donsbach.net
Heute: Entwickelter Wissenschaftsbereich
51
www.donsbach.net
52
www.donsbach.net
53
www.donsbach.net
Simone Wack (1998): Die Branchenstruktur der Markt- und Meinungsforschung in der Bundesrepublik Deutschland von 1986 bis 1996. Eine deskriptive Analyse
54
www.donsbach.net
Jahr Anzahl Institute Umsatz in Mio DM
1987 100 717
1988 111 782
1989 117 899
1990 123 1009
1991 128 1123
1992 156 1284
1993 158 1365
1994 168 1496
1995 178 1625
Quelle: Alexander Gallus & Marion Lühe (1998): Öffentliche Meinung und Demoskopie
Markt- und Meinungsforschungsinstitute in Deutschland
55
www.donsbach.net
"Survey research is not itself an academic discipline, with a common language, a common set of principles for evaluating new ideas, and a well-organized professional reference group. Lacking such an organization, the field of survey research has evolved through the somewhat independent an uncoordinated contributions of researchers trained as statisticians, psychologists, political scientists, and sociologists. These brief encounters between survey method and bodies of theory have produced what we know about survey quality today"
Standortbestimmung
Robert M. Groves (1987): Research on Survey Data Quality. POQ 51, S156-172, S156
56
www.donsbach.net
Gliederung
Demoskopie und öffentliche Meinung
Ursprünge
Beginn und Entwicklung der modernen Demoskopie
Nomenklatur
Unterscheidungskriterien für Befragungen
Fehlerquellen
Literatur
57
www.donsbach.net
Demoskopie
Meinungsforschung
Umfragen
Wahlumfragen
Momentaufnahmen
Wahlprognosen
Exit Polls
Hochrechnungen
Das Volk messen: quantitative Bevölkerungsumfragen
Unspezifischer, kann auch durch andere, nicht-quantitative Methoden geschehen
Impliziert wiederum das quantitative Element
Prognosen über Wahlausgang auf Umfragebasis
Keine Voraussage, nur aktueller Stand
Umfragen auf Basis des stattgefundenen Verhaltens
„Prognosen sind schwierig, vor allem, wenn sie die Zukunft betreffen“...
Prognose auf Basis echter Wahlergebnisse
Spezielles Anwendungsgebiet
Tracking polls Kontinuierliche, jeweils aggregierte Umfragen
Nomenklatur amerikanischer Sozialforscher (Stuart Dodd) schlug den Begriff 1946 vor
58
www.donsbach.net
Demoskopie
Meinungsforschung
Umfragen
Wahlumfragen
Momentaufnahmen
Wahlprognosen
Exit Polls
Hochrechnungen
Tracking polls
Nomenklatur
Survey/opinion research
Public opinion research
Surveys/polls
Election surveys/polls
Current state of opinion
Election predictions/forecasts
Exit Polls
Projection
Tracking polls
Englisch
59
www.donsbach.net
Gliederung
Demoskopie und öffentliche Meinung
Ursprünge
Beginn und Entwicklung der modernen Demoskopie
Nomenklatur
Unterscheidungskriterien für Befragungen
Fehlerquellen
Literatur
60
www.donsbach.net
Face-to-face
Unterscheidungskriterien für sozialwissenschaftliche Befragungen
Grad der Ausschöpfung der Population
Grad der Standar-disierung des Stimulus
Modus der Befragung
Zeitliche Abfolge
Vollerhebung
Intensiv-Interview
Einmal-Befragung
Random
Stichprobe Quota
demoskopisches Interviewgeschlossene
offene Fragen
CAPI
telefonisch
schriftlich
Email, Internet
Paper & Pencil
CATI
CASQ
Mehrfach-Befragung
Trend
Panel
61
www.donsbach.net
62
www.donsbach.net
63
www.donsbach.net
Stichprobenverfahren
e ins tu fig m eh rstu fig
E in facheS tich prob en
g e sch ich te teS tich prob en
K lum p enS tich prob en
Z u fa lls-s t ich prob en
Q u ote n-v er fahren
S yste m a tischeA usw a h l
S yste m a tischeV er fahren
S tich prob en
Vorsortierung nach einem Merkmal („Schicht) um
über alle Schichten repräsentative Aussagen machen zu können (Bsp.
Bundesländer – große/kleine)
Auswahl von Sample Points („Klumpen“),
um nicht flächendeckend
vorgehen zu müssen
64
www.donsbach.net
Dreistufiges Stichprobensystem bestehend aus: Ca. 60.000 Flächen
Basis: statistische Bezirke (feinste Gliederungsebene der amtlichen Statistik
Daten aus Volkszählung und Bevölkerungsfortschreibung
abgegrenzt durch digitalisierte Straßenkarten
bilden Auswahlgrundlage der F2F-Stichproben
den für Random-Walk notwendige Startadressen und Vorgaben, wie Adressen der zu befragenden Privathaushalte auszuwählen sind
der Vorschrift für Auswahl der Zielperson im Haushalt (Schwedenschlüssel“ oder „next/last birthday“)
Zusätzlich: Design-Gewichtung: Ausgleich unterschiedlicher Auswahlchancen (Haushaltsgrößen)
Die ADM-Stichproben (F2F)
65
www.donsbach.net
Auswahlgrundlage für Telefonstichproben:
„Nummernraum“ aller möglichen Festnetznummern, der auch nicht eingetragenen Telefonnummern berechenbare Auswahlchance gibt,
„Verortung“ aller Nummern durch Zuordnung der Gemeinde/Stadtteilkennziffern, in denen diese Nummern mit bestimmbarer Wahrscheinlichkeit liegen, so dass feinste Regionalschichtungen möglich sind.
Institute
ziehen daraus die für ihre konkreten Projekte notwendigen Telefonstichproben und ermitteln im Kontakt, ob die Nummer existiert und einem Privathaushalt zugehört,
wählen mittels „Schwedenschlüssel“ oder „next/last birthday“ die zu befragenden Personen aus
Gleichen unterschiedliche Auswahl-Wahrscheinlichkeiten (Haushaltsgröße) in Datenanalye aus
Die ADM-Stichproben für Telefon-Umfragen
66
www.donsbach.net
67
www.donsbach.net
68
www.donsbach.net
Face-to-face
Unterscheidungskriterien für sozialwissenschaftliche Befragungen
Grad der Ausschöpfung der Population
Grad der Standar-disierung des Stimulus
Modus der Befragung
Zeitliche Abfolge
Vollerhebung
Intensiv-Interview
Einmal-Befragung
Random
Stichprobe Quota
demoskopisches Interviewgeschlossene
offene Fragen
CAPI
telefonisch
schriftlich
Email, Internet
Paper & Pencil
CATI
CASQ
Mehrfach-Befragung
Trend
Panel
69
www.donsbach.net
70
www.donsbach.net
Ebene der theoretischen Konstrukte
Ebene der Messung
Op
era
tion
alis
ieru
ng
Wahl von Indikatoren
71
www.donsbach.net
72
www.donsbach.net
73
www.donsbach.net
Face-to-face
Unterscheidungskriterien für sozialwissenschaftliche Befragungen
Grad der Ausschöpfung der Population
Grad der Standar-disierung des Stimulus
Modus der Befragung
Zeitliche Abfolge
Vollerhebung
Intensiv-Interview
Einmal-Befragung
Random
Stichprobe Quota
demoskopisches Interviewgeschlossene
offene Fragen
CAPI
telefonisch
schriftlich
Email, Internet
Paper & Pencil
CATI
CASQ
Mehrfach-Befragung
Trend
Panel
74
www.donsbach.net
Lazarsfeld et al. 1944
75
www.donsbach.net
1. Erfassen von Veränderungen: Netto vs. individuelle Veränderungen
2. Ursachen für Wandel: individuelle Veränderungen können auf Ursachen verfolgt werden
3. Menge der gemessenen Eigenschaften: Zusätzliche Fragen möglich, da dieselben Personen
4. Daten zu Vergangenheit und Zukunft: Beim Panel nicht auf Erinnerungsvermögen und eigene Kausal-Attributionen des Befragten angewiesen
5. Verlässlichkeit der Ergebnisse: Bei Trend addiert sich Zufallsfehler von zwei Stichproben auf, beim Panel nicht
Trend versus Panel: Was das Panel kann
76
www.donsbach.net
77
www.donsbach.net
78
www.donsbach.net
79
www.donsbach.net
80
www.donsbach.net
81
www.donsbach.net
Tabelle 3: Fluktuation in der Wahrnehmung des Siegers
Einige Tage später
Schröder Unentschieden Stoiber
Schröder 70% 24% 6%
Unentschieden 24% 54% 22% Direkt nach dem ersten Duell Stoiber 15% 17% 68%
Lesebeispiel: 70 Prozent derer, die Schröder direkt nach dem TV-Duell als Sieger identifizierten, waren wenige Tage später noch immer dieser Meinung, während 24 Prozent sich nicht mehr sicher waren bzw. 6 Prozent nun Stoiber den Sieg zusprachen.
Stoiber verliert stärker als Schröder
82
www.donsbach.net
83
www.donsbach.net
84
www.donsbach.net
Gliederung
Demoskopie und öffentliche Meinung
Ursprünge
Beginn und Entwicklung der modernen Demoskopie
Nomenklatur
Unterscheidungskriterien für Befragungen
Fehlerquellen
Literatur
85
www.donsbach.net
1 Verzerrung und Varianz
1.1 Fehler durch Nicht-Messung
1.1.1 Abdeckungsfehler
1.1.2 Keine Antwort-Fehler
1.1.3 Stichproben-Fehler
1.2 Messfehler
1.2.1 Interviewer
1.2.2 Befragter
1.2.3 Fragebogen
1.2.4 Interviewmodus
2 Validität und Reliabilität
2.1 Validität
2.2 Reliabilität
Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51, S156-S172
Fehlerarten der Umfrageforschung
86
www.donsbach.net
1 Verzerrung und Varianz
1.1 Fehler durch Nicht-Messung
1.1.1 Abdeckungsfehler
1.1.2 Keine Antwort-Fehler
1.1.3 Stichproben-Fehler
1.2 Messfehler
1.2.1 Interviewer
1.2.2 Befragter
1.2.3 Fragebogen
1.2.4 Interviewmodus
2 Validität und Reliabilität
2.1 Validität
2.2 Reliabilität
Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51, S156-S172
Fehlerarten der Umfrageforschung
Diskrepanz zwischen Ergebnis einer Umfrage und Ergebnis einer Vollerhebung
einer bestimmten Einheit, die dadurch zustandekommt, dass bestimmte Mitglieder
der Grundgesamtheit durch das Stichprobenverfahren nicht abgedeckt
werden
z.B. Repräsentativ für alle Dresdner Studenten: Sampling über LV-Besuch:
Doktoranden, Urlaubssemester etc. nicht dabei
z.B. Telefonumfragen: nur Telefonbesitzer
87
www.donsbach.net
1 Verzerrung und Varianz
1.1 Fehler durch Nicht-Messung
1.1.1 Abdeckungsfehler
1.1.2 Keine Antwort-Fehler
1.1.3 Stichproben-Fehler
1.2 Messfehler
1.2.1 Interviewer
1.2.2 Befragter
1.2.3 Fragebogen
1.2.4 Interviewmodus
2 Validität und Reliabilität
2.1 Validität
2.2 Reliabilität
Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51, S156-S172
Fehlerarten der Umfrageforschung
Diskrepanz zwischen Ergebnis und...Grundgesamtheit..., die dadurch
zustandekommt, dass bestimmte Mitglieder der GG nicht antworten, nicht mitmachen
bei Umfrage
d.h. zwar theoretisch in Stichprobendesign enthalten, aber aus bestimmten Gründen
nicht befragt
Nonresponse wird zu immer größerem Problem
88
www.donsbach.net
Begriffsklärung „Non-Response“
Das Fehlen von Daten eines Teils oder aller Variablen für die ausgewählten Einheiten einer Stichprobe (Schnell, 1997, S. 17)
Non-Response
Item-Nonresponse
Unit-Nonresponse
Befragungs-unfähige
VerweigererNicht-Erreichte
89
www.donsbach.net
90
www.donsbach.net
91
www.donsbach.net
92
www.donsbach.net
93
www.donsbach.net
Response rate on the Survey of Consumer Attitudes has declined dramatically over the past quarter century, averaging roughly one percentage point a year.
Moreover, the decline has accelerated in the last few years. In contrast to an average annual decline in response rate of 0.74 percentage points from 1979 to 96, the yearly decline averaged 1.50 points between 1997 and 2003.
Refusals increased an average of 0.21 percentage points per year between 1979 and 2003, whereas noncontacts increased by 0.63 points.
Thus, the perception that it has become increasingly difficult to contact households by telephone, and that noncontacts have become a more substantial part of nonresponse, is borne out by these data.
However, the relative role of noncontacts and refusals has recently reversed.
Although the growth in nonresponse from 1979 to 1996 was driven mainly by rising noncontacts, the even steeper nonresponse rise after 1996 was due mainly to a rise in refusals.
Fazit Curtin et al.
!!
94
www.donsbach.net
Entwicklung von Response Rates (persönlich-mündlich)
Rückgang der Ausschöpfungs-
quoten um ca. 5%
Beginn 90er: Ausschöpfungs-quoten im Mittel noch über 70%
Unterschiede zw. Instituten
Schnell, 1997, S. 76ff.
95
www.donsbach.net
Entwicklung von Response Rates (persönlich-mündlich)
Verweigerungs-rate Ende 60er Jahre bei 10%, Anfang 90er bei
19%
Zunahme Streuung der
Verweigerungs-rate pro
Erhebungsjahr
Schnell, 1997, S. 84ff.
96
www.donsbach.net
The most promising explanation to account for the SCA increase in both refusals and noncontacts over the past 25 years may be the rapid growth in sales and survey phone calls during the period,
though further work is required to document this.
Curtin et al. 2005
Ursachen?
Seitens Befragter
– „Oversurveying“– Angst vor Kriminalität– Datenschutz– Negative Erfahrungen
Seitens Umfrageinstitute
– Motivation der Interviewer– Zeitdruck– Zunehmend aufwändigere
Befragungsdesigns
97
www.donsbach.net
ZUMA-Nachrichten 57, November 2005
98
www.donsbach.net
99
www.donsbach.net
100
www.donsbach.net
101
www.donsbach.net
102
www.donsbach.net
ZUMA-Nachrichten 57, November 2005
103
www.donsbach.net
104
www.donsbach.net
105
www.donsbach.net
106
www.donsbach.net
* „keine Zeit“, „krank“, „alt etc.
*
107
www.donsbach.net
Erklärung?
• Motivation gestärkt? (Commitment)
• Selbstvertrauen, dass man Fragen beantworten kann?
108
www.donsbach.net
1 Verzerrung und Varianz
1.1 Fehler durch Nicht-Messung
1.1.1 Abdeckungsfehler
1.1.2 Keine Antwort-Fehler
1.1.3 Stichproben-Fehler
1.2 Messfehler
1.2.1 Interviewer
1.2.2 Befragter
1.2.3 Fragebogen
1.2.4 Interviewmodus
2 Validität und Reliabilität
2.1 Validität
2.2 Reliabilität
Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51, S156-S172
Fehlerarten der Umfrageforschung
Diskrepanz zwischen ...., die dadurch zustande kommt, dass bestimmte Mitglieder der GG ganz bewusst
ausgeklammert wurden, weil man ein Subset, eben eine Stichprobe gezogen hat
109
www.donsbach.net
Quelle: tns emnid
110
www.donsbach.net
Gliederung
Demoskopie und öffentliche Meinung
Ursprünge
Beginn und Entwicklung der modernen Demoskopie
Nomenklatur
Unterscheidungskriterien für Befragungen
Fehlerquellen
Literatur
111
www.donsbach.net
Abschnitte aus allgemeiner Methoden-Literatur
Atteslander, P. (2000), Methoden der empirischen Sozialforschung, Berlin/New York: de Gruyter.
Bortz, J. & Döring, N. (1995), Forschungsmethoden und Evaluation für Sozialwissenschaftler: Berlin: Springer.
Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag.
Diekmann, A. (1995), Empirische Sozialforschung. Reinbek: Rowohlt.
Friedrichs, J. (1982), Methoden der empirischen Sozialforschung, Opladen: Westdeutscher Verlag.
Schnell, R., Hill, P. & Esser, E. (1992), Methoden der empirischen Sozialforschung, München: Oldenbourg.
Literatur
112
www.donsbach.net
Einführung in die standardisierte Befragung
Donsbach, W. & Traugott, M.W. (eds.): The Sage Handbook of Public Opinion Research. Los Angeles, London, New Delhi, Singapore: Sage Publications, 2008
Groves, R. (1987). Research on survey data quality. Public Opinion Quarterly 52 (4). 156-172.
Kaase, M. (1999). Qualitätskriterien der Umfrageforschung. Berlin: Akademie-Verlag.
Wüst, A.M. (1998). Die Allgemeine Bevölkerungsumfrage der Sozialwissenschaften als Telefonumfrage. ZUMA-Arbeitsbericht 98(04).
Price, V. & Neijens, P. (1997). Opinion quality in public opinion research. International Journal of Public Opinion Research 9, 336-360.
Noelle-Neumann, E., Petersen, T. (2000). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin.: Springer.
Koch, W. (1998). Wenn "mehr" nicht gleichbedeutend mit "besser" ist: Ausschöpfungsquoten und Stichprobenverzerrungen in allgemeinen Bevölkerungsumfragen. ZUMA-Nachrichten, 22(42).
Porst, R., Ranft, S.& Ruoff, B. (1998). Strategien und Maßnahmen zur Erhöhung der Ausschöpfungsquoten bei sozialwissenschaftlichen Umfragen. Ein Literaturbericht. ZUMA-Arbeitsbericht 98(07).