Www.donsbach.net Prof. Donsbach Philosophische Fakultät – Institut für...

Preview:

Citation preview

www.donsbach.netProf. Donsbach

Philosophische Fakultät – Institut für Kommunikationswissenschaft

Ringvorlesung

Methoden der empirischen Sozialforschung II

Sommersemester 2010

2

www.donsbach.net

Ablauf

Sommersemester 2010

4. Komplex Durchführung von Befragungen

16 13.04.10 Hagen Inhaltsanalysen I

17 20.04.10 Hagen Inhaltsanalysen II

18 27.04.10 Donsbach Einführung in die standardisierte Befragung

19 04.05.10 Donsbach Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft

20 11.05.10 DonsbachSpezielle Verfahrensformen bei persönlichen, telefonischen und schriftlichen Umfragen

21 18.05.10 Donsbach Neuere Formen der quantitativen Befragung

22 01.06.10 Gastvorlesung (Thema ist noch offen)

www.donsbach.netProf. Donsbach

Vorlesung 21

Einführung in die standardisierte Befragung

Prof. Dr. Wolfgang DonsbachInstitut für Kommunikationswissenschaft

4

www.donsbach.net

Gliederung

Demoskopie und öffentliche Meinung

Ursprünge

Beginn und Entwicklung der modernen Demoskopie

Nomenklatur

Unterscheidungskriterien für Befragungen

Fehlerquellen

Literatur

5

www.donsbach.net

6

www.donsbach.net

7

www.donsbach.net

8

www.donsbach.net

Merkantilismus, Kapitalismus

Aufstrebendes Bürgertum

(noch) unpolitische Öffentlichkeit

Ende 16. Jhd./17. Jhd.

(dann) politische Themen

England: frühes18. Jhd

Legitimiert sich gegen Autorität

Gemeinwohl Egalitär

Rational

Denaturierung/ Strukturwandel

Kaffeehäuser/Salons

„topics of government“

Öffentliche Meinung bei Habermas: Grundannahmen

9

www.donsbach.net

10

www.donsbach.net

Hoher Entscheidungs-

bedarf von Gesellschaften

Gesellschaften sind komplex

Aufmerksamkeit des Bürgers ist ein

knappes Gut

Reduktion von Komplexität durch

die öffentliche Meinung

Aufmerksamkeitsregeln

Entsch

eid

ungsre

geln

Meinungsbildung, u.a. in den entscheidungs- befugten Instanzen

Öffentliche Meinung bei Luhmann: Grundannahmen

11

www.donsbach.net

12

www.donsbach.net

"Unter öffentlicher Meinung versteht man wertgeladene, insbesondere moralisch aufgeladene Meinungen und Verhaltensweisen, die man – wo es sich um festgewordene Übereinstimmung handelt, zum Beispiel Sitte, Dogma – öffentlich zeigen muss, wenn man sich nicht isolieren will; oder bei im Wandel begriffenem ‚flüssigen‘ Zustand öffentlich zeigen kann, ohne sich zu isolieren."

Noelle-Neumann 1996

Definition der öffentlichen Meinung bei Noelle-Neumann

13

www.donsbach.net

Person A Andere

Eigene Meinung zu Thema X

Wahrnehmung der Umweltmeinung zu

Thema X

aktuell

Zukunft

konsonant

dissonant

Direkte Umwelt-wahrnehmung

Wahrnehmung aus Medien

Keine Isolationsfurcht

Reden

Isolationsfurcht Schweigen

Wahrnehmung der Umwelt-

meinung zum Thema X

Zeitpunkt t1

Zeitpunkt t2

Quelle: Donsbach 1987, 327

14

www.donsbach.net

15

www.donsbach.net

1. Any opinion held by a majority of citizens

2. The opinion of elites, with intellectual capacity or powers to influence society

3. Any opinion concerning public affairs (definition by object of opinion)

4. An opinion reached through a public process of learning and consensus

5. Any opinion allowed to be expressed in public without fear of social isolation

Schönbach and Becker (1995)

Dimensionen in den Definitionen von öffentlicher Meinung

16

www.donsbach.net

Ist Demoskopie = öffentliche Meinung?

Was ist öffentliche Meinung?

Normative Konzepte

Funktionale Konzepte

Soziologische und Sozialpsychologische Konzepte

Demoskopische Konzepte: Öffentliche Meinung = das, was die Demoskopie misst?

Trotz Definitions-Wirrwarr: Öffentliche Meinung ist Kernelement der Demokratie

Zwar: In repräsentativer Demokratie folgt aus Mehrheitsmeinung des Volkes kein direkter Auftrag an die Regierung

Aber: Indikator für Loyalitäts-Niveau für Regierung zwischen Wahlen

Demoskopie als Streitpunkt

17

www.donsbach.net

Gliederung

Demoskopie und öffentliche Meinung

Ursprünge

Beginn und Entwicklung der modernen Demoskopie

Nomenklatur

Unterscheidungskriterien für Befragungen

Fehlerquellen

Literatur

18

www.donsbach.net

Menschen zählen

Denken in Variablen

Menschen befragen

Repräsen-tativität

Moderne Umfrageforschung

Elemente der modernen Meinungsforschung?

19

www.donsbach.net

20

www.donsbach.net

Frühformen von Erhebungen

Altertum: bereits erste zahlenmäßige Erhebungen• Babylonien, Assyrien, Ägypten, Indien, China, Persien, Israel,

Griechenland und das römische Reich: Volkszählungen (lat. census)• König David (um 1000 v. Chr.) Volkszählungen, (deswegen angeblich

von Gott mit Pestepidemie bestraft, Samuel 24) seit Servius Tullius (Wende zum 5. Jhd. v. Chr.):

• Aufstellung von Bürgerlisten alle fünf Jahre• Zweck: Vermögensschätzungen, Wehrfähigkeit, Steuerkraft der Bürger

Mittelalter:• vereinzelte Volkszählungen in Städten

Menschen zählen

21

www.donsbach.net

Menschen zählen

Denken in Variablen

Menschen befragen

Repräsen-tativität

22

www.donsbach.net

22

23

www.donsbach.net

„Politische Arithmetik“

17.Jhd. Durchführung bevölkerungspolitischer Studien basierend auf Londoner Sterberegister

1662: „Natural and Political Observation upon the Bills of Mortality“ → Berechnung erster Sterbetafeln

Benutzung statistischer Daten (Sekundäranalysen, Primärerhebungen)

1676: Petty (engl. Arzt): „The Political Anatomy of Ireland“ → erste systematisch empirische Soziographie (über irische Bevölkerung) basierend auf Reisebeobachtung

1741: Johann Süßmilch (Feldprediger, 1707-1767): „Die göttliche Ordnung in den Veränderungen des menschlichen Geschlechts“

systematische Untersuchung von Heirats- und Geburtsraten, Fertilität und Mortalität im Verhältnis zur Bevölkerungsgröße

Quantifizierung von Menschen nach bestimmten Merkmalen

Denken in Variablen

24

www.donsbach.net

Moralstatistik

• Begründer: Belgier Adolphe Quételet (1796-1874)• numerische Erfassung persönlicher Eigenschaften und

sozialer Verhaltensweisen• Übertragen mathematischer Erkenntnisse auf Studium der

Bevölkerung (z.B. Kriminalität)• Anwendung Wahrscheinlichkeitstheorie• Anwendung multivariater Tabellen• „l`homme moyen“

menschliches Verhalten in Zahlen ausdrücken

Denken in Variablen

25

www.donsbach.net

 Friedrich Jonas (Geschichte der Soziologie):

"Quetelet gibt damit die Zielvorstellung oder das Ideal für die empirische Sozialforschung, wie sie sich im 19. und beginnenden 20. Jhd. ausbreitet. Die vorurteilslose Erfassung und Beschreibung von Sozialtatsachen soll die Gesetzmäßigkeiten offenbaren, die hinter den Werten und Institutionen die menschlichen Gesellschaften zusammenhalten"

Einbettung in Geschichte der empirischen Sozialforschung

26

www.donsbach.net

Adolph Wagner (1864): Statistisch-anthropologische Untersuchung der

Gesetzmäßigkeit in den scheinbar willkürlichen menschlichen Handlungen. Hamburg 1864

Wilhelm Drobisch (1867): Die moralische Statistik und die menschliche Willensfreiheit. Leipzig

PRO

CONTRA

Aber Streit: Darf man Statistik auf Menschen anwenden?

Vgl. Noelle-Neumann & Petersen 2000: Einleitung; Oberschall, A. (1997): Empirische Sozialforschung in Deutschland 1848-1914. Freiburg & München: Alber

Denken in Variablen

27

www.donsbach.net

Wenn wir die Heiraten, die Selbstmorde, die Verbrechen untersuchen und ihre Gesetze entwickeln, so können wir ebenfalls mit großer Genauigkeit vorherbestimmen, wie viele Heiraten, Ehescheidungen, Selbstmorde, Verbrechen werden im nächsten Jahr stattfinden, und wie werden sie sich verteilen. Und die Resultate dieses Jahres werden bei der späteren Prüfung ebenso genau zutreffen, als wenn wir uns in jenem fremdartigen Staatswesen befänden. Das Merkwürdigste dabei aber bleibt, daß wir in dieser Weise als dienende Glieder eines großen Mechanismus fungieren, dennoch aber eine ganz unbeschränkte freie Bewegung besitzen, welche diesen Mechanismus nicht in seinem vorgezeichneten Gang stört“ (S.44ff.)

Adolph Wagner (1864) erklärt den Unterschied zwischen normativen und statistischen Gesetzen

Denken in Variablen

28

www.donsbach.net

29

www.donsbach.net

(747-814): Karl der Große erste auf Fragebögen beruhende Umfragen,

verschickte einheitliche Fragebögen an Bischöfe des Reiches (Vergleich ihrer Auffassung zu kirchlichen Streitfragen)

1558 – 1565: zweite bekannte Umfrage in Mexiko (span. Franziskanermönch Fray Bernadino de Sahagún)

• Bericht über Sprache und Sitten der Azteken

• standardisierte Gespräche mit Einheimischen

„das erste Projekt empirischer Sozialforschung in der Geschichte“ (Noelle-Neumann, Petersen 2000, S.39)

Menschen befragen

30

www.donsbach.net

• Ab Ende 18. Jhd.: Sozialumfragen zur Lage der Arbeiter durch einzelne Forscher

• 1787: systematische Untersuchung mittels Fragebogen zum Budget der Landarbeiter durch Engländer David Davies

• Demokratisierung → wachsende Öffentlichkeit → Wahl- und Parteiprogramme wurden mithilfe von Sozialumfragen an die Wählerschaft angeglichen

• 19. Jhd.: Interesse an sozialen Problemen und politischen Einstellungen der gewöhnlichen Leute durch Regierung, Intellektuelle

• 19./20. Jhd.: Bildung, Wahlrecht, Konsum → Zeitungen konkurrierten um Festlegung der öffentlichen Meinung

• Werbetreibende: Informationen zu Vorlieben, Bedürfnisse, Konsumverhalten

• → Markt-, Zielgruppen- und Meinungsumfragen

Menschen befragen

31

www.donsbach.net

1909-1911: Max Weber – Umfrage über physiologische Eigenschaften der Industriearbeiter in Dtl. („Nach wie vielen Stunden werden Sie müde?“)

1912: Adolf Levenstein – erste große Einstellungsumfrage in Deutschland: • 8000 schriftliche Fragebögen an Gruben-, Stahl- und

Textilarbeiter in Deutschland• Schneeball – Auswahlverfahren• 63% Rücklauf

1920er USA: Gründung von 60 Umfrageinstituten (1916-1926)

Menschen befragen

32

www.donsbach.net

Menschen zählen

Denken in Variablen

Menschen befragen

Repräsen-tativität

33

www.donsbach.net

34

www.donsbach.net

35

www.donsbach.net

Gliederung

Demoskopie und öffentliche Meinung

Ursprünge

Beginn und Entwicklung der modernen Demoskopie

Nomenklatur

Unterscheidungskriterien für Befragungen

Fehlerquellen

Literatur

36

www.donsbach.net

Oberschall, A. (2008). The Historical Roots of Public Opinion Research. In: Donsbach, W. & Traugott, M.W. (eds.): The Sage Handbook of Public Opinion Research. Los Angeles, London, New Delhi, Singapore: Sage Publications, pp.

Geburt der modernen Demoskopie: George Gallup

„In 1933, the young George Gallup, who earned a PhD in psychology from a small mid-western university and who combined careers in academia and market research, decided to draw on both these fields to create public opinion polling. He collected and studied detailed voting records for the U.S. over a century, and sent out ballots to a small but carefully selected group of voters in each state based on his analysis of past electoral behavior. He estimated results for the 1934 congressional elections with great accuracy. He continued to experiment with these hybrid methods of choosing purposive samples of voters based on political geography, and founded the American Institute of Public Opinion (AIPO) in 1935 whose goal was “impartially to measure and report public opinion on political and social issues of the day without regard to the rightness and wisdom of the views expressed.” AIPO conducted national public opinion surveys using Gallup’s method of combining purposive sampling with quotas for relatively small sizes …whose results he distributed to subscribing newspapers in the form of press releases.“

37

www.donsbach.net

Durchbruch: Gallup versus Literary Digest

Literary Digest

• 10 Mio Fragebögen versandt

• 2,3 Mio zurück

• Landon: 55%,

• Roosevelt: 41%

Tatsächliches Ergebnis:

Roosevelt: 61%

Landon: 37%

Gallup

• 3000 persönl. Interviews

• Richtige Voraussage

Ursachen:

• Niedrige Ausschöpfung: 25 %

• Verzerrte Ausschöpfung

• Verzerrte Ausgangsstichprobe: Basierten auf eigenen Abonnenten sowie Adressen von Telefon- und Autobesitzern unterrepräsentierten ärmere Bevölkerungsschichten (mehr Wähler der Demokraten)

• 1938: LD eingestelltSquire, P. (1988): Why the 1936 Literary

Digest was wrong. POQ 52, 125-33

38

www.donsbach.net

Pioniere: George Gallup, Elmor Roper, Archibald Crossley: seit 20ern Marktforschung, seit 30ern politische Themen

1937 Paul Lazarsfeld: Office of Radio Research, später Bureau of Applied Social Research

1941 National Opinion Research Center (NORC) U of Chicago

1944: Lazarsfeld, Paul F., Bernard Berelson & Hazel Gaudet: The People's Choice. New York

1946: American Association for Public Opinion Research (AAPOR)

1946 Survey Research Center U of Michigan

1947: World Association for Public Opinion Research

1947: Institut für Demoskopie Allensbach

1948: Public Opinion Quarterly

Stationen

39

www.donsbach.net

1940s 50s 60s 70s 80s 90s 2000s North

America Canada#

USA#

Latin America Brazil* Argentina

Uruguay#

Colombia# Mexico#

Puerto Rico* Venezuela#

Ecuador# Peru#

Costa Rica*

Bolivia Chile*

Dominican Rep.

Europe

Austria Czecho-slovakia Denmark Finland France#

Italy Netherlands

Norway Sweden

UK*

Germany Switzerland

Spain# Belgium

Luxembourg

Ireland Portugal#

Belgium Greece Hungary Iceland

Bosnia Bulgaria Croatia Czech Rep

Estonia Latvia Poland

Rumania Russia Ukraine

Georgia Macedonia Serbia &

Montenegro

Asia India# Japan Lebanon*

Israel# Korea UAE

Hong Kong# Pakistan Taiwan# Turkey

Singapore Thailand Vietnam

Australia/ Oceania Australia Philippines New Zeeland Malaysia Indonesia

Africa Ivory Coast* South Africa Egypt

Nigeria Zimbabwe Cameron Kenya

Countries added 14 3 9 10 13 16 8

Membership 2004

*Not member 2004 #Original member firm exchanged 64

Accumulation of Countries in Gallup International Association 1947-2004

40

www.donsbach.net

Gesellschaft für Konsumforschung (GfK) 1935, aber erste Repräsentativbefragungen in den 50ern

EMNID 1945, aber anfangs nur Adressensammlung von Vertriebenen, erste Umfragen 1948/49

1945 erste Repräsentativbefragungen in Deutschland durch OMGUS (Office of Military Government US).

1947 Institut für Demoskopie Allensbach erstes deutsches Umfrageinstitut (aber eben nicht das älteste Institut unter denjenigen, die heute Umfragen durchführen

Geschichte in Deutschland

41

www.donsbach.net

Anwendungen

42

www.donsbach.net

43

www.donsbach.net

Veröffentlichung von Umfragedaten vor Bundestagswahlen

12 Wochen vor Wahltermin - vier überregionale Zeitungen

Quelle: Brettschneider 2004

65 8333

94

168

328

651

1980 1983 1987 1990 1994 1998 20020

100

200

300

400

500

600

700

800

Und in den Medien

44

www.donsbach.net

45

www.donsbach.net

46

www.donsbach.net

47

www.donsbach.net

48

www.donsbach.net

49

www.donsbach.net

50

www.donsbach.net

Heute: Entwickelter Wissenschaftsbereich

51

www.donsbach.net

52

www.donsbach.net

53

www.donsbach.net

Simone Wack (1998): Die Branchenstruktur der Markt- und Meinungsforschung in der Bundesrepublik Deutschland von 1986 bis 1996. Eine deskriptive Analyse

54

www.donsbach.net

Jahr Anzahl Institute Umsatz in Mio DM

1987 100 717

1988 111 782

1989 117 899

1990 123 1009

1991 128 1123

1992 156 1284

1993 158 1365

1994 168 1496

1995 178 1625

Quelle: Alexander Gallus & Marion Lühe (1998): Öffentliche Meinung und Demoskopie

Markt- und Meinungsforschungsinstitute in Deutschland

55

www.donsbach.net

 "Survey research is not itself an academic discipline, with a common language, a common set of principles for evaluating new ideas, and a well-organized professional reference group. Lacking such an organization, the field of survey research has evolved through the somewhat independent an uncoordinated contributions of researchers trained as statisticians, psychologists, political scientists, and sociologists. These brief encounters between survey method and bodies of theory have produced what we know about survey quality today"

Standortbestimmung

Robert M. Groves (1987): Research on Survey Data Quality. POQ 51, S156-172, S156

56

www.donsbach.net

Gliederung

Demoskopie und öffentliche Meinung

Ursprünge

Beginn und Entwicklung der modernen Demoskopie

Nomenklatur

Unterscheidungskriterien für Befragungen

Fehlerquellen

Literatur

57

www.donsbach.net

Demoskopie

Meinungsforschung

Umfragen

Wahlumfragen

Momentaufnahmen

Wahlprognosen

Exit Polls

Hochrechnungen

Das Volk messen: quantitative Bevölkerungsumfragen

Unspezifischer, kann auch durch andere, nicht-quantitative Methoden geschehen

Impliziert wiederum das quantitative Element

Prognosen über Wahlausgang auf Umfragebasis

Keine Voraussage, nur aktueller Stand

Umfragen auf Basis des stattgefundenen Verhaltens

„Prognosen sind schwierig, vor allem, wenn sie die Zukunft betreffen“...

Prognose auf Basis echter Wahlergebnisse

Spezielles Anwendungsgebiet

Tracking polls Kontinuierliche, jeweils aggregierte Umfragen

Nomenklatur amerikanischer Sozialforscher (Stuart Dodd) schlug den Begriff 1946 vor

58

www.donsbach.net

Demoskopie

Meinungsforschung

Umfragen

Wahlumfragen

Momentaufnahmen

Wahlprognosen

Exit Polls

Hochrechnungen

Tracking polls

Nomenklatur

Survey/opinion research

Public opinion research

Surveys/polls

Election surveys/polls

Current state of opinion

Election predictions/forecasts

Exit Polls

Projection

Tracking polls

Englisch

59

www.donsbach.net

Gliederung

Demoskopie und öffentliche Meinung

Ursprünge

Beginn und Entwicklung der modernen Demoskopie

Nomenklatur

Unterscheidungskriterien für Befragungen

Fehlerquellen

Literatur

60

www.donsbach.net

Face-to-face

Unterscheidungskriterien für sozialwissenschaftliche Befragungen

Grad der Ausschöpfung der Population

Grad der Standar-disierung des Stimulus

Modus der Befragung

Zeitliche Abfolge

Vollerhebung

Intensiv-Interview

Einmal-Befragung

Random

Stichprobe Quota

demoskopisches Interviewgeschlossene

offene Fragen

CAPI

telefonisch

schriftlich

Email, Internet

Paper & Pencil

CATI

CASQ

Mehrfach-Befragung

Trend

Panel

61

www.donsbach.net

62

www.donsbach.net

63

www.donsbach.net

Stichprobenverfahren

e ins tu fig m eh rstu fig

E in facheS tich prob en

g e sch ich te teS tich prob en

K lum p enS tich prob en

Z u fa lls-s t ich prob en

Q u ote n-v er fahren

S yste m a tischeA usw a h l

S yste m a tischeV er fahren

S tich prob en

Vorsortierung nach einem Merkmal („Schicht) um

über alle Schichten repräsentative Aussagen machen zu können (Bsp.

Bundesländer – große/kleine)

Auswahl von Sample Points („Klumpen“),

um nicht flächendeckend

vorgehen zu müssen

64

www.donsbach.net

Dreistufiges Stichprobensystem bestehend aus: Ca. 60.000 Flächen

Basis: statistische Bezirke (feinste Gliederungsebene der amtlichen Statistik

Daten aus Volkszählung und Bevölkerungsfortschreibung

abgegrenzt durch digitalisierte Straßenkarten

bilden Auswahlgrundlage der F2F-Stichproben

den für Random-Walk notwendige Startadressen und Vorgaben, wie Adressen der zu befragenden Privathaushalte auszuwählen sind

der Vorschrift für Auswahl der Zielperson im Haushalt (Schwedenschlüssel“ oder „next/last birthday“)

Zusätzlich: Design-Gewichtung: Ausgleich unterschiedlicher Auswahlchancen (Haushaltsgrößen)

Die ADM-Stichproben (F2F)

65

www.donsbach.net

Auswahlgrundlage für Telefonstichproben:

„Nummernraum“ aller möglichen Festnetznummern, der auch nicht eingetragenen Telefonnummern berechenbare Auswahlchance gibt,

„Verortung“ aller Nummern durch Zuordnung der Gemeinde/Stadtteilkennziffern, in denen diese Nummern mit bestimmbarer Wahrscheinlichkeit liegen, so dass feinste Regionalschichtungen möglich sind.

Institute

ziehen daraus die für ihre konkreten Projekte notwendigen Telefonstichproben und ermitteln im Kontakt, ob die Nummer existiert und einem Privathaushalt zugehört,

wählen mittels „Schwedenschlüssel“ oder „next/last birthday“ die zu befragenden Personen aus

Gleichen unterschiedliche Auswahl-Wahrscheinlichkeiten (Haushaltsgröße) in Datenanalye aus

Die ADM-Stichproben für Telefon-Umfragen

66

www.donsbach.net

67

www.donsbach.net

68

www.donsbach.net

Face-to-face

Unterscheidungskriterien für sozialwissenschaftliche Befragungen

Grad der Ausschöpfung der Population

Grad der Standar-disierung des Stimulus

Modus der Befragung

Zeitliche Abfolge

Vollerhebung

Intensiv-Interview

Einmal-Befragung

Random

Stichprobe Quota

demoskopisches Interviewgeschlossene

offene Fragen

CAPI

telefonisch

schriftlich

Email, Internet

Paper & Pencil

CATI

CASQ

Mehrfach-Befragung

Trend

Panel

69

www.donsbach.net

70

www.donsbach.net

Ebene der theoretischen Konstrukte

Ebene der Messung

Op

era

tion

alis

ieru

ng

Wahl von Indikatoren

71

www.donsbach.net

72

www.donsbach.net

73

www.donsbach.net

Face-to-face

Unterscheidungskriterien für sozialwissenschaftliche Befragungen

Grad der Ausschöpfung der Population

Grad der Standar-disierung des Stimulus

Modus der Befragung

Zeitliche Abfolge

Vollerhebung

Intensiv-Interview

Einmal-Befragung

Random

Stichprobe Quota

demoskopisches Interviewgeschlossene

offene Fragen

CAPI

telefonisch

schriftlich

Email, Internet

Paper & Pencil

CATI

CASQ

Mehrfach-Befragung

Trend

Panel

74

www.donsbach.net

Lazarsfeld et al. 1944

75

www.donsbach.net

1. Erfassen von Veränderungen: Netto vs. individuelle Veränderungen

2. Ursachen für Wandel: individuelle Veränderungen können auf Ursachen verfolgt werden

3. Menge der gemessenen Eigenschaften: Zusätzliche Fragen möglich, da dieselben Personen

4. Daten zu Vergangenheit und Zukunft: Beim Panel nicht auf Erinnerungsvermögen und eigene Kausal-Attributionen des Befragten angewiesen

5. Verlässlichkeit der Ergebnisse: Bei Trend addiert sich Zufallsfehler von zwei Stichproben auf, beim Panel nicht

Trend versus Panel: Was das Panel kann

76

www.donsbach.net

77

www.donsbach.net

78

www.donsbach.net

79

www.donsbach.net

80

www.donsbach.net

81

www.donsbach.net

Tabelle 3: Fluktuation in der Wahrnehmung des Siegers

Einige Tage später

Schröder Unentschieden Stoiber

Schröder 70% 24% 6%

Unentschieden 24% 54% 22% Direkt nach dem ersten Duell Stoiber 15% 17% 68%

Lesebeispiel: 70 Prozent derer, die Schröder direkt nach dem TV-Duell als Sieger identifizierten, waren wenige Tage später noch immer dieser Meinung, während 24 Prozent sich nicht mehr sicher waren bzw. 6 Prozent nun Stoiber den Sieg zusprachen.

Stoiber verliert stärker als Schröder

82

www.donsbach.net

83

www.donsbach.net

84

www.donsbach.net

Gliederung

Demoskopie und öffentliche Meinung

Ursprünge

Beginn und Entwicklung der modernen Demoskopie

Nomenklatur

Unterscheidungskriterien für Befragungen

Fehlerquellen

Literatur

85

www.donsbach.net

 1 Verzerrung und Varianz 

1.1 Fehler durch Nicht-Messung

1.1.1 Abdeckungsfehler

1.1.2 Keine Antwort-Fehler

1.1.3 Stichproben-Fehler

1.2 Messfehler

1.2.1 Interviewer

1.2.2 Befragter

1.2.3 Fragebogen

1.2.4 Interviewmodus

2 Validität und Reliabilität

 2.1 Validität

2.2 Reliabilität

Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51, S156-S172

Fehlerarten der Umfrageforschung

86

www.donsbach.net

 1 Verzerrung und Varianz 

1.1 Fehler durch Nicht-Messung

1.1.1 Abdeckungsfehler

1.1.2 Keine Antwort-Fehler

1.1.3 Stichproben-Fehler

1.2 Messfehler

1.2.1 Interviewer

1.2.2 Befragter

1.2.3 Fragebogen

1.2.4 Interviewmodus

2 Validität und Reliabilität

 2.1 Validität

2.2 Reliabilität

Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51, S156-S172

Fehlerarten der Umfrageforschung

Diskrepanz zwischen Ergebnis einer Umfrage und Ergebnis einer Vollerhebung

einer bestimmten Einheit, die dadurch zustandekommt, dass bestimmte Mitglieder

der Grundgesamtheit durch das Stichprobenverfahren nicht abgedeckt

werden

z.B. Repräsentativ für alle Dresdner Studenten: Sampling über LV-Besuch:

Doktoranden, Urlaubssemester etc. nicht dabei

z.B. Telefonumfragen: nur Telefonbesitzer

87

www.donsbach.net

 1 Verzerrung und Varianz 

1.1 Fehler durch Nicht-Messung

1.1.1 Abdeckungsfehler

1.1.2 Keine Antwort-Fehler

1.1.3 Stichproben-Fehler

1.2 Messfehler

1.2.1 Interviewer

1.2.2 Befragter

1.2.3 Fragebogen

1.2.4 Interviewmodus

2 Validität und Reliabilität

 2.1 Validität

2.2 Reliabilität

Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51, S156-S172

Fehlerarten der Umfrageforschung

Diskrepanz zwischen Ergebnis und...Grundgesamtheit..., die dadurch

zustandekommt, dass bestimmte Mitglieder der GG nicht antworten, nicht mitmachen

bei Umfrage

d.h. zwar theoretisch in Stichprobendesign enthalten, aber aus bestimmten Gründen

nicht befragt

Nonresponse wird zu immer größerem Problem

88

www.donsbach.net

Begriffsklärung „Non-Response“

Das Fehlen von Daten eines Teils oder aller Variablen für die ausgewählten Einheiten einer Stichprobe (Schnell, 1997, S. 17)

Non-Response

Item-Nonresponse

Unit-Nonresponse

Befragungs-unfähige

VerweigererNicht-Erreichte

89

www.donsbach.net

90

www.donsbach.net

91

www.donsbach.net

92

www.donsbach.net

93

www.donsbach.net

Response rate on the Survey of Consumer Attitudes has declined dramatically over the past quarter century, averaging roughly one percentage point a year.

Moreover, the decline has accelerated in the last few years. In contrast to an average annual decline in response rate of 0.74 percentage points from 1979 to 96, the yearly decline averaged 1.50 points between 1997 and 2003.

Refusals increased an average of 0.21 percentage points per year between 1979 and 2003, whereas noncontacts increased by 0.63 points.

Thus, the perception that it has become increasingly difficult to contact households by telephone, and that noncontacts have become a more substantial part of nonresponse, is borne out by these data.

However, the relative role of noncontacts and refusals has recently reversed.

Although the growth in nonresponse from 1979 to 1996 was driven mainly by rising noncontacts, the even steeper nonresponse rise after 1996 was due mainly to a rise in refusals.

Fazit Curtin et al.

!!

94

www.donsbach.net

Entwicklung von Response Rates (persönlich-mündlich)

Rückgang der Ausschöpfungs-

quoten um ca. 5%

Beginn 90er: Ausschöpfungs-quoten im Mittel noch über 70%

Unterschiede zw. Instituten

Schnell, 1997, S. 76ff.

95

www.donsbach.net

Entwicklung von Response Rates (persönlich-mündlich)

Verweigerungs-rate Ende 60er Jahre bei 10%, Anfang 90er bei

19%

Zunahme Streuung der

Verweigerungs-rate pro

Erhebungsjahr

Schnell, 1997, S. 84ff.

96

www.donsbach.net

The most promising explanation to account for the SCA increase in both refusals and noncontacts over the past 25 years may be the rapid growth in sales and survey phone calls during the period,

though further work is required to document this.

Curtin et al. 2005

Ursachen?

Seitens Befragter

– „Oversurveying“– Angst vor Kriminalität– Datenschutz– Negative Erfahrungen

Seitens Umfrageinstitute

– Motivation der Interviewer– Zeitdruck– Zunehmend aufwändigere

Befragungsdesigns

97

www.donsbach.net

ZUMA-Nachrichten 57, November 2005

98

www.donsbach.net

99

www.donsbach.net

100

www.donsbach.net

101

www.donsbach.net

102

www.donsbach.net

ZUMA-Nachrichten 57, November 2005

103

www.donsbach.net

104

www.donsbach.net

105

www.donsbach.net

106

www.donsbach.net

* „keine Zeit“, „krank“, „alt etc.

*

107

www.donsbach.net

Erklärung?

• Motivation gestärkt? (Commitment)

• Selbstvertrauen, dass man Fragen beantworten kann?

108

www.donsbach.net

 1 Verzerrung und Varianz 

1.1 Fehler durch Nicht-Messung

1.1.1 Abdeckungsfehler

1.1.2 Keine Antwort-Fehler

1.1.3 Stichproben-Fehler

1.2 Messfehler

1.2.1 Interviewer

1.2.2 Befragter

1.2.3 Fragebogen

1.2.4 Interviewmodus

2 Validität und Reliabilität

 2.1 Validität

2.2 Reliabilität

Groves, Robert M. (1987): Research On Survey Data Quality. Public Opinion Quarterly 51, S156-S172

Fehlerarten der Umfrageforschung

Diskrepanz zwischen ...., die dadurch zustande kommt, dass bestimmte Mitglieder der GG ganz bewusst

ausgeklammert wurden, weil man ein Subset, eben eine Stichprobe gezogen hat

109

www.donsbach.net

Quelle: tns emnid

110

www.donsbach.net

Gliederung

Demoskopie und öffentliche Meinung

Ursprünge

Beginn und Entwicklung der modernen Demoskopie

Nomenklatur

Unterscheidungskriterien für Befragungen

Fehlerquellen

Literatur

111

www.donsbach.net

Abschnitte aus allgemeiner Methoden-Literatur

Atteslander, P. (2000), Methoden der empirischen Sozialforschung, Berlin/New York: de Gruyter.

Bortz, J. & Döring, N. (1995), Forschungsmethoden und Evaluation für Sozialwissenschaftler: Berlin: Springer.

Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag.

Diekmann, A. (1995), Empirische Sozialforschung. Reinbek: Rowohlt.

Friedrichs, J. (1982), Methoden der empirischen Sozialforschung, Opladen: Westdeutscher Verlag.

Schnell, R., Hill, P. & Esser, E. (1992), Methoden der empirischen Sozialforschung, München: Oldenbourg.

Literatur

112

www.donsbach.net

Einführung in die standardisierte Befragung

Donsbach, W. & Traugott, M.W. (eds.): The Sage Handbook of Public Opinion Research. Los Angeles, London, New Delhi, Singapore: Sage Publications, 2008

Groves, R. (1987). Research on survey data quality. Public Opinion Quarterly 52 (4). 156-172.

Kaase, M. (1999). Qualitätskriterien der Umfrageforschung. Berlin: Akademie-Verlag.

Wüst, A.M. (1998). Die Allgemeine Bevölkerungsumfrage der Sozialwissenschaften als Telefonumfrage. ZUMA-Arbeitsbericht 98(04).

Price, V. & Neijens, P. (1997). Opinion quality in public opinion research. International Journal of Public Opinion Research 9, 336-360.

Noelle-Neumann, E., Petersen, T. (2000). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin.: Springer.

Koch, W. (1998). Wenn "mehr" nicht gleichbedeutend mit "besser" ist: Ausschöpfungsquoten und Stichprobenverzerrungen in allgemeinen Bevölkerungsumfragen. ZUMA-Nachrichten, 22(42).

Porst, R., Ranft, S.& Ruoff, B. (1998). Strategien und Maßnahmen zur Erhöhung der Ausschöpfungsquoten bei sozialwissenschaftlichen Umfragen. Ein Literaturbericht. ZUMA-Arbeitsbericht 98(07).

Recommended