If you can't read please download the document
Upload
vuongdat
View
220
Download
1
Embed Size (px)
Citation preview
Gewichtung in der Umfragepraxis
Seminar: Praxis der Umfrageforschung
Lehrstuhl fr Empirische Sozial- und Wirtschaftsforschung
WiSo Fakultt Universitt Kln
Martin Pfister
27.6.2006
SD/DG
TNS Infratest in Deutschland 2006 Fakten & Zahlen
Full Service-Gesellschaften inMnchen, Bielefeld, Berlin, Frankfurt, Hamburg und Wetzlar
1.050 Mitarbeiter, davon 525 Projekt-manager, Forscher und Berater
Mit einem Marktanteil von 10,8 Prozentund 189,7 Millionen Euro Umsatz in 2005 die Nummer 2 in Marketing- und Sozialforschung in Deutschland
Rund 4.000 Forschungs- und Beratungs-projekte pro Jahr
Mitglied von ADM, BVM, ESOMAR, WAPOR
Hamburg
BielefeldBerlin
Wetzlar
Mnchen
Frankfurt
2 GewichtungUmfragepraxis
TNS Infratest in Deutschland 2006 Professionelle Datenerhebung
4.000 Interviewer
950 CATI-Stationen in 8 Telefonstudios
1.500 CAPI-Stationen
Mehr als 5 Millionen Interviews pro Jahr
Access Panels: Marktfhrer in Deutschlandmit 50.000 Haushalten(Europa: 135.000; USA: 600.000)
Online Access Panel mit 138.000 Teilnehmernin Deutschland (Europa: 576.000)
3 GewichtungUmfragepraxis
Leslie Kish 1990: common questions about weighting
why should sample data be weighted?
when do sample data need weighting?
when is it proper to weight sample data?
when is it important to weight data? when does it make a real difference?
how to calculate proper and accurate wheights?
how to apply weight to cases, tapes, and statistics?
how to apply weights in formulas and software?
4 GewichtungUmfragepraxis
Reprsentativitt ist
Stat. Bundesamt, Stichproben in der amtlichen Statistik, 1960, S.13Eine Teilmenge heit reprsentativ, wenn sie in der Verteilung aller interessierenden statistischen Merkmale der Gesamtmasse entspricht, d.h. ein verkleinertes, aber sonst wirklichkeitsgetreues Abbild der Gesamtheit darstellt.
Friedrichs, Methoden empirischer Sozialforschung, 1973, S.125Die Stichprobe mu ein verkleinertes Abbild der Grundgesamtheit hinsichtlich der Heterogenitt der Elemente und hinsichtlich der Reprsentativitt der fr die Hypothesenprfung relevanten Variablen sein.
Kish, Survey Sampling, 1965, S.26Representative sampling is a term easier to avoid in general, it oftendenotes the aims of representing a population well with a sample.
also die Forderung, das Untersuchungsdesign so zu gestalten, dass die Ergebnisse auf die Grundgesamtheit hochgerechnet werden knnen.
5 GewichtungUmfragepraxis
Reprsentativitt wird erreicht durch
eine korrekte und vollstndige Definition der Grundgesamtheitsachlich: z.B. Bevlkerung im Alter ab inkl. 20 Jahrenzeitlich: im Jahre 2006rtlich: mit Hauptwohnsitz in Nordrhein-Westfalen
.. die Verwendung eines Auswahlverfahren, das dem Prinzip der Zufallsselektion folgtjeder Auswahleinheit eine berechenbare Auswahlchance >0 einrumtjedem Befragten die gleiche Inklusionswahrscheinlichkeit gibt
=> ex ante durch die Stichprobenanlage=> ex post durch die Gewichtung (= Schichtung a posteriori)
=> nur unter diesen drei Bedingungen sind die Wahrscheinlichkeitstheoreme anwendbar!
.. eine adquate Auswahlgrundlage
Und wie war das noch mit der Fallzahl?
6 GewichtungUmfragepraxis
Warum Gewichtung?
Alle Stichproben haben Verzerrungen, da sich die Ausflle nicht proportional zur Grundgesamtheit verteilen (Redressement)
-> Disproportionalitt durch unterschiedliche Erreichbarkeit / Teilnahmebereitschaft (auch bei Totalerhebungen!)
Durch den Stichprobenplan bedingte unterschiedliche Auswahl-wahrscheinlichkeiten mssen gewichtet werden (Designgewichtung)
-> Disproportionalitt bei Stichprobenanlage
Anpassung von abgefragten Variablen an bekannte Strukturen der Grundgesamtheit fhrt zu besseren Schtzern (Schichtung a posteriori)
-> Gewichtung nach Alter und Geschlecht verbessert den Schtzer fr die Haushaltsgre
-> Gewichtung nach Schulbildung verbessert die Messung der Reichweite von Zeitschriften
7 GewichtungUmfragepraxis
Beispiel aus der Praxis: Monatliche Telefonerhebung des ILO-Erwerbsstatus fr das Statistische Bundesamt
Projekt: Arbeitsmarkt in Deutschland
Auftraggeber: Statistisches Bundesamt der BRD
Machbarkeitsstudie fr die monatliche Erhebung im Mikrocensus
Grundgesamtheit: Bevlkerung der BRD zw. 15 und 74 Jahren: rund 64 Mio., Zeitraum 2003-2005
CATI-Erhebung, 10 000 Flle monatlich
Stichprobe: multistratifizierte Haushaltsstichprobe gemss ADM-Design, rotierendes Panel
8 GewichtungUmfragepraxis
Flchenstichprobe: KonzeptionGemeindeleitdatei des Stat. BA:
Amtliche Regionalsystematik
Wohnbevlkerung insg. und differenziert nach Geschlecht
ADM / BIK:
Jhrliche Aktualisierung der BIK-Typen auf Gemeindeebene
Das Verflechtungsmodell wird nur unregelmig aktualisiert
Mikrocensus:
Haushaltszahlenzahlen auf Ebeneder Regierungsbezirke
Andere amtliche Sekundarstatistiken:
Geburten und SterbeflleZuzge und Fortzge
TNS Infratest GEMEINDE-DATENBANK
ADM / BIK: Webb-Typen Schtzmodell
9 GewichtungUmfragepraxis
Flchenstichprobe: Umsetzungsschritte
Bedeutungsgewicht bereits vorhandenneue Berechnung oder Schtzung
Definition der Schichten fr die Bruttostichprobe (abhngig von der Erhebungsmethode die Netto-Soll-Vorgabe und den Realisierungsvorschriften)
Allokationsrechnung Berechnung des Ziehungssoll auf Bruttoebene
und / oder Berechnung der Netto-Soll-Vorgabe
Bindeglied Allokation - Ziehung
Durchfhrung der Stichprobenziehung (Brutto)
Weitergabe von Stichprobe und Nettosoll sowie Dokumentation
10 GewichtungUmfragepraxis
ADM-Auswahlgrundlage
ADM-Basisdatei:
Block: 089/8411300 ....... 089/8411399Eintrge: 40 Nummern
davon mit GKZ: 09730000 (20); 09751123 (12); 09751456 (8)
Beispiel: Datensatz fr eine generierte Nummer GKZ1 W1 GKZ2 W2 GKZ3 W3
089/8411302 09730000 0,50 09751123 0,30 09751456 0,20
Infratest-Telefon-Master-Sample Ziehungsdatenbank (SQL):
Zufallsauswahl einer GKZ fr jede generierte Rufnummer proportionalzur Verteilung der GKZ-Wahrscheinlichkeiten
GKZ-Verteilung der nicht-eingetragenen Nummern entspricht derjeweiligen Verteilung der eingetragen Nummern pro Block
11 GewichtungUmfragepraxis
Anwendung ADM-TelefonstichprobenGrundzge des Designs
Ziehung aus der ADM Auswahlgrundlage
Zufallsallokation (Cox Verfahren) auf Basis der jeweilig aktuellen Haushaltszahlen der Gemeindedatei
Zufallsauswahl der Telefonnummern in einem mutlistratifizierten Schichttableau
Zufallsauswahl der Zielperson im Haushalt mit Schwedenschlssel
1. Stufe
2. Stufe
=> Haushaltsstichprobe auf Flchenbasis! Bindeglied: GKZ
=> Personenstichproben im Zuge der Realisierung !
12 GewichtungUmfragepraxis
Die rotierende Panelstichprobe
Erstbefragung 100%
1. Nachbefragung: 70% des Vormonats
weitere Nachbefragungen, maximal 6-mal: 83% des jeweiligen Vormonats
1 1667 1 4149 2 2912 3 2417 4 2006 5 1665 6 1382 1 3167 2 2223 3 1845 4 1531 5 12711 1667 2 1170 1 3202 2 2248 3 1866 4 1549 5 1285 6 1067 1 2991 2 2100 3 1743 4 14461 1667 2 1170 3 971 1 2916 2 2047 3 1699 4 1410 5 1170 6 972 1 2889 2 2028 3 16831 1667 2 1170 3 971 4 806 1 2742 2 1925 3 1598 4 1326 5 1101 6 914 1 2828 2 19851 1667 2 1170 3 971 4 806 5 669 1 2606 2 1830 3 1519 4 1260 5 1046 6 868 1 27831 1667 2 1170 3 971 4 806 5 669 6 555 1 2495 2 1751 3 1453 4 1206 5 1001 6 831
ung 58,5% 68,0% 70,8% 70,1% 71,1% 71,7% 72,2%72,6% 73,9% 75,1% 68,3%10000 10000 1000010000 10000 10000 10000 1000010002 10000 10000 10000
Sep Okt Nov DezMai Jun Jul AugJan Feb Mar Apr
13 GewichtungUmfragepraxis
Netto-Stichproben-struktur im Vergleich zurFortschreibung
Bevlkerungs-fortschreibung
a)
ILO-Mon (2003)b)
Stand:
31.12.2001 April Mai Juni Juli Anzahl 63.738.502 10.000 10.000 10.000 10.000 Geschlecht Mnnlich 50,1% 45,4% 45,5% 44,9% 44,7% Weiblich 49,9% 54,6% 54,5% 55,1% 55,3% Summe 100,0% 100,0% 100,0% 100,0% 100,0% Alter Bis 24 Jahre 14,7% 13,0% 12,8% 12,9% 12,6% 25 bis 44 Jahre 39,3% 39,3% 39,4% 38,7% 38,4% 45 bis 54 Jahre 17,3% 21,3% 21,8% 21,1% 21,0% 55 bis 64 Jahre 16,2% 16,4% 15,2% 15,6% 15,8% 65 Jahre und lter 12,5% 9,8% 10,8% 11,6% 12,0% Keine Angabe - 0,3% 0,2% 0,2% 0,3% Summe 100,0% 100,0% 100,0% 100,0% 100,0% Staatsangehrigkeit Deutsch 90,7% 95,8% 96,2% 96,2% 96,4% Nicht deutsch 9,3% 4,0% 3,8% 3,8% 3,6% Keine Angabe - 0,2% 0,0% 0,0% 0,0% Summe 100,0% 100,0% 100,0% 100,0% 100,0% a) Quelle: Fortschreibung B15 Gesamtbevlkerung 15-74 Jahre, Stand 31.12.2001. b) Personenstichprobe durch Gewichtung mit Umwandlungsfaktor
14 GewichtungUmfragepraxis
15 GewichtungUmfragepraxis
ErstbefragungZweitbefragung
April Mai
Mai Juni
Juni Juli
Geschlecht Frau 0,007 0,103 0,113
Alter
25 - 44 Jahre 0,242 ** 0,192 0,288 45 bis 54 Jahre 0,465 *** 0,685 ** 0,398 ** 55 - 64 Jahre 0,259 ** 0,706 ** 0,491 ** 65 Jahre oder lter -0,291 0,388 0,253 Keine Angabe -2,209 *** -1,830 ** -1,332 **
Staatsangehrigkeit Nicht deutsch -0,509 *** -0,212 -0,739 ***
Kinder unter 15 Jahren im Haushalt Ja 0,360 *** 0,462 ** 0,196
West/Ost Ost 0,037 -0,212 -0,251 **
Schulbildung Mittlere Bildung inklusive POS 0,209 ** 0,326 ** 0,205 Hohe Bildung 0,261 *** 0,150 0,030 Schler ohne Fachhochschule/ Abitur 0,446 ** 0,875 ** 0,399
Meldung beim Arbeitsamt Arbeitsuchend 0,186 0,360 -0,089 Arbeitslos ohne Leistung -0,165 -0,424 0,099 Arbeitslos mit Leistung -0,137 0,146 -0,300
Erwerbsstatus Erwerbslos, verfgbar 0,032 -0,076 -0,133 Erwerbslos, nicht verfgbar -0,023 -1,322 ** -0,190 Nichterwerbspersonen 0,108 0,499 * -0,372 *
Interesse an Erwerbsttigkeit Kein Interesse, k.A. -0,581 *** -0,898 ** -0,027
Konstante 1,004 *** 0,533 ** 0,738 ***
Modellverbesserung 212,0 *** 57,4 *** 56,4 *** Freiheitsgrade 19 19 19 Pseudo-R2 0,02 0,03 0,02
Wiederteilnahme ander Befragung:Erklrung durchLogit-Modell
Gewichtung: mehrstufiger Prozess
Designgewichtung
1: Auswahlchance Anzahl Rufnummern
3: Auswahlchancen Anzahl Zielpersonen
5: ggf. Rckwandlung
Stichprobenbasis
Rufnummern
Haushalte
Personen
Haushalte
Redressement /Schichtung a posteriori
2: Haushalte nach Schichttableau
4: Personen nach demographischen Strukturen, Panelgewichtung
16 GewichtungUmfragepraxis
Personengewichtung 4. Stufe
Eingangsfaktor aus der 3. Stufe, folgende Matrizen liegen zugrunde:
Erwerbsstatus Vorwelle x Alter ("Panelgewichtung", nur fr Panelflle)
1. aBL/nBL x deutsch/nicht deutsch x Geschlecht
2. aBL/nBL x Alter (15-24,25-40,41-50,51-64,65-74) x Geschlecht
3. aBL/nBL x Bildung x Alter (bis 50 / ber 50)
4. Bundesland x Geschlecht
5. Erwerbsttigenzahl aktuell laut VGR
6. Arbeitslosenzahl aktuell laut BA x aBL/nBL
17 GewichtungUmfragepraxis
Berechnung der Gewichtungsfaktoren
Berechnung anhand eines Iterativen Randsummenverfahrens (Deming and Stephan, 1940; Cochran 1968).
Gewichtungsfaktoren werden auf ein vorgegebens geschlossenes Intervall begrenzt, z.B. 0,1 bis 5,9.
Konvergenzkriterium: jede Randverteilung hat z.B. maximal 0,1% Abweichung in der Summe der einzelnen Zellen.
Abbruch der Iteration, wenn die Anpassung nicht verbessert wird.
Prfung auf: hohe und niedrige Faktoren in den einzelnen Zellen,Zellenbesetzung, Effektivitt.
18 GewichtungUmfragepraxis
Wie gut ist eine Gewichtung?
Gewichtung erhhte die Varianz in der Stichprobe -> Effektivittsverlust
Gewichtung soll przisionssteigernde Effekte besitzen
Abschtzung des Zufallsfehlers unter Bercksichtigung des Gewichtungsverfahrens -> Mglichkeit via ResamplingVerfahren (Bootstrap)
Abschtzung bei einfacher Zufallauswahl in unserem Beispiel:
4 Mio. Erwerbslose, GG = 64 Mio., Konfidenzintervall +-320000 (+- 8%)
19 GewichtungUmfragepraxis
Masszahl einer Gewichtung: Effektivitt einer Stichprobe
= n
n
n
n
ng
gE
1
2
2
1
*))((
)(Mit: E = Effektivitt
gn = Gewicht / Gewichtungsfaktor fr n-ten Falln = Fallzahl (ungewichtet)
Jeder Fall erhlt ein(en) Gewicht(ungsfaktor). Wenn alle Gewichte genau 1 sind, dann ist E = 1 (100%ige Effektivitt). Bei zunehmender Varianz der Faktoren wird die Effektivitt kleiner.
Proportionale Stichprobe: n=600 Flle, Effektivitt von 90% derDesigngewichtung -> effektive Stichprobengre (600*90%) = 540 Flle
Effektive Fallzahl nach der Designgewichtung ist in der Formel fr die Berechnung der Fehlertoleranzen zu bercksichtigen.
20 GewichtungUmfragepraxis
Bootstrap: Theoretische Grundlagen
Resampling Verfahren: Fehlerabschtzung ohne Annahme eines parametrischen Modells
1. Grundlage: Schtzmodell T fr Anteil Erwerbslose
2. Bootstrap-Stichprobe mit Zurcklegen aus Ursprungsdaten, N = 10000
3. Neuberechnung der Schtzung anhand der Bootstrap-Stichprobe inklusive Gewichtung / Hochrechnung
4. Wiederholung der Schritte 2 und 3 n-mal, n = 1000
5. Berechnung der Konfidenzintervalle
21 GewichtungUmfragepraxis
Bootstrap-Simulation: STP GEW - Hochrechnung
Verteilung der hochgerechneten Anzahl der Erwerbslosen aus 1000 BootstrapStichproben eines Querschnittmonats
Design-gewichtet Demografie-gewichtet Demografie + Arbeitslos. -gewichtetKonfidenzinterval 90% Mittelwert Konfidenzinterval 90% Mittelwert Konfidenzinterval 90% Mittelwert282085 8,0% 3531455 305611 7,2% 4225919 261448 6,5% 4037082
22 GewichtungUmfragepraxis
3.000.000,003.200.000,003.400.000,003.600.000,003.800.000,004.000.000,00
pgew5
0
20
40
60
80
100
120
Hu
figke
it
Mean = 3.531.455,3464Std. Dev. = 171.479,73473N = 1.000
3.600.000,003.800.000,004.000.000,004.200.000,004.400.000,004.600.000,004.800.000,00
pgew6
0
20
40
60
80
100
120H
ufig
keit
3.600.000 3.900.000 4.200.000 4.500.000
pgew8
0
20
40
60
80
100
120
Hu
figke
it
Mean = 4.037.782,01Std. Dev. = 158.934,659N = 1.000Mean =
4.225.918,8626Std. Dev. = 185.781,77744N = 1.000
Leslie Kish 1990: common misleading statements
Weighting survey data is usually a simple process: each response weighted inversely to its probability of selection, with adjustment for non-response
I cannot find any justification for weighting in sampling theory, except for nonresponse
It is best to select a simple random sample in order to obtain a self-weighting sample
It is unethical to weight sample cases, because the process can be misused to produce biased results
23 GewichtungUmfragepraxis
TNS Infratest in Deutschland 2006 Fakten & ZahlenTNS Infratest in Deutschland 2006 Professionelle DatenerhebungLeslie Kish 1990: common questions about weightingReprsentativitt ist Reprsentativitt wird erreicht durch Warum Gewichtung?Beispiel aus der Praxis: Monatliche Telefonerhebung des ILO-Erwerbsstatus fr das Statistische BundesamtFlchenstichprobe: KonzeptionFlchenstichprobe: UmsetzungsschritteADM-AuswahlgrundlageAnwendung ADM-TelefonstichprobenGrundzge des DesignsDie rotierende PanelstichprobeNetto-Stichproben-struktur im Vergleich zurFortschreibungWiederteilnahme ander Befragung:Erklrung durchLogit-ModellGewichtung: mehrstufiger ProzessPersonengewichtung 4. StufeBerechnung der GewichtungsfaktorenWie gut ist eine Gewichtung?Masszahl einer Gewichtung: Effektivitt einer StichprobeBootstrap: Theoretische GrundlagenBootstrap-Simulation: STP GEW - HochrechnungLeslie Kish 1990: common misleading statements