SE Quantitative Methoden Dr. Regina Dittrich Experimentelle und quasi-experimentelle Designs Patrick Slaje, Markus Fiala, Björn Heppner

SE Quantitative MethodenDr. Regina Dittrich

Experimentelle und

quasi-experimentelle Designs

Patrick Slaje, Markus Fiala, Björn Heppner

Fragen zu Gruppe 2

Probleme der empirischen Sozialforschung & Überblick Variablen und Hypothesenprüfung

(1) Nennen sie vier Wahrnehmnungsprobleme in der empirischen Sozialforschung und erläutern Sie zwei davon genauer.

(2) Was versteht man unter Kognitiver Dissonanz?

(3) Nennen und erläutern Sie ein Beispiel für eine Scheinkorrelation.

SE Quantitative MethodenDr. Regina Dittrich

Experimentelle und

quasi-experimentelle Designs

Patrick Slaje, Markus Fiala, Björn Heppner

Inhalt

(1) Einführung (Björn)

(2) Vorexperimentelle Designs (Björn)

(3) Experimentelle Designs (Patrick)

(4) Quasi-Experimente und Evaluationsforschung (Markus)





Inhalt (1)

Einleitung - Inhalt

• Definition Zentraler Begriffe

• Abgrenzung von

– Experimentellen

– Quasi-Experimentellen

– Ex-post Facto Designs

Definition zentraler Begriffe

• Untersuchungsdesigns unterscheiden sich maßgeblich durch zwei Faktoren:

• Varianzkontrolle– Bestimmung / Festlegen von

Vergleichsgruppen– Modus der Aufteilung von

Untersuchungspersonen auf diese Gruppen– Kann vor oder nach der Erhebung der Daten

stattfinden

• Randomisierung– Zufällige Aufteilung der Probanden auf die

Vergleichsgruppen

Abgrenzung - drei Klassen von Designs

• Abgrenzung unter den Gesichtspunkten Varianzkontrolle und Randomisierung

Sofern realisierbar ist ein experimentelles Design ideales Versuchsarrangement zum Test von Kausalhypothesen

Varianzkontrolle Randomisierung

Experimentelle Designs

Vor der Datenerhebung

Ja

Quasi-ExperimentelleDesigns

Vor der Datenerhebung

Nein (in der Regel)

Ex-post Facto Designs

Nach der Datenerhebung

Nein





Inhalt (2)

Vorexperimentelle Designs

• Genügen den wissenschaftlichen Anforderungen an die Methodik der Hypothesenüberprüfung nicht.

Fehlerquellen anhand dieses unzureichenden Designtyps ersichtlich

Hinführung zu den weiteren Designs

XO-Design

• Beispiel: Elefantenvertreiber

X = Stimulus (in die Hände klatschen)O = Beobachtung (der Abwesenheit von Elefanten)

Fehlerquelle?

- Was wäre ohne Klatschen?- Fehlen von Vergleichs bzw. Kontrollgruppen

• Beispiel: ADAC behauptet schnelles Autofahren sei nicht gefährlich!

Fehlerquelle?- Es gibt relativ weniger sehr schnell fahrende

Autos!- Implizite Vorspiegelung die Bezugsgruppen hätten

den gleichen Umfang

Design falscher Vergleichswerte

Tempo

Anzahl Fahrten

100 200

Ohne Unfall

? ?

Mit Unfall

100 10

OXO-Design

• Versuchsplan 01XO2

- Üblich z.B. in der Physik

- Nicht ausreichend für Sozialwissenschaften

Grund: mögliche stattfindende Reifungsprozesse zwischen den Beiden Beobachtungszeiten

Reifungsprozesse sind mit experimentellem und quasi-experimentellem Kontrollgruppendesign identifizierbar.





Inhalt (3)

Experimentelle Designs - Inhalt

• Wann spricht man von einem experimentellen Design?

• Probleme experimenteller Designs

• Lösungsansätze

• Wo können experimentelle Designs nicht angewendet werden?

• Zusammenfassung der Vor- und Nachteile

Definition ‚experimentelles Design‘

• Mindestens 2 experimentelle Gruppen

• Randomisierung der Teilnehmer

• Unterscheidung in Versuchs- und Kontrollgruppe anhand eines Stimulus

R X O =VersuchsgruppeR O =Kontrollgruppe

R = Randomisierung (zB Arbeitslose)X = Stimulus (Qualifizierungsprogramm)O = Beobachtung (Beschäftigungschancen)

Blindversuch, Doppelblindversuch

Probleme bei experimentellen Designs

• Nicht Faktor X, sondern ein mit X konfundierter Faktor Y ist der kausale Grund

(nicht Qualifikationsprogramm sondern geregelter Tagesablauf wirkt Arbeitslosigkeit entgegen)

• Hawthorne-Effekt(Erhöhte Aufmerksamkeit führt zu Verhaltensänderung)

• Verzerrung durch Randomisierung(Kontrollgruppe könnte sich als ‚Verlierer‘ verstehen)

• Missglückte Randomisierung

Strategien zur Problemumgehung

• Nicht Faktor X, sondern ein mit X konfundierter Faktor Y ist der kausale Grund

weitere Experimente um den ‚wahren‘ Kausalgrund herauszuarbeiten

• Hawthorne-Effekt Blind- und Doppelblindversuche

• Verzerrung durch Randomisierung eher die Ausnahme, quasi-experimentelle

Designs

• Missglückte Randomisierung Kombination von Randomisierung und Matching

Interne und externe Validität

Interne Validität: Ausblendungsversuche von Störvariablen

Externe Validität: Generalisierbarkeit experimenteller Effekte

Zur Vermeidung von 8 möglichen Fehlerquellen der internen Validität:

- Standarddesign- Vorher-nachher Design - Solomon-Vier-Gruppen Deisgn

Zur Vermeidung der 4 möglichen Fehlerquellen der externen Validität:

- Versuchspersonen aus unterschiedlichen sozialen Gruppen

- Feldexperimente- Wiederholung der Experimente

Wo können experimentelle Designs nicht angewandt werden?

Beispiele:

- Schüler können nicht per Random auf verschiedene Schulen geschickt werden

- Notenbanken können nicht unterschiedliche Zinssätze für bestimmte Zielgruppen festlegen

Zusammenfassung der Vor- und Nachteile

Vorteile:

- Produktion im Experiment- Neutralisierung von Drittvariablen- Ideale Designs zum Test von Kausalhypothesen

Nachteile:

- externe Validität- Reaktivität - hoher Aufwand bei simultaner Prüfung- teils praktische und ethische Hindernisse bei

Durchführung

Ein Beispiel: Verantwortungsdiffusion

Hypothese:

Je größer die Zahl der Zuschauer in einer Hilfeleistungssituation, desto geringer ist die Wahrscheinlichkeit, dass eine bestimmte Person Hilfe leistet.

Überprüfung im Experiment:Hilfeleistung%

Reaktionszeit

Versuchsperson & Opfer 85% 52sek

Versuchsperson, Opfer 62% 93sek& weitere Person

Versuchsperson, Opfer 31% 166sek& 4 weitere Personen

Opfer markiert epileptischen Anfall, als Hilfeleistung galt Herbeirufen des Versuchsleiters

Apathie, Entfremdung, Anomie waren nicht verhaltensrelevant





Inhalt (4)

Quasi-Experimente und Evaluationsforschung - Inhalt

• Definition

• Beispiel 1: John Wayne & Atomtests

• Regressionseffekt

• Beispiel 2: Hamburger Verkehrsbetriebe

• Unerwünschte Nebeneffekte

Definition

• „Vereinfachtes Experiment“

• Quasi Experimente sind meist Experimente ohne Randomisierung

• Zentrales Problem von Quasi-Experimenten: Drittvariableneffekte können nicht ausgeschlossen werden

• Anwendungsbeispiele: – Versuchsanordnungen mit nicht gleichartiger

Kontrollgruppe (ohne Zufallsaufteilung!) – Bsp.: Starb John Wayne an Atomtests?

– Zeitreihen-Experimente, Bsp.:Hamburger-Verkehrsbetriebe

Beispiel 1: Starb John Wayne an Atomtests?

• Filmdreharbeiten in der Nähe des Atomtestgeländes

– 220 Personen beteiligt

– 150 Rekonstruierte Krankengeschichten

– 91 Filmleute starben an Krebs (61%)

• Statistik: 30 / 150 (Krebsrisiko in der Normalbevölkerung: 20%)

• PROBLEME bei dieser Betrachtung:

– systematischer Ausfall: im Extremfall wurden alle Krebserkrankungen bekannt, d.h. tatsächliches Risiko 91/220 = 41%

– Nicht-Vergleichbarkeit der Gruppen: Drittvariable „Rauchen“ bei Filmleuten besonders verbreitet

Regressionseffekt

• Statistische Tendenz zur Mitte

• Beispiel: Körpergröße– Besonders kleine Eltern haben größere Kinder– Besonders große Eltern haben kleinere Kinder– Andernfalls: nur Zwerge und Riesen

• Beispiel: Kriminalität– Maßnahmen erfolgen meist nach Jahren mit

besonders hoher Kriminalitätsrate– Rate sinkt im Folgejahr meist von selbst, das

Sinken wird dann aber den Maßnahmen zugeschrieben

• Kontrolle durch Zeitreihen – Trend vor/ nach einer Maßnahme

(Identifikation von Reifung und Regressionseffekten)

– Multiple Zeitreihen zur Absicherung gegen zwischenzeitliche Geschehen

Beispiel 2: Hamburger Verkehrsbetriebe

• nach einem Jahr mit extrem hoher Schwarzfahrerquote– Verdoppelung der Strafe– Rückgang im Folgejahr Erfolg der Maßnahme oder Fluktuation?

Abbildung: Zeitreihe der Schwarzfahrerquoten in Hamburg

Beispiel 2: Hamburger Verkehrsbetriebe

• Multiple Zeitreihe mit Vergleichsgruppe „Bremen“ je längerfristig desto besser

Abbildung: multiple Zeitreihen der Schwarzfahrerquoten in Hamburg und Bremen

• Sozialwissenschaftliche Evaluationsforschung muss auch Nebenwirkungen berücksichtigen-Zielkatalog mit Leistungskriterien festlegen-Unabhängigkeit vom Auftraggeber wünschenswert

• Beispiel: mengenabhängige Abfallgebühr

• Wirkung: Reduktion der Abfallmenge (vorher-nachher Vergleich, Kontrollgruppe, Zeitreihe)

• Aber: unerwünschte Nebenwirkungen-Wilde Deponien-Verbrennen von Müll im Hauskamin-Entsorgen von Hausmüll über Glascontainer, Parkmistkübel etc.

Unerwünschte Nebeneffekte

Documents

SE Quantitative Methoden Dr. Regina Dittrich Experimentelle und quasi-experimentelle Designs Patrick Slaje, Markus Fiala, Björn Heppner