Experimentelle und Quasiexperimentelle Designs 30_04_09

112.04.23

Empirische SozialforschungGrundlagen – Methoden – Anwendungen

VIII. Experimentelle und Quasiexperimentelle Designs

Stefan Freier, Thorsten Graß

212.04.23 Stefan Freier, Thorsten Graß

Agenda1. Überblick Designvarianten2. Vorexperimentelle Designs3. Experimentelle Designs4. Quasi-Experimente und Evaluationsforschung5. Beispiel: Von der Verantwortungsdiffusion

zur experimentellen Spieltheorie

Quelle: Empirische Sozialforschung, Diekmann Andreas 20. Aufl. 2009


1.Überblick DesignvariantenCampell und Stanley (1963) haben die Folgenden Designvarianten systematisiert und Vor-und Nachteile untersucht:

1. Vorexperimentelle Designs (als wissenschaftliche Strategie, bzw. zur Hypothesenführung ungeeignet, da mit Fehlerquellen behaftet)

2. Experimentelle Designs (Zwei Gruppen, Randomisierung, unabhängige Variable vom Forscher manipuliert)

3. Quasi-Experimentelle Designs (Kontrollierte Versuchsanordnung, ohne Randomisierung)

4. Ex-post-facto-Designs (Ausblendung von verzerrenden Störfaktoren nach der Untersuchung) [Genaue Betrachtung in Kapitel XIV]


2. Vorexperimentelle DesignsVorexperimentelle Designs können den Zweck eines Experiments (Varianzkontrolle) nicht erfüllen, da keine Vergleichsgruppen bestehen und auch keine Randomisierung besteht

Ausprägungen:X O Design: X ODesign ohne Vergleichsgruppe, keine Varianz auf der unabhängigen Variable (Stimulus X) z.B. Vertreiben von Elefanten durch Klatschen auf Parkbank

X O „Design falscher Vergleichswerte“:Varianz der abhängigen Variable (O) = 0 z.B. Suche nach Gemeinsamkeiten der 100 erfolgreichsten Lernenden (Was ist Output, Was ist input?)

X=StimulusO=Observation


2. Vorexperimentelle Designs O1 X O2 Vorexperimentelles Design mit vorher – nachher

BetrachtungVarianz kann sich im Zeitverlauf ändern, wobei man nicht weiß ob es

auch ohne Stimulus passiert wäre z.B. Lernerfolg einer Klasse ist nach Motivationsgespräch gestiegen,

man weiß aber nicht ob nicht andere Faktoren dafür verantwortlich sind

Schwächen vorexperimenteller Designs: Keine Vergleichsgruppen (Varianz=0) Reifungsprozesse können nicht identifiziert werden


1. Überblick Designvarianten2. Vorexperimentelle Designs3. Experimentelle Designs4. Quasi-Experimente und Evaluationsforschung5. Beispiel: Von der Verantwortungsdiffusion



Agenda


3. Experimentelle DesignsPrämissen für Experimentelle Designs: Bildung mindestens zweier Gruppen (Versuchs- und

Kontrollgruppe) Randomisierung (Zufällige Verteilung der Probanden auf die

Gruppen) Manipulation des Stimulus (unabhängige Variable X )

Beispiel Medikament: X= Richtiges Medikament (Versuchsgruppe), leeres Feld

(Kontrollgruppe) bekommt Placebo

R=RandomisierungX= Stimulus

O=ObservationR X O Versuchsgruppe

R O Kontrollgruppe


3. Experimentelle DesignsBlindversuch: Versuchspersonen wissen nicht ob Sie in Kontroll- oder

Versuchsgruppe sind, Hypothese ebenfalls nicht bekanntDoppelblindversuch: Versuchsleiter weiß nicht welche Versuchspersonen welcher Gruppe

angehören (Kennt den Stimulus nicht) Verhinderung von Selbstsuggestion und Verhaltensänderung

aufgrund der Kenntnis der Hypothese Versuchs- und Kontrollgruppen-Design mit mehreren Stimuli (Jede

Versuchs- ist gleichzeitig Kontrollgruppe)

Beispiel: Zwei Medikamente unterschiedliche Zusammensetzung welche Wirkungen?

R X1 O1 Versuchsgruppe 1

R X2 O2 Versuchsgruppe 2

... ... ... ...

R Xm Om Versuchsgruppe m


3. Experimentelle DesignsHintergrund Randomisierung: Probanden werden zufällig auf Versuchsgruppen aufgeteilt (Drittvariablen

werden neutralisiert) Störfaktoren werden ausgeschlossen (z.B. unbeobachtete Merkmale) Scheinkorrelation kann ausgeschlossen werden

1. X O Stimulus führt zu Observation

2. Z X O Korrelation zwischen X und O ist nicht kausal sondern wird durch Z hervorgerufen (Scheinkorrelation)

3. X Y O Drittvariable Y wirkt X entgegen (Entgegenwirkende Variable)(z.B. nicht Qualifikation durch Maßnahme sondern

Regelmäßigkeit des Tagesablaufs)

Z=Unbekannter Faktor

Y= Entgegenwirkende

Variable


3. Experimentelle DesignsZusammenfassung Fehlerquellen: Scheinkorrelation: Unbekannter Faktor (Z) ist für

Zusammenhang zwischen X und O verantwortlich (Bsp. Wirkung von Berufsförderungsprogrammen)

Weitere Fehlerquellen trotz Randomisierung: Auftritt einer Drittvariablen Y die X entgegenwirkt

Lösung: Laborexperiment

Reaktivität (z.B. „Hawthorne-Effekt“ Wissen der Probanden -> Gegenstand wissenschaftlicher Forschung) Lösung: Doppelblindversuch

Zufallsauswahl missglückt (geringe Probandenzahl) Lösung: Matching (Versuch „Zwillinge“ in Gruppen zu schaffen)


3. Experimentelle DesignsSolomon – Viergruppenversuchsplan

Vorher-Nachher Messung teil des Solomon Vierguppenversuchs:

Messung des Ausgangniveaus Vorhermessung kann Nachhermessung beeinflussen (Lerneffekt) Wirkung Stimulus wird zweifach überprüft Bei pos. Kausalem Zusammenhang ist zu erwarten:

O2>O1, O2>O4, O5>O6

R O1 X O2 Experimentalgruppe 1

R O3 O4 Kontrollgruppe 1

R X O5 Experimentalgruppe2

R 06 Kontrollgruppe 2


3. Experimentelle DesignsStörfaktoren:

Zwischenzeitliches Geschehen ReifungsprozesseVarianz abhängige Variablen wird durch „intrapersonale“ Prozesse

bedingt, also nicht durch Stimulus MeßeffekteVeränderung der abhängigen Variablen ist Folge des ersten

Messvorganges (O3 auf O4) -> Nach erster Messung evtl. Verhaltensänderung

InstrumentationVeränderungen der Versuchssituation beeinflussen das Niveau der

abhängigen Variablen Verzerrte Auswahlen und Ausfälle


3. Experimentelle DesignsVorteile: Zeitliche OrdnungExperimenteller Stimulus wird im Experiment „produziert“ und geht der

vermuteten Wirkung zeitlich voraus. (Zuordnung möglich) Randomisierung Störvariablen werden ausgeblendet

Nachteile:Externe Validität nicht gegeben, da Lassen sich Ergebnisse generalisieren? (Stichprobe) Experimentalsituation -> Können Ergebnisse auf Alltagssituation

übertragen werden? Hoher Aufwand bzw. Unmöglichkeit der Randomisierung bei vielen

Untersuchungsgegenständen Reaktivität (Suggestion, Aufmerksamkeitseffekte bei Probanden und

Versuchleitern





Agenda


4. Quasi- Experimente und Evaluationsforschung

Versuchsanordnungen, ähnlich wie Experimentelle Designs, jedoch folgen sie nicht deren strengen Anforderungen

ABER: Kriterium der Randomisierung ist verletzt

Bei Evaluation von Maßnahmen ist Zufallsaufteilung von Personen auf die einzelnen Gruppen oft nicht möglich

Wirkungen von Maßnahmen kann abgeschätzt werden, allerdings können Drittvariableneffekte auftreten und nicht neutralisiert werden (Aufgrund fehlender Randomisierung)


Zwei gebräuchliche quasiexperimentelle Designs:1. Versuchsanordnungen mit nicht gleichartiger Kontrollgruppe2. Zeitreihenexperimente

Zu 1. Experiment mit Vorher-nachher-Messung

O1 und O3 können sich aufgrund fehlender Randomisierung (Selbstselektion) unterscheiden, daher Vorhermessung wesentlich

Veränderung ist Meßbar Reifungseffekte und zwischenzeitliche Geschehen (interne Validität)

werden mittels Vergleich von Maßnahmen und Kontrollgruppe kontrolliert

O1 X O2 Maßnahmengruppe

O3 O4 Kontrollgruppe



Beispiel: Einfluss Förderprogramm auf Leistung von Schulkindern

O2-O1 > O4-O3

Nachweis für Wirksamkeit des Förderprogramms?

Probleme die zur Verzerrung durch Drittvariablen führen können: Nichtvergleichbarkeit der Gruppe (z.B. Selbstselektion nur

motivierte Schüler) Systematischer Ausfall von Probanden (Leistungsschwache Schüler

brechen ab) Folge: O2 wird nach oben verzerrt, leistungszuwachs wird

fälschlicherweise Maßnahme X zugeordnet

O1 X O2 Maßnahmengruppe

O3 O4 Kontrollgruppe



Lösungsmöglichkeiten:a) Paarweises Matchingb) Nachträgliche Kontrolle von Drittvariablen mit multivariaten

statistischen Verfahren

Zu a)Merkmale vorheriger Leistungsmessung, Geschlecht, Sozialstatus

werden berücksichtigt und konstant gehalten (z.B. Jedem Schulkind in der Maßnahmengruppe wird ein Zwilling in der Kontrollgruppe zugeordnet)

Zu b)Ähnlich wie Matching, jedoch werden ausgewählte Drittvariablen

nachträglich rechnerisch konstant gehalten (Durchführung Kapitel XIV)

Eine Kombination beider Methoden ist möglich



Problem weiterhin: Nicht explizit berücksichtigte Drittvariablen verzerren das Ausmaß

des Effekts von X

Besteht Verdacht:

Motivation (Drittvariable) messen und beim Matching oder Datenanalyse kontrollieren, Verzerrung durch Selbstselektion vermeiden:

Kontrollgruppe aus Personen der Wartegruppe bilden



Regressionseffekt (Angleichung)

Bsp. Schlechte Schüler mehr potenzial zur LeistungsverbesserungGute Schüler weniger potenzial nach oben aber Verschlechterung

möglich

Werte der Vorher- Messung in Versuchs- und Kontrollgruppe (O1

und O3) unterscheiden sich stark Streben aber im Folgenden zur Mitte

Bsp. Kriminalitätsrate sehr hoch -> neues Gesetz -> Kriminalität sinkt aber Rückgang ohnehin, da Regression zur Mitte

Dieser Rückgang wird allerdings der Maßnahme zugerechnet



Zu 2. Zeitreihen-Experimente

Lösungsansatz: Regressionseffekte können u.a. durch ein Zeitreihen-Design kontrolliert

werden Hier wird der Trend in einer Zeitreihe vor einem Stimulus X mit dem Trend

nach Stimulus X verglichen

O1 O2 O3 O4 X O5 O6 O7 O8

Vorher- Trend Nachher- Trend

Somit sind Trends vergleichbar Regressionseffekte und Reifung können identifiziert werden Drittvariablen sind Identintifizierbar Allerdings: Es können im Nachher-Trend von X unabhängige Faktoren

auftreten die man X fälschlicherweise zuordnet



Weiteres Problem ist die Einschätzung und Separierung der Wirkung von X auf den Nachher- Trend

Hier werden zur Prüfung von X und zur Schätzung der Stärke des Effekts statistische Methoden der Zeitreihenanalyse benutzt

Beispiel Zeitreihenexperimente:Hat die Erhöhung der Strafandrohung in Hamburg zu einer Abnahme

der Häufigkeit des Schwarzfahrens in öffentlichen Verkehrsmittelns geführt?

Scheint erfolgreich! ?


O1 X O2

1,12% Schwarzfahrer Erhöhte Geldbuße (40€) 0,84 % Schwarzfahrer




Für genauere Analyse Design mehrfache Zeitreihen erforderlich

Multiples Zeitreihen- Design:

O1 O2 O3 X O5 O6 HH

O1 O2 O3 O5 O6 HB

Durch Vergleich mit einer zweiten Zeitreihe ohne Stimulus wird die Maßnahme optisch aufgewertet



Allerdings für valide Aussage werden benötigt:

Lange Zeitreihen Viele unterschiedliche Vergleichszeitreihen

Vorliegende Daten liefern somit keine valide Aussage für den nachhaltigen Effekt des Stimulus



Zusammenfassung: Designs finden Anwendung in Evaluationsstudien Ziel: Erfolgskontrolle und finden von Nebenwirkungen

Fehlerquellen: Drittvariablen, Regressionseffekt, Reifung, kurze Zeiträume

etc. sind besondere Aufmerksamkeit zu widmen um Wirkungszusammenhänge zu erkennen






Agenda


Experiment zurückzuführen auf Freiwilligendilemma (Diekmann) bzw. auf das Prinzip der Verantwortungsdiffusion (Darley und Latané)

Hypothese: Je größer Beobachterkreis, desto geringer eigene Hilfebereitschaft

Folge: Hilfeleistung unterbleibt

Bsp: Kind ist im Eis eingebrochen

5. Beispiel: Von der Verantwortungsdiffusion zur experimentellen Spieltheorie


Abstrakt: Wert der Hilfeleistung ist für n Personen ein kollektives Gut (kann bereits durch eine Person vollständig hergestellt werden) mit

Nutzen U

Hilfeleistung ist mit Kosten verbunden (K) Annahme U>K>0

„Trittbrettfahrer“ setzen auf Person, die Kosten auf sich nimmt um selbst U zu erzielen

Kooperative Lösung: kooperative Person erzielt U-K Trittbrettfahrer jedoch U

Unterbleibt Hilfeleistung: U=0 für alle!

K=KostenU=Nutzenn= Anzahl Personen



Gruppengröße n Fallzahl N Hilfeleistungsreaktionen in % Durchschnittliche Zeit in Sek. Bis zur Reaktion

1 (Versuchsperson und Opfer)

13 85 52

2 (Versuchsperson, Opfer und andere Person)

26 62 93

5 (Versuchsperson,Opfer und 4 andere Personen

13 31 166

Darley-und-Latané Experiment:

Mit steigender Gruppengröße sinken die Hilfeleistungsreaktionen



Hieraus kann man die Nash-Gleichgewichtslösung ableiten:

Die Wahrscheinlichkeit der Kooperation (p) steigt mit dem Wert des Kollektivgutes (U)

Und sinkt mit den Kosten (K) und der Gruppengröße (n)

D.h. Desto größer die Gruppe desto größer die Anzahl der Trittbrettfahrer

Bsp. Investitionen von Unternehmen in Forschung

p= Wahrscheinlich

keit der Kooperation



E) Zusammenfassung Kap VIIITyp Merkmal

Experimentelle Designs Mit Randomisierung ,es entstehen gute Kontrollgruppen

Quasiexperimentelle Designs Ohne Randomisierung, es entstehen suboptimale Vergleichsgruppen

Vorexperimentelle Designs Ohne Vergleichsgruppe

Education

Experimentelle und Quasiexperimentelle Designs 30_04_09