Upload
mona-gloeckner
View
217
Download
0
Embed Size (px)
Citation preview
Experimentelle und quasi-experimentelle Designs
Barbara WerewkaChristian Barnet
Varianzkontrolle (Kerlinger 1976)
Bestimmung von Vergleichsgruppen
Modus der Aufteilung von Untersuchungspersonen auf die Vergleichsgruppen
Designklassen
Vor-experimentelle Designs Experimentelle Designs Quasi-experimentelle Designs
Grundproblematik bei allen Designs: Neutralisierung eventuell verzerrender Effekte
von Drittvariablen
Vorexperimentelle Designs
Begriff geschaffen von Campbell und Stanley (1963)
Vorexperimentelle Designs genügen nicht wissenschaftlichen Anforderungen an die Methodik der Hypothesenprüfung
Dieser unzureichende Designtyp lässt mehrere Fehlerquellen gut erkennen
Fehlen von Vergleichsmöglichkeiten Unvollständige Tabelleninformationen Keine Vergleichs- und Kontrollgruppen
Prototyp eines vorexperimentellen Designs - XO Design
X – experimenteller StimulusO – Beobachtung: Messung einer abhängigen
Variable
Die Unabhängige Variable besteht nur aus einer Kategorie.Damit sind die Vergleiche nicht möglich, da die Auswirkungen einer zweiten Kategorie nicht beobachtet werden.
Es werden scheinbar Vergleiche suggeriert, die Angaben sind jedoch unvollständig.
Beispiele von XO - Designs
ADAC glaubt – schnelles Autofahren ist nicht gefährlich, denn die meisten Autounfälle ereignen sich bei moderaten Geschwindigkeiten.
Ein Reisemagazin rät, sich bei Autofahrten kurz vor dem Ziel besonders zu konzentrieren. Empfehlung basiert auf Statistik, wonach die meisten Unfälle im Umkreis von 30 Km vom Wohnort passieren.
„Spiegel“ berichtet, 50% der verunglückten Skifahrer, die im Kantonspital Chur behandelt werden, sind Deutsche.
Beispiele von XO - Designs
Alle drei Beispiele beruhen auf einem gravierendem Denkfehler
Beim XO - Design ist die Varianz der unabhängigen Variable 0.
Damit lassen sich keine Zusammenhangshypothesen überprüfen und keine Effekte abschätzen.
Beispiele von XO - Designs
AutounfälleTempo
100 200ohne Unfall
mit Unfall
Frage: Ist die Unfallwahrscheinlichkeit bei Tempo 200 tatsächlich gering?
? ?
100 10
9
Beispiele von XO - Designs Skiunfälle
Deutschland Lichtenstein Andere
nein 8950
ja 1000
5500 50 4440 9950
Frage: Ist die Unfallwahrscheinlichkeit bei der Deutschen Skiurlauber tatsächlich so hoch?
4950 40 3960
550 10 440
Experimentelle Designs Nutzen von Experimenten
Experimente sind der einzige sichere Weg zur Überprüfung (Falsifikation) von Hypothesen. Sie ermöglichen die Untersuchung von Kausalität. (Prinzip von Ursache/Wirkung)
Charakteristisch für ein Experiment ist Es gibt mindestens 2 Gruppen (Versuchs- und Kontrollgruppe) Zuordnung zu den Gruppen geschieht durch Zufall
(Randomisierung) Aktive Variation der UV durch den Versuchsleiter und
Registrierung des Effektes der Veränderung Ausschalten von Wirkungen anderer Variablen (Störvariablen) Experimente sollten replizierbar sein (wiederholbar mit
gleichem Ergebnis) => Reliabilität
Experimentelle Designs Bestandteile
Versuchsperson / Teilnehmer Versuchsleiter / Experimentator Unabhängige Variable (Faktor, Bedingung):
Dies ist die Variable die vom Forscher aktiv verändert wird. Sie hat mindestens 2 Ausprägungen (Vorhanden sein / nicht Vorhanden sein)
Abhängige Variable: Bei dieser Variable soll der Effekt der Veränderung der UV beobachtet
werden. Die Reaktion der AV (Messung der Veränderung) ist also das zu beobachtende Ereignis.
Störvariable: Dies ist eine Variable die ebenfalls die AV beeinflusst, deren
Auswirkung aber im derzeitigen Experiment nicht erforscht wird und daher neutralisiert werden muss.
Experimentelle Designs Ausprägungen
BlindversuchDen Versuchspersonen (Probanden) ist nicht bekannt, ob sie in der Versuchs- oder in der Kontrollgruppe sind bzw. die Probanden sind über die zu prüfende Hypothese nicht informiert
DoppelblindversuchZusätzlich zu den Probanden ist auch dem Versuchsleiter die zu prüfende Hypothese nicht bekannt bzw. auch er weiß nicht, ob er eine Versuchs- oder eine Kontrollgruppe leitet.
Experimentelle Designs
Mehrere Versuchsgruppen
Es gibt auch Experimente mit mehreren Versuchsgruppen. In diesen Fällen ist jede einzelne Gruppe zugleich Versuchsgruppe betreffend einen experimentellen Stimulus (X1,X2,..,Xn) und Kontrollgruppe im Verhältnis zu der anderen Versuchungsgruppen.
R X1 O1 Versuchsgruppe 1 R X2 O2 Versuchsgruppe 2. . .. . .R Xm Om Versuchsgruppe n
Experimentelle Designs
Mehrere VersuchsgruppenBeispiel :
Überprüfung zweier oder mehrer unterschiedlichen Unterrichtsmethoden auf die Lernleistung von Schülern.
R - Zufallsverfahren bei der Zuweisung der Schülerinnen und Schüler (Probanden) auf die Versuchsgruppen
X1,X2,Xm – die unterschiedlichen Unterrichtsmethoden (experimentelles Stimulus)
O1,O2,Om – die unterschiedlichen Lernergebnisse der Schülerinnen und Schüler (Beobachtungen)
Problem der Scheinkorrelation
Die Beobachtung (O) ist nur scheinbar Ergebnis bzw. Auswirkung des experimentellen Stimulus X. Tatsächlich hat der unbekannte Drittfaktor Z das Ergebnis (die Beobachtung) herbeigeführt.
+ X (experimentelle Stimulus)
Z(Unbekannte Drittfaktor)
+ O (Beobachtung)
Scheinkorrelation
Beispiel: Berufsfortbildungsprogramm für Arbeitslose (ohne Randomisierung)
Zu überprüfende Hypothese: Auswirkungen von Berufsfortbildungsprogrammen auf Wiederbeschäftigungschance.
X 1 – Teilnahme an BerufsfortbildungsprogrammX 2 – keine TeilnahmeO - Wiedereinstellung
Scheinkorrelation: Beispiel
X x1 (Versuchsgruppe) Arbeitslose mit Berufsfortbildungskursx2 (Kontrollgruppe) Arbeitslose ohne Berufsfortbildungskurs
Z (unbekannter Drittfaktor) : unterschiedliche Vor-Qualifikationen bzw. unterschiedliche Motivation der Probanden.
+ X Kursteilnahme
Z
+ O Beschäftigungschance
Scheinkorrelation: Beispiel
Beispiel: Berufsfortbildungsprogramm für Arbeitslose (mit Randomisierung)
R X x1 (Versuchsgruppe mit Kurs, Beschäftigungschance)R x2 (Versuchsgruppe ohne Kurs, Beschäftigungschance)
Durch die Randomisierung bei der Ziehung von Versuchs- und Kontrollgruppen wird der unbekannte Drittfaktor Z ausgeschlossen. Nunmehr lässt sich eine Korrelation zwischen Fortbildungskurs und Beschäftigungschance herstellen. Weiteres besteht die Möglichkeit die Störvariable mitzuerheben oder konstant zu halten um Effekte damit zu eliminieren.
Weitere Fehlerquellen und deren Ausschluss Variable Z, die trotz Randomisierung nicht neutralisiert werden
kann z. B.: Die Entmutigung der Arbeitslosen fällt durch regelmäßige
Kursbesuche nicht so stark aus, wie wenn sie „sich selbst überlassen“ sind
Hawthorne – Effekt, Verzerrung durch Reaktivität Ende der 20er Jahre in den Hawthorne Werken der Western Electric
Company entdeckt. Sagt aus, dass Versuchspersonen ihr Verhalten verändern können, sobald sie merken, dass es sich um ein Experiment handelt.
Randomisierung verzerrt das Ergebnis Z. B.: Diejenigen die nicht am Kurs teilnehmen dürfen, fühlen sich als
Verlierer Bei geringen Fallzahlen kann die Randomisierung missglücken
D. h. wenn die Gruppengrößen nicht groß genug sind
Strategien zur Problemlösung
Variable Z : Weitere Experimente durchführen
Hawthorne – Effekt: Blind- und Doppelblindversuche
Verzerrung durch Randomisierung: eher Ausnahme
Missglückte Randomisierung: Kombination von Randomisierung und Matching (z. B.: Bei Verteilung
auf Gleichmäßigkeit des Geschlechts achten)
Interne und externe Validität
Interne Validität: Ausblendung von Störvariablen.
ist hoch, wenn es gelingt alles, außer der unabhängigen Variable, in den verschiedenen Versuchsanordnungen/ Versuchsgruppen gleich zu lassen. => Der Schlüssel eines „guten“ Experimentes.
Externe Validität: Generalisierbarkeit experimenteller
Effekte. D. h. Inwieweit ist die Experimentsituation auf natürliche Situationen und andere Menschen anwendbar.
Vor- und Nachteile der experimentellen Designs
Vorteile: Die Möglichkeit selbst aktiv eine Ursache (unabhängige
Variable) zu gestalten und die Wirkung genau dieser einen Variable zu erforschen. => Kausalitätsforschung
Neutralisierung von Drittvariablen.
Nachteile: Das Problem der externen Validität Das Problem der Reaktivität (Hawthorne) Hoher Aufwand bei simultaner Prüfung praktische oder ethische Gründen als Hindernisse bei
Durchführung.
Experimentelle Spieltheorie
„mamihlapinatapai“ („Jeder erwartet von jemand anderem, dass dieser etwas tut, was alle wünschen, aber keiner bereit ist zu tun“)Verantwortungsdiffusion/FreiwilligendilemmaExperiment von Darley und Latané (1968) (Diekmann, S. 304ff)
Versuchsanordnung
Hypothese: „Je größer die Zahl der Zuschauer in einer Hilfeleistungssituation, desto geringer die (individuelle) Wahrscheinlichkeit dass eine bestimmte Person Hilfe leistet“
Vorgespieltes Experiment „Diskussion über das College-Leben“
2er, 3er, 6er Gruppen von Studenten (wobei immer nur 1 Versuchsperson war, die Anderen eingeweihte Mitarbeiter)
Diskussion über Mikrofone in getrennten Räumen Notsituation wurde vorgetäuscht (epileptischer Anfall) Aufzeichnung der Reaktionen der Versuchspersonen
Hilfeleistungen
2er Gruppe (85 %) 3er Gruppe (62 %) 6er Gruppe (31 %)
Quasi-Experimente
Definition: „Versuchsanordnungen die dem Vorbild des Experimentes nahe kommen und der experimentellen Logik folgen, jedoch nicht die strengen Anforderungen an das experimentelle Design erfüllen.“ (Diekmann, S.309)
Quasi-Experimente
Unterschied zum Experiment Es wird auf die Randomisierung (d. h. die zufällige Zuteilung von
Versuchspersonen in Versuchs- oder Kontrollgruppe) verzichtet. Grund: die Zufallszuteilung ist in vielen Fällen (vor allem in
Feldforschung, z. B. Aufteilung der Schüler in Schulklassen nicht beeinflussbar) nicht möglich. Die Gruppenaufteilung erfolgt nach natürlich vorhandenen Eigenschaften bzw. Selbstselektion
2 Hauptvertreter Vorher-Nachher-Messung mit Versuchs- und Kontrollgruppe
ohne Zufallsaufteilung („Förderunterricht“) Zeitreihen-Experiment („Schwarzfahrer“)
Zeitreihenanalyse
Die abhängige Variable wird zu mehr als 2 Zeitpunkten gemessen. (z. B. 7 Messungen und in der 4en wird die unabhängige Variable eingeführt)
Es wird der Trend vor und nach der Maßnahme gemessen
Probleme bei der Resultatsinterpretation (Diekmann, S. 316ff)
Vorteile von Quasi-Experimenten
Eignet sich besonders für Untersuchungen im natürlichen Umfeld (besser als Experimente) da dort die Zufallszuteilung oft nicht gemacht werden kann
Hohe externe Validität
Nachteile und Probleme von QU-E Verzerrungseffekte durch Drittvariablen
Selbstselektion Z. B.: Melden sich nur fleißige Schüler freiwillig zum
Förderunterricht Systematische Ausfälle
Z. B.: schwächere Schüler brechen den Förderunterricht ab (dadurch würde sich Erfolgsquote „verbessern“)
Regressionseffekte „statistische Tendenz zur Mitte“
Z. B.: Eine Abweichung von Extremwerten ist leichter möglich als von mittleren Werten. Ein 1er Schüler kann sich eigentlich nicht mehr verbessern, ein 5er Schüler nicht mehr verschlechtern.
Lösungsversuche
Gruppen-Matching / Paarweises Matching Es wird versucht die Gruppen bezüglich bestimmter
Störvariablen möglichst gleichartig aufzubauen Nachträgliche Kontrolle von Drittvariablen durch multivariate
statistische Verfahren Die verzerrenden Merkmale müssen bekannt sein Es müssen bereits Messungen für diese Merkmale vorliegen
Zeitreihen-Experimente (je längerfristiger desto genauer) Aktive Überwachung der nicht kontrollierten Störfaktoren (z. B.
Beobachtung vom Eintritt punktueller unerwarteter Ereignisse) Formulierung möglichst klarer Erwartungen an die Daten
Prüfungsfragen
Erklären sie die Begriffe der internen und externen Validität.
Unterscheiden Sie das Konzept des Experiments von nicht-experimentellen Methoden
Zeigen sie die Vor- und Nachteile der Quasi-Experimente auf, sowie Möglichkeiten deren Schwächen zu vermindern.