Heterogenität untersuchen

cochrane training

Schritte eines Cochrane Reviews

1. Fragestellung festlegen 2. Auswahlkriterien definieren3. Methoden definieren4. Studien suchen5. Auswahlkriterien anwenden 6. Daten extrahieren7. Bias-Risikos der Studien bewerten8. Ergebnisse analysieren und darstellen9. Ergebnisse interpretieren und Schlussfolgerungen ziehen10. Review optimieren und aktualisieren

cochrane training

Überblick

• Was ist Heterogenität?• Annahmen über Heterogenität• Heterogenität erkennen • Heterogenität untersuchen

Siehe Kapitel 9 im Handbuch

cochrane training

Was ist Heterogenität?

Unterschiede in Studienergebnissen

• Drei Haupttypen:• Klinisch• Methodisch• Statistisch

cochrane training

Klinische Vielfalt

• TeilnehmerInnen• z.B. (Gesundheits-)Problem, Alter, Geschlecht, Ort,

Studieneinschlusskriterien• Interventionen

• Intensität/Dosis, Dauer, Verabreichungsmethode, zusätzliche Komponenten, Erfahrung der ÄrztInnen, Kontrolle (Placebo, keine, Standardtherapie)

• Endpunkte• Dauer der Nachbeobachtung, Messmethoden, Definition

eines Ereignisses, Schwellenwert (cut-off)

cochrane training

Methodische Vielfalt

• Design• z.B. randomisiert vs nicht-randomisiert, Crossover- vs

parallel, Einzel- vs Cluster- Randomisierung• Durchführung

• z.B. Biasrisiko (Verdeckte Zuteilung, Verblindung, etc.), Vorgehen bei der Analyse

cochrane training

Statistische Heterogenität• Es wird immer eine zufällige Variabilität bei den Ergebnissen

der verschiedenen Studien geben (Stichprobe) • Heterogenität ist die Variabilität in den beobachteten Effekte der

verschiedenen Studien • Sie wird verursacht durch die klinische und methodische Vielfalt • Sie steht im Gegensatz zur Homogenität • Studienergebnisse sind unterschiedlicher als wenn die zufällige

Variabilität der einzige Grund für die Unterschiede in den beobachteten Interventionseffekten ist

cochrane training

Überblick

• Was ist Heterogenität?• Annahmen über Heterogenität• Heterogenität erkennen • Heterogenität untersuchen

cochrane training

Modell mit festem Effekt vs Modell mit zufälligen Effekten

• Fixed-effect-model vs. random-effect-model• Beide Modelle für Meta Analysen in RevMan verfügbar• Machen unterschiedliche Annahmen über Heterogenität• Geben Sie Ihre geplante Herangehensweise im Protokoll

an

cochrane training

Modell mit festem Effekt

• Nimmt an, dass alle Studien den gleichen Behandlungseffekt messen

• Schätzt diesen einen Effekt• Ohne Zufallsfehler

(Stichprobe) wären alle Ergebnisse identisch

wahrer Effekt

Zufallsfehler (Stichprobe)

Studienergebniss

Source: Julian Higgins

cochrane training

Modell mit zufälligen Effekten

Zufallsfehler

Studien-spezifischer Effekt

Mittelwert der wahren Effekte

• Nimmt an, dass der Behandlungseffekt zwischen Studien variiert

• Schätzt den Mittelwert der Verteilung der Effekte

• Gewichtet sowohl für Intra- als auch für Interstudienvarianz (tau2, 2)

Source: Julian Higgins

cochrane training

Wo ist der Unterschied?• Meta-Analysen (MA) mit random-effects-model sind:

• Fast identisch mit MA mit fixed-effect-model, wenn keine Heterogenität vorhanden ist

• Ähnlich zu MA mit fixed-effect-model aber mit breiterem Konfidenzintervall , wenn Heterogenität, wie vom random-effects model angenommen, vorhanden ist

• Anders als MA mit fixed-effect-model, wenn die Ergebnisse der Einzelstudie von der Studiengröße abhängen

• Random-effects-model gibt kleineren Studien mehr Gewicht

22 tauSE

1

VV

1G

chenarianzzwisrnhalbarianzinneewicht

cochrane training

Keine Heterogenität

Adapted from Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.

Fixed Random

cochrane training

Etwas Heterogenität

Adapted from Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2.

Fixed Random

cochrane trainingAdapted from Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.

Small study effectsFixed Random

cochrane training

Welches Modell wählen?

• Planen sie die Herangehensweise in der Protokollphase• Erwarten Sie, dass Ihre Ergebnisse sehr unterschiedlich

sein werden?• Berücksichtigen Sie die zugrundeliegenden Annahmen

der Modelle• Fixed-effect (fester Effekt)

• Könnte unrealistisch sein – ignoriert Heterogenität• Random-effects (zufällige Effekte)

• Berücksichtigt Heterogenität• Die Verteilung der Studieneffekte wird möglicherweise falsch

eingeschätzt, wenn Bias, wenige Studien oder wenige Ereignisse vorhanden sind

cochrane training

Überblick

• Was ist Heterogenität?• Annahmen über Heterogenität• Heterogenität erkennen • Heterogenität untersuchen

cochrane training

Heterogenität erkennen

• Beurteilung der Forest plots• Chi-Quadrat (2) Test (Q Test)• I2 Statistik, um die Heterogenität zu quantifizieren

cochrane training

Beurteilung der Forest plotsForest plot A Forest plot B

cochrane training

Der Chi-Quadrat (2) Test

• Testet die Null-Hypothese der Homogenität• Geringe Power bei wenigen Studien• Stellt gegebenenfalls klinisch irrelevante Unterschiede bei

vielen Studien fest• Einschränkung auf Heterogenität (ja/nein) ist nicht hilfreich,

wenn Heterogenität ohnehin vorhanden ist• Wird automatisch von RevMan berechnet

cochrane training

Die I2 Statistik

• I2 Statistik beschreibt den Prozentsatz der Variabilität, der auf Heterogenität und nicht auf Zufall zurückzuführen ist (0% bis 100%)• Niedrige Werte zeigen keine oder wenig Heterogenität an• Hohe Werte zeigen viel Heterogenität an

• Wird automatisch von RevMan berechnet• Seien Sie vorsichtig bei der Interpretation

cochrane training

Die I2 Statistik

chi2 = 29.55 df = 13 P = 0.0055

chi2 = 6.14 df = 3 P = 0.11

I2 = 56%

I2 = 51%

Source: Julian Higgins

cochrane training

Was tun bei Heterogenität• Überprüfen Sie, ob die Daten korrekt sind• Berücksichtigen Sie die Heterogenität bei Ihrer Interpretation

• insbesondere wenn die Richtung des Effekte variiert• Wenn die Heterogenität sehr hoch ist

• Interpretieren Sie Ergebnisse des fixed-effect-models mit Vorsicht• Erwägen Sie Sensitivitätsanalysen – würde Wahl des random-effects-

model einen wesentlichen Unterschied machen?• Überlegen Sie, ob es sinnvoll ist, eine Metaanalyse zu machen

• Gepooltes Ergebnis kann in der Praxis bedeutungslos sein• Berücksichtigen Sie die klinische und methodische Vergleichbarkeit

der Studien• Sie sollten nicht

• das Effektmaß oder das Analysemodell zu ändern• Outlier-Studien auszuschließen

• Untersuchen Sie Gründe für die Heterogenität

cochrane training

Überblick

• Was ist Heterogenität?• Annahmen über Heterogenität• Heterogenität erkennen • Heterogenität untersuchen

cochrane training

Heterogenität untersuchen

• Welche Faktoren scheinen den Effekt zu beeinflussen? • Klinische Vielfalt (Population, Intervention, Endpunkte)• Methodische Vielfalt (Studiendesign, Biasrisiko)

• Planen Sie ihre Strategie bereits im Protokoll• Identifizieren Sie eine begrentzte Anzahl relevanter

Faktoren, die zu untersuchen sind• Gibt es eine wissenschaftliche Begründung für jeden

gewählten Faktor?• Erwähnen Sie jegliche post-hoc Untersuchungen

cochrane training

Zwei Ansätze

• Subgruppenanalyse• Studien nach vorab spezifizierten Faktoren gruppieren • Betrachten Sie Unterschiede in den Ergebnissen und in der

Heterogenität• Meta-Regression

• Untersuchen Sie die Interaktion mit kategoriellen und kontinuierlichen Variablen

• Nicht verfügbar in RevMan

cochrane training

Bei Subgruppenanalysen zu beachten• Ergebnisse sind beobachtend und nicht randomisiert• Vorsicht bei multiplen und post-hoc Vergleichen• Bei wenigen eingeschlossenen Studien nicht sinnvoll• Bei aggregierten Studiendaten ggf. nicht möglich• Achten Sie auf Confounder• Folgen Sie Ihrem Protokoll • Bewerten Sie einzelne Ergebnisse nicht über

Ergebnisse sind selten definitiv

cochrane training

Interpretieren von Subgruppenanalysen• Betrachten Sie die Ergebnisse und die Heterogenität innerhalb

der Subgruppen• Sind die Subgruppen tatsächlich unterschiedlich?

• wenn es nur 2 Subgruppen gibt – überlappen sich die Konfidenzintervalle?

• statistische Tests für Subgruppenunterschiede• Vertrauenswürdiger sind:

• Vorab festgelegte Analysen• Subgruppenanalysen innerhalb von Studien• Der Effekt ist klinisch plausibel und unterstützt durch indirekte

Evidenz

cochrane training

Subgruppen nach TeilnehmerInnen

Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of Systematic Reviews 2008, Issue 1. Art. No.: CD000146. DOI: 10.1002/14651858.CD000146.pub3.

cochrane training

Subgruppen nach Interventionen

Base

d on

Lin

de K

, Ber

ner M

M, K

risto

n L.

St J

ohn'

s w

ort f

or m

ajor

dep

ress

ion.

Coc

hran

e D

atab

ase

of

Syst

emati

c Re

view

s 20

08, I

ssue

4. A

rt. N

o.: C

D00

0448

. DO

I: 10

.100

2/14

6518

58.C

D00

0448

.pub

3.

cochrane training

Sensitivitätsanalyse• Nicht das gleiche wie Subgruppenanalyse• Testet den Einfluss von Entscheidungen, welche während eines

Rewievs gemacht wurden• Einschluss von Studien in den Rewiev• Definition von niedrigem Biasrisiko• Auswahl des Effektmaßes• Annahmen über fehlende Daten• Cut-off-Werte für dichotomisierte Ordinal-Skalen• Korrelationskoeffizienten

• Wiederholen der Analysen mit einer alternativen Methode oder Annahme• Präsentieren Sie in der Regel nicht mehrere Forest Plots – sondern

nur die Ergebnisse• Wenn der Unterschied minimal ist, können sie den Ergebnissen

mehr Vertrauen schenken• Wenn der Unterschied groß ist, interpretieren Sie die Ergebnisse mit Vorsicht

cochrane training

Was gehört ins Protokoll?

• Bewertung der Heterogenität• Bewertung der Vergleichbarkeit der Studien vor der

Metaanalyse• Visuelle Beurteilung der Forest Plots und Verwendung von

Statistiken wie I2

• Datensynthese• Fixed-effect oder random-effects-model (oder beide)

• Subgruppenanalyse und Untersuchung der Heterogenität• Geplante Subgruppenanalysen• Weitere Strategien zur Untersuchung der Heterogenität• Sensitivitäsanalyse

cochrane training

cochrane training

Fazit

• Statistische Heterogenität ist das Vorhandensein von Unterschieden in den Interventionseffekten, die größer sind als erwartet aufgrund der zufälligen Variabilität

• Sie kann durch klinische und methodische Vielfalt verursacht werden

• Fixed-effect und random-effects-models machen unterschiedliche Annahmen über die Heterogenität

• Untersuchen sie jegliche Heterogenität, die sie finden

cochrane training

Quellen• Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and

undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www.cochrane-handbook.org.

Danksagung• Zusammengestellt von Miranda Cumpston• Basierend auf Unterlagen von Georgia Salanti, Julian Higgins, Steff Lewis, der Cochrane Statistical

Methods Group, des Australasian Cochrane Centre und des Dutch Cochrane Centre• Englische Version freigegeben vom Cochrane Methods Board • Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (Jörg

Meerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (BarbaraNußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) undCochrane Schweiz (Erik von Elm, Theresa Bengough)