Kritische Beurteilung von Meta-Analysen · PDF fileBjelakovic G, Nikolova D, Gluud LL, Simonetti RG, Gluud C (2012): Antioxidant supplements for prevention of mortality

Gero Langer

Warum reichen Bücher nicht aus als Wissensquelle?

(vgl. Antman et al., 1992)

Bücher?

Rule 31: Review the World Literature Fortnightly London, O. (1987): Kill As Few Patients As Possible. Ten Speed Press

Zeitschriften?

1

10

100

1.000

10.000

100.000

1.000.000

195

0

195

2

195

4

195

6

195

8

196

0

196

2

196

4

196

6

196

8

197

0

197

2

197

4

197

6

197

8

198

0

198

2

198

4

198

6

198

8

199

0

199

2

199

4

199

6

199

8

200

0

200

2

200

4

200

6

200

8

PubMed Subset Nursing Journals Clinical Trials RCTs Meta-Analysen Practice Guideline

Daten generiert mit http://dan.corlan.net/medline-trend.html

Anzahl jährlich neu hinzugekommene Artikel in PubMed

~50/Tag

~2.370/Tag

~10/Tag

~3/Tag

Kollegen?

Hydrokolloidverband vs. Konventioneller Gaze-Verband und die Heilung chronischer Wunden

Sie brauchen eine Systematische Übersichtsarbeit oder – noch besser – eine Meta-Analyse!

Review: Hydrocolloid occlusive dressing versus conventional gauze dressing in the healing of chronic wounds

Comparison: 01 Gauze dressing vs. hydrocolloid dressing

Outcome: 01 Complete healing of wounds

Study Gauze Hydrocolloid RR (fixed) Weight RR (fixed)

or sub-category n/N n/N 95% CI % 95% CI

Backhouse et al. 22/28 21/28 10.36 1.05 [0.79, 1.40]

Gorse & Messner 26/52 54/76 21.65 0.70 [0.52, 0.96]

Alm et al. 4/25 17/31 7.49 0.29 [0.11, 0.76]

Cordts et al. 6/20 8/23 3.67 0.86 [0.36, 2.06]

Xakellis & Chrischil 18/21 16/18 8.50 0.96 [0.76, 1.22]

Colwell et al. 1/49 11/48 5.49 0.09 [0.01, 0.66]

Arnold et al. 14/47 11/46 5.49 1.25 [0.63, 2.45]

Ohlsson et al. 2/14 7/14 3.45 0.29 [0.07, 1.14]

Kim et al. 14/18 21/26 8.48 0.96 [0.71, 1.31]

Hansson 7/49 5/48 2.49 1.37 [0.47, 4.02]

Viciano et al. 11/15 17/23 6.62 0.99 [0.67, 1.47]

Srivastava et al. 23/50 33/50 16.29 0.70 [0.49, 1.00]

Total (95% CI) 388 431 100.00 0.77 [0.67, 0.89]

Total events: 148 (Gauze), 221 (Hydrocolloid)

Test for heterogeneity: Chi² = 25.08, df = 11 (P = 0.009), I² = 56.1%

Test for overall effect: Z = 3.60 (P = 0.0003)

0.1 0.2 0.5 1 2 5 10

Favours Hydrocolloid Favours Gauze

(vgl. Singh et al., 2004)

Die Geschichte der Meta-Analyse

Karl Pearson führte verschiedene Studienergebnisse zur Wirksamkeit von Typhusimpfungen unter Berücksichtigung ihrer Genauigkeit zusammen Pearson, K. (1904): Report on certain

enteric fever inoculation statistics. BMJ, 3, 1243-1246.

Smith & Glass führten 1977 den Begriff Meta-Analyse ein, als sie zur Untersuchung der Wirksamkeit von Psychotherapien die Ergebnisse von 375 Studien mittelten Smith, ML & Glass, GV (1977): Meta-

analysis of psychotherapy outcomestudies. Amer Psycho, 32, 752-760.

Begriffe

Übersichtsarbeit (narrative Review, Overview) alles zu einem Thema wird gesucht, z.B. Publikationen,

Meinungen was wichtig erscheint, wird aufgenommen, (subjektiv)

Unwichtiges ignoriert

Systematische Übersichtsarbeit (Systematic Review) Übersichtsarbeit über Primärstudien, die vorher definierte Ein-

und Ausschlußkriterien und eine festgelegte, reproduzierbare Methode der Datensammlung und Auswertung enthalten

Meta-Analyse (Meta-Analysis) Teil einer Systematischen Übersichtsarbeit gemeinsamer Schätzer für den Therapieeffekt wird aus den

Ergebnissen einzelner, gewichteter Studien berechnet (gepoolt)

Kumulative Meta-Analyse Meta-Analyse, in der die Primärstudien chronologisch

angeordnet sind und dann für jede neue hinzukommende Studie ein neuer gemeinsamer Effektschätzer berechnet wird

…noch mehr Begriffe!

Rapid Review Einschränkung beim Aufwand, z.B. weniger sensitive

Recherche, schnellere Qualitätsbeurteilung, narrative oder tabellarische Zusammenfassung

Scoping Review Vorläufige Einschätzung von Art und Umfang der

Literatur zu einem Thema; keine Qualitätsbeurteilung

Meta-Synthese Inhaltliche Zusammenfassung qualitativer Arbeiten zu

einem Thema

Umbrella Review Zusammenfassung von Meta-Analysen und

Systematischen Übersichtsarbeiten; breit angelegt

Network Meta-Analysis Indirekte Vergleiche werden aus Einzelstudien

abgeleitet Studie 1: A vs. B/Studie 2: A vs. C → B vs. C

Network geometry of well-connected network of randomized controlled trials (RCTs) evaluating stroke prevention among populations with atrial fibrillation

Mills E J et al. BMJ 2013;346:bmj.f2914

Systematische Übersichtsarbeit bzw. Meta-Analyse: Pro & Contra

Schlußfolgerungen sind zuverlässiger und präziserunterschiedliche Ergebnisse und Studien können zu

neuen Hypothesen über Subgruppen führenAussagen über die Tendenz eines Effektes sind

möglich, wenn vorhandene Studien heterogen oder von schlechter Qualität sind

objektiver Überblick über Evidence-Lagemehrere kleine, oft unterpowerte Studien können

einen Effekt aufzeigenÜbertragbarkeit auf den konkreten Einzelfall unter

Umständen problematischGeneralisieren ohne Subgruppen kann zu fehlerhaften

Hypothesen führen – manchmal werden »Äpfel und Birnen« in einen Topf geworfen und daraus gemeinsame Schlußfolgerungen abgeleitet

Verringern Antioxidantien (Vitamin A, C, E; Selen;

-Carotin) wirklich die Sterblichkeit?

Objective: To assess the beneficial and harmful effects of antioxidant supplements for prevention of mortality in adults Bjelakovic G, Nikolova D, Gluud LL, Simonetti RG, Gluud C

(2012): Antioxidant supplements for prevention of mortalityin healthy participants and patients with various diseases. Cochrane Database of Systematic Reviews, 3. CD007176.

78 randomisierte, placebo-kontrollierte Studien mit insgesamt 296.707 Teilnehmern wurden eingeschlossen

Gesamtergebnis: Mortalität 11,7% vs. 10,2% REM: RR 1,02 (CI95% 0,98; 1,05) FEM: RR 1,03 (CI95% 1,01; 1,05)

Studien mit niedrigem Bias-Risiko: -Carotin: 13,8% vs. 11,1%; RR 1,05 (CI95% 1,01; 1,09) Vitamin E: 12,0% vs. 10,3%; RR 1,03 (CI95% 1,00; 1,05) Vitamin A, Vitamin C und Selen: statistisch nicht signifikant

Cochrane Review:Schritte bei der Erstellung

Registrierung des Themas

Ausarbeitung des Protokolls

(Hintergrund, Ziele, Methoden, Ein- und Ausschlußkriterien,

Suchstrategie)

InternationalePeer-Review

Erstellung der Systematischen Übersichtsarbeit:

Recherche: Datenbanken, Handsuche,

Referenzen, Autoren,Experten

Studienauswahl: Ein- und Ausschlußkriterien

Qualitätsbeurteilung:Validität, Bias-Quellen

Sammlung der Rohdaten

Analyse und Interpretation der Ergebnisse:

Subgruppen, Poolen,Forest-Plot,

Anwendbarkeit

Regelmäßige Updates

Publikation der Review in der

Cochrane Library

Internationale Peer-Review

Publikation des Protokolls in der Cochrane Library

Publikation von SRs/MAs:Das PRISMA-Statement

PRISMA: Preferred Reporting Items for Systematic Reviews and Meta-Analyses

Checkliste und FlußdiagrammEntwickelt aus QUOROMPrimärartikel und detaillierte Darstellung:

Moher, D., Liberati, A., Tetzlaff, J., Altman, D.G. & The PRISMA Group (2009): Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Med 6(7): e1000097.

Liberati, A., Altman, D.G., Tetzlaff, J., Mulrow, C., Goetzsche, P.C. et al. (2009): The PRISMA Statement for Reporting SystematicReviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration. PLoS Med 6(7): e1000100.

http://www.prisma-statement.org/Registrierung z.B. über http://www.crd.york.ac.uk/prospero/

PRISMA: Flußdiagramm

Records identified throughdatabase searching

(n = )

Additional records identifiedthrough other sources

(n = )

Records after duplicates removed(n = )

Records screened(n = )

Records excluded(n = )

Full-text articlesassessed for eligibility

(n = )

Full-text articlesexcluded, with

reasons(n = )

Studies included in qualitative synthesis

(n = )

Studies included in quantitative synthesis

(meta-analysis)(n = )

Section/topic # Checklist item Reported on page #

TITLE

Title 1 Identify the report as a systematic review, meta-analysis, or both.

ABSTRACT

Structured summary 2 Provide a structured summary including, as applicable: background; objectives; data sources; study eligibility criteria, participants, and interventions; study appraisal and synthesis methods; results; limitations; conclusions and implications of key findings; systematic review registration number.

INTRODUCTION

Rationale 3 Describe the rationale for the review in the context of what is already known.

Objectives 4 Provide an explicit statement of questions being addressed with reference to participants, interventions, comparisons, outcomes, and study design (PICOS).

METHODS

Protocol and registration

5 Indicate if a review protocol exists, if and where it can be accessed (e.g., Web address), and, if available, provide registration information including registration number.

Eligibility criteria 6 Specify study characteristics (e.g., PICOS, length of follow-up) and report characteristics (e.g., years considered, language, publication status) used as criteria for eligibility, giving rationale.

Information sources 7 Describe all information sources (e.g., databases with dates of coverage, contact with study authors to identify additional studies) in the search and date last searched.

Search 8 Present full electronic search strategy for at least one database, including any limits used, such that it could be repeated.

Study selection 9 State the process for selecting studies (i.e., screening, eligibility, included in systematic review, and, if applicable, included in the meta-analysis).

Data collection process 10 Describe method of data extraction from reports (e.g., piloted forms, independently, in duplicate) and any processes for obtaining and confirming data from investigators.

Data items 11 List and define all variables for which data were sought (e.g., PICOS, funding sources) and any assumptions and simplifications made.

Risk of bias in individual studies

12 Describe methods used for assessing risk of bias of individual studies (including specification of whether this was done at the study or outcome level), and how this information is to be used in any data synthesis.

Summary measures 13 State the principal summary measures (e.g., risk ratio, difference in means).

Synthesis of results 14 Describe the methods of handling data and combining results of studies, if done, including measures of consistency (e.g., I2) for each meta-analysis.

Section/topic # Checklist item Reported on page #

Risk of bias across studies

15 Specify any assessment of risk of bias that may affect the cumulative evidence (e.g., publication bias, selective reporting within studies).

Additional analyses 16 Describe methods of additional analyses (e.g., sensitivity or subgroup analyses, meta-regression), if done, indicating which were pre-specified.

RESULTS

Study selection 17 Give numbers of studies screened, assessed for eligibility, and included in the review, with reasons for exclusions at each stage, ideally with a flow diagram.

Study characteristics 18 For each study, present characteristics for which data were extracted (e.g., study size, PICOS, follow-up period) and provide the citations.

Risk of bias within studies

19 Present data on risk of bias of each study and, if available, any outcome level assessment (see item 12).

Results of individual studies

20 For all outcomes considered (benefits or harms), present, for each study: (a) simple summary data for each intervention group (b) effect estimates and confidence intervals, ideally with a forest plot.

Synthesis of results 21 Present results of each meta-analysis done, including confidence intervals and measures of consistency.

Risk of bias across studies

22 Present results of any assessment of risk of bias across studies (see Item 15).

Additional analysis 23 Give results of additional analyses, if done (e.g., sensitivity or subgroup analyses, meta-regression [see Item 16]).

DISCUSSION

Summary of evidence 24 Summarize the main findings including the strength of evidence for each main outcome; consider their relevance to key groups (e.g., healthcare providers, users, and policy makers).

Limitations 25 Discuss limitations at study and outcome level (e.g., risk of bias), and at review-level (e.g., incomplete retrieval of identified research, reporting bias).

Conclusions 26 Provide a general interpretation of the results in the context of other evidence, and implications for future research.

FUNDING

Funding 27 Describe sources of funding for the systematic review and other support (e.g., supply of data); role of funders for the systematic review.

Informationsquellen: „6S-Methode“ zum Auffinden der besten Evidence

Systeme

Sammlungen

Synopsen von

Synthesen

Synthesen

Synopsen von Studien

Studien

Anw

ender

(mod. nach DiCenso, 2009)

Lern

ende

Cochrane Collaboration

Archie Cochrane

»It is surely a great criticism of our profession that we have not organised a critical summary,

by specialty or sub-specialty, adapted periodically, of all relevant randomized controlled trials.« (1979)

Wo finden Sie solche Meta-Analysen?Die Cochrane Library

Cochrane Database of Systematic Reviews(CDSR; Cochrane Reviews)

8.332

Database of Abstracts of Reviews of Effects(DARE; Other Reviews)

30.175

Cochrane Central Register of Controlled Trials(CENTRAL; Clinical Trials)

780.942

Cochrane Methodology Register (CMR; Methods Studies)

15.764

Health Technology Assessment Database (HTA; Technology Assessments)

13.616

NHS Economic Evaluation Database(NHSEED; Economic Evaluations)

16.067

About The Cochrane Collaboration(About; Cochrane Groups)

82

The Cochrane Library, Juni 2014

Suche nach Systematischen Übersichtsarbeiten und Meta-Analysen

Cochrane Library: http://www.thecochranelibrary.com/PubMed: http://www.pubmed.com/

Clinical Queries:

Limits:

Der Review Manager

Kostenloses Software-Paket zur Erstellung von Systematischen Übersichtsarbeiten und Meta-Analysen (Literaturverwaltung) Strukturierte Eingabe Forest Plots Funnel Plots Statistik (Heterogenitätstests, Konfidenzintervalle, p-

Werte etc.)

http://ims.cochrane.org/revman/

Literaturempfehlungen

Egger, M., Smith, G. D., & Altman, D. G. (2001). Systematic reviews in health care : meta-analysis in context (2nd ed.). London: BMJ.

Glasziou, P. (2001). Systematic reviews in health care: a practical guide. Cambridge, New York: Cambridge University Press.

Hunter, J. E., & Schmidt, F. L. (2004). Methods of meta-analysis: correcting error and bias in research findings (2nd ed.). Thousand Oaks, Calif.: Sage.

Khan, K. S., Kunz, R., Kleijnen, J., & Antes, G. (2004). Systematische Übersichten und Meta-Analysen. Ein Handbuch für Ärzte in Klinik und Praxis sowie Experten im Gesundheitswesen. Berlin, Heidelberg: Springer-Verlag.

Mulrow, C. D., & Cook, D. (1998). Systematic reviews: synthesis of best evidence for health care decisions. Philadelphia, Pa.: American College of Physicians.

Rustenbach, S. J. (2003). Metaanalyse. Eine anwendungsorientierte Einführung. Bern: Verlag Hans Huber.

Schulze, R. (2004). Meta-analysis: a comparison of approaches. Toronto: Hogrefe & Huber.

Ried 2008:Knoblauch gegen Bluthochdruck

Einschlußkriterien

Publikationsbias

Die eigene Literaturrecherche

Überschneidungen zwischen Medline, Embase und Biosis liegen bei 40%

alle drei Datenbanken zusammen decken ca. 80% der medizinischen Literatur ab

Medline enthält höchstens 50% der relevanten Artikel eines (medizinischen) Fachgebiets

für umfassende Suchen, zum Beispiel im Rahmen von Systematischen Übersichtsarbeiten oder Leitlinien,reicht eine Recherche in Medline nicht aus!

…schön, wenn nette Menschen diese Arbeit schon erledigt haben…

Medline

Biosis

Embase

Probleme bei der Literaturrecherche, die Ihnen abgenommen werden

Auffindbarkeit und Vollständigkeit der Informationen es werden mehr Studien mit signifikantem Ergebnis

publiziert → Überschätzung des Therapieeffektes (= Publication Bias)

signifikante Ergebnisse werden häufiger in englischsprachigen Zeitschriften veröffentlicht (= Foreign Language Bias)

Studien in Online-Datenbanken werden nicht sicher aufgefunden, weil elektronische Datenbanken teilweise schlecht und uneinheitlich indexiert werden (= Retrieval Bias)

unterschiedliche Syntax und Suchmöglichkeiten in verschiedenen Datenbanken

Datenbanken sind unterschiedlich zugänglich (Kosten, Sprache, Handhabung)

Publication Bias

Turner, E. H., Matthews, A. M., Linardatos, E., Tell, R. A., & Rosenthal, R. (2008). Selective publication of antidepressant trials and its influence on apparent efficacy. The New England Journal of Medicine, 358(3), 252-260.

Industrie-geförderte Studien zur Wirksamkeit von Antidepressiva

1987-2004: 74 Studienprotokolle bei FDA registriert 38 Studien: Antidepressiva wirken

→ 37 Studien publiziert 36 Studien: Antidepressiva wirken nicht oder nur vielleicht

→ 22 Studien nicht publiziert→ 11 Studien publiziert mit Auswertung, die

Ergebnisse positiver aussehen läßt→ 3 Studien mit klaren negativen Ergebnissen

publiziert

Eindruck: 93% der Studien beschreiben positive WirkungKorrekt: 51% zeigen positive Wirkung

Publikationsbias: Haben Sie etwas übersehen?

Studien mit nicht-signifikantem Ergebnis werden mit geringerer Wahrscheinlichkeit oder später publiziert häufiger in nicht-englischsprachigen Zeitschriften

veröffentlicht

es gibt graphische Methoden und statistische Tests, um das Vorhandensein eines Publikationsbias zu untersuchen Graphisch: Funnel Plot Statistisch: Egger‘s Test

jede Meta-Analyse sollte eine Untersuchung auf Publikationsbias beinhalten

Vgl. Hopewell, 2009

Funnelplot

graphische Methode zur Untersuchung des Publikationsbias

Darstellung des geschätzten Therapieeffektes und der Genauigkeit der Ergebnisse der Einzelstudien (z.B. Inverse Varianz, N) in einem Streudiagramm

Abbildung sieht wie ein Trichter aus, falls den Studien ein gemeinsamer Therapieeffekt zugrunde liegt kein Publikationsbias vorliegt

leere Flächen im Trichter deuten auf einen potentiellenPublikationsbias hin

nur eingeschränkte Aussagekraft bei geringer Anzahl von Studien

Funnelplot: Beispiel für Publikationsbias

Relatives Risiko

0,2 0,5 1,0 2,0 5,0

1,0

0,8

2,0

Invers

e V

ari

anz

publizierte Studien

alle durchgeführten bzw.noch nicht durchgeführtenStudien, die (noch) nicht publiziert wurden

Glaubwürdigkeit der eingeschlossenen Studien

Bias: systematische Verzerrung des Ergebnisses

SelectionBias

PerformanceBias

AttritionBias

Beobachter-bias

Bias

MaßnahmezurMinimierung

Randomisierung Verblindung Intention-to-Treat-Analyse

Verblindung

geeignetePatienten

InterventionsgruppeOutcome

Kontrollgruppe

kein Outcome

Outcome

kein Outcome

Rando-misierung

Zeitraum,z.B. 1 Monat

Beurteilung der Studienqualität:Häufige Bias-Quellen in RCTs

Beurteilung der Studien nachvollziehbar

Übereinstimmung der Beurteiler

Übereinstimmung von Beurteilern

Berechnung: Prozentuale Übereinstimmung Cohens κ: Interrater-Reliabilität

κ>0,7 → ausreichende Übereinstimmung

Maß für die Güte des Beurteilungsinstrumentes

Heterogenität

Wie vergleichbar sind die Studien?

Statistisch mittels Heterogenitätstests ² I²

Klinisch mittels Expertise Pflegebedürftige Setting, Umgebungsbedingungen Interventionen Interventions- und Beobachtungsdauer Assessment der Outcomes

Der ²-Test auf Heterogenität (1)

non-parametrischer Test, mit dem sich die Signifikanz der Verteilung kategorialer Merkmale bestimmen läßt

die einzelnen Werte für ², ab denen Unterschiede als zufällig betrachtet werden müssen, schwanken stark in Abhängigkeit von Freiheitsgrad und α → man mußin einem Tafelwerk nachschlagen, ab welchen Werten von ² die Unterschiede in den Merkmalen auf Zufall beruhen

Der ²-Test auf Heterogenität (2)

Faustregel: ein ²-Test spricht für zufällige Unterschiede, wenn ² einen ähnlichen oder kleineren Wert als die Freiheitsgrade hat Freiheitsgrad (df, degrees of freedom): Anzahl der

(veränderlichen) Werte minus eins → werden in einer Meta-Analyse z.B. 8 Studien gepoolt, ist df=7

Problem: ²-Test hat geringe Power, d.h. es ist unwahrscheinlich, ein statistisch signifikantes Ergebnis zu erhalten, wenn eine wirkliche Heterogenität vorliegt

nicht-signifikante Tests sollten nicht als Beleg für Homogenität genommen werden!

Der I²-Test auf Heterogenität

Systematische Übersichtsarbeiten verwenden Studien aus unterschiedlichen Settings und Populationen, mit verschiedenen Methoden und Outcomes: Heterogenität ist wahrscheinlich immer vorhanden

I²-Test: Grad der Inkonsistenz zwischen den StudienBerechnung: (²-df)÷²*100%

Interpretation: Anzahl der gesamten Variationen in den Ergebnissen der Studien, die durch Heterogenität und nicht durch Zufall erklärt werden können

100% werden nie erreicht, bei Werten >70% ist Vorsicht bei der Interpretation der Ergebnisse der Meta-Analyse angebracht

Therapieeffekte

Therapieeffekte in Meta-Analysen

Dichotome Merkmale: Relatives Risiko, Odds Ratio Absolute und Relative Risikoreduktion Interpretation wie bei Interventionsstudien

Metrische Merkmale Gewichtete Mittelwertdifferenz (WMD, Weighted Mean

Difference): Einheit = Originaleinheit bei der Messung Standardisierte Mittelwertdifferenz (SMD, Standardized

Mean Difference, Cohens d): Differenz der mittleren Effekte in der Interventions- und Kontrollgruppe geteilt durch die gepoolte Standardabweichung; Einheit = standardisierte Einheit (und nicht Originaleinheit bei der Messung)

Beispiel: Hüftprotektoren

Zu Ihrer Fragestellung haben Sie fünf Studien in Ihre Systematische Übersichtsarbeit eingeschlossen

Die Anzahl der Oberschenkelhalsfrakturen in der Gruppe mit Hüftprotektor (Intervention) wird hier mit der Frakturrate in der Gruppe ohne Protektoren (Kontrolle) verglichen

Studien und Ergebnisse sind rein fiktiv!

Tabellarische Darstellung der Ergebnisse

QuelleIntervention

(n/N)

Kontrolle

(n/N)

Relatives Risiko

CI 95% p-Wert

Studie 1 40/400 80/440 0,55 0,39;0,78 0,001

Studie 2 3/46 8/55 0,45 0,13;1,59 0,21

Studie 3 3/12 2/9 1,13 0,23;5,39 0,88

Studie 4 44/208 55/220 0,85 0,60;1,20 0,35

Studie 5 7/39 7/46 1,18 0,45;3,07 0,74

gesamt 97/705 152/770 0,71 0,53;0,96 0,02

55

Graphische Darstellung der Ergebnisse

Study Treatment Control RR (random) Weight RR (random)


Studie 1 40/400 80/440 41.05 0.55 [0.39, 0.78]

Studie 2 3/46 8/55 5.06 0.45 [0.13, 1.59]

Studie 3 3/12 2/9 3.37 1.13 [0.23, 5.39]

Studie 4 44/208 55/220 41.96 0.85 [0.60, 1.20]

Studie 5 7/39 7/46 8.56 1.18 [0.45, 3.07]

Total (95% CI) 705 770 100.00 0.71 [0.53, 0.96]

Total events: 97 (Treatment), 152 (Control)



0.1 0.2 0.5 1 2 5 10

Favours treatment Favours control

Der Forest-Plot

am häufigsten verwendete Abbildungsart zur zusammenfassenden graphischen Darstellung einzelner Studienergebnisse

für jede Studie wird jeweils der geschätzte Therapieeffekt mit Konfidenzintervall dargestellt

Lage des Rechtecks: Stärke des TherapieeffektesGröße des Rechtecks: Gewichtung der einzelnen

Studiewaagrechter Strich: Breite des KonfidenzintervallsRaute: gepoolte Therapieeffekte

Gewichtungsmodell

Poolen von Studienergebnissen (1)

Fraktur Ø Fraktur EER CER RR

Studie 1Protektor 4 56

6,7% 7,3% 0,91Ø Protektor 11 139


22,2% 24,0% 0,93Ø Protektor 12 38

59


Fraktur Ø Fraktur EER CER RR


6,7% 7,3% 0,91Ø Protektor 11 139


22,2% 24,0% 0,93Ø Protektor 12 38

naiv gepoolt

Protektor 44 19618,3% 11,5% 1,59

Ø Protektor 23 177

Simpson'sches Paradoxon: durch das unspezifische Aggregieren von Zähldaten werden Zusammenhänge erzeugt, die in den Einzeldaten nicht existieren

60


besser: gewichteter Mittelwert der Therapieeffekte der Einzelstudien

Methoden der Meta-Analyse unterscheiden sich in der Art der Gewichtung: Fixed-Effects-Model oder Random-Effects-Model

Fixed-Effects-Model (FEM): evtl. Unterschiede in den geschätzten Therapieeffekten

sind ausschließlich auf die Zufallsstreuung zurückzuführen (Heterogenität nicht signifikant)

Variationen liegen innerhalb einzelner Studien, nicht aber zwischen Einzelstudien vor

Random-Effects-Model (REM): Therapieeffekt darf innerhalb einer einzelnen und auch

zwischen den Einzelstudien variieren Variation folgt vorgegebener Verteilung (meist

Normalverteilung)

vi=Varianz innerhalb Studienv*=Varianz zwischen Studien

Fixed- vs. Random-Effects-Model

Annahmen sind in beiden Modellen unrealistischoftmals vergleichbare oder sogar gleiche ErgebnisseKonfidenzintervall ist bei Random-Effects-Model

breiter:→ konservativere Entscheidung (Empfehlung!)

bei starker Heterogenität: Random-Effects-Model: gleiche Gewichtung aller Studien Fixed-Effects-Model: Konfidenzintervall viel zu eng aber: Untersuchung der Ursache der Heterogenität ist

wichtiger!

Fixed-Effects-Model (FEM)

Study Treatment Control RR (fixed) Weight RR (fixed)


Studie 1 40/400 80/440 52.31 0.55 [0.39, 0.78]

Studie 2 3/46 8/55 5.00 0.45 [0.13, 1.59]

Studie 3 3/12 2/9 1.57 1.13 [0.23, 5.39]

Studie 4 44/208 55/220 36.70 0.85 [0.60, 1.20]

Studie 5 7/39 7/46 4.41 1.18 [0.45, 3.07]

Total (95% CI) 705 770 100.00 0.69 [0.55, 0.87]




0.1 0.2 0.5 1 2 5 10


Random-Effects-Model (REM)

Study Treatment Control RR (random) Weight RR (random)


Studie 1 40/400 80/440 41.05 0.55 [0.39, 0.78]

Studie 2 3/46 8/55 5.06 0.45 [0.13, 1.59]

Studie 3 3/12 2/9 3.37 1.13 [0.23, 5.39]

Studie 4 44/208 55/220 41.96 0.85 [0.60, 1.20]

Studie 5 7/39 7/46 8.56 1.18 [0.45, 3.07]

Total (95% CI) 705 770 100.00 0.71 [0.53, 0.96]




0.1 0.2 0.5 1 2 5 10


Starke Heterogenität:Random Effects Model, Mantel-Haenszel

Study or Subgroup

01

02

03

04

05

06

07

08

09

10

Total (95% CI)

Total events

Heterogeneity: Tau² = 0,18; Chi² = 120,75, df = 9 (P < 0.00001); I² = 93%

Test for overall effect: Z = 2,35 (P = 0,02)

Events

40

40

40

40

40

40

40

40

40

400

760

Total

100

100

100

100

100

100

100

100

100

500

1400

Events

60

60

60

60

60

60

60

60

60

300

840

Total

100

100

100

100

100

100

100

100

100

500

1400

Weight

9,9%

9,9%

9,9%

9,9%

9,9%

9,9%

9,9%

9,9%

9,9%

11,0%

100,0%

M-H, Random, 95% CI

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

1,33 [1,23, 1,45]

0,72 [0,55, 0,95]

Experimental Control Risk Ratio Risk Ratio

M-H, Random, 95% CI

0.5 0.7 1 1.5 2Favours experimental Favours control

Starke Heterogenität:Random Effects Model, Inverse Varianz

Study or Subgroup

01

02

03

04

05

06

07

08

09

10

Total (95% CI)

Total events

Heterogeneity: Tau² = 0,17; Chi² = 113,29, df = 9 (P < 0.00001); I² = 92%


Events

40

40

40

40

40

40

40

40

40

400

760

Total

100

100

100

100

100

100

100

100

100

500

1400

Events

60

60

60

60

60

60

60

60

60

300

840

Total

100

100

100

100

100

100

100

100

100

500

1400

Weight

9,9%

9,9%

9,9%

9,9%

9,9%

9,9%

9,9%

9,9%

9,9%

11,1%

100,0%

IV, Random, 95% CI

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

1,33 [1,23, 1,45]

0,72 [0,55, 0,94]


IV, Random, 95% CI


Starke Heterogenität:Fixed Effects Model, Mantel-Haenszel

Study or Subgroup

01

02

03

04

05

06

07

08

09

10

Total (95% CI)

Total events

Heterogeneity: Chi² = 120,75, df = 9 (P < 0.00001); I² = 93%


Events

40

40

40

40

40

40

40

40

40

400

760

Total

100

100

100

100

100

100

100

100

100

500

1400

Events

60

60

60

60

60

60

60

60

60

300

840

Total

100

100

100

100

100

100

100

100

100

500

1400

Weight

7,1%

7,1%

7,1%

7,1%

7,1%

7,1%

7,1%

7,1%

7,1%

35,7%

100,0%

M-H, Fixed, 95% CI

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

1,33 [1,23, 1,45]

0,90 [0,85, 0,96]


M-H, Fixed, 95% CI


Starke Heterogenität:Fixed Effects Model, Inverse Varianz

Study or Subgroup

01

02

03

04

05

06

07

08

09

10

Total (95% CI)

Total events

Heterogeneity: Chi² = 113,29, df = 9 (P < 0.00001); I² = 92%


Events

40

40

40

40

40

40

40

40

40

400

760

Total

100

100

100

100

100

100

100

100

100

500

1400

Events

60

60

60

60

60

60

60

60

60

300

840

Total

100

100

100

100

100

100

100

100

100

500

1400

Weight

4,8%

4,8%

4,8%

4,8%

4,8%

4,8%

4,8%

4,8%

4,8%

56,8%

100,0%

IV, Fixed, 95% CI

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

0,67 [0,50, 0,89]

1,33 [1,23, 1,45]

0,99 [0,93, 1,05]


IV, Fixed, 95% CI


FEM und REM in der Praxis…

Li, J., Zhang, Q., Zhang, M., & Egger, M. (2007): Intravenousmagnesium for acute myocardial infarction. Cochrane Database SystRev 18(2), CD002755.

MAIN RESULTS: For early mortality where there was evidence of heterogeneity, a fixed-effect meta-analysis showed no difference between magnesium and placebo groups (OR 0.99, CI95% 0.94 to 1.04), while a random-effects meta-analysis showed a significant reduction comparing magnesium with placebo (OR 0.66, CI95% 0.53 to 0.82).

Problem: 1 Riesen-Studie, die einen Null-Effekt gefunden hat, während viele kleine Studien ein OR < 1 gefunden haben; durch die REM-Analyse wird die große Studie heruntergewichtet und ihr Einfluß „verwässert“

Kumulative Meta-Analyse

= Meta-Analysen, in denen die Primärstudien chronologisch angeordnet sind und dann für jede neue hinzukommende Studie ein neues Meta-Analyse-Ergebnis dargestellt ist

Gesamtergebnis läßtsich somit über die Zeit verfolgen

Jüni, P., Nartey, L., Reichenbach, S., Sterchi, R., Dieppe, P.A., & Egger, M. (2004): Risk of cardiovascular eventsand rofecoxib: cumulative meta-analysis. The Lancet, 364 (9450), 2021-2029

Documents

Kritische Beurteilung von Meta-Analysen · PDF fileBjelakovic G, Nikolova D, Gluud LL, Simonetti RG, Gluud C (2012): Antioxidant supplements for prevention of mortality