1

Systematic reviews –benefits and pitfalls

Yngve Falck-YtterDeutsches Cochrane Zentrum

Statistische Methoden in Evidenz-basierter Medizin und Health Technology Assessment

Freiburg, 20. November 2003

2

Inhalt

Warum brauchen wir systematische Reviews?

Evidence-based medicine / HTA

Benefits and pitfalls of meta-analysis

Klinisch-methodische Aspekte

Kritische Beurteilung der Qualität von SR

Crossing the quality chasm. IOM 2000 3

Hintergrund

Klinische Entscheidungen: 20 – 40% basiert auf

Erkenntnisse aus klinischer Forschung?

Schnell expandierendes medizinisches Wissen

Wenig transparenter, fehlerhafter und langsamer

Transfer von Wissen in die Praxis

4

ErkenntnistransferInformationen zu medizinischen Fragestellungen

• Klinische (kontrollierte) Studien• Epidemiologische (Beobachtungs-) Studien• ....

Behandelnde ÄrzteGesundheitsbehörden, KrankenkassenPatientenKlinische Forschung

Evi

denz

-Pro

dukt

ion

Evi

denz

-Nut

zung

?

Searched November 15, 2003 in PubMed: RCT[pt] 5

RCT Zitationen in MedlineRandomized controlled trial citations in Medline

Total: 175,140

38 186 212 268 288 350 369 455 557 626926

14571766

20492258252030272799

35033829

4402

5609

67367150

75458216

9469

10359

1137510940

11652

10981

7043

1226 1238

4495

1068110299

10148

0

2000

4000

6000

8000

10000

12000

14000

1965

1967

1969

1971

1973

1975

1977

1979

1981

1983

1985

1987

1989

1991

1993

1995

1997

1999

2001

2003

Num

ber o

f hits

6

Informationsflut vs. LesezeitJedes Jahr ca. 2 Mio. Artikel in 25.000 FachzeitschriftenGastroenterologie: Weltweit ~ 270 Zeitschriften250.000 bis 1 Mio. abgeschlossene Studien19 Artikel pro Tag, 365 Tage pro Jahr Davidoff 1995

Durchschnittliche ärztliche Lesezeit: < 40 Min. pro Woche

Lau J et. al. N Engl J Med 1992;327:248-54 7

Example streptokinase in acute MI

(OR, 95% CI)

Lau J et. al. N Engl J Med 1992;327:248-54

8

Antman E et. al. JAMA 1992;268:240-48

9

Antman E et. al. JAMA 1992;268:240-48

10

Evidence-based Medicine

Evidence-based medicine is the integration of best research evidence with clinical expertise and patients values.

Sackett D, Straus S, Richardson W, Rosenberg W, Haynes B. Evidence-based Medicine – how to practice and teach EBM. Churchill-Livingstone 1997

Oxford Centre of Evidence Based Medicine; http://www.cebm.net 11

Level of evidence

Level of evidence

Studies on therapy / harm

I Randomized controlled trials

II Cohort studies

III Case-control-studies

IV Case-series

V Expert opinion

12

Für EBM nötig...

Systematische Identifikation von Evidenz(unter Einbezug medizinischer Datenbanken)

LösungsansätzeI Primärliteratur: Originalartikel (Klassische EBM)II Sekundärliteratur: z.B. Journal Club, Journal WatchIII Zusammenfassen: Synthese von mehreren Artikeln

aus Primärliteratur (Narrativ oder systematisch), „Clinical Evidence“, „Cochrane Library“

Searched: September 15, 2003 (meta-analysis[mh] OR meta-analysis[pt] OR meta-anal*[tw])

13

Meta-analysen und Systematic Reviewsin Medline

6 3 12 19 17 25 32 54113

254335

436539 564

699803

883

11311185

1381

17901906

1991

0

200

400

600

800

1000

1200

1400

1600

1800

2000

1980

1981

1982

1983

1984

1985

1986

1987

1988

1989

1990

1991

1992

1993

1994

1995

1996

1997

1998

1999

2000

2001

2002

Num

ber o

f hits

Egger M, Smith DS. BMJ 1995;310:752-54 14

Meta-analysisYusuf S.Circulation 1993

ISIS-4Lancet 1995Funnel

plot: i.v. Mg im

AMI

Reporting bias

Egger M, Smith DS. BMJ 1995;310:752-54 15

Meta-analysisYusuf S.Circulation 1993

ISIS-4Lancet 1995

Egger M, Smith DS. BMJ 1995;310:752-54 16

17

Verzerrungen (Bias): Quellen

Publikationsbias (File Drawer Problem)• öfter Nicht-Veröffentlichung von „negativen“ Studien• schnellere und mehrfache Publikationen sign. Ergebnisse

Language bias• Systematische Unterschiede bei Publikationen im englisch-

vs. nichtenglisch-sprachigem RaumRetrieval bias• Keine sichere Methode für das Auffinden von

veröffentlichten Studien

Egger et al. Lancet 1997;350:326-29 18

Veröffentlichungen deutsch vs. englisch

Glaxo 1997 19

Retrieval Bias

Accessibility of published data (April 1997)

51%

46%

3%

0% 10% 20% 30% 40% 50% 60%

Papers published in journals NOTscanned by EMED/MEDL

Abstracts / grey literature

Papers published in journals scanned byEMED/MEDL

Bassler D et al Monatsschrift Kinderheilkunde 2001 20

Zugriff auf Studien (RCT, CCT)

0 00 0

348

94

4116

3672

827

0

50

100

150

200

250

300

350

400

MonatsschriftKinderheilkunde

Klinische Pädiatrie Kinderarzt PädiatrischePraxis Kinderarzt

Anz

ahl S

tudi

en (1

970-

1999

)

Handsuche

...davon in Medline

... mit richtigemPublikationstyp

Egger et al. Systematic Reviews 2001 21

Problemfeld: “Heterogeneity”

22

Wichtig: Meta-Analysen immer kritisch beurteilen!

Vorsicht bei Meta-Analysen, wo…• Studien nicht eindeutig beschrieben sind• Studien nicht kritisch beurteilt wurden• Heterogenität nicht untersucht wurde• Keine Sensitivitätsanalysen vorgenommen wurden

Immer zu bedenken: • Meta-Analysen können nie die Verzerrungen (Bias) der

zugrunde liegenden Studien kompensieren• Mit anderen Worten: Müll rein → Müll raus

23

24

Lösungsansätze

Standardisierung der Reports von ReviewsQUORUM Statement, Moher et al. Lancet 1999

Standardisierung der Reports von klinischen StudienCONSORT Statement, Begg et al. 1996/2001

Standardisierung der Reports von DiagnosestudienSTARD Statement, Bossuyt et al. Ann Int Med 2003

25

Lösungen: Prospektive Registrierung von Studien

26

Archie Cochrane

1979

“It is surely a great criticism of our profession that we have not organised a critical summary, by speciality or subspecialty,

adapted periodically, of all relevant randomised controlled trials.”

27

Preparing, maintaining and promoting the accessibility of systematic reviews of the effects of

health care interventions

28

Colorectale Chirurgie: Spülen oder nicht spülen?

Outcome: Anastomotic leakage

29

Spülen oder nicht spülen?

Outcome: Wound infection

30

Lösungsansätze: Cochrane

Systematische Reviews (z.B. Cochrane)• Erfassung aller für die Fragestellung relevanten Literatur

• Datenbanken: Medline, Embase etc.• Handsuche: z.B. Studien in Cochrane CENTRAL database

• Gegensatz: narrative Reviews• Cochrane: Titel → Protokoll → Review• Transparenz

31

Epidemiologische Studien, Datenbanken, FallserienKlinische Studien (randomisiert, kontrolliert, prospektiv)

Systematic Reviews (Wirksamkeit)

Health Technology Assessment (HTA)

LeitlinienDMP

Patienten-Informationen

AusschüsseUmfassende Bewertung

Management im klinischen Alltag

Inte

rnat

iona

l

Inte

rnat

iona

l

Nat

iona

l

Nat

iona

lSR

/ M

A

Entscheidungs-hilfen

32

Missverständnisse und Missbrauch

Vorwurf: Plagiat

Kochbuch-Medizin

Marketing Instrument

Äpfel mit Birnen vergleichen

33

Zusammenfassung

Systematische Reviews / Meta-Analysen können zeitnah Forschungsergebnisse zusammenfassen und die Präzision einer Aussage verbessernMethodisch korrektes Vorgehen notwendigSind alle Studien eingeschlossen? Publication Bias?

Vorsicht bei Meta-Analysen mit nur kleinen Studien

Quellen und Ausmaß klinischer und methodischer Heterogenität identifizieren und bewerten

34