24
Bewertung der Qualität wissenschaftlicher Studien Summer School 2. bis 6. September 2013 Daria Langner WINEG | Wissenschaftliches Institut der TK für Nutzen und Effizienz im Gesundheitswesen

Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Embed Size (px)

Citation preview

Page 1: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Bewertung der Qualität wissenschaftlicher Studien

Summer School2. bis 6. September 2013

Daria Langner

WINEG | Wissenschaftliches Institut der TK für Nutzen und Effizienz im Gesundheitswesen

Page 2: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Inhalt

1. Qualität im Gesundheitswesen

2. Warum bewerten wir Studien?

3. Methoden der Qualitätsbewertung

4. Praktische Übung

Page 3: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Qualität im Gesundheitswesen

"Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und bedarfsgerechte, an der Lebensqualität orientierte, fachlich qualifizierte, aber auch wirtschaftliche medizinische Versorgung mit dem Ziel, die Wahrscheinlichkeit erwünschter Behandlungsergebnisse bei Individuen und in der Gesamtbevölkerung zu erhöhen" (ÄZQ 2010)

Quellen: www.aezq.de

Um im Versorgungsalltag die richtigen Entscheidungen treffen zu können, brauchen wir qualitativ hochwertige Studien, die uns dabei unterstützen.

Page 4: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Definition: Studienqualität

…oder beidem?

“The extent to which all aspects of a study’s design and conduct can be shown to protect against systematic bias, nonsystematic bias, and inferential error.” (Lohr & Carey, 1999)

Wie bewertet man die Qualität wissenschaftlicher Studien,mit objektiven Standards oder nach Bauchgefühl?

Page 5: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Warum bewerten wir Studien?

Die Bewertung von Studien dient dem praktischen Nutzen im Versorgungsalltag; im Folgenden einige Beispiele:• Informationen zu diagnostischen Verfahren (z.B. Testgenauigkeit)• Evidenzsynthese, also die Zusammenfassung mehrerer Studien zu einem

"großen" Ergebnis (z.B. Systematische Reviews, Metaanalysen)• Erstellung von Handlungsempfehlungen und Leitlinien (z.B. HTA-Berichte,

ärztliche Leitlinien, Patienteninformationen/ Entscheidungshilfen)• Erstellung ökonomischer Analysen (z.B. Kosten-Effektivitätsanalysen, Kosten-

Nutzenanalysen)• Qualitative Forschung zur Erschließung eines Themengebiets/ einer

Problemstellung (z.B. Fokusgruppeninterviews)• Darstellung psychometrischer Instrumente (z.B. Fragebogenvalidierung)

Zielgruppen sind, je nach Themengebiet direkt oder indirekt, Patienten und Versicherte, Ärzte und andere Leistungserbringer, Kostenträger, Politiker etc.

Page 6: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Studienqualität - was macht den Unterschied?"If you are deciding whether a paper is worth reading, you should do so on the design of the methods section and NOT on the interest value of the hypothesis, the nature or potential impact of the results or the speculation in the discussion." (Greenhalgh 2001)

Leitfragen zum Nutzen von Studien:

Was ist eine gute Studie?

Was ist eine gute Publikation?

Welche Rückschlüsse lassen sich aus den Ergebnissen ziehen?

Wie implementieren wir die Studienergebnisse in den Versorgungsalltag?

Page 7: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Studienqualität - was macht den Unterschied?

Page 8: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

P Patient population (Patient und seine Eigenschaft)

I Intervention (d.h. Behandlung)

C Comparison (Alternativmaßnahme oder keine Behandlung)

O Outcome, d.h. das Behandlungsziel (z.B. Mortalität, Lebensqualität)

Studienqualität - was macht den Unterschied?

Page 9: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Interne vs. Externe Validität

Interne Validität• beschreibt die Wahrscheinlichkeit, inwieweit die Studienergebnisse die

"wahren" Effekte einer Exposition/Intervention darstellen und daher glaubwürdig sind

• beschreibt das Ausmaß von Zufallsfehlern, Confounding und Bias

Externe Validität• beschreibt die Generalisierbarkeit bzw. Übertragbarkeit der Studienergebnisse

auf Personen, die nicht an der Studie teilgenommen haben

Voraussetzung für die externe Validität ist die interne Validität, also die "Richtigkeit" der Studienergebnisse!

Page 10: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Warum wir uns Studien ganzgenau anschauen müssen…

Quellen: Greenhalgh T (2010): How to read a paper: The basics of evidence based medicine. Fourth Edition. BMJ Books.

Page 11: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Kurze Wiederholung: Types ofBiases in RCT's Target Population (baseline state)

Intervention group Control group

Exposed tointervention

Not exposed tointervention

Follow-up Follow-up

Outcomes Outcomes

Selection bias

Performance bias

Exclusion/ Attrition bias

Detection bias

Publication bias Interpretation bias

systematic differences in the comparisongroups attributable to incompleterandomisation

systematic differences in the careprovided apart from the interventionbeing evaluated

systematic differences in withdrawalsfrom the trial

Allocation

systematic differences in outcomeassessment

Quellen: Greenhalgh T (2010): How to read a paper: The basics of evidence based medicine. Fourth Edition. BMJ Books.

Page 12: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Instrumente zur Bewertung der Studienqualität

Page 13: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Instrumente zur Qualitäts-bewertung

Bewertung von RCT's: CONSORT Statement

Quelle: https://www.thieme-connect.de/ejournals/pdf/10.1055/s-0031-1272980.pdf

Page 14: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Instrumente zur Qualitäts-bewertung

Bewertung von Systematischen Reviews: PRISMA-Statement (ehemals QUOROM)

Quelle: https://www.thieme-connect.de/ejournals/pdf/10.1055/s-0031-1272978.pdf

Page 15: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Instrumente zur Qualitäts-bewertung

Bewertung der Qualität von Leitlinien: AGREE Instrument

Quelle: http://www.agreetrust.org/

Page 16: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Instrumente zur Qualitäts-bewertung

Bewertung der Qualität von diagnostischen Studien: STARD Statement

Quelle: https://www.thieme-connect.de/ejournals/pdf/10.1055/s-0031-1272979.pdf

Page 17: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Instrumente zur Qualitäts-bewertung

Bewertung der Qualität von qualitativen Studien: ENTREQ

Quelle: http://www.biomedcentral.com/content/pdf/1471-2288-12-181.pdf

Page 18: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Instrumente zur Qualitäts-bewertung

Bewertung der Qualität von Beobachtungsstudien: STROBE Statement

Quelle: http://download.journals.elsevierhealth.com/pdfs/journals/0895-4356/PIIS0895435607004362.pdf

Page 19: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Praktische Übung I

Aufgabenstellung:

1. Bitte lesen Sie sich die wichtigsten Aspekte des CONSORT-Statements

durch.

2. Lesen Sie die Studie, achten Sie dabei insbesondere auf die in der

Checkliste des CONSORT-Statements beschriebenen Themenbereiche.

3. Diskutieren Sie in der Gruppe Ergebnisse und Probleme.

• Wie schwierig/einfach war es für Sie, die Qualität der Studie richtig

einschätzen zu können?

• Welche Aspekte der Checkliste sind Ihrer Einschätzung nach die

wichtigsten?

• Wofür ist eine Bewertung wie diese notwendig?

Page 20: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Studie 1 Studie 2 Studie 3

Studiendesign ?? ?? ??

Population ?? ?? ??

… ?? ?? ??

Ergebnisdarstellung ?? ?? ??

Gesamtbewertung ?? ?? ??

Praktische Übung II

Page 21: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Fazit

• Instrumente zur Qualitätsbewertung unterstützen uns, wichtige Aspekte beim Lesen von Primär- und Sekundärliteratur zu berücksichtigen

• Damit können wir Ergebnisse und ihre Übertragbarkeit in den Alltag bewerten

• Es gibt keine "perfekte" Studie!

• Wichtig ist, eine annähernd "perfekte" Darstellung der Studienergebnisse zu erzielen (Methodenkapitel, Limitationen etc.) Transparenz!

Page 22: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Hilfreiche Quellen:

• www.cochrane.de• http://www.dimdi.de/static/de/index.html• http://www.ebm-netzwerk.de/was-ist-ebm/images/dnebm-glossar-2011.pdf• http://www.aerzteblatt.de/dae-plus/serie/35• https://www.thieme-connect.de/ejournals/issue/10.1055/s-002-6753• http://www.egms.de/dynamic/de/index.htm• http://www.crd.york.ac.uk/crdweb/• http://ebm.bmj.com/• http://www.tripdatabase.com/• https://www.iqwig.de/

…und eine besonders hilfreiche Quelle:

• Greenhalgh T (2010): How to read a paper: The basics of evidence based medicine. Fourth Edition. BMJ Books.

Page 23: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Wie bewertet man die Qualität wissenschaftlicher Studien,mit objektiven Standards oder nach Bauchgefühl?

…mit beidem!!

Noch eine Abschlussfrage…

…und mit sehr viel Übung!!

Page 24: Bewertung der Qualität wissenschaftlicher Studien · Qualität im Gesundheitswesen "Qualität im Gesundheitswesen bedeutet eine ausreichende und zweckmäßige, d. h. patienten- und

Herzlichen Dank für Ihre Aufmerksamkeit!

Kontakt: [email protected]

"Ein Medikament kann als wirksam bezeichnet werden, wenn dessen Begleiterscheinungen die Gesundheit weniger gefährden, als die Krankheitsursache"Zitat von Daniel Mühlemann (*1959), Naturfotograf, Aphoristiker und Übersetzer