Att granska studier:

Nils Johansson

Version 100503

Att granska studier

”Vad gör jag med 100 artiklar??”

FÖRST GROVSORTERING

ÖVERBLICKSEDAN

GRANSKASYSTEMATISKA

ÖVERSIKTER SISTGRANSKA PRIMÄRA STUDIER

Grovsortering:

Minska textmängd Hur många studier har jag hittat?

Hur många systematiska översikter?

Räcker det att läsa systematiska översikter?

Vilken design har studierna?

Granska!

Bedöm relevans med din PICO. Rensa bort irrelevanta studier!

Börja granska studierna med bäst design.

Gå neråt i hierarkin endast när det behövs!

Tillräckligt nya och täcker området för din PICO? Inkluderar de andra studier jag hittat?

Ordna studierna enligt designkvalitet. Sätt en lägsta ribba i designhierarkin

Grovsortering:

PICO avgör snabbt relevans!

Patients Är det relevant patientgrupp?

Intervention

Är det relevant intervention?

Control Är studiens design relevant?

Outcome Är det relevanta effektmått?

Hierarki utifrån intern validitet: Interventionsstudier

• Systematiska översikter• Stora RCT studier• Små RCT studier• Kontrollerade, icke randomiserade, CCT• Kohort-studier• Fall-kontrollstudier• Tvärsnittsstudier• Fallstudier• Fallbeskrivningar

Ungefärlig intern validitet

GrovsorteringSkapa överblick över studierna

CAT – ”Critically Appraised Topic”: enkelt sätt att få överblick över vilka studier man hittat och deras resultat

- Det finns många mallar att välja mellan. Se på vårdverktyget.se

- Är inte en kritisk granskning av studiernas kvalitet!- Ska gå fort: lägg inte mer än 5-10 min på vardera studiePROCEDUR:1) Dra ut den viktigaste informationen ur studien2) Sammanfatta gärna alla studier på en enda sida för

överblick3) Har jag fått svar på min PICO?4) Granska en studies kvalitet endast om du behöver detSe exempel

Granska en systematisk översikt

Olika utseende på en systematisk översikt

1) Resultatet kan presenteras som metaanalys i ett diagram; oftast en Forest Plot

2) Resultatet kan beskrivas i löpande text

Exempel på metaanalys: ”forest plot”

Bedömning av systematiska översikter

a) När gjordes sökningarna?

b) Har författarna hittat alla relevanta studier?

c) Kommer alla studier från samma forskargrupp, läkemedelsbolag?

c) Kan man jämföra studierna?

d) Pekar resultaten i de primära studierna åt samma håll?

Granskningsmall för systematisk översikt

Mall för kritisk granskning av interventionsartiklar Författare:…………………Titel ………………………………………

Tidskrift………………… Årtal…….. Volym ……….. Sidor……….

Fråga Kommentar

I. Är resultaten från denna studie

tillförlitliga?

1. Randomiserades patienterna till de olika

behandlingsalternativen?

2. Var grupperna likvärdiga vid studiens start?

3. Följdes alla patienter upp som

randomiserades?

4. Analyserades patienterna i den grupp som de

ursprungligen randomiserades till?

5. Var patienter och forskningspersonal

blindade avseende behandling?

6. Behandlades grupperna likvärdigt ur alla

andra aspekter än interventionen?

II. Vad visade studien för resultat?

1. Hur stor var behandlingseffekten?

2. Hur precis var skattningen av

behandlingseffekten?

III. Bidrar resultaten till att ge mina

patienter bättre sjukvård?

1. Kan resultaten appliceras på mina patienter?

2. Redovisar studien kliniskt relevanta

effektmått, dvs patientrelaterade sådana?

3. Är den sannolika nyttan större än den

potentiella skadan och kostnaderna?

Från: Guyatt G, Sacket D, Cook D. User´s guide to the medical literature. II How to use an article about therapy or prevention. A. Are the results of the study valid? JAMA 1993;270:2598-2601. /Mats Eliasson SBU 981108

Jämförbara studier: en gradfråga

Viktigt!

De primära studierna bör likna varandra så mycket som möjligt. Titta efter detta:

- jämförbara patienter

- jämförbara interventioner

- jämförbara effektmått

”Blanda inte äpplen och päron!”

Likartade resultat: en gradfråga

Viktigt!

Ju mindre resultaten i delstudierna liknar varandra, desto osäkrare blir slutsatsen i den systematiska översikten!

Och vice versa!

”Resultaten bör dra åt samma håll!”

Gruppövning

När har ni behov av att läsa / granska vetenskapliga studier?

Har ni tillräckligt med tid att göra det?

Vilka resurser finns för att göra det möjligt?

Stickprov

Hela populationen

Intern validitet

Stickprov

Intervention Kontroll

Resultat

Extern validitet”generaliserbarhet”

StickprovRandomisering

Randomiserad kontrollerad studie - RCT

Intern validitet:studiens tillförlitlighet / ”the result stands”

”Intern validitet” = det är rimligt att studiens resultat visar på verkliga förhållanden i den aktuella populationen

När det gäller behandlingsstudier:1) Behandling X orsakar behandlingseffekt Y

eller2) Behandling A medför större behandlingseffekt

än behandling Bosv…

Extern validitet: studiens generaliserbarhet

”Extern validitet” = det är rimligt att resultat går att generalisera till andra patientpopulationer än den aktuella

När det gäller behandlingsstudier:

Resultaten gäller även för min patient!

Tre olika skäl till att man kan se en behandlingseffekt i en studie

- SANNINGEN: behandlingen är orsakar verkligen en behandlingseffekt

- SLUMPEN: effekten råkade inträffa av någon anledning

- FELKÄLLOR: systematiska fel som medför att resultatet blir osäkert

Stickprov

Hela populationen StickprovFelkälla i urvalet

Intervention Kontroll

Felkälla i mätning

Resultat

StickprovFelkälla i

randomisering

Felkälla pga bortfall

Exempel på granskningsmall för behandlingsstudie

Mall för kritisk granskning av interventionsartiklar Författare:…………………Titel ………………………………………

Tidskrift………………… Årtal…….. Volym ……….. Sidor……….

Fråga Kommentar

I. Är resultaten från denna studie

tillförlitliga?

1. Randomiserades patienterna till de olika

behandlingsalternativen?

2. Var grupperna likvärdiga vid studiens start?

3. Följdes alla patienter upp som

randomiserades?

4. Analyserades patienterna i den grupp som de

ursprungligen randomiserades till?

5. Var patienter och forskningspersonal

blindade avseende behandling?

6. Behandlades grupperna likvärdigt ur alla

andra aspekter än interventionen?

II. Vad visade studien för resultat?

1. Hur stor var behandlingseffekten?

2. Hur precis var skattningen av

behandlingseffekten?

III. Bidrar resultaten till att ge mina

patienter bättre sjukvård?

1. Kan resultaten appliceras på mina patienter?

2. Redovisar studien kliniskt relevanta

effektmått, dvs patientrelaterade sådana?

3. Är den sannolika nyttan större än den

potentiella skadan och kostnaderna?

Från: Guyatt G, Sacket D, Cook D. User´s guide to the medical literature. II How to use an article about therapy or prevention. A. Are the results of the study valid? JAMA 1993;270:2598-2601. /Mats Eliasson SBU 981108

Felkällor i urval och bortfallHela befolkningen med sjukdomen

Befolkningsurval

Uppfyller studiekriterier

Accepterar deltagande

Deltagare

Slutför studien

Felkällor i urval och bortfall

- Kontrollera att patientgrupperna är väl beskrivna: ålder, kön, socialekonomi, utbildningsnivå etc.

- Kontrollera att bortfall förklaras

- Kontrollera att bortfallet inte medför viktiga olikheter mellan grupperna

Consort statement

Norm för behandlings-

studier

Björknässtudien

Felkällor i randomisering

- Kontrollera att grupperna är lika efter randomiseringen

a) relevanta bakgrundsegenskaper; ålder, kön, socioekonomi osv

b) patienternas hälsotillstånd

- Kontrollera att randomiseringen är dold

”concealment”: forskare och patient ska inte kunna förutsäga i vilken grupp man hamnar

Blindning

Ofta av naturliga skäl svårt i omvårdnad och rehabilitering

Blindning x 3: - patient- behandlare- den som samlar in data

Blindning x 2:- patient- behandlare

Blindning x 1- patient

Felkällor i mätningen

- Kontrollera mätproceduren1) Används samma instrument vid före/efter

behandling?2) Inverkar mätningarna på behandlingseffekten?

- Kontrollera instrumentenHar instrumenten goda egenskaper?

- mäter man det man vill mäta- reliabilitet- instrumentens egenskaper är utvärderade och det finns publicerade data om instrumentet

Bedöma intern validitet

VIKTIGASTE PUNKTERNA

- Resultaten drar åt samma håll: ”consistency”

- Urval och bortfall

- Randomisering och blindning

- Behandlingsproceduren innebär inte risk för ”confounder effects”: något annat än behandlingen orsakar effekten

- Instrumenten mäter rätt sak med tillräcklig precision

Bedöma extern validitet

VILLKOR: studien har god intern validitet!

VIKTIGASTE PUNKTERNA- Min typ av patient inkluderas i studien och är

inte med i bortfallet: kom ihåg din PICO! - Urvalet av patienter är brett och omfattar flera

miljöer- Resultaten drar åt samma håll: ”consistency”.

Att överföra ett resultat till en annan population är aldrig fördelaktigt för entydigheten i resultaten

Kritisk granskning:två grundläggande utgångspunkter

Studiernas vetenskapliga kvalitet”ÄR STUDIEN BRA?”

- kontrollera intern validitet

Mitt kliniska beslutsunderlag”ÄR STUDIEN ANVÄNDBAR FÖR MIG?”

- kontrollera extern validitet

- kontrollera patientrelevans hos effektmått

- bra redskap: förväntad nytta/risk

EBV som beslutsunderlag

- Statistiska begrepp är ofta svåra att tolka och överföra i det enskilda fallet och i den kliniska vardagen.

- Nytto-/riskbegreppen ger ett praktiskt ett verktyg i klinisk vardag

- Det finns flera mått för nytta/risk ”relativ risk”, ”absolut risk”, ”odds”, ”odds ratio”, ”numbers needed to

treat”

Många statistiska resultat är svåra att tolka i min kliniska vardag

Exempel:Oberoende t-test visar en behandlingseffekt med p < 0,01 där: a) Medelvärde för behandlingsgruppen är 68,4b) Medelvärde för kontrollgruppen är 45,7c) Skillnaden mellan grupperna är 1,12

standardavvikelser

Problem: Vad säger jag till min patient?

Exempel: mått som är enklare att tolka

NNT – Numbers Needed to Treat:

”Jag behöver behandla 3 patienter för att 1 patient ska få behandlingseffekt”

eller

NNH - Numbers Needed to Harm:

”Jag behöver behandla 112 patienter för att 1 patient ska få biverkan”

Nytta/risk

Nytta = {effektens sannolikhet} x {effektens storlek}

Risk = {skadans sannolikhet} x {skadans storlek}

Nytta/risk - sannolikhet

Exempel:

Behandling A:

7 av 10 patienter blir friska

Behandling B:

4 av 10 patienter blir friska

Alltså: rationellt att sätta in behandling A

Nytta/risk - effektstorlek

Exempel:

Behandling A:

Patienterna som upplever behandlingseffekt lever 4 år längre.

Behandling B:

Patienterna som upplever behandlingseffekt lever 2 år längre.

Alltså: rationellt att sätta in behandling A

RELEVANS

PATIENTRELEVANTA EFFEKTMÅTTeller

SURROGATMÅTT

Spelar behandlingseffekten roll för patienten?

Exempel: Längre förväntad livslängd. Mindre smärta.

Kunna bo hemma. Kunna ha sociala kontakter, nyttja massmedia. Kunna arbeta.

RELEVANS

”Surrogatmått”

Effektmått som spelar roll för forskaren eller vårdpersonalen, men inte för patienten

Vad betyder ”evidens”

Missförstånd ligger nära till hands.

Betrakta påståendet:

För behandlingen X gäller:(a) Det är väl belagt att… (b) …sannolikheten är hög… (c) …för en stor relevant behandlingseffekt.

Vad är ”evidens” i det påståendet? (a)Vad är ”patientnytta” i det påståendet? (a) + (b) + (c)