Fejlkilder i epidemiologiske undersøgelser

April 2004

Søren Friis

Nøjagtigheden (eng: accuracy) af et givent

punktestimat afhænger af graden af tilfældig

og systematisk variation i målingen af effekten

Variation

• Tilfældig variation– præcision

• Systematisk variation– intern validitet

• BIAS

• CONFOUNDING

Generaliserbarhed- ekstern validitet

Fejlkilder i epidemiologiske undersøgelser

• TILFÆLDIGHED

• BIAS

• CONFOUNDING

Statistisk usikkerhed vurderet via konfidensinterval

Tilfældig variation

• Ved at udvide antallet af undersøgelsesdeltagere kan man indsnævre denne variation og derved forbedre præcisionen

• Graden af tilfældig variation fremgår af konfidens-intervallet omkring risikomålet

• Bredden af konfidensintervallet er omtrent omvendt proportionalt med kvadratroden af stikprøvestørrelsen

Eksempel 1

To forskellige undersøgelser af samme problemstilling Eksposition

Syge

Raske

I alt

KIP (%)

Undersøgelse 1

+ 40 160 200 20 - 20 180 200 10

Undersøgelse 2

+ 10 26 36 28 - 5 31 36 14

Undersøgelse 1: RR = 2.0 p = 0.005 Undersøgelse 2: RR = 2.0 p = 0.14

95% KI = 1.23 - 3.25

95% KI = 0.79 - 5.10

Teoretisk problemstilling

Empirisk definition

Målevariation

Uoverensstemmelse mellem teoretiskog empirisk definition

– Ex:• vitamin-indtagelse/cancer • passiv rygning/hjertesygdom• acetylsalicylsyre/hjertesygdom

Præcise kriterier for fastlæggelse af eksponering og udfald

Sand værdi af parameter

Biologisk variation

Sand værdi på måletidspunktet

Bias og variation som knytter sig til det valgte “måleinstrument”Bias som knytter sig til de personer der bliver undersøgtBias som knytter sig til de personer der foretager målingerne

Oparbejdning og analyse

Værdi af parameter i undersøgelse

Fejlkilder i epidemiologiske undersøgelser

• TILFÆLDIGHED

• BIAS

• CONFOUNDING

Eksempel 3

• I en nylig dansk undersøgelse blev forbruget af svage analgetika blandt teenagere beskrevet

• Forbruget viste sig at være overraskende højt og fremkaldte de store overskrifter i aviserne

• Problemer?

– stikprøvestrategi– deltagelsesprocent– fastlæggelse af medicinforbrug – grad af eksponering

Eksempel 4• I slutningen af 1970´erne ønskede man at undersøge eventuelle

helbredsmæssige konsekvenser, særlig cancerrisiko, blandt personer der havde “overværet” atomprøvesprængninger i Nevada ørkenen i midten af 1950’erne

• Personer der havde overværet de pågældende atomprøve-sprængninger blev via en storstilet annoncekampagne, bl.a. i aviser og fjernsyn, opfordret til at deltage i undersøgelsen

• Cancerforekomsten i undersøgelseskohorten var overraskende lav for nogle cancertyper, men for andre cancertyper meget høj, og for enkelte typer af samme størrelsesorden som hos japanske overlevere efter Hiroshima og Nagazaki!

• Problemer?DødeDeltagelse afhængig af sygdomsstatusUpræcise eksponeringsoplysninger

Caldwell et al. Leukemia among participants in military maneuvers of a nuclear bomb-test: a preliminary report. JAMA 1980; 244: 1575-8.

Eksempel 4 (b)• Pearce et al* identificerede via personalearkivet for The

Royal New Zealand Navy 500 personer som havde deltaget i lignende test af kernevåben i Stillehavet i perioden 1957-58. Som kontrolpersoner udvalgtes personer som havde været ansat i flåden i samme periode (på tre skibe) men som ikke havde deltaget i de pågældende test. Follow-up af index- og kontrolpersoner op til 1987, dvs for en 30-årig periode, blev udført via kobling til cancer- og dødsregister samt spørgeskemaer og var næsten komplet. Mortaliteten var stort set identisk i de to grupper, men der var en let øget forekomst af leukæmi blandt personerne som havde deltaget i test af kernevåben

• Udgangspunkt i eksponering uafhængig af senere sygdoms-forekomst og høj follow-up procent

• Begrænsninger: manglende oplysninger om anden radioaktiv eksponering og eventuelle confoundere

*Pearce et al. Follow-up of New Zealand participants in British atmospheric nuclear weapons tests in the Pacific. BMJ 1990, 300, 1161-1162

Eksempel 5

• I en case-kontrol undersøgelse ønskede man at belyse sammenhængen mellem alkoholforbrug og leversygdom

• Cases og kontrolpersoner blev interviewet om deres forbrug af alkohol

• Problemer?Alkoholforbrug “følsomt” spørgsmålSærlig cases vil måske ikke oplyse det sande forbrugInterviewerens udspørgen og fortolkning afhængig af deltagernes

status (case/kontrol) Alkoholforbrug varierer over tid, særlig hos cases

BIASdefinition

“Deviation of results or inferences from the truth, or processes leading to such deviation. Any trend in the collection, analysis, interpretation, publication, or review of data that can lead to conclusions that are systematically different from the truth” (Murphy)

BIASdefinition (b)

• Enhver systematisk fejl i udvælgelse af undersøgelses-grupper eller indhentning, rapportering, og fortolkning af information

• Konsekvens:

– Manglende sammenlignelighed

Bias - nomenclature”Popularity bias, centripetal bias, referral filter bias, diagnostic access bias, diagnostic suspicion bias, unmasking bias, mimicry bias, previous opinion bias, wrong sample size bias, admission rate bias, prevalence-incidence bias, diagnostic vogue bias, diagnostic purity bias, procedure selection bias, missing clinical data bias, non-contemporaneous control bias, starting time bias, migrator bias, membership bias, non-respondent bias, volunteer bias, insensitive measure bias, underlying cause bias, end-digit preference bias, unacceptability bias, obsequiouness bias, expectation bias, substitution bias, family information bias, exposure suspicion bias, recall bias, attention bias, instrument bias”

(Sackett, 1979)

Bias - nomenclature (b)

• SELEKTIONSBIAS

• INFORMATIONSBIAS

Selektionsbias

• Udvælgelse til undersøgelsesgrupperne (på basis af eksponering eller udfald) er influeret af den anden undersøgelsesdimension (eksponering eller udfald)

• Selektiv rekruttering af personer med bestemte karakteristika for eksponering og sygdom

– dvs. relationen mellem eksponering og sygdom er forskellig mellem de som deltager i undersøgelsen og de som teoretisk kunne deltage, men som af forskellige årsager ikke gør det

Bias som opstår uden for datamaterialet

Selektionsbias

case-kontrol design• Udvælgelse af cases og kontroller er baseret på

forskellige kriterier, som samtidigt er relateret til eksponeringsstatus

Ex:– “diagnostisk bias”

• henvisning• selv-selektion

– bortfald (non-respons)– valg af kontrolgruppe– (”protopathic bias”)

Eksponering Cases Kontroller

+ a = fA b = gB

- c = fC d = gD

I alt a+c = f (A+C) b+d = g (B+D)

f = stikprøvefraktion for cases = (a+c)/(A+C) g = stikprøvefraktion for kontroller = (b+d)/(B+D)

Stikprøvefraktionerne f og g skal være identiske for eksponerede og ikke-eksponerede individer

Case-kontrol designEksempel 6

+ opløsningsmidler

kontrolperson

- opløsningsmidler

+ opløsningsmidler

“malersyndrom”

- opløsningsmidler

Hvis sandsynligheden for at blive diagnosticeret afhænger af ekspositionen, er der risiko for selektionsbias i en case-kontrol undersøgelse

Case-kontrol designBortfald/eksempel 7

Den sande population

Eksponering Case Kontrol I alt + 107 193 300 - 143 557 700 I alt 250 750 1000

OR = 2.2

Den undersøgte population Eksponering Case Kontrol I alt + 96 139 235 - 103 401 504 I alt 199 540 739

OR = 2.7

Bortfaldshyppighed

Eksponering Case Kontrol + 10% (11) 28% (54) - 28% (40) 28% (156) 20% (51) 28% (210)

Valg af kontrolgruppe

case kontrol design

• Eksponeringshyppigheden i kontrolgruppen skal være et estimat af eksponeringshyppigheden i populationen der gav ophav til cases (studiebasen)

• ”Kontroller skal repræsentere personer, som ville have været valgbare som cases, hvis de var blevet diagnosticeret med den pågældende sygdom”

Valg af kontrolgruppecase kontrol design (b)

“Groft check”• vil kontrolpersonerne blive cases i tilfælde af

sygdom?• er kontrolpersonerne raske eller syge?• er eksponeringen associeret med sandsynligheden

for at blive kontrol?

En højt testosteronspejl som årsag til prostatacancer. Kontrollerne var personer med prostatahypertrofi

Ex:

Postmenopausale hormoner som årsag til endometriecancer. Kontrollerne var kvinder udredt for endometriecancer, men fundet ikke at have detRygning som årsag til lungecancer. Kontrollerne var personer med andre lungesygdomme

Valg af kontrolgruppecase kontrol design (3)

Hvorfor så overhovedet anvende patienter som kontroller?

• studiebasen kan ikke identificeres

• imødegå eventuelle selektionsmekanismer (visitationsvej, Berkson bias)

• reducere informationsbias

• reducere bortfald

• behov for blodprøver og andre invasive test

• logistiske hensyn

“Prothopathic bias”

• Forveksling af årsag og virkning• Eksponeringen, for typisk et lægemiddel, ændres

som følge af en tidlig manifestation af sygdommen.

Ex:Personer ophører med at anvende acetylsalicylsyre eller andre anti-inflammatoriske lægemidler (NSAIDs) pga. blod i afføring. Hvis disse symptomer er første tegn på coloncancer vil der findes en negativ association mellem “aktuel” forbrug afdisse lægemidler og coloncancerPatienter med Crohn’s sygdom tager NSAID for ledgener som opstår før et åbenbart udbrud af sygdommen. Derved tilskrives udbruddet at patienten har taget NSAID

Personer lægger sine livsstils- og kostvaner om som følge af tidlige symptomer (fx. kvalme)

Selektionsbias

kohorte design

• Udvælgelse til eksponeret/ikke-eksponeret gruppe er relateret til udfaldsstatus

Ex:• historisk kohorteundersøgelse

• ”healthy worker effekt”

• “unhealthy patient effect”• confounding by indication

Informationsbias

Bias som opstår inden for datamaterialet - ofte som et resultat af utilstrækkelige eller dårlige

oplysninger

DIFFERENTIEL Forskelle mellem undersøgelsesgrupperne i

indhentning, rapportering, eller fortolkning af information om den anden undersøgelsesdimension (eksponering eller udfald)

TILFÆLDIG (ikke-differentiel) Misklassifikation af eksponering eller sygdom

uafhængig af den anden dimension (eksponering eller sygdom)

Informationsbias

case-kontrol design

• Kvaliteten af informationen omkring eksponering afhænger af sygdomsstatus

• Bestemmelsen af eksponeringsstatus er forskellig for case- og kontrolgruppen

Ex:

“recall bias”

“interviewer bias”• interviewer kan tendere til at være mere omhyggelig/

ihærdig eller evt. ”overfortolke” ved interview af cases (“probing”)

Informationsbiasrecall bias

• Rapporteringen af relevant tidligere eksponering er forskellig for cases og kontroller

– over- eller underrapportering afhængig af problemstilling• egeninteresse i at finde forklaring• “stigmatiserende” problemstilling

• Ex:Kvinder som har født misdannede børn vil være mere motiverede for at huske lægemiddelforbrug og anden eksponering under graviditeten

Visse sygdomme er særlig “følsomme” over for recall bias (fx. hudkræft og soleksponering)

Informationsbias

kohorte design• Bestemmelsen af udfaldsstatus er forskellig for

eksponerede og ikke-eksponerede grupper

Ex:“Diagnostisk bias”

• Kvinder der tager p-piller vil oftere blive henvist til videre undersøgelse ved mistanke om venetrombose (og vil sandsynligvis også oftere søge læge for symptomer på og/eller bekymring for venetrombose)

• Rygere søger hyppigere læge og bliver oftere undersøgt for rygerelaterede sygdomme (hvem mistænker lungecancer hos en ikke-ryger hvis der ikke ligefrem er tale om hæmoptyse?)

Bortfald

Kohorte designBortfald/eksempel 8

Den sande population

Eksponering Syg Rask I alt

+ 107 193 300 - 143 557 700

I alt 250 750 1000

RR = 1.7

Den undersøgte population

Eksponering Syg Rask I alt

+ 96 139 235 - 103 401 504

I alt 199 540 739

RR = 2.0

Bortfaldshyppighed

Eksponering Syg Rask I alt

+ 10% (11) 28% (54) 22% (65) - 28% (40) 28% (156) 28% (196)

Informationsbias

Tilfældig misklassifikation• Misklassifikation af eksponering eller sygdom er

uafhængig af den anden undersøgelsesdimension• Hvis “sandheden” er kendt kan misklassifikationen

udtrykkes ved sensitivitet og specificitet• Oftest konservativ biasEx:• en undersøgelse af sammenhængen mellem alkoholforbrug og

cancer tog udgangspunkt i forbruget over en meget kort periode

• lægemidler som ordineres til en person anvendes ikke eller tages tages af en anden person

• sygdomstilfælde identificeres via registre

Ikke-differentiel misklassifikation

vigtige aspekter• Teori vs. empiri

– ex: kost/coloncancer• Latenstid (“induction time”)

– relevante “eksponeringsvindue”?• ex: lægemidler/sygdom, rygning/AMI, rygning/lungecancer

• Eksponering– type– mønster– tidspunkt– varighed

• ex: fedtindtagelse/AMI• Sygdom

– kriterier?• cerebrovaskulart insult

Vurdering af bias i en given undersøgelse• Vurdering af eksponering og udfald i forhold

til den teoretiske problemstilling• Design og størrelse af undersøgelsen• Tidsdimension

– kalendertid– i forhold til hypotese

• Selektion af undersøgelsespopulation– repræsentativitet i forhold til

studiebase?• Fastlæggelse af eksponering og udfald

– instrument – form– viden om hypotese og den anden

undersøgelsesdimension (sygdom/eksponering)

• “subject”• undersøger

• Dataoparbejdning og analyse– resultater afhængig af sygdomsgrad?– dosis/respons?

Teori vs. Empiri?

Præcision?

Selektionsbias?

Informationsbias?

Bias – ”approach”

case kontrol design

Design• Rekrutter patienten ved kilden

• Veldefinerede sygdomskriterier

• Udvælg eventuelt kun sværere tilfælde som uundgåeligt vil blive diagnosticeret

• Incidente cases

• “Blinding” af diagnosticerende læge mht eksponeringsstatus

• Brug eventuelt registre

• Repræsentativ kontrolgruppe

Bias – ”approach”

case kontrol design (2)

Dataindsamling• Struktureret og standardiseret instrument for

dataindsamling• Kvalitetskontrol/validering af instrument• “Blinding”

• indsamling af eksponeringsoplysninger før endelig diagnose• cases mht. hypotese• interviewer mht. hypotese/sygdomsstatus

• Detaljerede oplysninger om eksponering• Validering af eksponeringsoplysninger• Vær opmærksom på tidsdimensionen; relevant eksponering

før første tegn på sygdom

Bias –”approach”

case kontrol design (3)Analyse

• Bortfaldsanalyser• Følsomhedsanalyser

– udregne estimater for forskellige antagelser af eksponering blandt “bortfaldne” (fx. halvt henholdsvis dobbelt så hyppig som i den undersøgte population)

• Udregn risikoestimater for forskellige niveauer af sygdom • Udregn risikoestimater for variable der vides ikke at være

risikofaktorer for det studerede udfald• Udregn risikoestimater for forskellige eksponeringsvinduer

hvis oplysninger haves• Eventuelt justering af risikoestimat for tilfældig

misklassifikation

Bias – ”approach”

kohorte design

Design

• Fastlæggelse af undersøgelsespopulation uafhængig af udfaldsstatus og/eller follow-up (retrospektiv undersøgelse)

• Vurder risiko for “confounding by indication” og forsøg at tage højde for det i valg af kontrolgruppe

Bias – ”approach”

kohorte design (2)

Dataindsamling• Struktureret og standardiseret instrument for

dataindsamling• “Blinding” af undersøger mht. hypotese og/eller

eksponeringsstatus• Checke detaljeringsgrad omkring diagnosen i forhold til

eksponering• Præcise kriterier for udfald• Diagnostik uafhængig af eksponering• Brug eventuelt registre• Validering af eksponering og udfald

Bias – ”approach”

kohorte design (3)

Analyse

• Bortfaldsanalyse/følsomhedsanalyse

• Stratificer på sværhedsgrad af sygdom

• Udregn risikoestimater for udfald som vides ikke at være associeret med eksponering

• Udregn risikoestimater for forskellige eksponeringsvinduer

• Eventuelt justering af risikoestimat for tilfældig misklassifikation

Fejlkilder i epidemiologiske undersøgelser

Vigtige aspekter

• Vær omhyggelig med den første undersøgelse

– vanskeligt at afkræfte hypoteser

• Grundprincipper:

• sammenlignelighed

• validitet

• komplethed