11

La validità di un test La validità di un test diagnosticodiagnostico

Prof. Roberto de MarcoProf. Roberto de Marco

Sensibilità e specificità

Confronto tra differenti test diagnostici

Determinazione della soglia ottimale del test

Induction period

Latency period

Prevenzione primaria = Rimozione dei fattori di rischio (ad esempio, campagne contro il fumo o contro l’alcoolismo) o riduzione degli effetti dell’esposizione (vaccinazioni).

Prevenzione secondaria = Individuazione precoce dei casi tramite uno screening (ad esempio, Pap test per il tumore dell’utero, mammografia per il tumore del seno, sangue occulto nelle feci per il tumore del colon).

Prima che si instauri la malattia:

La malattia si è instaurata, ma non è ancora evidente dal punto di vista clinico:

Prevenzione terziaria = Terapia appropriata e riabilitazione per prevenire o ridurre le conseguenze negative della malattia stessa (ad esempio, assistenza agli infartuati e riabilitazione).

La malattia si è manifestata clinicamente:

Prevenzione primaria, secondaria e terziaria

1) Somministrazione di un test diagnostico poco costoso e poco invasivo

a larghi settori della popolazione a rischio per una determinata patologia

per identificare gli individui ammalati prima che la malattia si riveli dal punto di vista clinico.

Screening

Lo scopo dello screening è diagnosticare

precocemente la malattia, quando è ancora curabile,

per ridurne la mortalità e morbilità

9/10/20029/10/2002 Natural history; population screeningNatural history; population screening 55

Survival time after diagnosis – lead timeSurvival time after diagnosis – lead time

Pre-detectable Detectable, preclinical Clinical Disability

or death

Possible detection via screening

Clinical detection

Age: 35 45 55 65 75

Lead time

Screening per il tumore al collo dell’utero (PAP test) via esame citologico

Screening per il tumore della mammella via mammografia in donne di età >50

Screening utili agli individui:

Test cutaneo con tubercolina

Screening per l’infezione streptococcica per prevenire la febbre reumatica

Screening utili alla collettività:

Obiettivo del test:

Classificazione dei soggetti in

POSITIVI (alta

probabilità di essere malati)

NEGATIVI(alta

probabilità di essere

sani)

77

SCREENING

88

Pt.s in early stages respond well to Pt.s in early stages respond well to treatmenttreatment

Patients with advanced disease do Patients with advanced disease do poorlypoorly

Earlier diagnosis, better chance of Earlier diagnosis, better chance of survivalsurvival

MammographyMammography is tool for early is tool for early detectiondetection

EX: Mammography

99

Mammography: Risk v. BenefitMammography: Risk v. Benefit

Breast cancer in United States in 2009 Breast cancer in United States in 2009 (estimated):(estimated):

New cases: 192,370 (female); 1,910 (male)New cases: 192,370 (female); 1,910 (male) Deaths: 40,170 (female); 440 (male) Deaths: 40,170 (female); 440 (male)

Us population 306 million in 2007- 133 deaths /millionUs population 306 million in 2007- 133 deaths /million

Mortality risk from mammography induced radiation is 5 deaths/ Mortality risk from mammography induced radiation is 5 deaths/ million pts. using screen film mammographymillion pts. using screen film mammography

More risky to refuse mammography!More risky to refuse mammography!

1010

Based on review of RCTsBased on review of RCTs Screening mammography mortality Screening mammography mortality

reductions werereductions were• 15% for women in their 40s15% for women in their 40s• 14% for women in their 50s 14% for women in their 50s • 32% for women in their 60s32% for women in their 60s

SCREENING BENEFITS

US Preventive Service Task Force (USPSTF)

1111

For every 1000 mammogramsFor every 1000 mammograms 80-100 women (8-10%) asked to return for addition 80-100 women (8-10%) asked to return for addition

evaluationevaluation 45-65 told that there is nothing of concern45-65 told that there is nothing of concern 20 are asked to return in 6 months20 are asked to return in 6 months

• Probably benign (<2% prob of malignancy)Probably benign (<2% prob of malignancy) 15 (1-2%) recommended to have a biopsy15 (1-2%) recommended to have a biopsy

• 2 to 5 will have cancer2 to 5 will have cancer• 10-13 have benign biopsy10-13 have benign biopsy

Harms of Screening:Harms of Screening:Additional InterventionAdditional Intervention

Davey MS. www.acponline.org/ about…/breastscreening.ppt

popolazione

popolazione

malatimalatitest +test +

falsipositivi

positivi

falsinegativi

veri

malati

a

c

sani

b

d

Test +

Test -

a+c b+d

Validità di un test di screening

Falsi positivi

Falsi negativi

GOLD STANDARD

malatiac

sanibd

Test +Test - a+c b+

d

Sensibilità: Sensibilità: probabilità che un test sia positivo nei malati

Sen=pr(TSen=pr(T++|M|M++))Sen=a/(a+c)Sen=a/(a+c)

malatiac

sanibd

Test +Test - a+c b+

d

Specificità: Specificità: probabilità che un test sia negativo nei sani

Spe=pr(TSpe=pr(T--|M|M--))Spe=d/(b+d)Spe=d/(b+d)

Dipende da:

•Considerazioni cliniche sulla malattia in studio

•Obiettivo dell’intervento

Scelta del livello ottimale di sensibilità e specificità:

Malattie molto rare

Alta sensibilità (per non rischiare di perdere i pochi casi)

Malattie molto letali e l’intervento nelle fase precoci può permettere un aumento della sopravvivenza o una miglior prognosi

Alta sensibilità

Se l’intervento successivo alla diagnosi non modifica di molto la storia naturale della malattia

Bassa percentuale di falsi positivi

Studi epidemiologici Bassa percentuale di falsi positivi

malatiac

sanibd

Test +Test - a+c b+

d

Valore predittivo nei positivi Valore predittivo nei positivi (V+):(V+): probabilità che chi ha il test positivo sia malato

V(+)=pr(MV(+)=pr(M++|T|T++))V(+)=a/(a+b)*V(+)=a/(a+b)*

malatiac

sanibd

Test +Test - a+c b+

d

V(-)=pr(MV(-)=pr(M--|T|T--))V(-)=d/(c+d)*V(-)=d/(c+d)*

Valore predittivo nei negativi Valore predittivo nei negativi (V-):(V-): probabilità che chi ha il test negativo sia sano

* Formule valide solo nel caso di un campione random classificato contemporaneamente rispetto al test e al gold standard

Esercizio: si considerino:•100000 individui

asintomatici• di cui 10000 affetti da M+

•Sensibilità=90%•Specificità=90%

A. Calcolare il numero di veri positivi e di falsi positivi e il valore predittivo che ci si aspetta in questa popolazione di 100000 individui

B. Qual è la prevalenza della malattia?

C. Qual è la prevalenza della malattia misurata da questo test di screening?

M+ M-

T+

T-

VP=Sen*10000=0.90*10000=9000

VN=Spe*90000=0.90*90000=81000

PREV=10000/100000=0.1=10%

PREV(test)=18000/100000=18%

9000 9000 18000

100000

82000

10000

1000

90000

81000

FP=90000-81000=9000

V(+)=90000/18000=50%

Esercizio: contEsercizio: cont

Si calcolino il numero di falsi positivi, di falsi negativi e il valore predittivopositivo nel caso in cui lo stesso test venga sottoposto a un gruppo dipopolazione che ha una prevalenza del 30%-

Confrontate i risultati e commentate

1919

Example: Mammography screening of unselected womenExample: Mammography screening of unselected women

Disease statusDisease status

Cancer No cancer TotalCancer No cancer Total Positive 132 985 1,117Positive 132 985 1,117 Negative 47 62,295 62,342Negative 47 62,295 62,342

Total 179 63,280 63,459Total 179 63,280 63,459

Prevalence = 0.3% (179 / 63,459)Prevalence = 0.3% (179 / 63,459)

Se = 73.7% Sp = 98.4% PV+ = 11.8% PV– = 99.9%Se = 73.7% Sp = 98.4% PV+ = 11.8% PV– = 99.9%

Source: Shapiro S et al., Periodic Screening for Breast CancerSource: Shapiro S et al., Periodic Screening for Breast Cancer

2020

Effect of Prevalence on Positive Predictive Value

PV+ = 64%

PV+ = 88%

Sensitivity = 93%, Specificity = 92%

Surgical biopsy (“gold standard”) Cancer No cancer Prev.

Without palpable mass in breast

Fine needle Positive 14 8 13%aspiration Negative 1 91

With palpable mass in breast

Fine needle Positive 113 15 38%aspiration Negative 8 181

See http://www.meddean.luc.edu/lumen/MedEd/ipm/IPM1/Biostats/diagnostic_test_example1_Solutions1011.pdf

La maggior parte dei test dignostici produce un risultato quantitativo

Per discriminare tra sani e malati è necessario disporre di un valore soglia o cut offSituazione ideale: sani e malati restituiscono valori

del test differenti

Cut off immediatamente determinato

Situazione reale: sovrapposizione nella distribuzione di sani e malati

dens

ita' d

i pro

babi

lita'

Esempio:

2323

Sensibilità e specificità sono antagonisteSensibilità e specificità sono antagoniste..

A parità di strumento diagnostico, ogni aumento nella A parità di strumento diagnostico, ogni aumento nella sensibilità comporta una diminuzione nella specificità.sensibilità comporta una diminuzione nella specificità.

Quando il costo dei falsi positivi uguaglia quello dei falsi Quando il costo dei falsi positivi uguaglia quello dei falsi negativi, la scelta del cut-off ottimale può essere negativi, la scelta del cut-off ottimale può essere

ottenuta da criteri statistici. ottenuta da criteri statistici.

GRAFICO DEL LIVELLO GRAFICO DEL LIVELLO DECISIONALEDECISIONALE

Indice di Youden: Indice di Youden: Sen+Spe-1Sen+Spe-1

Indi

ce d

i You

den

dens

ita' d

i pro

babi

lita'

I ESEMPIO (PAZIENTI DIABETICI)

II ESEMPIO (PAZIENTI DIABETICI ANZIANI)

specificità 1-specificità sensibilità Cut-off

specificità 1-specificità sensibilità

50.0 % 50.0 % 99.997 % 100 mg/dl 2.3 % 97.7 % 99.997 %

84.1 % 15.9 % 99.9 % 115 mg/dl 15.9 % 84.1 % 99.9 %

97.7 % 2.3 % 97.7 % 130 mg/dl 50.0 % 50.0 % 97.7 %

99.9 % 0.1 % 84.1 % 145 mg/dl 84.1 % 15.9 % 84.1 %

99.997 % 0.003 % 50.0 % 160 mg/dl 97.7 % 2.3 % 50.0 %

--- --- --- 175 mg/dl 99.9 % 0.1 % 15.9 %

Utilizzati per rappresentare le CURVE ROC

Come variano sensibilità e specificità al variare del cut off?

Le curve ROC Le curve ROC ((Receiver operating characteristic) )

diabetici giovani

diabetici anziani

160 mg

175 mg

145 mg

130 mg

Esercizio: la tabella riporta i risultati del test ELISA per HTLV-III tra pazienti con AIDS e donatori di sangue sani (Weiss et al., 1985): per ogni valore del cut off sono specificati i pazienti che risultano negativi al test. A. Calcolare per ognuno dei valori del test i livelli di specificità

e sensibilità

B. Valutare, in base al valore dell’indice di Youden, qual è il valore soglia ottimale.

Ratio Donatori sani Pazienti con AIDS <2.0 202 (68%) 0 ( 0%) 2.0-2.99 73 (25%) 2 ( 2%) 3.0-3.99 15 ( 5%) 7 ( 8%) 4.0-4.99 3 ( 1%) 7 ( 8%) 5.0-5.99 2 ( 1%) 15 (17%) 6.0-11.99 2 ( 1%) 36 (41%) >12 0 ( 0%) 21 (24%) Totale 297 (100%) 88 (100%)

.

Cut off Sensibilità Specificità Indice di Youden

2.0 1 0.68 0.69 3.0 0.98 0.93 0.91 4.0 0.90 0.98 0.88 5.0 0.82 0.99 0.8 6.0 0.65 0.99 0.64 12.0 0.24 1.00 0.24

L’indice di Youden permette di ottenere quel valore soglia che minimizza la probabilità trovare falsi positivi e falsi negativi:

Nel nostro caso, tale valore è pari a 3

•La signora R.P ha 24 anni. Uno dei suoi fratelli e uno zio materno sono affetti da emofilia; suo padre e un altro fratello ne sono immuni. La signora non presenta emofilia manifesta. Sottoposta al test di Riza essa risulta positiva. Qual è la probabilità che essa sia una portatrice? probabilità a priori: P(H1:)=0.5= p

Sen=0.94 Spe=0.82

1 11

1 1 0 0

( ) ( | )( | )

( ) ( | ) ( ) ( | ))

P H P A HP H A

P H P A H P H P A H

Prob. che il test sia positivo se la signora è portatrice

prob. che chi ha il test positivo sia portatore

La signora è figlia di una portatrice nota

( )(1 ) (1 )

0.5 0.940.84

0.5 0.94 0.5 (1 0.82)

p senVP

p sen p spe

probabilità a priori: P(H0:)=1-0.5=1- p

3131

Talvolta la validità di uno strumento di misura non può essere stabilita (assenza di un gold standard).

In tal caso è necessario che almeno la sua affidabilità (riproducibilità) sia buona!

MISURA DELLA RIPRODUCIBILITA’ TRA DUE OPERATORI MISURA DELLA RIPRODUCIBILITA’ TRA DUE OPERATORI

osservatore 1

a b

c d

oservatore 2

+

-

+ -

R1

R2

C1 C2 N

Po = a+d

N= observed proportion of agreement

Pe = R1C1

N+

R2C2

N

expected proportion of agreement by chance

=

K = Po - Pe

1 - Pe

Se(K) = )1()1(

e

oo

PnPP

2

22

CONCORDANZA TRA 2 CLINICI NELLCONCORDANZA TRA 2 CLINICI NELL’’ESAMINARE LO STESSO ESAMINARE LO STESSO GRUPPO DI 100 FOTO DEL fondo oculareGRUPPO DI 100 FOTO DEL fondo oculare

SECONDO CLINICO

RETINOPATIA ASSENTE

RETINOPATIAMODERATA /

SEVERA

PRIMO CLINICO

RETINOPATIA ASSENTE

46 10 56

RETINOPATIA MODERATA /

SEVERA

12 32 44

58 42 100

CONCORDANZA OSSERVATA = 46 + 32

100= 78%

CONCORDANZA ATTESA in base al caso

attesi per la cella a = 56 x 58

100= 32,5

attesi per la cella d = 44 x42

100 = 18,5

CONCORDANZA dovuta al caso =Exp(a) + Exp(d)

totale32,5 + 18,5=

100= 51%

ASSENZA DI

CONCORDANZA

0%COMPLETA

CONCORDANZA

100%

CONCORDANZA OSSERVATA

46 + 32100

= 78%

CONCORDANZA ATTESA

in base al caso32,5 + 18,5

100= 51%

CONCORDANZA

non dovuta al caso78% - 51% = 27%

POTENZIALE CONCORDANZA

non dovuta al caso

100% - 51% = 49%

KAPPAKAPPA =CONCORDANZA OSSERVATA non dovuta al caso

CONCORDANZA POTENZIALE non dovuta al caso=

27%

49%= 55%55%

Concordanza osservata (PConcordanza osservata (P00) e K di Cohen (*) nella risposta alle stesse domande ) e K di Cohen (*) nella risposta alle stesse domande di un questionario di screening in due occasioni temporalmente vicinedi un questionario di screening in due occasioni temporalmente vicine

sintomisintomi P0P0 K+K+ K-K- KK C.I. (90%)C.I. (90%)

1) sibili .90 .61 .94 .56 .46-.65

1.1) Con mancanza di respiro .96 .34 .95 .22 .03-.41

1.2) senza raffreddore .93 .58 .96 .54 .42-.65

2) Costrizione .90 .34 .95 .30 17-.43

3) Mancanza di respiro .92 .51 .96 .47 .35-.59

4) Attacco di tosse .74 .56 .81 .38 .30-.45

5) Asma .98 .75 .99 .76 .63-.89

6) Farmaci per asma .98 .50 .99 .49 .28-.70

7) Raffreddore allergico .91 .77 .95 .72 .66-.79

Valori di riferimento Valori di riferimento (Londis J.R. Koch G.G., Biometrics 1977; 33:158-174)

Valori di K concordanza

K<.40 scarsa

.40 < K < .60 moderata

.60 < K < .80 notevole

K > .80 quasi perfetta