METODI NON PARAMETRICI PER LA COMBINAZIONE DI …lnx.gregorianum.it/wp-content/uploads/2018/05/20180323... · 2018-05-17 · in relazione la sensibilità e la proporzione di falsi

METODI NON PARAMETRICI PER LA

COMBINAZIONE DI TEST DIAGNOSTICI

Università degli studi di Padova

Corso di Laurea Magistrale in Scienze Statistiche

23 Marzo 2018

Relatore: Ch.mo Monica Chiogna Laureando: Davide Bonanno Consiglio

Anno accademico 2017/2018

23/03/2018 Davide Bonanno Consiglio 1

Obiettivo della tesi

• Individuare la combinazione ottimale di test diagnostici

massimizzando la curva ROC, utilizzando una stima non

parametrica del risk score, regola decisionale ottima nonché

trasformazione monotona crescente del rapporto di verosimiglianza;


Background

• Dato un insieme di n soggetti:

• 𝐷𝑖 = 1 → L′ i−esimo paziente è malato

0 → L′ i−esimo paziente è sano 𝑖 = 1,… , 𝑛

• 𝕋𝑖 = 𝑇𝑖1, … , 𝑇𝑖𝑝 : vettore dei risultati di p test diagnostici (su scala continua) per l’i-

esimo paziente.

• Curva ROC (Receiver Operating

Chacteristic): strumento grafico che mette

in relazione la sensibilità e la proporzione di

falsi positivi (1-Specificità) e valuta la

capacità di un test diagnostico per tutti i

valori soglia assumibili.

• AUC (Area Under the Curve): misura di

sintesi della precisione di un test

diagnostico.


Combinazione di test diagnostici

Massimizzazione

dell’AUC

Dato un vettore di p parametri, 𝛽,

che determina la combinazione

ottimale lineare di test diagnostici,

si individua la stima 𝛽 tale per cui

l’AUC è massimizzato.

• Su e Liu (1993);

• Pepe e Thompson (2000);

• Ma e Huang (2007);

• Liu e Halabi (2011);

• Kang et al. (2016).

Massimizzazione della curva ROC • Rapporto di verosimiglianza (Green e Swets (1966)):

𝐿𝑅 𝕋 =Pr 𝕋 𝐷=1

Pr 𝕋 𝐷=0

• regola ottima poiché vale il lemma di Neyman-

Pearson;

• differenti approcci di stima (parametrica, semi-

parametrica (Chen et al. (2016)) e non

parametrica (Hansen (2004));

• difficoltà interpretative da un punto di vista

medico e poca efficacia se le densità non sono

ben specificate (per approcci parametrici).

• Risk score (Pepe (2003)): 𝑅𝑆 𝕋 = Pr 𝐷 = 1 𝕋

• è una funzione monotona crescente di 𝐿𝑅 𝕋

per cui anch’essa è una regola ottima;

• maggiore semplicità interpretativa rispetto a

𝐿𝑅 𝕋 .


Modellazione del risk score

• In McIntosh e Pepe (2002) è modellato per mezzo di un modello logistico con funzione

link di tipo logit

𝑔 𝜂 =exp 𝜂

1 + exp 𝜂; 𝜂 = 𝛽0 + 𝛽𝑗𝑇𝑗

𝑝

𝑗=1

• In questa tesi si vogliono utilizzare due classi di modelli non parametrici: GAM

(Generalized Additive Model) (Wood (2006)) e MARS (Multivariate Adaptive Regression

Spline) (Friedman (1991))

𝑔 𝜂 =exp 𝜂

1 + exp 𝜂; 𝜂 = 𝑠 𝕋 =

GAM → 𝛽0 + 𝑓𝑗 𝑇𝑗

𝑝

𝑗=1

MARS → 𝛽0 + 𝛽𝑘𝑕𝑘 𝕋

𝐾

𝑘=1

• 𝑓𝑗 . è un generico lisciatore univariato; 𝑕𝑘 . è una generica base di funzione.


Modellazione non

parametrica del risk score • I modelli GAM e MARS si presentano come generalizzazioni dei GLM (Generalized Linear Model);

• Il GAM è costruito utilizzando lisciatori univariati per ogni covariata, mentre il MARS è costruito

attraverso coppie di basi di funzioni di grado 1 opposte tra loro;

• Un modello GAM è stimato secondo i P-IRLS (Penalized-Iterative Reweighted Least Square);

• Il MARS è stimato secondo l’approccio descritto in Leathwick et al. (2005):

• Passo 1: modellando il risk score come un modello lineare, si selezionano le basi di funzioni

(ed eventuali prodotti) che hanno un contributo incisivo sulla precisione del modello;

• Passo 2: date le basi di funzioni, si considerano come nuove covariate e i parametri sono

stimati secondo l’approccio di stima dei GLM.

• Il MARS identifica automaticamente eventuali effetti di interazioni rilevanti per costruzione. Nel

GAM, invece, le interazioni sono inserite manualmente attraverso lisciatori multivariati;

• Relazioni forti tra covariate possono incidere negativamente nella stima di entrambi i modelli (Morlini

(2006)).


Le simulazioni

• Sono stati condotti degli studi di simulazione per:

• verificare che le curve ROC ottenute dalla stima non parametrica del risk score

siano vicine alla curva ROC relativa al vero risk score;

• valutare l’adeguatezza di un approccio bootstrap per la costruzione di intervalli di

confidenza per l’AUC costruito a partire dalle curve ROC precedentemente

ottenute.

• 5 scenari considerati:

1. 2 test da distribuzione normale bivariata;

2. 2 test da distribuzione esponenziale bivariata;

3. 4 test da distribuzione normale quadrivariata omoschedastica;

4. 4 test da distribuzione normale quadrivariata eteroschedastica;

5. 2 test indipendenti di cui il primo proviene da una distribuzione normale standard,

mentre il secondo da una distribuzione uniforme nell’intervallo (-1, +1);


Le simulazioni

• Per ciascun scenario sono state considerate 3 errate specificazioni dei modelli per studiare

la sensibilità dei modelli non parametrici rispetto a questi fenomeni;

• Differenti dimensioni campionarie;

• Stima del modello GAM: • Pacchetto mgcv(Wood (2011));

• Spline cubica di regressione per ogni test (10 nodi per ciascuna).

• Stima del modello MARS: • Pacchetto earth(Milborrow (2017));

• Per alcuni scenari si usa un MARS con effetti lineari solo. In altri si usa

quest’ultimo (indicato come MARS (d=1)) e un MARS con effetti di interazione di

primo ordine (MARS (d=2)).


Le simulazioni – Scenario 1





Errata specificazione








Le simulazioni – Intervalli bootstrap

AUC Monte

Carlo

Dev. Standard

Monte Carlo

Dev. Standard

bootstrap

GAM (k=5) 0.9539 0.0243 0.0198

GAM (k=10) 0.9656 0.0218 0.0126

MARS (d=1) 0.9522 0.0283 0.0225

MARS (d=2) 0.9533 0.0272 0.0222

GAM (k=10) 0.9527 0.0174 0.0141

MARS (d=1) 0.949 0.0185 0.0163

MARS (d=2) 0.9521 0.0190 0.0166

(45, 35)

(90, 70)

Scenario 1

𝑛1, 𝑛0

• 𝑛1 indica il numero di malati e 𝑛0 il numero di sani;

• k indica il numero di nodi per spline per il GAM;

• d indica se il MARS ammette solo effetti lineari (d=1), o effetti di interazione (d=2).


Analisi dei dati reali

• 3 dataset analizzati:

• Pima Indians Diabetes;

• Hearth Disease Cleveland;

• Studio su pazienti ADNI (Alzheimer’s Disease Neuroimaging Initiative).

• 2 approcci di stima dell’AUC:

• Senza convalida incrociata (intervalli di confidenza bootstrap di tipo percentile al 95%

con stratificazione su status di malattia);

• Con convalida incrociata secondo il protocollo descritto in Ma e Huang (2007).


Analisi dei dati reali

• Dataset Pima Indians Diabetes:

• L’obiettivo è identificare quelle variabili che meglio determinano la condizione di

diabete;

• 768 pazienti donna di almeno 21 anni degli Indiani Pima, di cui 268 con il diabete;

• Come descritto in Ma e Huang (2007), i dati sono stati prima standardizzati;

• L’età è stata utilizzata come covariata per aggiustare la stima dei modelli.

• Dataset Hearth Disease Cleveland:

• Attraverso variabili biomediche, si vuole identificare la presenza di malattia cardiaca;

• Variabile di risposta riclassificata perché fosse dicotomica;

• 297 pazienti di cui 160 non presentano la malattia e 137 la presentano;

• L’età anche qui è stata utilizzata come covariata per aggiustare la stima dei modelli.

• Dataset studio ADNI:

• Attraverso 3 marker, si vuole diagnosticare l’AD (Alzheimer’s Disease) o l’MCI (Mild

Cognitive Impairment) su un paziente;

• 846 pazienti di cui 618 MCI e 228 AD;


Analisi dei dati reali - Cleveland

AUC no CV AUC con CV

0.8007 0.7846

(0.7548, 0.8542) (0.0377)

0.8212 0.7711

(0.7972 0.8872) (0.0387)

0.8170 0.7791

(0.7959, 0.8930) (0.0413)

0.8210 0.7716

(0.8154, 0.9124) (0.0431)

GLM (1)

GLM (2)

GAM

MARS (1)

• Modelli usati per stimare il risk score:

• Modelli parametrici: modello logistico con effetti lineari (GLM(1)) e con effetti di

interazione (GLM(2));

• Modelli non parametrici: modello GAM (k=5), MARS con effetti lineari (MARS(1))

e MARS con effetti di interazione di primo ordine (MARS(2)).


Analisi dei dati reali - ADNI

• Modelli usati per stimare il risk score:

• Modelli parametrici: modello logistico con

effetti lineari (GLM(1)) e con effetti di

interazione (GLM(2));

• Modelli non parametrici: modello GAM (k=5),

MARS con effetti lineari (MARS(1)) e MARS

con effetti di interazione di primo ordine

(MARS(2)).

AUC no CV AUC con CV AUC no CV AUC con CV AUC no CV AUC con CV

0.7504 0.7498 0.7411 0.7374 0.7482 0.7431

(0.7149, 0.7843) (0.0244) (0.7052, 0.7785) (0.0263) (0.7168, 0.7861) (0.0251)

0.7460 0.7411 0.7631 0.7520

(0.7136, 0.7850) (0.0259) (0.7338, 0.7996) (0.0250)

0.7503 0.7482 0.7529 0.7432 0.7628 0.7507

(0.7157, 0.7848) (0.0244) (0.7254, 0.7925) (0.0256) (0.7360, 0.8046) (0.0250)

0.7504 0.7436 0.7520 0.7334 0.7632 0.7318

(0.7178, 0.7946) (0.0244) (0.7511, 0.8190) (0.0268) (0.7582, 0.8257) (0.0280)

0.7694 0.7347

(0.7505, 0.8281) (0.0273)MARS (2)

(1) (2) (3)

GLM (1)

GLM (2)

GAM

MARS (1)

• Tre specificazioni del regressore:

1. T =tτ

Aβ1−42;

2. tτ + Aβ1−42;

3. tτ + Aβ1−42 + pτ.


Considerazioni finali

• Risultati raggiunti:

• L’approccio non parametrico per stimare il risk score ha il pregio di cogliere effetti

non lineari dei tests e cogliere specificazioni complesse del modello;

• Le simulazioni effettuate hanno portato alla luce un’elevata flessibilità dell’approccio.

Il sovra-adattamento ai dati può essere gestito.

• L’analisi dei dati reali non ha portato alla luce differenze rilevanti nel stimare per via

parametrica o non parametrica il risk score. Ciò lascia intendere che verosimilmente

nei casi considerati la vera combinazione fosse di tipo lineare.

• Sviluppi futuri:

• Effettuare ulteriori studi di simulazione per verificare la copertura degli intervalli di

confidenza bootstrap per l’AUC ottenuto stimando il risk score con i modelli proposti;

• Valutare l’adeguatezza dei modelli GAM e MARS per la stima del risk score

ponendosi nel caso in cui si verifichi il verification bias (assenza del gold standard per

alcuni pazienti).

Grazie

per

l’attenzione!

Documents

METODI NON PARAMETRICI PER LA COMBINAZIONE DI …lnx.gregorianum.it/wp-content/uploads/2018/05/20180323... · 2018-05-17 · in relazione la sensibilità e la proporzione di falsi