7/28/2019 10.1.1.93.112

1/15

Pergamon Pattern Recognition, Vol. 30, No. 7, pp. 1145-1159, 1997~3 1997 Pattern Recognition Society. Published by Elsevier Science LtdPrinted in Great Britain. All rights reserved0031-3203/97 $17.00+.00

P I I : S 0 0 3 1 - 3 2 0 3 ( 9 6 ) 0 0 1 4 2 - 2THE USE OF THE AREA UNDER THE ROC CURVE IN THEEVALUATION OF MACHINE LEARNING ALGORITHMS

A N D R E W P. B R A D L E Y *Coopera t ive Research C entre fo r Sen sor S igna l and In form at ion Process ing , Departm ent o f E lectr ica land Com pute r Engineer ing , The U nivers i ty o f Queensland , QLD 4072, Aus tra l ia(Received 15 April 1996; in revised form 29 July 1996; received fo r publication 10 September 1996)

A b s t r a c t - - I n th is paper w e inves t iga te the use o f the a rea u nder the rece ive r opera t ing charac te r is t ic (ROC)curve (AU C) as a pe rfo rm ance measure fo r m achine lea rn ing a lgori thms . As a case s tudy we eva lua te s ixma chin e learning algorithm s (C4.5, Mu ltiscale Classifier, Perceptron, M ulti-layer Perceptron, k-NearestNe ighbours , and a Quadra t ic D isc r iminan t Func t ion) on s ix " rea l w orld" medica l d iagnos t ic s da ta se ts . Wecompare and d iscuss the use o f AU C to the more conven t iona l overa l l accuracy and f ind tha t AUC exhib i ts anum ber o f des i rab le p roper t ie s wh en com pared to ov era l l accuracy : inc reased sens i t iv i ty in A na lys is o f Variance(ANOVA) tes ts ; a s tandard e rro r tha t dec reased as bo th AUC and the n umb er o f te s t samples inc reased ; dec is ionthresho ld independen t ; and i t i s invar ian t to a priori class probabilities. The pap er concludes with therecomm enda t ion tha t AUC be used in p re fe rence to overa l l accuracy fo r " s ing le num ber" eva lua t ion o f machinelearnin g algorithms. 1997 Pattern Reco gnition Society. Pub lished by Elsevie r Science Ltd.The ROC curveCross -va l ida t ion The a rea under the ROC cu rve (AUC)W ilcoxon statis tic Standard error Accuracy measures

1 . I NT RO DUCT I O N

T h e R e c e i v e r O p e r a t i n g C h a r a c t e r i s t i c ( R O C ) c u r v e h a sl o n g b e e n u s ed , i n c o n j u n c t io n w i t h t h e N e y m a n - P e a r s o nm e t h o d , i n s i g n a l d e t e c t i o n t h e o r y / 1 ' 2 ) A s s u c h , i t i s ag o o d w a y o f v i s u a l i s i n g a c l a s s i f ie r ' s p e r f o r m a n c e i no r d e r t o s e l e c t a s u i t a b l e o p e r a t i n g p o i n t , o r d e c i s i o nt h r e s h o l d . H o w e v e r , w h e n c o m p a r i n g a n u m b e r o f d if -f e r e n t c l a s s i f i c a t i o n s c h e m e s i t i s o f t e n d e s i r a b l e t oo b t a i n a s i n g l e f i g u r e a s a m e a s u r e o f t h e c l a s s i f i e r ' sp e r f o r m a n c e . O f t e n t h i s f i g u r e i s a c r o s s - v a l i d a t e d e s t i -m a t e o f t h e c l a s s i f i e r 's o v e r a l l a c c u r a c y [ p r o b a b i li t y o f ac o r r e c t r e sp o n s e , P ( C ) ] . I n t h i s p a p e r w e d i s c u s s t h e u s eo f t h e a r e a u n d e r t h e R O C c u r v e ( A U C ) a s a m e a s u r e o f ac l a s s i f ie r ' s p e r f o r m a n c e .T h i s p a p e r a d d r e s s e s t h e g e n e r i c p r o b l e m o f h o w t oa c c u r a t e l y e v a l u a t e th e p e r f o r m a n c e o f a s y s t e m t h a tl e a r n s b y b e i n g s h o w n l a b e l l e d e x a m p l e s . A s a c a s es t u d y , w e l o o k a t t h e p e r f o r m a n c e o f s i x d i f f e r e n t c l a s s i -f i c a t i o n s c h e m e s o n s i x " r e a l w o r l d " m e d i c a l d a t a s e t s .T h e s e d a t a s e t s a r e c h o s e n t o c h a r a c t e r i z e t h o s e t y p i c a l lyf o u n d i n m e d i c a l d i a g n o s t i c s , t h e y h a v e p r i m a r i l y c o n -t i n u o u s i n p u t a t t r i b u t e s a n d h a v e o v e r l a p p i n g o u t p u tc l a s s e s . W h e n c o m p a r i n g t h e p e r f o r m a n c e o f t h e c l a s s i -f i c a t i o n sc h e m e s , A n a l y s i s o f V a r i a n c e ( A N O V A ) i s u s e dt o t e s t t h e s t a t i s t ic a l s i g n i f i c a n c e o f a n y d i f f e r e n c e s i n t h ea c c u r a c y a n d A U C m e a s u r e s . D u n c a n ' s m u l t i p l e r a n g e {3)t e s t is t h e n u s e d t o o b t a i n t h e s i g n i f i c a n t s u b g r o u p s f o rb o t h t h e s e p e r f o r m a n c e m e a s u r e s. R e s u l t s a r e p r e s e n t e di n t h e f o r m o f R O C c u r v e s a n d r a n k e d e s t i m a t e s o f e a c h

* Presen t address: Departm ent o f C omputing Sc ience , 615Genera l Se rv ices Bui ld ing , Univers i ty o f Alber ta , Edmonton ,Canada T6G 2HI. E-mail: abradley@cs.ualberta .ca.

c l a s s if i c a t io n s c h e m e ' s o v e r a l l a c c u ra c y a n d A U C . D i s -c u s s i o n i s t h e n f o c u s e d b o t h o n t h e p e r f o r m a n c e o f t h ed i f f e r e n t c l a s s i f i c a t i o n s c h e m e s a n d o n t h e m e t h o d o l o g yu s e d t o c o m p a r e t h e m .

T h e p a p e r i s st r u c t u r e d in t h e f o l l o w i n g w a y : S e c t i o n 2d e t a i l s s o m e c o m m o n l y u s e d p e r f o r m a n c e m e a s u r e s a n dd e s c r i b e s t h e u s e o f t h e R O C c u r v e a n d , i n p a r t i c u l a r ,A U C a s a p e r f o r m a n c e m e a s u r e ; S e c t i o n 3 b r i e f l y d e -s c r i b e s t h e s i x d a t a s e t s t o b e u s e d i n t h e e x p e r i m e n t a ls t u d y ; S e c t i o n 4 d e t a i ls t h e i m p l e m e n t a t i o n s o f t h e s ixl e a r n i n g a l g o r i t h m s u s e d a n d d e s c r i b e s h o w t h e y a r em o d i f i e d s o t h a t t h e d e c i s i o n t h r e s h o l d c a n b e v a r i e da n d a R O C c u r v e p r o d u c e d ; S e c t i o n 5 d e s c r i b e s t h ee x p e r i m e n t a l m e t h o d o l o g y u s e d , o u t l i n e s t h r e e t y p e so f e x p e r i m e n t a l b i a s , a n d d e s c r i b e s h o w t h i s b i a s c a nb e a v o i d e d ; S e c t i o n 6 g i v e s s p e c i f i c d e t a i l s o f t h e p e r -f o r m a n c e m e a s u r e s a n d S e c t i o n 7 t h e s t a t is t ic a l t e c h n i -q u e s u s e d t o c o m p a r e t h e s e m e a s u r e s . S e c t i o n 8 p r e se n t sa s u m m a r y o f t h e r e s u l t s , w h i c h a r e t h e n d i s c u s s e d i nd e t a i l i n t h e r e m a i n i n g s e c t i o n s o f t h e p a p e r .

2. A UC AS A P E R F O R M A N C E M E A S U R ET h e " r a w d a t a " p r o d u c e d b y a c l a s s if i c a t io n s c h e m e

d u r i n g t e s t i n g a r e c o u n t s o f t h e c o r r e c t a n d i n c o r r e c tc l a s s if i c a t io n s f r o m e a c h c l a s s . T h i s i n f o r m a t i o n i s t h e nn o r m a l l y d i s p l a y e d i n a c o n f u s i o n m a t r i x. A c o n f u s i o nm a t r i x i s a f o r m o f c o n t i n g e n c y t a b l e s h o w i n g t h ed i f f e r e n c e s b e t w e e n t h e t r u e a n d p r e d i c t e d c l a s s e s f o ra s e t o f l a b e l l e d e x a m p l e s , a s s h o w n i n T a b l e 1 .

I n T a b l e 1 , T p a n d T n a r e t h e n u m b e r o f t r u e p o s i t i v e sa n d t r u e n e g a t i v e s r e s p e c t i v e l y , F p a n d F n a r e t h e n u m -b e r s o f f a l s e p o s i t i v e s a n d f a l s e n e g a t i v e s r e s p e c t i v e l y .

1145

7/28/2019 10.1.1.93.112

2/15

1 14 6 A.P . BRAD LEY

Table 1. A confusion matrixTrue class Predicted class

- v e + v eve T. Fp C.

+ v e F. Tp CeR, Rp N

T h e ro w to t a l s , Cn an d Cp, are the n u m b e r o f t ru l yn e g a t i v e a n d p o s i t i v e e x a m p l e s , a n d t h e c o l u m n t o t a l s ,R n a n d Rp. are the n u m b e r o f p r e d i c t e d n e g a t i v e a n dp o s i t i v e e x a m p l e s , N b e i n g t h e t o t a l n u m b e r o f e x a m p l e s( N = C n + C p = R . + R p ) . A l t h o u g h t h e c o n f u s i o n m a -t r i x s h o w s a l l o f t h e i n f o r m a t i o n a b o u t t h e c l a s s i f i e r ' sp e r f o r m a n c e , m o r e m e a n i n g f u l m e a s u r e s c a n b e e x -t r ac t ed f ro m i t t o i l l u s t r a t e ce r t a i n p e r fo rman ce c r i t e r i a ,f o r e x a m p l e :

( Tp + T . ) _ P ( C ) , (1 )A c c u r a c y ( 1 - E r r o r ) - ( C p + C . )T p = P ( r p ) , (2 )S en s i t i v i t y (1 - / 3 ) = ~p p

T,, = P(T n) , (3 )p ec i f i c i t y (1 - a ) =

P o s i t i v e p r e d i c t i v e v a l u e = R ~ ' ( 4)

N e g a t i v e p r e d i c t i v e v a l u e = T n . ( 5 )RnA l l o f th e s e m e a s u r e s o f p e r f o r m a n c e a r e v a l id o n l y f o ro n e p a r t i c u l a r o p e r a t i n g p o i n t , a n o p e r a t i n g p o i n t n o r -m a l l y b e i n g c h o s e n s o a s t o m i n i m i s e t h e p r o b a b i l i t y o fe r ror . H o w e v e r , i n g e n e r a l i t i s n o t m i s c l a s s i f i c a t i o n r a tew e w a n t t o m i n i m i s e , b u t r a t h e r mi s c las s i f i ca t i on cos t .M i s c l a s s i f i c a t i o n c o s t i s n o r m a l l y d e f i n e d a s f o l l o w s :

C o s t = F p . CFp -[ - F . C Fn . (6 )U n f o r t u n a t e l y , w e r a r e l y k n o w w h a t t h e i n d i v i d u a l m i s -c l as s i f i ca t i o n co s t s ac tu a l l y a r e (h e re , t h e co s t o f a f a l sep o s i t i v e , Cv ~ an d t h e co s t o f a f a l se n eg a t i v e , Cv . ) an d sos y s t e m p e r f o r m a n c e i s o f t e n s p e c i f i e d i n t e r m s o f t h er e q u i r e d f a l s e p o s i t i v e a n d f a l s e n e g a t i v e r a te s , P ( F p ) a n dP ( F D . T h i s t h e n i s e q u i v a l e n t t o t h e N e y m a n - P e a r s o nm e t h o d , 0' 2) w h e r e P ( F . ) i s sp ec i f i ed an d P ( F p ) i s m i n i -m i s e d w i t h t h a t c o n s t r a in t , o r v i ce v er s a . O f t e n , t h e o n l yw a y o f d o i n g th e c o n s t r a i n e d m i n i m i s a t i o n r e q u i r e d f o rt h e N e y m a n - P e a r s o n m e t h o d i s t o pl o t P ( T p ) a g a i n s tP ( F p ) as t h e d e c i s i o n t h r e s h o l d i s v a r i ed . S e l ec t i n g t h eo p e r a t i n g p o i n t ( d e c i s i o n t h r e s h o l d ) t h a t m o s t c l o s e l ym e e t s t h e r e q u i r e m e n t s f o r P ( F . ) a n d P ( F p ) . T h e p l o t t e dv a l u e s o f P ( T p ) a n d P ( F p ) a s t h e d e c i s i o n t h r e s h o l d i sv a r i e d i s c a l le d a R e c e i v e r O p e r a t i n g C h a r a c t e r i s t i c( R O C ) c u r v e .

T h e r e i s s0 11 , h o w e v e r , a p r o b l e m w i t h s p e c i f y i n gp e r f o r m a n c e i n t e r m s o f a s i n g l e o p e r a t i n g p o i n t [ u s u a l lya P (Tp ) , P (TD p a i r ] , i n t h a t t h e re i s n o i n d i ca t i o n as t oh o w t h e s e t w o m e a s u r e s v a r y a s t h e d e c i s i o n th r e s h o l d i sv a r i e d . T h e y m a y r e p r e s e n t a n o p e r a t i n g p o i n t w h e r e

sen s i t i v i t y [P (T p ) ] can b e i n c reased wi th l i t t l e l o s s i nsp ec i f i c i t y [P (Tn ) ] , o r t h ey may n o t . T h i s mean s t h a t t h ec o m p a r i s o n o f t w o s y s t e m s c a n b e c o m e a m b i g uo u s .T h e r e f o r e , t h e r e i s a n e e d f o r a s i ng le m e a s u r e o fc l a s s i f ie r p e r f o r m a n c e [ o f te n t e r m e d a c c u r a c y , b u t n o tt o b e co n fu se d wi t h P (C) ] t h a t i s i n v ar i an t t o th e d ec i s i o ncr i t e r i o n se l ec t ed , p r i o r p ro b ab i l i t i e s , an d i s eas i l y ex -t e n d e d t o i n c l u d e c o s t / b e n e f i t a n a l y s i s . T h i s p a p e r d e -s c r i b e s t h e r e s u lt s o f a n e x p e r i m e n t a l s t u d y t o i n v e s t i g a t et h e u s e o f t h e a r e a u n d e r t h e R O C c u r v e ( A U C ) a s s u c h a sa m e a s u r e o f c l a s s i f i e r p e r f o r m a n c e .

W h e n t h e d e c i s i o n t h r e s h o l d is v a r i e d a n d a n u m b e r o fp o i n t s o n t h e R O C c u r v e [ P ( F p ) = c~ , P ( T p ) = 1 - / 3 ]h a v e b e e n o b t a i n e d t h e s i m p l e s t w a y t o c a l c u l a t e t h e a r e au n d e r t h e R O C c u r v e i s t o u s e t r a p e z o i d a l i n t e g r a t i o n ,

A U C = ~ . { ( 1 - / 3 i .A c ~ ) + ~ [ A ( 1 - / ~ ) . A c ~ ] } ,(7 )

w h e r e~ ( 1 - ~ ) : ( 1 - / 3 i ) - ( l - 9 i 1), ( 8)

A s = c~i - c~i - l . (9 )I t i s a ls o p o s s i b l e t o c a l c u l a t e th e A U C b y a s s u m i n g t h a tt h e u n d e r l y i n g p r o b a b i l i t i e s o f p r e d i c t i n g n e g a t i v e o rp o s i t i v e a r e G a u s s i a n . T h e R O C c u r v e w i l l t h e n h a v ea n e x p o n e n t i a l f o r m a n d c a n b e f i t t e d e i t h e r : d i r e c t l yu s i n g a n i t e r a t i v e M a x i m u m L i k e l i h o o d ( M L ) e s t i m a -t i o n , ~4) g iv in g t h e d i f f e r en c e i n m ean s an d t h e r a t i o o f t h ev ar i an c es o f t h e p o s i t i v e an d n eg a t i v e d i s t r ib u t i o n s ; o r , i ft h e R O C c u r v e i s p lo t t e d o n d o u b l e p r o b a b i l i t y p a p er , as t r a i g h t l i n e can b e f i t t ed t o t h e p o in t s o n t h e ROCcu rv e . {s) T h e s l o p e an d i n t e r cep t o f t h i s f i t t ed l i n e a r et h e n u s e d t o o b t a in a n e s t i m a t e o f th e A U C .

A s n o t e d i n r e f e r e n c e ( 6 ) , t h e t r a p e z o i d a l a p p r o a c hs y s t e m a t i c a l l y u n d e r e s t i m a t e s t h e A U C . T h i s i s b e c a u s eo f t h e w a y a l l o f t h e p o i n t s o n t h e R O C c u r v e a r ec o n n e c t e d w i t h s t r a i g h t l i n e s r a t h e r t h a n s m o o t h c o n c a v ec u r v e s . H o w e v e r , p r o v i d i n g t h e r e a r e a r e a s o n a b l e n u m -b e r o f p o i n ts o n t h e R O C c u r v e t h e u n d e r e s t i m a t i o n o f t h ea r e a s h o u l d n o t b e t o o s e v e r e . I n t h i s e x p e r i m e n t w eo b t a in a t l eas t s e v e n p o i n t s f r o m w h i c h t o e s t i m a t e t h eA U C a n d i n m o s t c a s e s t h e r e a r e 1 5 p o i n t s . T h e t r a p e -z o i d a l a p p r o a c h a l s o d o e s n o t r e l y o n a n y a s s u m p t i o n s a st o t h e u n d e r l y i n g d i s t r i b u ti o n s o f t h e p o s i t iv e a n d n e g a -t i v e e x a m p l e s a n d , a s w i l l b e e l a b o r a t e d o n i n S e c -t i o n 9 . 3 , i s e x a c t l y t h e s a m e q u a n t i t y m e a s u r e d u s i n gt h e W i l c o x o n t e s t o f r a n k s .

T h e S t a n d a r d E r r o r o f t h e A U C ( S E ( 0 ) )

7/28/2019 10.1.1.93.112

3/15

The use of the area under the ROC curve in the evaluation 1147

d i s t r i b u t i o n s a r e e x p o n en t i a l i n t y p e . (6) Th i s a s su m p -t i o n h a s b e e n s h o w n t o b e c o n s e r v a t i v e ; i t s l i g h t l yo v e r e s t i m a t e s t h e s t a n d a r d e r r o r , w h e n c o m p a r e d t oa s s u m i n g a G a u s s i a n b a s e d R O C c u r v e ( a s i n t h e M Lm e t h o d ) .

Th e s t an d ard e r ro r , S E(W) , i s g iv en b yS E ( W )

= ~ O ( 1 - O ) + ( C p - 1 ) ( Q I - 0 2 ) + ( C , - I ) ( Q 2 - 0 2 )c p c .

(10)w h e r e , C . a n d Cp are t h e n u m b e r o f n e g a t i v e a n d p o s i t iv ee x a m p l e s r e s p e c t iv e l y a n d

0Q 1 - ( 2 - 0 ~ ' ( 1 1 )20 202 - (1 + 0) (12)

I n t h i s p a p e r w e s h a l l c a l c u l a t e A U C u s i n g t r a p e z o i d a li n t e g r a t i o n a n d e s t i m a t e t h e s t a n d a r d d e v i a t i o n , S D ( 0 ) ,u s i n g b o t h S E ( W ) a n d c r o s s - v a l i d a ti o n , d e t a il s o f w h i c ha r e g i v e n i n S e c t i o n s 5 a n d 6 . N e x t , w e s h a l l p r e s e n t t h ed e t a i l s o f t h e d a t a se t s , c l a s s i f i ca t i o n a lg o r i t h ms , an dm e t h o d o l o g y c h o s e n f o r t h i s e x p e r i m e n t a l s t u d y .

3 . T H E D A T AT h e d a t a s e t s u s e d i n t h i s e x p e r i m e n t a l l h a v e

t w o o u t p u t c l a s s e s a n d h a v e b e t w e e n f o u r a n d 1 3 ,p r i m a r i l y c o n t i n u o u s , i n p u t v a r i a b l e s . E x c e p t f o r t h ea l g o r i t h m s C 4 . 5 a n d t h e M u l t i s c a l e C l a s s i f i e r w h i c ha u t o m a t i c a l l y h a n d l e c a t e g o r i c a l i n p u t s , a n y c a t e g o r i c a li n p u t v a r i a b l e s w e r e m a d e c o n t i n u o u s b y p r o d u c i n gdum my variables . (s)

T h e s i x d a t a s e t s c h o s e n f o r u s e i n t h i s e x p e r i m e n tw e r e :1 . C e r v i c a l c e l l n u c l e a r t e x t u re a n a l y s i s (Texture); ~9)2 . P o s t - o p e r a t i v e b l e e d i n g a f t e r c a r d i o p u l m o n a r y b y p a s ss u r g e r y (H eart); ~1)3 . B r e a s t c a n c e r d i a g n o s i s (Breast); 1)4 . P i m a I n d i a n ' s d ia b e t e s p re d i c t i o n (Pima); 2)5 . He ar t d i se ase d i ag n o s i s : O3A4)

( a ) H u n g a r i a n d a t a s e t (Hungarian);( b ) C l e v e l a n d d a t a s e t (Cleve land) .

Al l i n p u t v a r i ab l es w ere sca l ed t o t h e r an g e [0,1 ] u s i n ga l i n e ar t r a ns f o r m a t io n m a k i n g t h e m i n i m u m v a l u e z e r oa n d t h e m a x i m u m v a l u e 1 . T h i s i s a r e q u i r e m e n t f o r t h eM u l t i sca l e C l ass i f i e r , O5 )1 b u t was d o n e fo r a l l o f t h el e a r n i n g a l g o r i t h m s f o r c o n s i s t e n c y ( w i t h n o l o s s o fg e n e r a l i t y ) . A l s o , a l l e x a m p l e s i n t h e d a t a s e t s t h a th a d a n y m i s s i n g i n p u t v a r i a b l e s w e r e r e m o v e d ; t h i s

w a s l e s s t ha n 1 % o f t h e a v a i l a b l e d a t a i n m o s t o f t h ed a t a se t s .3.1 . C ervical cel l nuclea r texture

T h e s e d a t a w e r e g a t h e r e d b y R o s s W a l k e r a s p a r t o f as t u d y i n t o t h e u se o f n u c l ea r t ex tu re an a ly s i s fo r t h ed i ag n o s i s o f ce rv i ca l can cer . (9 ) T h e d a t a se t co n s i s t ed o f1 17 s e g m e n t e d i m a g e s o f n o r m a l a n d a b n o r m a l c e r v i c a lc e l l n u c l e i . U s i n g G r e y L e v e l s C o - o c c u r r e n c e M a t r i x( G L C M ) t e c h n i q u e s , 5 6 t e x t u r e f e a t u r e s w e r e e x t r a c t e df r o m e a c h o f t h e s e im a g e s . T h e s i x m o s t d i s c r im i n a t o r yf e a t u r e s w e r e t h e n s e l e c t e d u s i n g s e q u e n t i a l f o r w a r ds e l e c t i o n ( S F S ) w i t h t h e B h a t t a c h a r y y a d i s t a n c e m e a -su re , ( t6 A7) g iv i n g 1 1 7 ex a mp l es (5 8 n o rm al , 5 9 ab n o r -m a l ) e a c h w i t h s i x f e a t u r e s :1 . I n e r t i a a t d i s t an ce o n e ;2 . C o r r e l a t i o n a t d i s t an ce o n e ;3 . C l u s t e r p r o m i n e n c e a t d i s t a n c e o n e ;4 . E n t ro p y a t d i s t an ce 1 5 ;5 . I n v e r s e D i f f e r e n c e M o m e n t ( I D M ) a t d i s t a n c e 1 1 ;6 . C l u s t e r p r o m i n e n c e a t d i s ta n c e t h r e e .

3.2. Post -operat ive bleedingT h e d a t a w e r e g a t h e r e d i n d e p e n d e n t l y a s p a r t o f a

s t u d y i n t o p o s t - o p e r a t i v e b l e e d i n g u n d e r t a k e n a t t h eP r i n c e C h a r l e s H o s p i t a l i n B r i s b a n e . ) O v e r 2 0 0 p a r a -m e t e r s h a v e b e e n r e c o r d e d f o r e a c h o f 1 3 4 p a t i e n t s .H o w e v e r , d u e t o t h e l i m i t e d s i z e o f t h e d a t a s e t , o n l yt h e f o u r r o u t i n e l y m e a s u r e d p a r a m e t e r s w i t h t h e h i g h e s ts t a t i s t ica l co r r e l a t i o n t o b lo o d l o ss wer e u sed . z Th e fo u rp a r a m e t e r s w e r e1 . W B A G C O L : A g g r e g a t i o n w i t h c o l l a g e n ( p r e - o p e r a -

t i v e ) ;2 . P O A G C O L : A g g r e g a t i o n w i t h c o l l a g e n ( p o st - o p e r a -

t i v e ) ;3 . P O S T P L T : P l a t e l e t c o u n t ( p o s t- o p e r a t i v e );4 . D I L N P L A S : P l a s m a d i l u t i o n ( p o s t - o p e r a t i v e ) .

O f th e o r i g in a l d a t a se t o f 1 3 4 p a t i en t r eco rd s o n l y 1 1 3c o n t a i n e d a l l f o u r o f th e r e q u i r e d i n p u t p a r a m e t e r s . A l l o ft h e i n p u t p a r a m e t e r s a r e c o n t i n u o u s - v a l u e d w i t h a l o w e s tp o s s i b l e v a l u e o f z e r o . T h e s e p a r a m e t e r s a r e t h e n u s e d t op red i c t t h e t o t a l b lo o d l o ss , i n t h e t h r ee h o u r s p o s t -o p e r a t i v e , e x p r e s s e d a s a r a t i o o f b o d y s u r f a c e a r e a.T h e b l o o d l o s s i s th e n q u a n t i s e d i n t o t w o c l a s s e s, n o r m a la n d e x c e s s i v e b l e e d i n g . H e r e , a p r e d i c t i o n o f e x c e s s i v eb l eed in g i s d e f i n ed as a t o t a l b lo o d l o ss , i n t h e 3 h p o s t -o p e r a t i v e , o f g r e a t e r th a n 1 6 .4 m l / m 2 . Th i s d e f i n es 2 5 %o f a l l p a t ie n t s t o h a v e b l e d e x c e s s i v e l y a n d i s a n a r b i t r a ryd e f i n i t io n t h a t i n c l u d e s p a t i e n t s n o t c l i n i c a l l y a s s e ss e d a sb l e e d i n g e x c e s s i v e l y . I t w a s n e c e s s a r y t o a s s o c i a t e t h i sa b s o l u t e b i n a r y c l a s s i f i c a t i o n t o t h e b l o o d l o s s t o m a k eth e d a t a se t co n s i s t en t wi t h t h e o th e r s u sed i n t h i s p ap er ,

l i t is also recomm ended for methods such as k nearest 2They were not highly correlated to the othe r featuresneighbours.(16) selected.

7/28/2019 10.1.1.93.112

4/15

1148 A. E BRA DLE Y

an d as p a r t o f t h i s p r e l i min a ry s t u d y , t h is s im p l i s t i cm o d e l w a s t h o u g h t t o b e s u f f i c i e n t . H o w e v e r , m o s t o ft h e c l a s s i f ic a t i o n a l g o r i t h m s d e t a i l e d i n S e c t i o n 4 h a v eb e e n u s e d f o r r e g r e s s i o n , w h e r e t h e a c t u a l a m o u n t o fb l o o d l o s s w o u l d b e p r e d i c t e d q u a n t i t a t i v e l y .

T h e r e m a i n i n g d a t a s e t s w e r e o b t a i n e d f r o m t h eU n i v e r s i t y o f S o u t h e rn C a l i f o r n ia , m a c h i n e l e a r n i n gr e p o s i t o r y , f t p : / / i c s . u c i . e d u : p u b / m a c h i n e - l e a r n i n g - d a t a -b ases .

3 .3 . Brea s t cancer d iagnos isC o l l e c t e d b y W o l b e r g ~ m a t t h e U n i v e r s i t y o f W i s c o n -

s in , th i s d o m a i n c o n t a i n s s o m e n o i s e a n d r e s i d u a l v a r i a -t i o n i n i t s 6 8 3 d a t a p o in t s , t h e 1 6 ex amp les wi th mi ss in ga t t ri b u te s b e i n g r e m o v e d . T h e r e a r e n i n e i n t e g e r i n pu t s ,e a c h w i t h a v a l u e b e t w e e n 1 a n d 1 0. T h e t w o o u t p u tc l a s s e s, b e n i g n a n d m a l i g n a n t , a r e n o n - e v e n l y d i s t r i b u te d( 6 5 . 5 % a n d 3 4 . 5 % r e s p e c t i v e l y ) .

3 .4 . P ima Ind ian ' s d iabe tesT h e d i a g n o s t i c , b i n a r y - v a l u e d v a r i a b l e i n v e s t ig a t e d i s

w h e t h e r t h e p a t ie n t s h o w s s i g n s o f d ia b e t e s a c c o r d i n g t oW o r ld He a l t h O rg an i z a t i o n c r i t e r i a ( i . e . i f t h e 2 h p o s t -l o a d p l a s m a g l u c o s e w a s a t l e a s t 2 0 0 m g / d l a t a n y s u r v e ye x a m i n a t i o n o r i f f o u n d d u r i n g r o u t i n e m e d i c a l c a r e ). T h ep o p u l a t i o n l i v e s n e a r P h o e n i x , A r i z o n a , U . S . A . T h e r e a r ee i g h t c o n t i n u o u s l y v a l u e d i n p u t s w i t h s o m e n o i s ea n d r e s i d u a l v a r i a ti o n . O 2) T h e t w o n o n - u n i f o r m l y d i s -t r i b u t ed o u tp u t c l as ses (6 5 .1 % an d 3 4 .9 % ) a r e t e s t edn e g a t i v e o r p o s i t i v e f o r d i a b et e s . T h e r e i s a t o ta l o f 7 6 8d a t a p o in t s .3.5. H ear t d isease diagnosis

T h e g o a l o f t h i s d a t a s e t i s t o p r e d i c t t h e p r e s e n c e o fc o r o n a r y a r t e r y d is e a s e f r o m a n u m b e r o f d e m o g r a p h i c ,o b s e r v e d , a n d m e a s u r e d p a t i e n t f e a t u r e s . H e r e , w e u s e dt w o o f t h e a v a i l a b l e d a t a s e t s ( t h e o n e s w i t h t h e m o s ti n s t a nc e s ) ; b o t h d a t a s e t s h a v e t h e s a m e i n s t a n c e f o r m a tb u t w e r e c o l l e c t e d a t d i f f e r e n t h o sp i t a ls .

3.5.1 . C levelan d data. T h e s e d a t a w e r e c o l l e c t e d b yR o b e r t D e t r a n o , M . D . , P h . D . a t V . A . M e d i c a l c e n t r e ,T h e C l e v e l a n d C l i n i c F o u n d a t i o n . T h e d a t a o r i g i n a l l yw e r e c o l l e c t e d w i t h 7 6 r a w a t t r i b u t e s ; h o w e v e r , i np rev io u s s t u d i es 0 3 A4) o n ly 1 4 a t t r ib u t es we re ac t u a l l yu s e d . T h e d a t a s e t c o n t a i n s 2 9 7 e x a m p l e s , t h e r e b e i n gs i x e x a m p l e s r e m o v e d b e c a u s e t h e y h a d m i s s i n g v a l u e s .C lass d i s t r i b u t i o n s a r e 5 4 % h ear t d i sease ab sen t , 4 6 %h e a r t d i s e a s e p r e s e n t.

3 .5 .2 . H ungar ian da ta . T h e s e d a t a w e r e c o l l e c t e d b yA n d r a s J a n o s i , M . D . a t t h e H u n g a r i a n I n s t i t u t e o fC a r d i o l o g y , B u d a p e s t . T h e d a t a a r e i n e x a c t l y t h e s a m ef o r m a t a s t h e C l e v e l a n d d a t a , e x c e p t t h r e e a t t r i b u t e sw e r e r e m o v e d d u e t o a l a r g e p e r c e n t a g e o f m i s s i n gv a l u e s . T h e r e a r e 26 1 e x a m p l e s , 3 4 e x a m p l e s b e i n gr e m o v e d b e c a u s e t h e y h a d m i s s i n g v a l u e s . C l a s s

d i s t r i b u t i o n s a r e 6 2 .5 % h ear t d i sease ab sen t , 3 7 .5 %h ear t d i sease p resen t .

4 . T H E L E A R N I N G A L G O R I T H M ST h e l e a r n i n g a l g o r i t h m s c h o s e n f o r t h i s e x p e r i m e n t a l

c o m p a r i s o n w e r e : Q u a d r a t i c D i s c r i m i n a n t F u n c t i o n 0 8 ) (Bayes); 3 k -N eares t N e ig h b o u r s (1 9) ( K N N ) ; C4 .5 ~2) (C 4.5) ; M u l t i s c a l e C l a s s i f i e r~15) (MSC); Pe rce p t ron f2~) ( P T R O N ) ; an d M u l t i - l ay e r P e rcep t ro n

7/28/2019 10.1.1.93.112

5/15

The use of the area under the ROC curve in the evaluation 1149

T h e Multiscale Classifier. V e r s i o n 1 . 2 b l o f th e M u l t i -s c a l e C l a s s i f ie r w a s u s e d o n e a c h d a t a s e t. T h e M S C w a sf i r s t t r a i n ed fo r t 0 ep o ch s , o r u n t i l 1 0 0 % c l as s i f i ca t i o nw a s a c h i e v e d o n t h e t r a i n i n g s e t , t h e n b o t h p e s s i m i s t i c( M S C P ) a n d m i n i m u m e r r o r ( M S C M ) p r u n i n g w e r e u se do n t h e d e c i s i o n t r e e s p r o d u c e d o n e a c h t r a i n i n g s e t . T h ed e f a u lt p r u n in g p a r a m e te r s o f c f - l % a n d o f m = 8 w e r eu s e d o n a l l d a ta s e t s f o r p e s s i m i s t i c a n d m i n i m u m e r r o rp r u n i n g r e s p e c t i v e l y . R e l a t i v e m i s c l a s s i f i c a t i o n c o s t s o f[1 .0 :1 .0 , 1 .25 :1 .0 , 1 .5 :1 .0 , 2 .0 :1 .0 , 4 .0 :1 .0 , 8 .0 :1 .0 , 16 .0-: 1 .0 , 3 2 .0 :1 .0 ] w ere u se d fo r b o th o f t h e c l as ses o n a l ld a t a se t s .

The Perceptron. C o n s i s t i n g o f o n e n e u r o n w i t h at h r e s h o l d a c t i v a t i o n f u n c ti o n . T h e n u m b e r o f in p u t s( a n d w e i g h t s ) t o t h e n e u r o n i s e q u a l t h e n u m b e r o f in p u ta t tr i b u te s f o r t h e p r o b l e m , p l u s a b ia s . T h e n e t w o r k w a st r a in ed , u s in g t h e P erce p t ro n l ea rn in g a lg o r i t h m (23~ fo r1 0 0 0 e p o c h s . T h e w e i g h t s l e a r n t w e r e t h e n t e s t e d u s i n g an e u r o n w i t h a l i n e a r a c t i v a t i o n f u n c ti o n , s c a l e d t o g i v e a no u t p u t i n t h e r an g e [0,1 ] . Th e o u tp u t o f t h is l i n ea r n e u ro nwas t h en t h r e sh o l d ed a t v a lu es [0, 0 .1 , 0 .2 , 0 .3 . . . . . 1 .0 ]t o s im u l a t e d i f f e r en t m i sc l as s i f i ca t i o n co s t s . (24 )

The Mult i - layer Perceptron. T h r e e n e t w o r k a r c h i t e c -t u r e s w e r e i m p l e m e n t e d , e a c h w i t h d i f f e r e n t n u m b e r s o fh i d d e n u n i t s. T h e i r n e t w o r k a r c h i t e c t u re w a s a s f o l l o w s :a n i n p u t l a y e r c o n s i s t i n g o f a n u m b e r o f u n it s e q u a l t o t h en u m b e r o f i n p u t a t tr i b u te s f o r t h e p r o b l e m d o m a i n ; ah id d en l ay e r co n s i s t i n g o f 2 , 4 an d t h en 8 u n i t s ; an df i n a l l y o n e o u t p u t u n it ( M L P 2 , M L P 4 , a n d M L P 8 r e -s p e c t i v e l y ) . A l l o f t h e n e u r o n s w e r e f u l l y c o n n e c t e d , w i t hl o g - s i g m o i d a c t i v a t i o n f u n c t io n s , i . e . t h e i r o u tp u t s w e r ein t h e r an g e [0 ,1 ] . A l l t h r ee n e two rk s were t r a i n ed u s i n gb a c k - p r o p a g a t i o n w i t h a l e a r n i n g r a te o f 0 .0 1 , a n d am o m e n t u m o f 0 . 2 . I n i t i a l v a l u e s f o r t h e w e i g h t s i n t h en e t w o r k s w e r e s e t u s i n g t h e N g u y e n - W i d r o w m e t h o d , (25)a n d t h e n e t w o r k s w e r e t r a i n e d f o r 2 0, 0 0 0 e p o c h s . A g a i n ,d u r i n g t h e t e s t i n g p h a s e t h e o u t p u t n e u r o n w a s t h r e -sh o l d ed a t v a lu es [0, 0 .1 , 0 .2 , 0 .3 . . . . . 1 .0 ] t o s imu la t ed i f f e r en t mi s c l as s i f i c a t i o n co s t s . (2 4)

5 . T H E T R A I N IN G M E T H O D O L O G YI t i s k n o wn th a t s i n g l e t r a i n an d t e s t p a r t i t i o n s a r e n o t

r e l i a b l e e s t i m a t o r s o f t h e t r u e e r r o r r a t e o f a c l a s s i f i c a t io ns c h e m e o n a l i m i t e d d a t a se t . ( 2 6 '2 7 ) T h e r e f o r e , i t w a sd e c i d e d t h a t a r a n d o m s u b - s a m p l i n g s c h e m e s h o u l d b eu s e d i n th i s e x p e r i m e n t t o m i n i m i s e a n y estimation bias.A l e a v e - o n e - o u t c l a s s i f i c a t i o n s c h e m e w a s t h o u g h t c o m -p u t a t i o n a l ly t o o e x p e n s i v e 4 a n d s o , i n a c c o r d a n c e w i t ht h e r e c o m m e n d a t i o n s i n r e f e r e n c e ( 2 6) , 1 0 - f o ld c ro s s -v a l i d a t i o n was u sed o n a l l o f t h e d a t a se t s . F o r co n s i s -t e n c y, e x a c t l y t h e s a m e d a t a w e r e u s e d t o t r a i n a n d t e s t a llo f t h e n i n e c l a s s i f i c a t i o n s c h e m e s , t h is i s o f t e n c a l l e d apai red ex p er i m en ta l d es i g n . (7 ) Th e 1 0 - fo ld c ro ss -v a l i d a -t i o n s c h e m e h a s b e e n e x t e n s i v e l y te s t e d a n d h a s b e e ns h o w n t o p r o v i d e a n a d e q u a t e a n d a c c u r a t e e s t i m a t e o f

4Particularly for the Multi-layer Perceptron.

t h e t ru e e r ro r r a t e . ( 27 ) Th e c ro ss -v a l i d a t i o n sam p l in gt e c h n i q u e u s e d w a s r a n d o m b u t e n s u r e d t h a t t h e a p p r o x -i m a t e p r o p o r t i o n s o f e x a m p l e s o f e a c h c l a s s r e m a i n 9 0 %in t h e t r a i n in g se t an d 1 0 % i n t h e t e s t s e t . Th i s s l i g h ta d j u s t m e n t t o m a i n t a i n t h e p r e v a l e n c e o f e a c h c l a s s d o e sn o t b i as t h e e r ro r e s t ima t es an d i s su p p o r t ed i n t h erese arch l i teratu re . (26)

As p o in t ed o u t b y F r i ed m an , (28 ) n o c l as s i f i ca t i o nm e t h o d i s u n iv e r s a l l y b e tt e r t h a n a n y o t h e r , e a c h m e t h o dh av in g a c l as s o f t a rg e t fu n c t i o n s fo r wh ich i t i s b es tsu i t ed . Th ese ex p er imen t s t h en , a r e an a t t emp t t o i n v es -t i g a t e w h i c h l e a r n i n g a l g o r i t h m s s h o u l d b e u s e d o n ap a r t i c u la r s u b s e t o f p r o b l e m s . T h i s s u b s e t o f " m e d i c a ld i a g n o s t i c " p r o b l e m s i s c h a r a c t e r i z e d b y t h e s i x d a t a s e tsp r e s e n t e d . O u r c o n c l u s i o n s a r e t h e r e f o r e t a r g e t e d t o -w a r d s t h i s s u b s e t o f p r o b l e m s a n d s h o u l d n o t b e e x t r a -p o l a t e d b e y o n d t h e s c o p e o f t h is c l a s s o f p r o b le m . W eh a v e t r i e d t o m i n i m i s e a n y b i a s i n t h e s e l e c t i o n o f t h ep r o b l e m d o m a i n s , w h i l s t t i g h t l y d e f i n i n g t h e s u b s e t o fp r o b l e m s (selection bias). W e h a v e s e l e c t e d p r o b l e m sw i t h a w i d e r a n g e o f i n p u ts ( 4 - 1 3 ) w h i c h w o u l d r e p r e s e n ta t y p ic a l n u m b e r o f f e a t u r e s m e a s u r e d , o r f e a t u re s u b s e ts e l e c t e d f o r m e d i c a l d i a g n o s t i c p r o b l e m s . T h e b i n a r yo u t p u t c l a s s e s a r e , a s w o u l d b e t y p i c a l l y e x p e c t e d , o v e r -l a p p i n g . T h i s i s d u e t o v a r y i n g a m o u n t s o f n o i s e a n dres id u a l v a r i a t i o n i n t h e measu red f ea tu res , an d so a1 0 0 % co r r ec t c l as s i f i ca t i o n wo u ld n o t , i n g en era l , b ep o ss ib l e .

W e h a v e t r i e d to m i n i m i s e t h e e f f e c t o f a n y expert b iasb y n o t a t t e m p t i n g t o t u n e a n y o f t h e a l g o r i t h m s t o t h es p e c i f i c p r o b l e m d o m a i n s . W h e r e v e r p o s s i b l e , d e f a u l tv a l u e s o f l e a r n i n g p a r a m e t e r s w e r e u s e d . T h e s e p a r a -m e t e r s i n c l u d e t h e p r u n i n g p a r a m e t e r s f o r t h e d e c i s i o nt r e e s, t h e v a l u e o f k f o r t h e n e a r e s t n e i g h b o u r a l g o r i t h m ,a n d t h e l e a r n i n g p a r a m e t e r s ( l e a r n i n g r a t e , m o m e n t u m ,an d i n i t i a l co n d i t i o n s ) fo r t h e n eu ra l n e two rk s . Th i s n a iv ea p p r o a c h u n d o u b t e d l y r e s u lt s i n l o w e r e s t i m a t e s o f th et ru e e r ro r r a t e , b u t i t i s a b i as t h a t a f f ec t s a l l o f t h el e a r n i n g a l g o r i th m s e q u a l ly . I f w e h a d a t t e m p t e d t o t u n et h e p e r f o r m a n c e o f e a c h a l g o r i t h m o n e a c h d a t a s e t, t h eno u r d i f f e r e n t e x p e r t i s e w i t h e a c h m e t h o d w o u l d o f a d -v a n t a g e d s o m e a l g o r i t h m s b u t d i s a d v a n t a g e d o t h e r s . T h ee x p e r i m e n t a t i o n t i m e w o u l d a l s o h a v e i n c r e a s e d d r a m a -t i c a l l y a s w e e v a l u a t e d d i f f e r e n t i n p u t r e p r e s e n t a t i o n s ,i n p u t t r a n s f o r m a t i o n s , n e t w o r k a r c h i t e c t u r e s , l e a r n i n gp a r a m e t e r s , p r u n i n g p a r a m e t e r s , o r i d e n t i f ie d out lyinge x a m p l e s i n t h e t r a i n i n g s e t . A l s o , i n d o m a i n s w i t h al i m i t e d a v a i l a b i l it y o f d a t a t h e i n t r o d u c t i o n o f a n e v a l u a -t i o n se t ( ex t r ac t ed f ro m th e t r a i n in g se t ) co u ld ac tu a l l yr e d u c e t h e o v e r a l l a c c u r a c y o f t h e a l g o r it h m s .

6 . T H E P E R F O R M A N C E M E A S U R E SF o r e a c h l e a r n i n g a l g o r i t h m ( 9 o ff ) o n e a c h d a t a s e t ( 6

o f f ) , 1 0 se ts o f r e su l t s (o n e fo r each o f t h e 1 0 - fo l d c ro ss -v a l i d a t i o n p a r t it i o n s ) w e r e s t o re d . T h e r a w d a t a w e r es t o r e d in t h e f o r m o f a c o n f u s i o n m a t r i x a n d f o r e a c h o ft h e 1 0 t e s t p a r t i t i o n s t h e d ec i s i o n t h r esh o ld s were v a r i ed( t o p r o d u c e t h e R O C c u r v e s ) , g i v i n g b e t w e e n 7 a n d 1 5

7/28/2019 10.1.1.93.112

6/15

1150 A. E BRA DLE Y

s e t s o f r e s u l t s f o r e a c h t e s t p a r t i t i o n . I n o r d e r t oe v a l u a t e t h e p e r f o r m a n c e o f t h e d i f f e r e n t l e a r n in g a l g o -r i t h m s o n e a c h o f t h e d a t a s e t s , a n u m b e r o f m e a s u r e sh a v e t o b e e x t r a c t e d f r o m t h i s r a w d a t a ( o v e r 6 0 0 0 s e ts o fre s u l t s ) .

O v e r a l l a c c u r a c y , P ( C ) . F o r t h e d e f a u l t ( c o n v e n t i o n a l )d e c i s i o n t h r e s h o l d s , w i t h e q u a l m i s c l a s s i f i c a t i o n c o s t s ,t h e v a l u e o f t h e e s t i m a t e o f t h e t r u e e r r o r r a t e [ e q u a -t i o n ( 1 ) ] w a s c a l c u l a t e d f o r t h e 1 0 c r o s s - v a l i d a t i o n p a r t i -t i o n s .

T h e R O C c u r v e . O n e a c h t e s t p a r t i t i o n t h e d e c i s i o nt h r e s h o l d s w e r e e f f e c t i v e l y v a r i e d ( b y v a r y i n gm i s c l a s s i f i c a t i o n c o s t s , a s d e s c r i b e d i n S e c t i o n 4 ) t o g i v ea s e t o f v a l u e s f o r P(Tp) a n d P(Fp) . T h e " a v e r a g e "R O C c u r v e s f o r e a c h c l a s s i f i c a t i o n s c h e m e a r e s h o w ni n S e c t i o n 8 .

T h e a r e a u n d e r t h e R O C c u r v e ( A U C ) . A s t h em i s c l a s s i f i c a t i o n c o s t s w e r e v a r i e d , a s d e s c r i b e d i nS e c t i o n 4 , e a c h s u c c e ss i v e p o i n t o n t h e R O C c u r v ew a s u s e d i n t h e t r a p e z o i d a l i n t e g r a t i o n t o c a l c u l a t eA U C . T h e A U C w a s c a l c u l at e d f o r e a c h l e a r n i n g al g o -r i t h m o n e a c h o f t h e 1 0 t e s t p a r t i t i o n s . T h i s i s i n e f f e c tu s i n g a j a c k k n i f e e s t i m a t e t o c a l c u l a t e t h e s t a n d a r d e r r o ro f t h e A U C ( 2 9) a n d w i l l b e d i s c u s s e d i n m o r e d e t a i ls h o r t ly .

R e m a r k . I t s h o u l d b e n o t e d t h a t t h e r e a r e t w o d i s t i n c tp o s s i b i l it i e s w h e n i t c o m e s t o c o m b i n i n g t h e R O C c u r v e sf r o m t h e d i f f e r e n t t e s t p a r t i t i o n s , ~3)1. Pooling. I n p o o l i n g , t h e r a w d a t a ( t h e f r e q u e n c i e s o ft r u e p o s i t i v e s a n d f a l s e p o s i t i v e s ) a r e a v e r a g e d . I n

t h i s w a y o n e a v e r a g e , o r g r o u p R O C c u r v e i sp r o d u c e d f r o m t h e p o o l e d e s t i m a t e s o f e a c h p o i n to n t h e c u r v e . I n t h i s c a s e w e h a v e 1 0 e s t i m a t e s o fP(Tp) a n d P ( F p ) f o r e a c h p o i n t o n th e R O C c u r v e .T h e a s s u m p t i o n m a d e w h e n p o o l i n g t h e r a w d a t a i st h a t e a c h o f t h e c l a s s i f i e r s p r o d u c e d o n e a c h o f t h et r a i n i n g p a r t i t i o n s c o m e s f r o m t h e s a m e p o p u l a t i o n .A l t h o u g h t h e a s s u m p t i o n t h a t t h e y c o m e f r o m t h es a m e p o p u l a t i o n m a y b e t r u e i n t e r m s o f t h e i r o v e r a l ld i s c r i m i n a t i o n c a p a c i t y ( a c c u r a c y ) , t h e a s s u m p t i o nt h a t f o r e a c h p a r t i t i o n t h e y a r e a l l e s t i m a t i n g t h es a m e p o i n t s o n t h e R O C c u r v e i s l e s s p a l a t a b l e . T h i sc a n b e s e e n f r o m t h e f a c t t h a t p o o l i n g t h e d a t a i n t h i sw a y d e p r e s s e s t h e c o m b i n e d i n d e x o f a c c u r a c y ,A U C . O )2 . A v erag ing . T h i s a l t e r n a t i v e a p p r o a c h i s t o a v e r a g et h e a c c u r a c y i n d e x e x t r a c t e d f r o m e a c h o f t h e R O Cc u r v e s o n t h e 1 0 t r a i n a n d t e s t p a r t i t i o n s . S o , A U Ci s c a l c u l a t e d f o r t h e 1 0 R O C c u r v e s a n d t h e na v e r a g e d , g i v i n g a n e s t i m a t e o f t h e t r u e a r e a a n d a ne s t i m a t e o f it s s t a n d a r d e r r o r , c a l c u l a t e d f r o m t h es t a n d a r d d e v i a t i o n o f t h e 1 0 a r e a s . T h e o n l y p r o b l e mw i t h t h i s a p p r o a c h i s t h a t i t d o e s n o t r e s u l t i n a na v e r a g e R O C c u r v e , o n l y a n a v e r a g e A U C . F o r t h i sr e a s o n t h e p o o l e d r e s p o n s e s a r e u s e d w h e n a c t u a l l yv i s u a l l y s h o w i n g t h e w h o l e R O C c u r v e s , a s i nS e c t i o n 8 .

T h e s t a n d a r d d e v i a ti o n o f A U C , S D ( t~ ) . In o rd e r tov a l i d a t e o u r e s t i m a t e o f t h e s t a n d a r d d e v i a t i o n o f A U C

o b t a i n e d u s i n g a v e r a g i n g , S D ( 0 ) , S E ( W ) w a s a l s o c a l -c u l a t e d u s i n g th e a p p r o x i m a t i o n t o t h e W i l c o x o n m e t h o d ,g i v e n i n e q u a t i o n ( 1 0 ).

7 . T H E C O M P A R A T I V E T E C H N I Q U E S7 . 1 . A n a l y s i s o f v a ri a n c e

I n t h i s p a p e r w e w i l l u s e A n a l y s i s o f V a r i a n c e ( A N O -V A ) t e c h n i q u e s t o t e st t h e h y p o t h e s i s o f eq u a l m e a n s o v e ra n u m b e r o f l e a r n i n g a l g o r i t h m s ( p o p u l a t i o n s ) s i m u l t a -n e o u s l y / 3) T h e e x p e r i m e n t a l d e s i g n a l l o w s u s t o c o m -p a r e , o n e a c h d a t a s e t , t h e m e a n p e r f o r m a n c e f o r e a c hl e a r n i n g a l g o r i t h m a n d f o r e a c h t r a i n a n d t e s t p a r t i t i o n .T h i s i s c a l l e d two-way c l ass i f i ca t ion a n d e f f e c t i v e l y t e s t st w o h y p o t h e s e s s i m u l t a n e o u s ly :I . H ~ , t h a t a l l t h e m e a n s a r e e q u a l d u e t o t h e d i f f e r e n tt r a i n a n d t e s t p a r t i t i o n s ;2 . H ~ , t h a t a l l t h e m e a n s a r e e q u a l d u e t o t h e d i f f e r e n t

l e a r n i n g a l g o r it h m s .O f t h e s e t w o h y p o t h e s e s w e a r e o n l y r e a l l y i n t e r -

e s t e d i n t h e s e c o n d , H ~ , a n d w e c o u l d h a v e u s e d ao n e - w a y A N O V A t o t e st t h is h y p o t h e s i s a l on e . H o w e v e r ,a o n e - w a y A N O V A a s s u m e s t h a t a l l t h e p o p u l a t i o n sa r e i n d e p e n d e n t , a n d c a n o f t e n b e a l e s s s e n s i t i v e t e s tt h a n a t w o - w a y A N O V A , w h i c h u s e s t h e t r a i n a n dte s t p a r t i t i o n s a s a b lo c k in g f a c to r . ~ 3~ T h e f r a t ioc a l c u l a t e d f r o m t h i s A N O V A t a b l e i s i n s e n si t i v e t od e p a r t u r e s f r o m t h e a s s u m p t i o n o f e q u a l v a r i a n c e s w h e nt h e s a m p l e s i z e s a r e e q u a l , a s i n t h i s c a s e J 3) F o r t h i sr e a s o n a t e s t f o r t h e e q u a l i t y o f t h e v a r i a n c e s w a s n o td o n e .7 .2 . Duncan ' s mu l t ip l e range t e s t

W h e n t h e a n a l y s i s o f v a r i a n c e t e s t o n a n a c c u r a c ym e a s u r e p r o d u c e s e v i d e n c e t o r e j e c t t h e n u l l h y p o -t h e s e s , H ~ a n d H ~ I , w e c a n a c c e p t t h e a l t e r n a t i v e h y p o t h -e s i s - t h a t a l l o f t h e m e a n a c c u r a c i e s ar e n ote q u a l. H o w e v e r , w e s ti l l d o n o t k n o w w h i c h o f t h e m e a n sa r e s i g n i f i ca n t l y d i ff e r e n t f r o m w h i c h o t h e r m e a n s , s o w ew i l l u s e D u n c a n ' s m u l t i p l e r a n g e t e s t t o s e p a r a t e s i g -n i f i c a n tl y d i f f er e n t m e a n s i n t o s u b s e t s o f h o m o g e n e o u sm e a n s .

F o r t h e d i f f e r en c e b e t w e e n t w o s u b s e t s o f m e a n s t o b es i g n i f i c a n t i t m u s t e x c e e d a c e r t a i n v a l u e . T h i s v a l u e i sc a l l e d t h e l eas t s ign i f i can t rang e f o r t h e p m e a n s , R m a n di s g i v e n b y

Rp rpX / s2 / r , ( 1 4 )w h e r e t h e s a m p l e v a r i a n c e , s 2 , i s e s t i m a t e d f r o m t h ee r r o r m e a n s q u a r e f r o m t h e a n a l y s i s o f v a r i a n c e , s 2 ' rt h e n u m b e r o f o b s e r v a t i o n s ( r o w s ) , a n d r p t h e l eas ts ign i f i can t s tuden t i zed - range f o r a g i v e n l e v e l o fs i g n i f i c a n c e ( w e c h o s e c ~ = 0 . 0 5 ) , a n d t h e d e g r e e s o ff r e e d o m [ ( r - 1 ) ( c 1 ) = 7 2 ] . T a b l es 2 - 7 s ho w t h es u b s e t s o f a d j a c e n t m e a n s t h a t a r e n o t s i g n i f i c a n t l yd i f f e r e n t , t h i s b e i n g i n d i c a t e d b y d r a w i n g a l i n e u n d e rt h e s u b s e t .

7/28/2019 10.1.1.93.112

7/15

T h e u s e o f t h e a r e a u n d e r t h e R O C c u r v e i n t h e e v a l u a t i o n 1 1 51

8 . R E S U L T SI n t hi s s e c t i o n w e g i v e t h e s u m m a r y o f t h e r e s u lt s .

Nu cle ar Texture: S e e T a b l e 2 a n d F i g s 1 a n d 2 . Post-operative Heart Bleeding: S e e T a b l e 3 a n d F i g s 3

a n d 4 .

Breast Cancer: S e e T a b l e 4 a n d F i g s 5 a n d 6 . Pima Indians Diabetes: S e e T a b l e 5 a n d F i g s 7 a n d 8 . Cleveland Heart Disease: S e e T a b l e 6 a n d F i g s 9 a d n

1 0 . Hunga rian Heart Disease: S e e T a b l e 7 a n d F i g s 11

a n d 1 2 .

T a b l e 2 . R a n k o r d e r e d s i g n i f i c a n t s u b g r o u p s f r o m D u n c a n ' s m u l t i p l e r a n g e te s t o n t h e n u c l e a r te x t u r e d a t aC l as s if ie r : P T R O N M S C M M S C P C 4 .5 K N N B A Y E S M L P 8 M L P 4 M L P 2Acc uracy : 85 .0 85 .0 85 .0 8 9 .2 89 .2 89 .2 90 .0 90 .0 91 .7

C l as s if ie r : M S C P M S C M C 4 .5 K N N B A Y E S P T R O N M L P 4 M L P 8 M L P 2AU C: 88 .1 88 .7 92 .1 96 .2 96 .7 97 .8 98 .3 98 .5 98 .6

T a b l e 3 . R a n k o r d e r e d s i g n i f i c a n t s u b g r o u p s f r o m D u n c a n ' s m u l t i p l e ra n g e t e s t o n t h e h e a r t b l e e d i n g d a t aC l as s if ie r : M S C M M S C P C 4 .5 P T R O N K N N M L P 8 M L P 4 M L P 2 B A Y E SAc curac y : 69 .2 70 .8 71 .7 72 .5 74 .2 75 .0 76 .7 78 .3 79 . l

C l as s if ie r : C 4 .5 K N N M L P 4 M L P 8 M L P 2 P T R O N M S C M M S C P B A Y E SAU C: 48 .7 60 .9 65 .5 65 .7 66 .1 69 .8 70 .0 70 .5 73 .3

T a b l e 4 . R a n k o r d e r e d s i g n i f i c a n t s u b g r o u p s f r o m D u n c a n ' s m u l t i p l e r a n g e t e s t o n t h e b r e a s t c a n c e r d a t aC l as s if ie r : P T R O N C 4 .5 M S C M M S C P M L P 8 M L P 4 M L P 2 K N N B A Y E SA c c u r a c y : 7 2 . 2 9 0 . 7 9 0 . 9 9 1 . 2 9 2 . 7 9 3 . 3 9 3 . 5 9 3 . 6 9 4 . 2

C l as s if ie r : C 4 .5 M S C M M S C P P T R O N M L P 4 M L P 8 M L P 2 K N N B A Y E SA U C : 9 3 . 7 9 4 . 4 9 4 . 4 9 4 . 5 9 5 . 2 9 6 . 2 9 6 . 5 9 7 . 0 9 8 . 2

T a b l e 5 . R a n k o r d e r e d s i g n i f i c a n t s u b g r o u p s f r o m D u n c a n ' s m u l t i p l e r a n g e t e s t o n t h e P i m a d i a b e t e s d a t aC l as s if ie r : M S C M M S C P C 4 .5 P T R O N K N N B A Y E S M L P 8 M L P 4 M L P 2Ac curac y : 68 .1 6 8 .2 71 .7 73 .6 74 .8 75 .9 77 .0 77 .1 78 .4

C l as s if ie r : M S C M M S C P B A Y E S K N N C 4 .5 M L P 8 M L P 4 P T R O N M L P 2AU C: 74 .1 74 .4 76 .3 79 .4 80 .2 82 .3 83 .4 84 .7 85 .3

7/28/2019 10.1.1.93.112

8/15

1 1 5 2 A . E B R A D L E Y

T a b l e 6 . R a n k o r d e r e d s i g n i f i c a n t s u b g r o u p s f r o m D u n c a n ' s m u l t i p l e r a n g e t e s t o n t h e C l e v e l a n d h e a r t d i s e a s e d a taC l as s if ie r: M S C M M S C P P T R O N C 4 .5 M L P 8 M L P 4 M L P 2 K N N B A Y E SAcc uracy : 68 .7 68 .7 75 .0 77 .7 81 .0 81 .0 81 .3 82 .7 86 .3

C l as s if ie r : M S C P M S C M C 4 .5 M L P 8 M L P 2 M L P 4 K N N B A Y E S P T R O NAU C: 73 .7 73 .8 84 .2 84 .4 8 5 .9 86 .1 86 .9 90 .8 91 .2

T a b l e 7 . R a n k o r d e r e d s i g n i f i c a n t s u b g r o u p s f r o m D u n c a n ' s m u l t i p l e r a n g e t e s t o n th e H u n g a r i a n h e a r t d i s e a s e d a t aC l as si fi er : M S C M M S C P C 4 .5 K N N M L P 4 P T R O N M L P 8 B A Y E S M L P 2Ac curacy : 71 .5 7 1 .5 73 .0 74 .1 75 .5 76 .7 77 .4 78 .9 79 .3

C l as s if ie r : M S C M M S C P C 4 .5 K N N M L P 8 M L P 4 B A Y E S M L P 2 P T R O NAU C: 70 .1 70 .2 79 .2 82 .0 82 .1 82 .3 83 .8 84 .7 87 .8

R O C C u w e

0 .90. 8

~ o ' .1 0 ' . 2 - 0 ' . 3 o 1 4 o ' . i 0 ' .6 o 1 7 o 1 8 o 1 9 - -P ( F a l s e Pos i t i ve ) (Alpha)F i g . I . R O C c u r v e l b r B a y e s , K N N , a n d M L P o n t h e n u c l e a r

tex tu re da ta .9. DISCUSSION

I n t hi s s e c t i o n w e d i s c u s s o n l y t h e s e c o n d h y p o t h e s i st e s t e d b y t h e t w o - w a y a n a l y s i s o f v a r ia n c e ( A N O V A ) ,H ~ . T h i s i s t h e v a r i a n c e d u e t o t h e d i f f e r e n t l e a r n i n ga l g o r i t h m s ( c o l u m n e f f e c ts ) . T h e r e a s o n f o r t h is i s t h a tt h e t r a i n a n d t e s t p a r t i t i o n s a r e b e i n g u s e d a s w h a t i sc a l l e d a b l o c k i n g f a c t o r . W e w o u l d h o p e f o r a s i g n i f i c a n te f f e c t d u e t o t h e t r a i n a n d t e s t p a r t i t io n s , 5 n o t b e c a u s e t h i s

"~So tha t we can re jec t H~.

R O C C u ~ e

0. !

0.~050. t

0.~0.4

0.3

0.1C 0 .1 0 .2 0 .3 0 .4 05 0 .6 0 .7 0 .8 0 .9 1P(Fa lsePos i t i ve ) (Alpha)

F i g . 2 . R O C c u r v e f o r C 4 . 5 , M S C , a n d P e r c e p t r o n o n t h en u c l e a r t e x t u r e d a t a .

v a r i a n c e i s o f a n y s c i e n t i f i c i n t e r e s t , b u t b e c a u s e i t i sn e c e s s a r y fo r t he t w o - w a y A N O V A t o b e m o r e e f f ic i en tt h a n t h e o n e - w a y A N O V A .

9 .1 . O v e r a l l a c c u r a c yA l l o f t h e d at a s e t s s h o w e d s o m e d i f f e r e n c e i n a v e r a g e

a c c u r a c y f o r e a c h o f t h e l e a r n i n g a l g o r i th m s . H o w e v e r ,t h e A N O V A s h o w e d t h a t o n o n e o f t h e se d a t a s e ts( N u c l e a r T e x t u r e ) t h e r e w a s n o s i g n i f i c a n t e v i d e n c e( p < 0 . 0 5 ) f o r t h e m e a n a c c u r a c i e s t o b e a c t u a l l y d i f f e r -

7/28/2019 10.1.1.93.112

9/15

The use o f the a rea under the ROC curve in the eva lua t ion 1153

1

0 .90 .8

~ 0 . 7

~ 0.5~ 0.4a . 0 . 3

0 .20 .1

R O C C u r v e

0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9P ( F a l s eP o s i ti v e ) A l p h a )Fig . 3 . ROC curve fo r Bayes , KNN, and MLP on the hea r tbleeding data .

R O C C u r v e

O .90 . 8 :0 .70 . 6

0 .5O .4 o C 4 . 53 .3].13"2 ~ ~ " I ~ P erc e p tro n

' 0 ' . 1 0 1 2 0 1 3 014 015 0 1 6 017 0.8 019P(FasePositive)Alpha)Fig. 4. ROC curv e for C4.5, MSC, and Perceptron o n the heartbleeding data .

R O C C u r v e1

0 .9 0 .E0 . 8 0 . ~

~ o . 7 ~ o . ?0.8 + 0 . 6

i .'I 1 / 1 . 'i " I / ' 1

0 . 2 0 . 2O . 0 . 1 ;

P ( F a l s eP o s i ti v e ) A l p h a )Fig . 5 . ROC curve fo r Bayes , KNN, and MLP on the b reas tcancer data .

R O C C u r v e

o o't--oi2 o13 o14 o'~ o18 o) olB o l o - iP(FasePositive)Alpha)Fig. 6. ROC curve or C4.5, MSC, and Perceptronon the breastcancer data .

e n t . O n t h e o t h e r f i v e d a t a s e t s ( w h e r e t h e r e w a s s i g -n i f i c a n t e v i d e n c e t o r e j e c t t h e n u l l h y p o t h e s i s , H ~ )D u n c a n ' s m u l t i p l e r a n g e t e s t w a s u s e d t o f i n d t h e s i g -n i f i c a n t s u b g r o u p s .

T h e P o s t - o p e r a t i v e h e a r t b l e e d i n g d a t a s e t s h o w s o n l yt w o s i g n i f i c a n t s u b g r o u p s . T a b l e 3 a l s o s h o w s t h a t t h e r ei s o n l y a s i g n i f i c a n t d i f f e r e n c e b e t w e e n t h e t w o d e c i s i o nt r ee s m e t h o d s ( M S C a n d C 4 .5 ) a n d t h e M L P w i t h tw oa n d f o u r h i d d e n u n i t s a n d B a y e s .

T a b l e 4 s h o w s t h a t f o r t h e B r e a s t C a n c e r d a t a s e t t h e r ea r e t h r e e s i g n i f ic a n t s u b g r o u p s: o n e s u b g r o u p c o n t a i n i n go n l y t h e P e r c e p t r o n ; o n e c o n t a i n i n g t h e t w o d e c i s i o nt r e e s ( M S C a n d C 4 . 5 ) ; a n d t h e o t h e r le a r n i n g a l g o r i t h m si n t h e t h ir d . T h e r e i s a l s o a n o v e r l a p b e t w e e n t h e l a s t t w o

g r o u p s a s t h e n u m b e r o f h i d d e n u n i t s i n t h e M L P i si n c r e a s e d a b o v e 2 . T h e f a c t t h a t t h e P e r c e p t r o n i s i n t h el o w e s t s u b g r o u p o n i t s o w n w o u l d i n d i c a t e t h a t t h i sp r o b l e m i s n o t l i n e a r ly s e p a r a b l e a n d s o t h e P e r c e p t r o nl a c k s t h e r e p r e s e n t a t i o n p o w e r t o a c h i e v e a h i g h o v e r a l la c c u r a c y . I n a d d i t i o n , t h e l o w e r p e r f o r m a n c e o b s e r v e du s i n g t h e d e c i s i o n t r e e m e t h o d s m a y i n d i c a t e t h a t t h eo p t i m a l d e c i s i o n s u r f a c e i s s m o o t h i n n a t u r e .

T h e P i m a I n d i a n s d i a b e t e s d a t a s e t ( T a b l e 5 ) s h o w st h r e e s i g n i f i c a n t s u b g r o u p s u n d e r o v e r a l l a c cu r a c y . T h el o w e s t a c c u r a c y g r o u p c o n t a i n s t h e d e c i s io n t r e e s ( M S Ca n d C 4 . 5 ) t h o u g h o n l y B a y e s a n d t h e M u l t i - l a y e r P e r -c e p t r o n s ( M L P ) h a v e a s i g n i f i c a n tl y ( p < 0 . 0 5 ) h i g h e ro v e r a l l ac c u r ac y . T h e p o o r p e r f o r m a n c e o f t h e d e c i s i o n

7/28/2019 10.1.1.93.112

10/15

1 1 54 A . P . B R A D L E YR O C C u ~ e1 " "

0.8~{3.7

~ 0.6

/ ' 10.2O.

o i ~ o ' . ~ o ' . 8 o ' . 7 0 ' . 8 o 1 9P ( F a l s e P o s i ti v e ) N p h a )Fig . 7 . ROC curve fo r Bayes , KNN, and MLP on the P imadiabetes data .

R O C C u r v e10 .90 .80 .70 .60 .50 .4

3.1i i _ t _ _1 _1_ _ 1 _ _ r _ !

0 0 . 1 { 3 .2 0 . 3 0 . 4 { 3 . 5 0 . 6 0 . 7 { 3 . 8 { 3 .9 1P ( F a l s e P o s i ti v e ) A l p h a )Fig . 8 . R O Cc urv efo rC 4.5 , M SC, and Percep tron on the P imadiabetes data.

R O C C u r v e R O C C u r v e

0 . 9 0 . 90 . 8 0 . 8

9 o 7 ; 0 7/ /' t l / /1

0 . 1 0 ~ 0 ~ 1 ] 0 .16 o ' .3 o 1 4 0 : 5 o 1 8 o 1 7 o 1 8 o 1 9 ' ' 0 ' 3 o ' 4 o l s 0 ' .8 o ' .7 0 ' 8 o 1 9 iP ( F a l s e P o s i t iv e ) ( A l p h a ) P ( F a l s e P o s i t iv e ) ( A l p h a )

F i g . 9 . R O C c u r v e f o r B a y e s , K N N , a n d M L P o n t h e C l e v e l a n d F i g . 1 0 . R O C c u r v e f o r C 4 . 5 , M S C , a n d P e r c e p t r o n o n t h eh e a r t d i s e a s e d a t a . C l e v e l a n d h e a r t d i s e a s e d a t a .

t r e e s m a y i n d i c a t e t h a t th e s m o o t h d e c i s i o n h y p e r p l a n e sa r e p e r h a p s b e t t e r s u i t e d t o t h i s p r o b l e m , e s p e c i a l l y w i t ht h e l i m i t e d t r a i n i n g d a t a a v a i l a b l e . T h e r e l a t i v e s u c c e s s o ft h e M L P s o v e r th e B a y e s i a n m e t h o d w o u l d i n d i c a t e t h a tt h e i n p u t f e a t u re s a r e n o t N o r m a l l y d i s t r ib u t e d a n d s o t h ec o v a r i a n c e m a t r i x i s n o t b e i n g r e l i a b l y c a l c u l a te d .

F r o m T a b l e 6 , i t c a n b e s e e n t h a t t h e C l e v e l a n d h e a r td i s e a s e d a t a s e t h a s f o u r s i g n i f i c a n t s u b g r o u p s u n d e ro v e r a l l a c c u r a c y . H o w e v e r , d u e t o t h e l a r g e a m o u n t o fs u b g r o u p o v e r l ap , t h e r e s e e m s t o b e l i t t l e d is c r i m i n a t i o nd u e t o t h e c l a s s i f i c a ti o n m e t h o d . P e r h a p s o f n o t e , t h o u g h ,i s t h e f a c t t h a t o n t h i s p r o b l e m t h e B a y e s a n d K N Nm e t h o d s o b t a i n e d t h e h i g h e s t o v e r a l l a c cu r a c i es . T h i sw a s s u r p r i s i n g b e c a u s e t h e n u m b e r o f i n p u t f e a t u r es i s 1 3,

i t b e i n g c o n s i d e r e d t h a t w h e n y o u h a v e m o r e t h a n 1 0i n p u t f e a t u r e s t h e c u r s e o f d i m e n s i o n a l i t y w i l l s t a r th a v i n g a m a j o r e f f e c t . (8 ) O f a l l t h e l e a r n i n g a l g o r i t h m su s e d i n t h is e x p e r i m e n t , o n e w o u l d e x p e c t t h e B a y e s a n dK N N t o b e t h e m o s t s e v e r e l y a f f e c t e d b y t h e c u r s e o fd i m e n s i o n a l i t y . H o w e v e r , o n t h i s d o m a i n , t h i s w a s o b -v i o u s l y n o t t h e c a s e .

T a b l e 7 s h o w s t w o s i g n i f i c a n t s u b g r o u p s f o r o v e r a l la c c u r a c y o n t h e H u n g a r i a n h e a r t d i s e a s e d a t a s et . H o w -e v e r , b o t h o f t h e s e s u b g r o u p s a r e w i d e l y o v e r l a p p i n g , t h eo n l y s i g n i f i c a n t d i f f e r e n c e s b e i n g b e t w e e n t h e M S C a n db o t h t h e B a y e s a n d t h e M L P ( w i t h t w o h i d d e n u n i t s ) .

I n g e n e r al , w h e n p e r f o r m a n c e i s m e a s u r e d i n t e r m s o fo v e r a l l ac c u r ac y , t h e h y p e r - p l a n e ( B a y e s a n d M L P ) a n d

7/28/2019 10.1.1.93.112

11/15

The use o f the a rea under the ROC curve in the eva lua t ion 1155

10 ,90.8

~0.7- 0.6> 0 . 5g .~ 0 .4

0.3

Fig.

R O C C u r v e

0 1 1 0 1 2 0 1 3 0 ~ . 4 0 ~ . 5 0 1 6 017 0 ' . 8 0 1 9P ( F a l s e P o s i t iv e ) A l p h a )11. ROC curve fo r Bayes , K NN, and ML P on theHungarian heart disease data .

R O C C u r v e

1.90.8~ 0.7P I / / / /-'Ill/ /o.4F I ~ / / - - - -/ i f " / O C 4 , 5- 0 , l / ; /i I ~ / Perceptron0 " i ~ ~0.1

i i t I I I t i

0 0 . 1 0 . 2 0 . 3 0 .4 0 .5 0 . 6 0 . 7 0 .8 0 9 lP ( F a l s e P o s i ti v e ) A l p h a )Fig. 12. ROC curve for C4.5, MSC, and Perceptron on theHungarian heart disease data .

e x e m p l a r ( K N N ) b a s e d m e t h o d s s e e m e d t o h a v e a b e t t e rp e r f o r m a n c e w h e n c o m p a r e d t o t h e d e c i s i o n tr e e s (M S Ca n d C 4 . 5 ) . T h i s r e s u l t c o n f i r m s w h a t , f r o m p r e v i o u sd i s c u s s i o n , m i g h t b e e x p e c t e d f o r d a t a s e t s o f t h i s t y p e ,w h e r e t h e o p t i m a l d e c i s i o n b o u n d a r y i s a s m o o t h h y p e r -p l a n e . F o r t h e d e c i s i o n t r e e m e t h o d s t o a c c u r a t e l y e s t i -m a t e t h i s t y p e o f d e c i s i o n b o u n d a r y t h e y w o u l d r e q u i r e al o t m o r e t r a i n i n g d a t a t o a d e q u a t e ly p o p u l a t e d e c i s i o nn o d e s d e e p i n t h e t r e e .

9 .2 . T h e R O C c u r v eT h e R O C c u r v e s f o r e a c h l e a r n i n g a l g o r i t h m o n e a c h

d a t a s e t a re s h o w n i n F i g s 1 - 1 2 . T h e s e c u r v e s a r e t h ep o o l e d R O C c u r v e s o v e r t h e 1 0 tr a i n a n d t e s t p a r t it i o n s .C u r v e s f o r t h e M L P s w i t h f o u r a n d e i g h t h i d d e n u n i t s ar en o t s h o w n b e c a u s e o f t h e i r s i m i l a r i t y t o t h e M L P w i t ht w o h i d d e n u n i t s ( M L P 2 ) ; a l s o , f o r t h e s a m e r e a s o n , o n l yt h e c u r v e s f o r M S C w i t h m i n i m u m e r r o r p r u n i n g a r es h o w n . I t is p e r h a p s w o r t h m a k i n g a c o u p l e o f g e n e r a lc o m m e n t s a s t o t h e v is u a l s h a p e o f t h e R O C c u r v e sp r e s e n t e d i n F i g s 1 - 1 2 . D e c i s i o n t r e e s ( M S C a n d C 4 . 5 ) d o n o t a p p e a r t o b e

p r o d u c i n g R O C c u r v e s t h a t c o n f o r m t o a n y G a u s s i a nu n d e r l y i n g d i s t r i b u t i o n s f o r t h e n e g a t i v e a n d p o s i t i v ec l a s s e s , i . e . t h e y d o n o t f o r m s m o o t h e x p o n e n t i a lc u r v e s. T h i s c o n f i r m s o u r c h o i c e o f t r a p e z o i d a l i n t e -g r a t i o n o v e r M a x i m u m L i k e l i h o o d e s t i m a t i o n t o c a l -c u l a t e A U C . T h e d i p s a n d p e a k s s e e n i n t h e R O Cc u r v e s f o r t h e d e c i s i o n t r e e s a r e p r o b a b l y d u e t o t h ed i s c r e t e w a y i n w h i c h t h e d e c i s i o n t r e e s a r e p r u n e d , i . e .w h e n t h e d e c i s i o n t r e e i s p r u n e d , a s u b - t r e e i s r e d u c e dt o e i t h e r a s in g l e l e a f o f th e c l a s s w i t h t h e m i n i m u me r r or , t h i s s i n g l e l e a f c a n t h e n s u b s e q u e n t l y l e a d t o an u m b e r o f m i s c l a s s if i c a t i o n s a n d s o , t h e e r ro r r i s e s i n ad i s c re t e s t e p .

T h o u g h t h e R O C c u r v e s o f t e n a p p e ar to b e p r o d u c i n g as i m i l a r A U C , o n e c u r v e m a y b e p r e f e r a b l e b e c a u s e i tm a y h a v e a l o w e r P ( F p ) o r P ( F . ) a t a s p e c i f ic o p e r a t i n gp o i n t . T h i s r e i t e r a t e s t h e f a c t t h a t f o r o n e p a r t i c u l a ra p p l i c a t i o n , t h e b e s t w a y t o s e l e c t a c l a s s i fi e r , a n d i t so p e r a t i o n a l p o i n t , i s t o u s e t h e N e y m a n - P e a r s o nm e t h o d . ( 1'2 ) H e r e , w e s e l e c t t h e r e q u i r e d s e n s i t i v i t ya n d t h e n m a x i m i s e t h e s p e c i f ic i t y w i t h t h i s c o n s t r a i n t( o r v i c e v e r s a ) .T h e R O C c u r v e i s m a i n l y o f u s e w h e n v i s u a l i z i n g t h e

p e r f o r m a n c e o f a c l a s s i f ic a t i o n a l g o r i t h m a s t h e d e c i s i o nt h r e s h o l d i s v a r i e d . A n y o n e p o i n t o n t h e c u r v e i s ap o s s i b l e o p e r a t i o n a l p o i n t f o r t h e c l a s s i f i e r a n d s o c a n b ee v a l u a t e d i n t h e s a m e m a n n e r a s a c c u r a c y , P ( C ) , a sa b o v e . H o w e v e r , i n o r d e r t o e v a l u a t e t h e w h o l e c u r v ew e n e e d t o e x t r a c t s o m e d i s t i n g u i s h i n g f e a t u r e f r o m i t .T h e f e a t u r e w e h a v e c h o s e n t o m e a s u r e a n d e v a l u a t e i st h e a r e a u n d e r t h e R O C c u r v e ( A U C ) .

9 .3 . T h e a r e a u n d e r t h e R O C c u r v eA s w a s t h e c a s e f o r o v e r a l l a c c u r a c y , a l l o f t h e d a t a s e t s

s h o w e d s o m e d i f f e r e n c e in a v e r a g e A U C f o r e a c h o f th el e a r n i n g a l g o r it h m s . H o w e v e r , f o r t h e A U C t h e a n a l y s iso f v a r i a n c e s h o w e d t h a t o n a l l o f t h e d a t a s e t s t h e r e w e r es i g n i f i c a n t ( p < 0 . 0 1 ) d i f f e r e n c e s i n m e a n A U C s . I na d d i t i o n , o n a l l b u t o n e d a t a s e t ( B r e a s t C a n c e r ) t h ec o m p u t e d f v a l u e s w e r e g re a t er f o r t h e A U C A N O V A t e s tt h a n f o r o v e r a l l a c c u r a c y A N O V A . T h e s e l a r g e r f v a l u e sl e d t o a h i g h e r l e v e l o f s i g n i f i c a n c e ( p < 0 . 0 1 r a t h e r t h a np < 0 . 0 5 ) o n t w o o f t h e d a t a s e t s ( P o s t - o p e r a t i v e b l e e d -i n g a n d H u n g a r i a n h e a r t d i s ea s e ) . T h i s i n d i c a t e s t h a t t h eA U C i s a m o r e s e n s i t i v e t e s t t h a n o v e r a l l a c c u r a c y . T h ev a r i a n c e a s s o c ia t e d w i t h t h e A U C , e s p e c i a ll y o n t h e d a t as e t s w i t h e i t h e r h i g h a c c u r a c y o r a m p l e t e s t d a t a , w a s l e s st h a n t h a t as s o c i a te d w i t h P ( C ) . A g a i n , D u n c a n ' s m u l t i p l e

7/28/2019 10.1.1.93.112

12/15

1156 A.P . BRADLEY

r a n g e t e s t w a s c a r r i e d o u t o n a l l s i x d a t a s e t s t o d e t e r m i n eth e s i g n i f i can t su b g ro u p s .

On t h e n u c l ea r t ex tu re d a t a se t , t h r ee s i g n i f i can t su b -g r o u p s w e r e o b t a i n e d , a s s h o w n i n T a b l e 2 . T h e d e c i s i o nt r e e s ( M S C a n d C 4 . 5 ) a r e i n a l o w e r p e r f o r m a n c e s u b -g r o u p o f t h e i r ow n , w i t h C 4 . 5 i n a s e c o n d s u b g r o u p w i t hK N N , a n d B a y e s , t h e t h i r d , h i g h e s t p e r f o r m a n c e g r o u p ,n o w i n c l u d e s t h e P e r c e p t r o n a n d M u l t i - l a y e r P e r c e p t ro n sb u t e x c l u d e s t h e d e c i s i o n t r e e s (C 4 . 5 a n d M S C ) . T h e p o o rp e r f o r m a n c e o b t a i n e d u s i n g t h e d e c i s i o n t r e e m e t h o d scan b e a t t r i b u t ed t o t h e f ac t t h e re a r e l imi t ed d a t a wi t hw h i c h t o c o n s t r u c t a n d p r u n e t h e t r e e s a n d t h a t s m o o t hd e c i s i o n h y p e r - p l a n e s a r e p r o b a b l y m o r e s u i t a b l e t h a nh y p e r - r e c t a n g l e s i n t h is p r o b l e m d o m a i n . O f n o t e i s th ef a c t t h a t t h e P e r c e p t r o n a n d M S C o b t a i n e d t h e s a m ea c c u r a c y , P ( C ) , b u t t h e P e r c e p t r o n n o w h a s a s i g n i f i -c a n t l y h i g h e r (p < 0 . 0 5 ) A U C . W i t h t h at e x c e p t i o n th e r ei s a n e x t r e m e l y g o o d c o r r e l a t i o n b e t w e e n t h e r a n k i n g sg i v e n fr o m P ( C ) a n d t h at g i v e n f ro m A U C . H o w e v e r ,A U C p r o d u c e d s i g n i f i c a n t d i f f e r e n c e s b e t w e e n t h e m e a np e r f o r m a n c e , w h e r e a s P ( C ) d i d n o t .

T h e r e a r e t w o s i g n i f i c a n t s u b g r o u p s f o r t h e p o s t -o p e r a t i v e b l e e d i n g d a t a s e t, a s s h o w n i n T a b l e 3 . T h el o w e s t p e r f o r m a n c e s u b g r o u p c o n t a i n s C 4 . 5 o n l y , t h eo t h e r s u b g r o u p c o n t a i n i n g a l l o f t h e o t h e r m e t h o d s . T h el o w p e r fo r m a n c e o f C 4. 5 w h e n m e a s u r e d u s i ng A U C c a na l s o b e v is u a l l y s e e n i n th e R O C c u r v e s o f F i g s 3 a n d 4 .I n t h i s d a t a s e t t h e r e a r e p a t i e n t s w h o h a v e b l e d e x c e s -s i v e l y d u e t o a s u r g i c a l l y r e l a t e d c o m p l i c a t i o n ( a t e c h -n i c a l e r r o r ) . S o m e o f t h e t r a i n i n g d a t a h a v e t h e r e f o r ee f f e c t i v e l y b e e n m i s c l a s s i f ie d b e c a u s e t h e e x c e s s i v eb l e e d i n g w a s n o t r e l a t e d t o a n y o f t h e f e a t u r e s m e a s u r e d ,b u t w a s a c o n s e q u e n c e o f t h e te c h n i c a l e r r or . T h e s e c a s e ss h o u l d r a n d o m l y a f f e c t t h e d a t a a n d t h e r e f o r e b e c o m ei s o l a t e d e x a m p l e s i n f e a t u r e s p a c e . W e w o u l d h o p e t h a tt h e y w o u l d h a v e l i t t l e e f f e c t o n t h e c l a s s i f i e r d u r i n gt r a in i n g , b u t t h i s wi l l b e d ep en d en t o n t h e c l as s i f i ca t i o na l g o r i t h m u s e d . T h e e f f e c t o f t h e s e p o i n t s o n t h e M L P ,P e r c e p t r o n , a n d B a y e s m e t h o d s i s t o b i a s t h e p o s i ti o n o ft h e d ec i s i o n b o u n d ary ( s ) ; h o wev er , i f , a s i s t h o u g h t fo rt h i s c a s e , t h e n u m b e r o f m i s c l a s s i f i e d p o i n t s i s n o t t o ol a r g e , t h i s e f f e c t s h o u l d b e m i n i m a l . K N N w i l l b e a f -f e c t e d d e p e n d e n t u p o n t h e a m o u n t o f s m o o t h i n g b u i l ti n t o t h e c l a s s i f i c a t io n , i . e. u p o n t h e c h o i c e o f K . F o r t h ed e c i s i o n t r e e m e t h o d s ( C 4 . 5 a n d M S C ) t h e s e p o i n t s w i l lc a u s e t h e f o r m a t i o n o f e r r o n e o u s d e c i s i o n n o d e s i n t h et r e e . H o w e v e r , i t s h o u ld t h e n b e p o s s i b l e t o p r u n e t h e s ee x a m p l e s f r o m t h e t r e e t o e l i m i n a t e t h e i r e f f e c t , a s t h e yw i l l b e n o d e s t h a t h a v e s e e n v e r y f e w t r a i n in g p o i n t s , i . e.t h e y h a v e a l o w c o n f i d e n c e l e v e l . H o w e v e r , b e c a u s e o ft h e l ack o f d a t a i n t h i s d o main i t i s v e ry d i f f i cu l t t od e t e r m i n e w i t h c e r t a i n t y w h i c h d a t a p o i n t s a r e d u e t o at e c h n i c a l e r r o r a n d t h e r e f o r e s h o u ld b e p r u n e d a n d w h i c hd a t a p o i n t s a r e d u e t o t h e u n d e r l y i n g p r o b l e m . T h i s c a nb e s e e n i n F i g . 4 p a r t i c u l a r l y i n t h e c a s e s o f t h e d e c i s i o nt r e e C 4 .5 w h e r e t h e p r u n i n g h a s r e d u c e d t h e s t r uc t u r e o ft h e t r e e t o o m u c h a n d h e n c e r e d u c e d t h e s e n s it i v it y . T h i sm e a n s t h a t C 4 . 5 i s v e r y ra r e l y p r e d i c t in g a n y c a s e s a sb e i n g p o s i t i v e ; t h is " o v e r c a u t i o n " l e a d s t o w h a t a p p e a r st o b e a a c c e p t a b l e a c c u r a c y , b u t a v e r y l o w A U C . T h i s

mean s t h a t t h e d ec i s i o n t r ee i s ac tu a l l y d o in g v e ry l i t t l ewo rk . In p rev io u s ex p er im en t s ~3a) we fo u n d t h a t t h e M S Co b t a i n e d a h i g h e r a c c u r a c y ( 7 6 % ) w h e n n o p r u n i n g w a sd o n e o n t h e t re e . T h i s i s a n e x a m p l e o f a p r o b l e m d o m a i nw h e r e t h e a l g o r i t h m h a s b e e n b i a s e d b y t h e d e c i s i o n t re eprun ing . (33)T h e r e a r e t h r e e s i g n i f ic a n t s u b g r o u p s s h o w n f o r t h eB r e a s t C a n c e r d a t a s e t i n T a b le 4 . T h e r e i s a l a rg e a m o u n to f o v e r l a p i n t h e s e s u b g r o u p s a n d s o n o r e a l i d e n t i f ia b l eg r o u p s s e e m t o e x is t . H o w e v e r , th e r e i s a n i n d i c a t i o n o f ag e n e r a l i n c r e a s e i n p e r f o r m a n c e f r o m t h e d e c i s i o n t r e e st h r o u g h t h e P e r c e p t r o n o n t o t h e M L P s a n d t h e n u p t o t heK N N a n d B a y e s m e t h o d s . A g a i n , w i t h t h e e x c e p t i o n o ft h e P e r c e p t ro n , w h i c h a g a i n o b t a i n e d a h i g h e r r a n k i n g o fp e r f o r m a n c e u n d e r A U C t h a n i t d i d u n d e r P ( C ) , t h e r e i sg o o d a g r e e m e n t i n t h e r a n k i n g b e t w e e n t h e t w o p e r f o r -m a n c e m e a s u r e s .

T a b l e 5 s h o w s t h a t f o r th e P i m a I n d i a n s D i a b e t e s d a t ase t t h e re a r e fo u r s i g n i f i can t su b g ro u p s ( as co mp ared t ot h r e e f o r o v e r a l l a c c u r a c y ) . T h i s a g a i n w o u l d i n d i c a t e t h ei n c r e a s e d s e n s i t iv i t y o f A U C o v e r P ( C ) a s a m e a s u r e o fc l a s s i f ie r p e r fo r m a n c e . I n f a c t, i t m a y w e l l b e w o r t hg o i n g t o a h i g h e r l e v e l o f s i g n i f i c a n c e ( s ay p = 0 . 0 1 ) t or e d u c e t h e n u m b e r o f s u b g ro u p s a n d r e v e a l a m o r eg en era l u n d er ly in g t r en d . In ad d i t i o n , i t can b e seen f ro mt h e R O C c u r v e f o r t h e B a y e s c l a s s i f ie r ( F i g . 7 ) t h a t t h e rea r e o n l y r e a l l y t h r e e p o i n t s f r o m w h i c h t o e s t i m a t e t h eA U C . T h i s m e a n s t h a t t h e A U C c a l c u l a t e d f o r t h e B a y e sc l as s i f i e r o n t h i s d a t a se t w i l l b e p ess imi s t i ca l l y b i ased .T o a v o i d t h i s e f f e c t i t m a y b e p o s s i b l e t o i m p l e m e n t as y s t e m a t i c w a y o f v a r y i n g t h e d e c i s i o n t h r e s h o l d w h e np r o d u c i n g t h e R O C c u r v e s , r a t h e r t h a n u s i n g l i n e a rste ps. (34)

T h e C l e v e l a n d h e a r t d i s e a s e d a t a s e t h a s t h r e e s i g -n i f i c a n t s u b g r o u p s o f p e r f o r m a n c e u n d e r A U C ( s e eT a b l e 6 ). T h e M S C i s in a s u b g r o u p o f i t s o w n , t h e o t h e rt w o g r o u p s b e i n g f a i r l y o v e r l a p p i n g a n d s o n o m e a n -i n g f u l s u b g r o u p s c a n b e i d e n t i f ie d . A g a i n , t h e P e r c e p t r o no b t a i n e d a h i g h e r r a n k i n g u n d e r A U C t h a n i t d i d u n d e ro v era l l accu racy . Wi th t h i s ex cep t i o n , t h e re i s a g o o dl e v e l o f a g r e e m e n t i n t h e r a n k in g o f t h e p e r f o r m a n c e o ft h e c l a s s i f i c a t i o n a l g o r i t h m s u n d e r a c c u r a c y a n d A U C .

W h e r e a c c u r a c y f o u n d t w o b r o a d s i g n i f i c a n t s u b -g r o u p s , T a b l e 7 s h o w s t h a t A U C h a s p r o d u c e d t h r e es u b g r o u p s o n t h e H u n g a r i a n H e a r t D i s e a s e d a t a s e t .T h e M S C i s i n t h e l o w e s t p e r f o r m a n c e s u b g r o u p ( o ni ts o w n ) w h i l e th e r e m a i n i n g t w o s u b g r o u p s a r e b r o a d l yo v e r l a p p i n g w i t h o n l y a s i g n i f i c a n t d i f f e r e n c e b e t w e e nt h e A U C f o r C 4 . 5 ( l o w e s t ) a n d t h e P e r c e p t r o n ( h i gh e s t ).A s w a s t h e c a s e f o r t h e C l e v e l a n d h e a r t d i s e a s e d a t a s e t ,t h e P e r c e p t r o n p e r f o r m e d b e t t e r u n d e r A U C t h a n i t d i du n d e r o v e r a l l a c c u ra c y , b u t o th e r w i s e a c c u r a c y a n d A U Cp r o d u c e d s i m i l a r ra n k i n g s o f p e r f o r m a n c e .

9.3.1. The meaning of AUC. I t m a y s e e m t h a te x t r a c t i n g t h e a r e a u n d e r t h e R O C c u r v e i s a na r b i t ra r y f e a t u r e t o e x t r a c t. H o w e v e r , i t h a s b e e nk n o w n f o r s o m e t i m e t h a t t h i s a r e a a c t u a l l y r e p r e s e n t st h e p r o b a b i li t y t h a t a r a n d o m l y c h o s e n p o s i t i v e e x a m p l ei s co r r ec t l y r a t ed ( r an k ed ) wi th g rea t e r su sp i c io n t h an a

7/28/2019 10.1.1.93.112

13/15

The use o f the a rea under the ROC curve in the eva lua t ion 1157

0.3 i i i i i

0.25 x

.~ 0 .2x x121

" ~ 0 . 1 5- y. 1 o0.05

i J t i t

0.05 0.1 0.15 0.2 0.25 0.3AUC Standard ErrorFig. 13. Sca t te r p lo t o f the s tandard e rro r o f the W ilcoxonstatis tic versus the s tandard deviation of the AUC. There aren ine lea rn ing a lgorithms, each da ta se t be ing shown with adifferent tick mark.

0.35

0. 3

0 . 2 5

0. 2

0,15}

0.1

0,05

0

i ~ i i i / / / /

/ / / / /

E l / /

~ z z z ]

/

J i i i- 0 . 0 5 ~ 0 . 0 5 0 .1 0 . 1 5 0 .2 0 . 2 5 0 . 3AUC Standard Error

Fig. 14. Linear relationship between the s tandard error of theWilcoxon statis tic and the s tandard deviation of the AUC.

r a n d o m l y c h o s e n n e g a t i v e e x a m p l e . ~61 M o r e o v e r , t h i sp r o b a b i l i t y o f c o r r e c t r a n k i n g i s t h e s a m e q u a n t i t ye s t im a te d b y th e W i lc o x o n s t a t i s t i c . ~6'35>

T h e W i l c o x o n s t a t i s t i c , W , i s u s u a l l y u s e d t o t e s t t h eh y p o t h e s i s t h a t t h e d i s t r i b u t i o n o f s o m e v a r i a b l e , x , f r o mo n e p o p u l a t i o n ( p ) is e q u a l t o t h a t o f a s e c o n d p o p u l a t i o n(n ) , H 0 : Xp - xn .(3 ) I f th i s (nul l ) h y p o t h e s i s i s r e j e c t e dt h e n w e c a n c a l c u l a t e t h e p r o b a b i l i t y , p , t h a t xp > x n ,X p < x , , o r Xp ~ x , ,. In o u r c a s e , w h e re w e w a n t g o o dd i s c r i m i n a t i o n b e t w e e n t h e p o p u l a t i o n s p a n d n , w er e q u i r e P (x p > x ~) t o b e a s c l o s e t o u n i t y a s p o s s i b l e .T h e W i l c o x o n t e s t m a k e s n o a s s u m p t i o n s a b o u t t h ed i s t r ib u t i o n s o f t h e u n d e r l y i n g p o p u l a t i o n s a n d c a n w o r ko n c o n t i n u o u s , q u a n t i t a t i v e , o r q u a l i t a t i v e v a r i a b l e s .

A s a l r e a d y d i s c u s s e d A U C e f f e c t i v e l y m e a s u r e sP (x p > x n ) . I n t h e s a m e s i t u a t i o n , g i v e n o n e n o r m a le x a m p l e a n d o n e p o s i t i v e e x a m p l e , 6 a c l a s s i f i er w i t hd e c i s i o n t h r e s h o l d t w i l l g e t b o t h e x a m p l e s c o r r e c t w i t h ap r o b a b i l i t y ,

P (C ) - P (x p > t )P (x , , < t ) . ( 1 5 )P ( C ) i s d e p e n d e n t o n t h e l o c a t i o n o f t h e d e c i s i o n t h r e s h -o l d t a n d i s t h e r e f o r e n o t a g e n e r a l m e a s u r e o f c l a s s i f i e rp e r f o r m a n c e .

9 . 3 .2 . T h e s t a n d a r d e r r o r o f A U C . T h e A U C , 0 , i s a ne x c e l l e n t w a y t o m e a s u r e P (x p > x , ) f o r b i n a r yc l a s s i f i e r s a n d t h e d i r e c t r e l a t i o n s h i p b e t w e e n , W , a n d0 c a n b e u s e d t o e s t i m a t e t h e s t a n d a r d e r r o r o f th e A U C ,u s i n g S E ( W ) i n e q u a t i o n ( 1 0 ) .

F i g u r e s 1 3 a n d 1 4 s h o w h o w t h e s t a n d a r d e r r o r o f t h eW i l c o x o n s t a t i s t i c , S E ( W ) , i s r e l a t e d t o t h e s t a n d a r d

6Often re fe rred to as a two a l te rna t ive fo rced cho iceexperiment (2AFC).

d e v i a t i o n o f t h e a v e r a g e d A U C , S D ( 0 ) , c a l c u l a t e d u s i n g1 0 - f o l d c r o s s - v a l i d a t i o n . T h e corre la t i on coe f f i c i en t b e -t w e e n S E ( W ) a n d S D ( 0 ) i s 0 . 9 6 0 8 w h i c h i n d i c a t e s t h a tt h e r e i s a v e r y s t r o n g l i n e a r r e l a t i o n s h i p b e t w e e n S E ( W )a n d S D ( 0 ) . O v e r a l l si x d a t a s et s , S E ( W ) h a s a m e a n v a l u eo f 0 . 0 7 7 0 a n d a s t a n d a r d d e v i a t i o n o f 0 . 0 4 8 2 , w h i l s tS D ( 0 ) h a s m e a n 0 . 0 7 7 1 a n d s t a n d a r d d e v i a t i o n 0 . ( 1 6 1 4 .T h i s a g a i n w o u l d i n d i c a t e t h a t a l t h o u g h S D ( 0 ) h a s ah i g h e r v a r i a n c e i t is a v e r y g o o d e s t i m a t o r o f S E ( W ) . T h es t r a i g h t l i n e f i tt e d ( i n a l e a s t s q u a r e d s e n s e ) t o S E ( W ) a n dS D ( 0 ) i n F i g . 1 4 a g a i n r e i t e r a t e s t h e q u a l i t y o f S D ( 0 ) a sa n e s t i m a t e o f S E ( W ) .

T h e l a r g e r v a r i a n c e o b s e r v e d f o r S D ( 0 ) c a n b e e x -p l a i n e d w h e n y o u c o n s i d e r t h e f a c t t h a t S D ( 0 ) h a s t w os o u r c e s o f v a r i a n c e . T h e f i r s t s o u r c e o f v a r i a n c e , w h i c h i sa l s o t h e v a r i a n c e e s t i m a t e d b y S E ( W ) , i s d u e t o t h ev a r i a t i o n o f t h e t e s t da t a . T h a t i s , i n e a c h o f t h e 1 0i t e r a t i o n s o f c r o s s - v a l i d a t i o n t h e r e i s a d i f f e r e n t 1 0 % o ft h e d a t a i n e a c h t e s t p a r t i ti o n . T h e s e d i f f e r e n t s e t s o f t e s td a t a t h e r e f o r e p r o d u c e d i f f e r e n t R O C c u r v e s, a n d A U Cv a r i e s a c c o r d i n g l y . T h e s e c o n d s o u r c e o f v a r i a n c e i s d u et o v a r i a t i o n o f t h e t ra i n i ng da t a i n e a c h c r o s s - v a l i d a t i o np a r t i t i o n . T h e v a r i a t i o n i n t h e t r a i n i n g d a t a u s e d i n e a c hc r o s s - v a l i d a t i o n p a r t i t i o n a l s o a f f e c t t h e R O C c u r v e sp r o d u c e d a n d t h i s c a u s e s A U C t o v ar y . H o w e v e r , b e c a u s eo n l y o n e - n i n t h o f t h e t r a i n i n g d a t a v a r y w i t h e a c h s u b -s e q u e n t t r a i n i n g p a r t i t io n , t h i s s e c o n d s o u r c e o f v a r i a n c ei s s m a l l a n d t h e r e f o r e , a s w a s s h o w n , S D ( 0 ) i s a g o o de s t i m a t o r o f S E ( W ) .

F i g u r e 1 5 s h o w s h o w t h e s t a n d a r d e r r o r o f t h e W i l -c o x o n s t a ti s ti c v a r ie s w i t h t h e n u m b e r o f t e s t s a m p l e s a n dt h e a c t u a l v a l u e o f t h e A U C . T h e t w o t r e n d s t o n o t i c e a re :1 . A s t h e n u m b e r o f t e s t s a m p l e s i n c r e a s e t h e s t a n -

d a r d e r r o r d e c r e a s e s , S E ( W ) b e i n g i n v e r s e l y p r o -

7/28/2019 10.1.1.93.112

14/15

1 15 8 A . E B R A D L E Y0 . 1 2 [

0 1

~ 0 . 0 8