Resampling Methods

Resampling MethodsCross-validation, Bootstrapping

Marek Petrik

2/21/2017

Some of the figures in this presentation are taken from ”An Introduction to Statistical Learning, with applications in R”(Springer, 2013) with permission from the authors: G. James, D. Wi�en, T. Hastie and R. Tibshirani

So Far in ML

I Regression vs classificationI Linear regressionI Logistic regressionI Linear discriminant analysis, QDAI Maximum likelihood

Discriminative vs Generative Models

I Discriminative modelsI Estimate conditional models Pr[Y | X]I Linear regressionI Logistic regression

I Generative modelsI Estimate joint probability Pr[Y,X] = Pr[Y | X] Pr[X]I Estimates not only probability of labels but also the featuresI Once model is fit, can be used to generate dataI LDA, QDA, Naive Bayes

Logistic Regression

{1 if default

0 otherwise

Linear regression Logistic regression

0 500 1000 1500 2000 2500

Balance

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|| ||| || || | |||| | || || | ||| || || || | || | | | |

||| | ||| |||| | || || ||| || ||| || |

| || |

|| || ||| | || || ||| | || || || || |||| | ||

| ||| | || || || || ||| || |

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

| | |||||

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

| | || || || ||| || | ||| ||| | ||| |||| | || |

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

| || |

| || || | || | | | || || | || || ||| |||| |||

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

||| || | | ||

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

| || || || | || || || || || || |||| ||

| |||| | | | ||| || |||| || |

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

||| | ||||| || || | || || || | ||| || || |

|||| |||| | | || || || || | || || |||| | | ||| |

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|| | ||| | ||| |

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|| | || |

| ||| || | ||| | || || ||

| || | || | | || | || || | | |

||| | || || || | | | || || ||

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|| || |

|| | || ||| |||| | |||

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|| | ||

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|||| || | | || | ||| ||| || | ||| || | | | |||| |

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|||| ||| |

| ||| |

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

||| | | || |||| | || || | |

|| | || | || |||| | ||

| || || ||| || | | ||| || || ||

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

| || || |

| || | | || || | ||||| || | || || || || || | || || || | ||

|| ||| || || || ||| | || |||| | | || || || | |

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

||| | || || || |

| || || ||| ||| || | |||

||| || || ||| || |

|| || || | ||| || | || | || |

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

||| || | |

| | ||| | || || ||||| ||| ||| |

|| | ||| ||| ||| | ||

|| | || || ||| || | |

| | || ||||| ||| | || || ||| || || ||

|| | |

||| || | || | || | | ||||| | || ||| || |||

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|||| || ||| || ||

||| || |

|| | || || || | || | |||||| |

||| | | || ||| |

| | ||| ||||| ||| | | || || || |

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

| || | ||| || ||| | || |

| ||| | || ||| |||

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|| || || ||| ||

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

| ||| | || | | | |

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

| ||| || || || || || || |||| || |||| || || |

||| || || || || | |||

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|| || | ||| || ||

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|| | |||| || || ||

| || | |

|| || | |||| || | ||| ||| | || || || | || | | ||

|| || |

|| | ||| || |||| ||| || |

|| | || ||

|| | | || | || ||| ||| || | || |

| || ||| | |||| |||| || | ||||| | | |

|| ||| ||||

||| | || || ||| || | ||| | || || | || || || | ||| || |

|| || || | || ||

| || ||| ||

| || | | ||

|| || | || |

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

||| ||

| || | |

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

| || ||| | || | || || || ||| | || |||| || | || | ||

| | ||| ||| || | |||

|| ||| || || || | | || | ||| | || ||| | ||

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

| || ||| || || ||| || | ||| || | || |

| || | ||| ||| || ||| | ||| || || | | ||| | ||

| | || | | |

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|| | | || | | | ||

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

| |||| | || | |

||| ||| || || ||

||| ||| | |||| || ||| | || ||| | | || ||| ||

| ||| || |||| || | || | || || | | |||| || | |||

||||| || | |||| ||

| ||| || |

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

| || |||| ||| | | |

| || |||

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|| || || ||

| || ||| || || | |

| || | | || | ||| | || || ||| || |||| || || | ||

|| || || || | | |||

|| || | ||| || ||| || | | || |||| | | || ||| |

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|| || ||| ||| || || ||| || |

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

| || || |||| | || |

|| || || | |||

| ||| ||| | || | | | |||

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

| | ||||| | ||

|||| || |||||

|| | | || |||| | || || ||

|| ||| || || || ||| |||| || ||| | |||| | | |

| | | |||| || ||| | ||| | | || || |

|| | || | || | |

||| | || | ||| || || || ||| |||| || || ||| || || |||

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|| | | | |||| || ||| || || || || | | || |

||| | || || ||| || | || |||

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|| ||| ||

| || | ||| || || || |||| || ||

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

| | ||| || || || |

| || || |||

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|||||| | ||| || | || || || ||| || || || || | | || | ||

|| || || || ||| | ||| ||| ||| || || || || | || || ||

||| | || || || | ||| | || || | || ||| | || || ||

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|| | || | | || | | |

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

| ||| | || | ||| ||| |||| |

|| || || || || | | || | ||| | | | ||

|| || | || | |||| | ||

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

| |||| || | ||

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|| ||| |

| | || || |||| |

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

||| || || || | || |||| | |||| || ||| || || | ||| ||

| || || ||| || || | | ||| | || | |||| ||

|| ||| || | || | | | || | ||| | |

| || || || | || || || | ||| || ||| || ||

| || | |||| |||

| ||| || || | || |

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|| | || || | | | ||| | || ||||

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

| ||| | ||| ||

| || || ||| ||| || |||| ||| |

||| || | ||

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|| ||| || ||| | | || || | ||| |||| | |

|| | | ||| || ||

| || || || |

| | | || | || ||| ||| | | | || || || |||

| || || ||||| | | || ||

|| | || || | ||| || | || | ||| |

|| | || | |||

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

| | | || | ||| || || ||

| || |||| | ||| | |||| || | | ||| || | ||

|| | | ||||| | || ||| || || || ||| |||| |||

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|| ||| ||| ||

| | || | || ||||| ||| || || || || | ||| || | | | | ||

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

||| | | ||| ||| || | || | || ||| | |

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

| ||| ||| |

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

||| ||||| | |||| || || ||| || | || | || ||| | ||

| | ||| | ||| | |||| || || | |||| | | ||

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|| | || |||| || ||

|| || | | || | | ||

|| || | || || ||

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

| || || | || || ||| | | || ||| || || || | | | ||||

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|| || || ||||| || | |||| |

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|| | | || || | || ||| ||| || |

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

| | || | |||| | || || | || |||| |||| | || | |||

|||| | ||| || | | |

| | || |||

| ||| |||| | | || | | ||| || | | || | | || | || | || |

||| || ||| | |

||| || ||| ||| ||| ||

|| | || || |||| ||| | || || | ||| || | ||

|| ||||| || | || | ||

| || ||| || |

|| | ||

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

| || || | | || ||| || | || ||| || ||||| | |||

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|| |||| || ||| ||| | |||

|| || | | ||| | | |

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

||| || ||| || |

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

| || || || | |||| || ||| | || ||||

||| | || ||

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

| || || || | || ||||

| || ||| | | || ||| || | ||| | | | |

||| | | |||| || || || || | || | ||| | || | ||| |

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

| ||||| ||| |

| | || ||| | |

|| | || ||||| | ||| || | |

| || || ||

||| || | | |||||| |

|||| | || ||

|| | |

|||| | |

| | || || | ||| || | ||

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

| ||| || || |

|| || ||| ||| | || || |

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|| |||| | || || || || | || | ||| || | |

| |||| ||| |

| ||| || ||| | ||| || | | |

| |||||| |

| | || |||| || ||| || || || | || |||||

| | ||| ||| | | || | | ||| | || | | ||| |

| |||| ||| || || | ||| | | | ||

0 500 1000 1500 2000 25000.0

Balance

| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||

|| ||| || || | |||| | || || | ||| || || || | || | | | |

||| | ||| |||| | || || ||| || ||| || |

| || |

|| || ||| | || || ||| | || || || || |||| | ||

| ||| | || || || || ||| || |

|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||

| | |||||

|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||

| | || || || ||| || | ||| ||| | ||| |||| | || |

| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |

| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||

| || |

| || || | || | | | || || | || || ||| |||| |||

|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |

||| || | | ||

| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||

| || || || | || || || || || || |||| ||

| |||| | | | ||| || |||| || |

||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |

||| | ||||| || || | || || || | ||| || || |

|||| |||| | | || || || || | || || |||| | | ||| |

|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||

|| | ||| | ||| |

|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||

|| | || |

| ||| || | ||| | || || ||

| || | || | | || | || || | | |

||| | || || || | | | || || ||

|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||

|| | | || ||| || | ||| || ||| || || || | || || || || ||

|| || |

|| | || ||| |||| | |||

| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||

|| | ||

|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |

|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||

|||| || | | || | ||| ||| || | ||| || | | | |||| |

||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |

|| || | ||| ||||| | | | ||| | | ||| || || || || || | |

|||| ||| |

| ||| |

||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||

||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |

||| | | || |||| | || || | |

|| | || | || |||| | ||

| || || ||| || | | ||| || || ||

|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |

| || || |

| || | | || || | ||||| || | || || || || || | || || || | ||

|| ||| || || || ||| | || |||| | | || || || | |

|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||

||| | || || || |

| || || ||| ||| || | |||

||| || || ||| || |

|| || || | ||| || | || | || |

| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||

|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||

||| || | |

| | ||| | || || ||||| ||| ||| |

|| | ||| ||| ||| | ||

|| | || || ||| || | |

| | || ||||| ||| | || || ||| || || ||

|| | |

||| || | || | || | | ||||| | || ||| || |||

|| | | |||| | | || | || | |||| | | | | | ||| | |||

|||| || ||| || ||

||| || |

|| | || || || | || | |||||| |

||| | | || ||| |

| | ||| ||||| ||| | | || || || |

| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |

| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |

| || | ||| || ||| | || |

| ||| | || ||| |||

||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |

|| || || ||| ||

|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||

| ||| | || | | | |

|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |

| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||

|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |

|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |

| ||| || || || || || || |||| || |||| || || |

||| || || || || | |||

|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||

| || || || || || || || | | || || | | || | ||| ||| | | ||| ||

|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |

|| || | ||| || ||

|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||

|| | |||| || || ||

| || | |

|| || | |||| || | ||| ||| | || || || | || | | ||

|| || |

|| | ||| || |||| ||| || |

|| | || ||

|| | | || | || ||| ||| || | || |

| || ||| | |||| |||| || | ||||| | | |

|| ||| ||||

||| | || || ||| || | ||| | || || | || || || | ||| || |

|| || || | || ||

| || ||| ||

| || | | ||

|| || | || |

|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||

||| ||

| || | |

|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |

| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||

| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||

| || ||| | || | || || || ||| | || |||| || | || | ||

| | ||| ||| || | |||

|| ||| || || || | | || | ||| | || ||| | ||

|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |

| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |

| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||

| || ||| || || ||| || | ||| || | || |

| || | ||| ||| || ||| | ||| || || | | ||| | ||

| | || | | |

|| | ||| || || | | ||| | | ||| | | || || |||| | || ||

|| | | || | | | ||

| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||

| |||| | || | |

||| ||| || || ||

||| ||| | |||| || ||| | || ||| | | || ||| ||

| ||| || |||| || | || | || || | | |||| || | |||

||||| || | |||| ||

| ||| || |

|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||

| || |||| ||| | | |

| || |||

|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||

|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |

|| || | || || || || | ||| | || || || | ||| | || ||| ||

|| || || ||

| || ||| || || | |

| || | | || | ||| | || || ||| || |||| || || | ||

|| || || || | | |||

|| || | ||| || ||| || | | || |||| | | || ||| |

| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||

|| || ||| ||| || || ||| || |

| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |

| || || |||| | || |

|| || || | |||

| ||| ||| | || | | | |||

| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||

| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |

| | ||||| | ||

|||| || |||||

|| | | || |||| | || || ||

|| ||| || || || ||| |||| || ||| | |||| | | |

| | | |||| || ||| | ||| | | || || |

|| | || | || | |

||| | || | ||| || || || ||| |||| || || ||| || || |||

| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |

|| | | | |||| || ||| || || || || | | || |

||| | || || ||| || | || |||

|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |

|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |

| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||

| | || || ||| || | |||| | ||| | || ||| ||| | | || |

|| ||| ||

| || | ||| || || || |||| || ||

||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |

||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |

|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |

| | ||| || || || |

| || || |||

| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||

|||||| | ||| || | || || || ||| || || || || | | || | ||

|| || || || ||| | ||| ||| ||| || || || || | || || ||

||| | || || || | ||| | || || | || ||| | || || ||

| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||

| || || |||| || || |||| | ||| |||| | |||| |||| || |

|| | || | | || | | |

| ||||| | |||||| | || | | || || || || | || ||| || | || || || |

| ||| | || | ||| ||| |||| |

|| || || || || | | || | ||| | | | ||

|| || | || | |||| | ||

| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |

| |||| || | ||

|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||

|| ||| |

| | || || |||| |

|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||

||| || || || | || |||| | |||| || ||| || || | ||| ||

| || || ||| || || | | ||| | || | |||| ||

|| ||| || | || | | | || | ||| | |

| || || || | || || || | ||| || ||| || ||

| || | |||| |||

| ||| || || | || |

| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |

|| | || || | | | ||| | || ||||

| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |

| ||| | ||| ||

| || || ||| ||| || |||| ||| |

||| || | ||

||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||

|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||

|| ||| || ||| | | || || | ||| |||| | |

|| | | ||| || ||

| || || || |

| | | || | || ||| ||| | | | || || || |||

| || || ||||| | | || ||

|| | || || | ||| || | || | ||| |

|| | || | |||

|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||

| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||

| | | || | ||| || || ||

| || |||| | ||| | |||| || | | ||| || | ||

|| | | ||||| | || ||| || || || ||| |||| |||

| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||

|| ||| ||| ||

| | || | || ||||| ||| || || || || | ||| || | | | | ||

| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |

| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||

| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |

||| | | ||| ||| || | || | || ||| | |

| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||

| ||| ||| |

| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |

||| ||||| | |||| || || ||| || | || | || ||| | ||

| | ||| | ||| | |||| || || | |||| | | ||

||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||

||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||

||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |

|| | || |||| || ||

|| || | | || | | ||

|| || | || || ||

| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||

| || || | || || ||| | | || ||| || || || | | | ||||

|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||

|| || || ||||| || | |||| |

| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||

| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||

|| | | || || | || ||| ||| || |

|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||

| | || | |||| | || || | || |||| |||| | || | |||

|||| | ||| || | | |

| | || |||

| ||| |||| | | || | | ||| || | | || | | || | || | || |

||| || ||| | |

||| || ||| ||| ||| ||

|| | || || |||| ||| | || || | ||| || | ||

|| ||||| || | || | ||

| || ||| || |

|| | ||

| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||

| || || | | || ||| || | || ||| || ||||| | |||

|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||

|| |||| || ||| ||| | |||

|| || | | ||| | | |

| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |

|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |

| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |

||| || ||| || |

||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||

|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||

| || || || | |||| || ||| | || ||||

||| | || ||

| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||

|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |

| || || || | || ||||

| || ||| | | || ||| || | ||| | | | |

||| | | |||| || || || || | || | ||| | || | ||| |

| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |

| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |

| ||||| ||| |

| | || ||| | |

|| | || ||||| | ||| || | |

| || || ||

||| || | | |||||| |

|||| | || ||

|| | |

|||| | |

| | || || | ||| || | ||

| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |

|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||

|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |

| ||| || || |

|| || ||| ||| | || || |

|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||

|| |||| | || || || || | || | ||| || | |

| |||| ||| |

| ||| || ||| | ||| || | | |

| |||||| |

| | || |||| || ||| || || || | || |||||

| | ||| ||| | | || | | ||| | || | | ||| |

| |||| ||| || || | ||| | | | ||

Predict:Pr[default = yes | balance]

LDA: Linear Discriminant Analysis

I Generative model: capture probability of predictors for eachlabel

−4 −2 0 2 4 −3 −2 −1 0 1 2 3 4

I Predict:1. Pr[balance | default = yes] and Pr[default = yes]2. Pr[balance | default = no] and Pr[default = no]

I Classes are normal: Pr[balance | default = yes]

Bayes Theorem

I Classification from label distributions:

Pr[Y = k | X = x] =Pr[X = x | Y = k] Pr[Y = k]

Pr[X = x]

I Example:

Pr[default = yes | balance = $100] =

Pr[balance = $100 | default = yes] Pr[default = yes]

Pr[balance = $100]

I Notation:

Pr[Y = k | X = x] =πkfk(x)∑Kl=1 πlfl(x)

LDA with Multiple FeaturesI Multivariate Normal Distributions:

x 2x 2

I Multivariate normal distribution density (mean vector µ,covariance matrix Σ):

p(X) =1

(2π)p/2|Σ|1/2exp

2(x− µ)>Σ−1(x− µ)

Multivariate Classification Using LDA

I Linear: Decision boundaries are linear

−4 −2 0 2 4

QDA:�adratic Discriminant Analysis

−4 −2 0 2 4

−4 −2 0 2 4−

Confusion Matrix: Predict default

TrueYes No Total

Predicted Yes a b a+ bNo c d c+ dTotal a+ c b+ d N

Result of LDA classification: Predict default ifPr[default = yes | balance] > 1/2

TrueYes No Total

Predicted Yes 81 23 104No 252 9 644 9 896Total 333 9 667 10 000

I Successfully using basic machine learning methodsI Problems:

1. How well is the machine learning method doing2. Which method is best for my problem?3. How many features (and which ones) to use?4. What is the uncertainty in the learned parameters?

I Methods:1. Validation set2. Leave one out cross-validation3. k-fold cross validation4. Bootstrapping

I Successfully using basic machine learning methodsI Problems:

1. How well is the machine learning method doing2. Which method is best for my problem?3. How many features (and which ones) to use?4. What is the uncertainty in the learned parameters?

I Methods:1. Validation set2. Leave one out cross-validation3. k-fold cross validation4. Bootstrapping

Problem: How to design features?

50 100 150 200

Horsepower

Linear

Degree 2

Degree 5

Benefit of Good Features

0 20 40 60 80 100

2 5 10 200

Flexibility

Mean S

gray: training error red: test error

Just Use Training Data?

I Using more features will always reduce MSEI Error on the test set will be greater

0 20 40 60 80 100

2 5 10 20

Flexibility

Just Use Training Data?I Using more features will always reduce MSE

I Error on the test set will be greater

0 20 40 60 80 100

2 5 10 20

Flexibility

Just Use Training Data?I Using more features will always reduce MSEI Error on the test set will be greater

0 20 40 60 80 100

2 5 10 20

Flexibility

Solution 1: Validation Set

I Just evaluate how well the method works on the test setI Randomly split data to:

1. Training set: about half of all data2. Validation set (AKA hold-out set): remaining half

!"!#!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!$!

%!!""!! #!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!& !

I Choose the number of features/representation based onminimizing error on validation set

Solution 1: Validation Set

I Just evaluate how well the method works on the test setI Randomly split data to:

1. Training set: about half of all data2. Validation set (AKA hold-out set): remaining half

!"!#!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!$!

%!!""!! #!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!& !

I Choose the number of features/representation based onminimizing error on validation set

Feature Selection Using Validation Set

0 20 40 60 80 100

2 5 10 200.0

Flexibility

Mean S

gray: training error red: test error (validation set)

Problems using Validation Set

1. Highly variable (imprecise) estimates: Each line showsvalidation error for one possible division of data

2 4 6 8 10

Degree of Polynomial

2 4 6 8 10

Degree of PolynomialM

2. Only subset of data is used (validation set is excluded – onlyabout half of data is used)

Problems using Validation Set

1. Highly variable (imprecise) estimates: Each line showsvalidation error for one possible division of data

2 4 6 8 10

Degree of PolynomialM

2. Only subset of data is used (validation set is excluded – onlyabout half of data is used)

Solution 2: Leave-one-out

I Addresses problems with validation setI Split the data set into 2 parts:

1. Training: Size n− 12. Validation: Size 1

I Repeat n times: to get n learning problems

!"!#!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!$!

Leave-one-outI Get n learning problems:

!"!#!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!$!

I Train on n− 1 instances (blue)I Test on 1 instance (red)

MSEi = (yi − yi)2

I LOOCV estimate

CV(n) =1

n∑i=1

Leave-one-out vs Validation Set

I Advantages

1. Using almost all data not just half2. Stable results: Does not have any randomness3. Evaluation is performed with more test data

I Disadvantages

I Can be very computationally expensive: Fits the model n times

I Advantages1. Using almost all data not just half

2. Stable results: Does not have any randomness3. Evaluation is performed with more test data

I Disadvantages

I Advantages1. Using almost all data not just half2. Stable results: Does not have any randomness

3. Evaluation is performed with more test data

I Disadvantages

I Advantages1. Using almost all data not just half2. Stable results: Does not have any randomness3. Evaluation is performed with more test data

I Disadvantages

I DisadvantagesI Can be very computationally expensive: Fits the model n times

Speeding Up Leave-One-Out

1. Solve each fit independently and distribute the computation

2. Linear regression:

I Solve only one linear regression using all dataI Compute leave-one-out error as:

CV(n) =1

n∑i=1

(yi − yi1− hi

I True value: yi, Prediction: yiI hi is the leverage of data point i:

(xi − x)2∑nj=1(xj − x)2

2. Linear regression:

I Solve only one linear regression using all dataI Compute leave-one-out error as:

CV(n) =1

n∑i=1

(yi − yi1− hi

(xi − x)2∑nj=1(xj − x)2

2. Linear regression:I Solve only one linear regression using all data

I Compute leave-one-out error as:

CV(n) =1

n∑i=1

(yi − yi1− hi

(xi − x)2∑nj=1(xj − x)2

2. Linear regression:I Solve only one linear regression using all dataI Compute leave-one-out error as:

CV(n) =1

n∑i=1

(yi − yi1− hi

(xi − x)2∑nj=1(xj − x)2

CV(n) =1

n∑i=1

(yi − yi1− hi

I True value: yi, Prediction: yi

I hi is the leverage of data point i:

(xi − x)2∑nj=1(xj − x)2

CV(n) =1

n∑i=1

(yi − yi1− hi

(xi − x)2∑nj=1(xj − x)2

Solution 3: k-fold Cross-validationI Hybrid between validation set and LOOI Split training set into k subsets

1. Training set: n− n/k2. Test set: n/k

I k learning problems

!"!#!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!$!

!%&!'!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(%!

!%&!'!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(%! !%&!'!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(%!

!%&!'!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(%!

I Cross-validation error:

CV(k) =1

k∑i=1

Cross-validation vs Leave-One-OutI k-fold Cross-validation

!"!#!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!$!

!%&!'!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(%!

!%&!'!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(%! !%&!'!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(%!

!%&!'!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(%!

I Leave-one-out

!"!#!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!$!

Cross-validation vs Leave-One-Out

2 4 6 8 10

Mean S

2 4 6 8 10

10−fold CV

Mean S

Empirical Evaluation: 3 Examples

2 5 10 20

Flexibility

Mean S

2 5 10 20

Flexibility

Mean S

2 5 10 20

Flexibility

Mean S

Blue True error

Dashed LOOCV estimate

Orange 10-fold CV

How to Choose k in CV?

I As k increases we have:1. Increasing computational complexity2. Decreasing bias (more training data)3. Increasing variance (bigger overlap between training sets)

I Empirically good values: 5 - 10

Cross-validation in Classification

Logistic Regression

I Predict probability of a class: p(X)

I Example: p(balance) probability of default for person withbalance

I Linear regression:

p(X) = β0 + β1

I Logistic regression:

p(X) =eβ0+β1X

1 + eβ0+β1X

I the same as:

1− p(X)

)= β0 + β1X

I Linear decision boundary (derive from log odds: p(x1) ≥ p(x2))

Features in Logistic RegressionLogistic regression decision boundary is also linear . . . non-lineardecisions?

Degree=1

Degree=2

Degree=3

Degree=4

Logistic Regression with Nonlinear Features

I Linear:

1− p(X)

)= β0 + β1X

I Nonlinear odds:

1− p(X)

)= β0 + β1X + β2X

2 + β3X3

I Nonlinear probability:

p(X) =eβ0+β1X+β2X2+β3X3

1 + eβ0+β1X+β2X2+β3X3

Cross-validation in Classification

I Works the same as for regressionI Do not use MSE but:

CV(n) =1

n∑i=1

I Error is an indicator function:

Erri = I(yi 6= yi)

K in KNN

I How to decide on the right k to use in KNN?

I Cross-validation!

Logistic regression KNN

2 4 6 8 10

Order of Polynomials Used

0.01 0.02 0.05 0.10 0.20 0.50 1.00

Brown Test errorBlue Training errorBlack CV error

K in KNN

I How to decide on the right k to use in KNN?I Cross-validation!

Logistic regression KNN

2 4 6 8 10

Order of Polynomials Used

0.01 0.02 0.05 0.10 0.20 0.50 1.00

Brown Test errorBlue Training errorBlack CV error

Overfi�ing and CV

I Is it possible to overfit when using cross-validation?

I Yes!I Inferring k in KNN using cross-validation is learningI Insightful theoretical analysis: Probably Approximately Correct

(PAC) Learning

I Cross-validation will not overfit when learning simple concepts

Overfi�ing and CV

I Is it possible to overfit when using cross-validation?I Yes!

I Inferring k in KNN using cross-validation is learningI Insightful theoretical analysis: Probably Approximately Correct

(PAC) Learning

Overfi�ing and CV

I Is it possible to overfit when using cross-validation?I Yes!I Inferring k in KNN using cross-validation is learning

I Insightful theoretical analysis: Probably Approximately Correct(PAC) Learning

Overfi�ing and CV

I Is it possible to overfit when using cross-validation?I Yes!I Inferring k in KNN using cross-validation is learningI Insightful theoretical analysis: Probably Approximately Correct

(PAC) Learning

Overfi�ing and CV

I Is it possible to overfit when using cross-validation?I Yes!I Inferring k in KNN using cross-validation is learningI Insightful theoretical analysis: Probably Approximately Correct

(PAC) LearningI Cross-validation will not overfit when learning simple concepts

Overfi�ing with Cross-validation

I Task: Predict mpg ∼ power

I Define a new feature for some βs:

f = β0 + β1 power + β2 power2 + β3 power

3 + β4 power4 + . . .

I Linear regression: Find α such that:

mpg = α f

I Cross-validation: Find values of βs

I Will overfitI Same solution as using linear regression on entire data (no

cross-validation)

Overfi�ing with Cross-validation

I Task: Predict mpg ∼ power

I Define a new feature for some βs:

f = β0 + β1 power + β2 power2 + β3 power

3 + β4 power4 + . . .

I Linear regression: Find α such that:

mpg = α f

I Cross-validation: Find values of βsI Will overfitI Same solution as using linear regression on entire data (no

cross-validation)

Preventing Overfi�ing

I Gold standard: Have a test set that is used only once

I Rarely possible

I $1M Netflix prize design:1. Publicly available training set2. Leader-board results using a test set3. Private data set used to determine the final winner

Bootstrap

I Goal: Understand the confidence in learned parametersI Most useful in inferenceI How confident are we in learned values of β:

mpg = β0 + β1 power

I Approach: Run learning algorithm multiple times withdi�erent data sets:

I Create a new data-set by sampling with replacement fromthe original one

Bootstrap

Bootstrap Illustration

2.8 5.3 3

1.1 2.1 2

2.4 4.3 1

Y X Obs

2.8 5.3 3

2.4 4.3 1

2.8 5.3 3

Y X Obs

2.4 4.3 1

2.8 5.3 3

1.1 2.1 2

Y X Obs

2.4 4.3 1

1.1 2.1 2

Y X Obs

Original Data (Z)

Bootstrap Results

0.4 0.5 0.6 0.7 0.8 0.9

0.3 0.4 0.5 0.6 0.7 0.8 0.9

True Bootstrap

Resampling Methods - Cross-validation,...

Documents

The chopthin algorithm for resampling - arXiv · The chopthin algorithm for resampling Axel Gandy F. Din-Houn Lau Department of Mathematics, Imperial College London Abstract Resampling

Simplex Techniques for Quantile Regression Model Selection · Applications of Simplex Techniques • Resampling Cross-validation, Bootstrap •Manippgp g pgulating Simplex Al gorithm

Resampling: The New Statistics - USDapps.usd.edu/coglab/psyc770/resampling/Resampling-Colloquium2.pdfWhat is Resampling? Resampling refers to a variety of statistical methods based

Exercise 4: Georeferencing and Resampling

Introduction to Resampling Techniques 110901

Monte Carlo Simulation and Resampling

Sequential Importance Sampling Resampling

Morningstar EnCorr Resampling Mean Variance Optimizationgladmainnew.morningstar.com/clientcomm/Resampling.pdf · 2010-03-02 · 4 × Resampling Mean Variance Optimization × Resampling

Quasirandom resampling

Semi-Analytic Resampling in Lasso

Assessing and Comparing Classification Algorithms Introduction Resampling and Cross Validation Measuring Error Interval Estimation and Hypothesis Testing

Image resampling effects Image resampling effects in ... · Image resampling effects in mammographic image simulation 2 1. Introduction Simulation of mammographic (and other radiographic)

4. IMAGE RESAMPLING - Technische Universität … · Digitales Video Resampling - 2 - Image magnification and minification are two examples of image resampling. These two processes

Image Resampling

GPS-INS resampling & regularization

resaMPlIng Methods In Paleontologyteststrata.geology.wisc.edu/teachPaleobiology/AdditionalReading/Resampling Methods.pdfresaMPlIng Methods In Paleontology MICHAŁ KOWALEWSKI Department

id · Quality Assurance Summary Report and Data Validation Resampling for Lead Pheasant Hill Supply Well TABLE OF CONTENTS 1. Quality Assurance Summary Report and Data Validation

Cross-validation and the Bootstrappages.stat.wisc.edu/~karlrohe/ht/05-cv_boot.pdfCross-validation and the Bootstrap In the section we discuss two resampling methods: cross-validation

GPS-INS resampling VERIFICATION