1st. place - Datatón 2014 - Data Science National Contest, Mexico

Datata www.datata.mx

DelitosCiencia de Datos

Semana de MatemáticasITAM 2014

Omar Trejo Navarro Luis M. Román García


¿Es racional cometer delitos?


Utilidad

Gravedad


Utilidad

Gravedad

Beneficio


Utilidad

Gravedad

Castigo

Beneficio


Utilidad

Gravedad

} El delito no es racionalCastigo

Beneficio


Utilidad

Gravedad

Castigo

Beneficio

} El delito no es racional


Utilidad

Gravedad

Castigo

Beneficio



Utilidad

Gravedad

Castigo

Beneficio



Utilidad

Gravedad

Castigo

Beneficio



Utilidad

Gravedad

Castigo

Beneficio



Utilidad

Gravedad

}Castigo

Beneficio

El delito no es racional


Utilidad

Gravedad

}Castigo

Beneficio



Utilidad

Gravedad

}

Delinquir es racional

Castigo

Beneficio



CIDAC 2009


100

Delitos

CIDAC 2009


100 25

Delitos Reportan

CIDAC 2009


100 25 4.5

Delitos InvestiganReportan

CIDAC 2009


100 25 4.5 1.6

Delitos JuezInvestiganReportan

CIDAC 2009


100 25 4.5 1.6 1.2

Delitos JuezInvestiganReportan Sentencia

CIDAC 2009


100 25 4.5 1.6 1.2 1

Delitos JuezInvestiganReportan Sentencia Condena

CIDAC 2009


¡Se condena a 1%!


“En México todos los delitos son rentables”

— Enrique García Tejeda


Problemas alrededor de los delitos

Complejidad procesalDiscrecionalidadInformación

CorrupciónLitigiosidadTecnología



Problemas alrededor de los delitos

Complejidad procesalDiscrecionalidadInformación

CorrupciónLitigiosidadTecnología



Ciencia de Datos


Ciencia de DatosMatemáticas


Ciencia de DatosMatemáticas Estadística


Ciencia de DatosMatemáticas Estadística Computación


Datatón


Concurso Nacional

Datatón


Concurso Nacional

Presidencia de la RepúblicaDatatón


Concurso Nacional

Presidencia de la República

Política Pública

Datatón


“Predicción de delitos y análisis en tiempo real del municipio de Zapopan con Twitter y Google”


Prevención Reacción




Prevención


PrevenciónAsignar probabilidad de ocurrencia


PrevenciónAsignar probabilidad de ocurrencia

Determinar variables relevantes


Intuición


¿Cuántas pelotas hay?


= T



Recopilemos opiniones

= T




= T

X1




= TX2

X1




= TX2

X3X1




= TX2

X3X1

Xj




= TX2

X3X1

Xn

Xj



¿Cómo funciona?


¿Cómo funciona?Ajuste de importancia


¿Cómo funciona?Ajuste de importancia

Enfoque en los difíciles


Algoritmo — AdaBoost Freund y Schapire, 1997


Algoritmo — AdaBoostDados

Freund y Schapire, 1997


Algoritmo — AdaBoostDados donde



Algoritmo — AdaBoostDados donde Inicializar



Algoritmo — AdaBoostDados donde InicializarPara :



Algoritmo — AdaBoostDados donde InicializarPara :● Entrenar al predictor débil usando la distribución



Algoritmo — AdaBoostDados donde InicializarPara :● Entrenar al predictor débil usando la distribución● Obtener la hipótesis débil



Algoritmo — AdaBoostDados donde InicializarPara :● Entrenar al predictor débil usando la distribución● Obtener la hipótesis débil con error .



Algoritmo — AdaBoostDados donde InicializarPara :● Entrenar al predictor débil usando la distribución● Obtener la hipótesis débil con error .● Escoger




● Actualizar




● Actualizar




● Actualizar

Hipótesis final: .



Algoritmo — AdaBoostDados donde InicializarPara :● Entrenar al predictor débil usando la distribución .● Obtener la hipótesis débil con error .● Escoger

● Actualizar

Hipótesis final: . es un factor de normalización para .



Esquemáticamente


Esquemáticamente


Esquemáticamente


Esquemáticamente

Entrenamos un predictor débil (árbol) con


Esquemáticamente



Esquemáticamente



Esquemáticamente



Esquemáticamente



Esquemáticamente



Esquemáticamente



Esquemáticamente


Error


Esquemáticamente


PesosError


Esquemáticamente


¡Debe ser mejor que clasificar aleatoriamente!

PesosError


Esquemáticamente


Esquemáticamente

Pesos bajos a las muestras bien clasificadas.


Pesos altos a las muestras mal clasificadas.

Esquemáticamente

Pesos bajos a las muestras bien clasificadas.


Esquemáticamente


Esquemáticamente


Pesos grandes

Pesos chicos

Esquemáticamente


Pesos grandes

Pesos chicos

Asignamos mayor peso a los mejores clasificadores.

Esquemáticamente


Parámetros


ParámetrosNúmero de iteraciones


ParámetrosNúmero de iteracionesProfundidad del árbol


ParámetrosNúmero de iteracionesProfundidad del árbolTasa de aprendizaje


ParámetrosNúmero de iteracionesProfundidad del árbolTasa de aprendizajeTamaño de muestra


¿Cuál es el error?


Suponiendo que cada es mejor que adivinar al azar







, donde es el peso de la predicción .




Si es el error de clasificación de un predictor:





Si es el error de clasificación de un predictor:


En boosting el error de entrenamiento puede hacerse arbitrariamente pequeño.


Modelo finalIteraciones: 14



Muestra de prueba: 7,501



Muestra de prueba: 7,501 Muestra de entrenamiento: 2,499


Variables y observaciones


Parámetros Valores

Tasa de aprendizaje .1, .01

Profundidad árboles 1, 3, 5, 7

Sensibilidad 100, 150, 200, … , 1000

Error de generalización Bootstrap (25 reps)

Remuestreo


Parámetros Valores



Sensibilidad 100, 150, 200, … , 1000


Remuestreo

Contracción Profundidad N-árboles Precisión Kappa Precisión DS Kappa DS

.1 1 100 .904 0 .00424 0

.1 1 150 .906 0.037 .00465 .0236

.1 1 200 .906 0.074 .004 .0248

... ... ... ... ... ... ...

.01 7 1000 .966 .803 .00306 .0175


Parámetros Valores



Sensibilidad 100, 150, 200, … , 1000


Remuestreo

Contracción Profundidad N-árboles Precisión Kappa Precisión DS Kappa DS

.1 1 100 .904 0 .00424 0

.1 1 150 .906 0.037 .00465 .0236

.1 1 200 .906 0.074 .004 .0248

... ... ... ... ... ... ...

.01 7 1000 .966 .803 .00306 .0175

Shrinkage: .01 Depth: 7 N-trees: 700


Resultados



Medida Valor

Precisión 96.96%

Valor-p p < 2e-16

Sensibilidad .9845

Especificidad .8277

Kappa 0.8215

Prevalencia 0.9048

Precisión balanceada 0.9061


Prevención


Prevención

Lo bueno


Prevención

Lo buenoRelaciones implícitas


Prevención

Lo buenoRelaciones implícitasPerfiles por zona


Prevención

Lo buenoRelaciones implícitasPerfiles por zonaIntuición


Prevención


Lo malo


Prevención


Lo maloDesbalance


Prevención


Lo maloDesbalanceNo. de predictores


Prevención


Lo maloDesbalanceNo. de predictoresDatos imprecisos


Política pública inteligente


Reducción de delitos




Reacción


Reacción1. Monitoreo


Reacción1. Monitoreo2. Detección



3. Información



3. Información4. Coordinación




Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía


Hospitales

Policía

Monitoreo


Hospitales

Policía

Monitoreo


Hospitales

Policía

Monitoreo


Hospitales

Policía

Homicidio en jiménez y valdez

Monitoreo


Hospitales

Policía


Monitoreo


Hospitales

Policía


DetecciónMonitoreo


Hospitales

Policía


Monitoreo Detección


Hospitales

Policía




Hospitales

Policía

Homicidio en jiménez y valdez Patrulla a...



Hospitales

Policía




Hospitales

Policía




Hospitales

Policía


Listos para...



Hospitales

Policía


Listos para...

Monitoreo Detección Coordinación


Hospitales

Policía


Listos para...



Hospitales

Policía


Instrucciones

Patrulla a...

Listos para...



Hospitales

Policía


Instrucciones

Patrulla a...

Listos para...


Información


Hospitales

Policía


Instrucciones

Patrulla a...

Listos para...

API REST de Twitter


Información


Hospitales

Policía


Instrucciones

Patrulla a...

Listos para...

API REST de Twitter


Información


Hospitales

Policía


Instrucciones

Patrulla a...

Listos para...

API REST de Twitter

API Directions

JSON


Información


Coordinación en tiempo real


Salvar vidas


Participación ciudadana


Más información


Mapas de criminalidad


¿Cómo funciona?


API de Twitter


API de Twittertweets <- searchTwitter(

keyword = keyword, geocode = geozone, since = since.date, n = number.tweets)


API de Twitter

twitteR

tweets <- searchTwitter(keyword = keyword, geocode = geozone, since = since.date, n = number.tweets)


API de GoogleAPI de Twitter

twitteR



API de GoogleAPI de Twitterurl <- paste(“http://maps.googleapis.com/maps/api/directions/json?”,“origin=”, from.coord, “&destination=”, to.coord, “&language=”, lang.code, sep = “”)

twitteR


http://maps.googleapis.com/maps/




API de GoogleAPI de Twittertweets <- searchTwitter(

keyword = keyword, geocode = geozone, since = since.date, n = number.tweets)

twitteR

url <- paste(“http://maps.googleapis.com/maps/api/directions/json?”,“origin=”, from.coord, “&destination=”, to.coord, “&language=”, lang.code, sep = “”)

route <- fromJSON( paste(readLines(url), collapse = “”))





Ejemplohttps://maps.googleapis.com/maps/api/directions/json?origin=ITAM,Mexico&destination=UNAM,Mexico&language=es


Reacción


Reacción

Lo bueno


Reacción

Lo buenoInmediato


Reacción

Lo buenoInmediatoAutomático


Reacción

Lo buenoInmediatoAutomáticoEscalable


Reacción


Lo malo


Reacción


Lo maloNo robusto


Reacción


Lo maloNo robustoNo factor-humano


Reacción


Lo maloNo robustoNo factor-humanoErrores costosos


Demostración


Código abierto


Ciencia abiertaCódigo abierto


www.datata.mx

Datatahttps://github.com/datata/dataton


Referencias[1] Enrique García Tejeda, Análisis Económico del Derecho Penal,

Clase de licenciatura en la Universidad Panamericana

[2] Gary Becker, Crime and Punishment, An Economic Approach

http://www.nber.org/chapters/c3625.pdf

[3] Yoav Freund and Robert Schapire, A Short Introduction to Boosting

http://cseweb.ucsd.edu/~yfreund/papers/IntroToBoosting.pdf

[4] Twitter, REST API v1.1 Resources,

https://dev.twitter.com/docs/api/1.1

[5] Google, The Google Directions API,

https://developers.google.com/maps/documentation/directions/



http://cseweb.ucsd.edu/~yfreund/papers/IntroToBoosting.pdf



https://developers.google.com/maps/documentation/directions/

Technology

1st. place - Datatón 2014 - Data Science National Contest, Mexico