Aprendizaje Profundo - Diapositivas

7/25/2019 Aprendizaje Profundo - Diapositivas

1/27

Panorama General:

Aprendizaje ProfundoDr. Erik Zamora


2/27

Objetivo

Conocer los Principios Bsicos yel Estado del Arte sobre

el Aprendizaje Profund


3/27

Contenido

Motivacin

Qu es el aprendizaje profundo?

Ventajas

Por qu es tan importante?

Para qu sirve?

Mtodos

Pre-entrenamiento

RN convolucionales

RN Recurrentes

Visualizacin

Otros mtodos

Futuro

Libreras

Tarea


4/27

Motivacin: Cmo podemos construir sistemas computacionales ms inteligentes?

Necesitamos algoritmos que interpreten y entiendan el mundo:

PERCEPCION COMPUTACIONAL

Esto implica:

Reconocimiento de imgenes y sonido.

Reconocimiento de eventos y acciones en video.

Entendimiento del lenguaje natural (escrito, hablado y corporal).

Traduccin entre lenguajes (idiomas, matemticas, y otros). Prediccin del comportamiento del usuario.

Abstraccin de conceptos.

Habilidad para interactuar con ambientes no estructurados.


5/27

Motivacin: Cmo lo logramos?

Hay dos caminos directos:

Crear algoritmos particulares para cada tarea

Aprendizaje Profun Crear algoritmos generales que aprendan de las

observaciones en cada tarea

[NVIDIA Class 1]


6/27


Modelos Gaussianos Mezclados (GMM)

Campos Aleatorios Condicionales (CRF)

Modelos de Mxima Entropa (MaxEnt)

Maquinas de Soporte Vectorial (SVM)

Regresin Logstica

Regresin por Kernel

Redes Neuronales Monocapa

RN Multicapa de 2 capas

Maquinas de Aprendizaje Extremo

Aprendizaje poco profundo

Tienen una o dos capas de

transformaciones no lineales

Aprendizaje profundo

Dilema de Invarianza

Diseo Manual de RasgosTres o ms capas de

transformaciones no lineale

Descubrimiento Automtico de R

(aprendizaje de representaci

CNN Pre-Entrenamiento


7/27

Ventajas del Aprendizaje Profundo

Extraccin automtica de rasgos (Aprendizaje de Representacin)

Robustez

Escalable

Aprende Relaciones con mayor complejidad Descubre Estructuras con mayor complejidad

Algoritmo general

Tendencias Histricas del Aprendizaje Automtico

~1950 ~1980 2005~1990

Redes Monocapa Retropropagacion SVM Aprendizaje P


8/27



9/27


Ha roto records en:

Se explota econmicame

Hay inters por mejorar

Krizhevsky et al. 2012Hinton et al. 2012

[NVIDIA Class 1]


10/27

Para qu sirve el aprendizaje profundo?

Predecir cundo una mutacin en el ADN puede

generar empalmes errneos entre las secuencias de

genes al momento de producir protenas, descifrando

el origen gentico de algunas enfermedades

Xiog et al. 2014

Aprende

prueba y

Hacer que una computadora lea

documentos y pueda contestar

preguntas semiabiertas sobre el

texto

Reconocer el rostro de personas con una

efectividad ~97% en una base de datos

de 4 millones de imgenes para 4000

identidades

Hermann et al. 2015

Taigman et al. 2014


11/27

Para qu sirve el aprendizaje profundo?

Hacer que una computadora aprenda por si misma a jugar Ajedrez y en

72 horas alcanzar el nivel internacional de maestro

Lai 2015

Predecir la actividad de nuevas drogas (Sheridan et al. 2015)

Reconocer decaimientos del boson de Higgs en dos partculas tau con ruido de fondo (Kaggle)

Predecir la expresin de los genes a partir de rasgo genmicos y el contexto celular (Leung et al. 2014)

Construir el mapa circuital de una capa del cerebro de un ratn con 950 neuronas (Helmstaedter et al. 20

Entender el lenguaje natural usando computadoras: clasificacin por tema, anlisis de sentimientos, cont

preguntas (Bordes et al. 2014) y traduccin de idiomas (Jean et al. 2015)

Seleccionar los resultados ms relevantes de los buscadores web (Google, Bing, etc)

Recomendar productos en las pginas de comercio electrnico

Emparejar la oferta de algo con la persona que le interesa (Netflix, Facebook, etc)

Filtrar contenido en las redes sociales (Amazon)


12/27

Por qu I+D del aprendizaje profundo estn en auge?

[NVID


13/27

Mtodos de Aprendizaje Profundo

Pre-entrenamientoRN Convolucionales RN R

Visualizacin

Hinton et al. 2006, Science

Google

Zeigler & Fergus 2014

V


14/27

Mtodos: Autoencoders


15/27

Mtodos: Pre-entrenamiento

Hinton et al. 2006, Science

Deep Belief NetworksDeep Autoencoders


16/27

Mtodos: Autoencoders Hinton et al. 2006, Science


17/27

Mtodos: Redes Neuronales Convolucionales

Su alto desempeo se fundamenta en cuatro cosas:

1) el uso eficiente de GPUs (paralelizacin),

2) la funcin de activacin ReLUs,

3) el dropout y

4) tcnicas para generar ms ejemplos de entrenamiento

artificialmente.


18/27

Mtodos: Redes Neuronales Recurrentes

Prediccin del siguiente carcter

Descripcin automtica de imgenes

Diferencias respe

Estado interno

AproximadoreProgramas (vs

Vyngals et al. 2015

d d l


19/27


Vyngals et al. 2015

Vyngals et al. 2015

M d R d N l R


20/27


Redes de Gran Memoria de Corto Plazo(LSTM)

Maquina de Turing N

Redes de Memoria (MemN

Vyngals et al. 2015Weston et al. 2015

Aprendizaje+ Inferencia + Memor

Mt d Vi li i


21/27

Mtodos: Visualizacin

Redes Deconvolucionales(Zeiler & Fergus 2014)

Inversin por optimizacin.Trata de hallar una im

los mismos rasgos de la imagen original median

optimizacin, inicializando con una imagen llena d

(Mahendran & Vedaldi 2014, Yosinski et al. 2015).

cualquier tipo de rasgos (SIFT, HOG, etc).Google Inceptionism

Mt d t


22/27

Mtodos: otrosAprendizaje No Supervisado Profundo

LeCun et al. 2015

LeCun et al. 2015

Bengio et al. 2014

Autoencoder CNN para aprender rasgos de videos suponiendo

que el cambio de frame de frame es pequeo

Redes Estocsticas Generativ

Mtodos: otros A di j R f P f d


23/27

Mtodos: otros Aprendizaje por Refuerzo Profundo

Deep Q Network

100% Nivel Humano

Video http://ow.ly/TuiF8

Futuro del Aprendizaje Profundo [LeCun Bengio Hinton 2015]
http://ow.ly/TuiF8http://ow.ly/TuiF8http://ow.ly/TuiF8


24/27

Futuro del Aprendizaje Profundo

Aprendizaje no supervisado(Aun no han roto records en estos benchmarks)

Percepcin activa

[LeCun, Bengio, Hinton 2015]

LibrerasDeep Learning Libraries by Language
http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/


25/27

Libreras

Caffe (C++ con interfaces para Matlab y Python) Es la ms popular http://caffe.berkeleyvisio

Torch (C y Lua) usado por Facebook Research, Google Deepmind y Twitter http://torch.ch/do

Theano(Python) http://deeplearning.net/software/theano/

Deepleaning4j (Java) http://deeplearning4j.org/

cuDNN (Deep Neural Network library) https://developer.nvidia.com/cudnn

cuBLAS (Basic Linear Algebra Subroutines) https://developer.nvidia.com/cublas

Nvidia Class 1

Nvidia Class 1

http://www.teglor.com/b/deep-learning-libraries-language-cm569/

Tarea
http://caffe.berkeleyvision.org/http://torch.ch/docs/cvpr15.htmlhttp://deeplearning.net/software/theano/http://deeplearning4j.org/https://developer.nvidia.com/cudnnhttps://developer.nvidia.com/cublashttp://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/http://www.teglor.com/b/deep-learning-libraries-language-cm569/https://developer.nvidia.com/cublashttps://developer.nvidia.com/cudnnhttp://deeplearning4j.org/http://deeplearning4j.org/http://deeplearning.net/software/theano/http://torch.ch/docs/cvpr15.htmlhttp://caffe.berkeleyvision.org/


26/27

Tarea

Resumen


27/27

Resumen

Motivacin


Ventajas

Por qu es tan importante? Para qu sirve?

Mtodos

Pre-entrenamiento

RN convolucionales

RN Recurrentes

Visualizacin Otros mtodos

Futuro

Libreras

Tarea

Documents

Aprendizaje Profundo - Diapositivas