Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Resumen y Perspectivas
Eduardo Morales y Hugo Jair Escalante
INAOE
(INAOE) 1 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Contenido
1 Introduccion
2 Tecnicas y topicos no vistosSelf supervised learningCurriculum LearningLifelong MLSesgo en los datosTransformers
3 Desarrollo Historico
4 Perspectivas y Retos
5 Super-Inteligencia
(INAOE) 2 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Introduccion
Resumen
• En el curso vimos varias de las tecnicas recientes o novistas en los otros cursos de AprendizajeComputacional
• Existen tecnicas que no vimos, y topicos que no setrataron, por ejemplo, aprendizaje parametrico basadoen maxima verosimilitud, maquinas de Kernel,estimacion bayesiana, stream-learning, BigData, etc.
(INAOE) 3 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Self supervised learning
SSL: Self supervised learning
• Los datos etiquetados son escasos y costoso degenerar
• Datos no etiquetados podrıan ayudar, pero ¿que pasasi estos tampoco estan disponibles?
• Idea: Generar subtareas a partir de los datosdisponibles, simulando etiquetas!
Carl Doersch, Abhinav Gupta, Alexei A. Efros. Unsupervised VisualRepresentation Learning by Context Prediction, 2015,arxiv.org/abs/1505.05192
(INAOE) 4 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Self supervised learning
SSL: Self supervised learning• Pre entrenar un modelo para una tarea pretexto,
asociada a la tarea objetivo (downstream)• Realizar un ajuste fino de parametros en la tarea
objetivo
Figura: Ejemplo de tareas pretexto en SSL.
Carl Doersch, Abhinav Gupta, Alexei A. Efros. Unsupervised Visual Representation Learning by ContextPrediction, 2015, arxiv.org/abs/1505.05192Mehdi Noroozi and Paolo Favaro Unsupervised Learning of Visual Representations by Solving JigsawPuzzles, 2016. https://arxiv.org/pdf/1603.09246.pdf(INAOE) 5 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Self supervised learning
SSL: Self supervised learning• Pre entrenar un modelo para una tarea pretexto,
asociada a la tarea objetivo (downstream)• Realizar un ajuste fino de parametros en la tarea
objetivo
Figura: Ejemplo de tareas pretexto en SSL.
Carl Vondrick, Abhinav Shrivastava, Alireza Fathi, Sergio Guadarrama, Kevin Murphy. Tracking Emerges byColorizing Videos. CVPR 2018Ishan Misra, Laurens van der Maaten. Self-Supervised Learning of Pretext-Invariant Representations, 2019https://arxiv.org/abs/1912.01991
(INAOE) 6 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Curriculum Learning
Curriculum Learning
• Se sabe que humanos y animales aprenden mejorcuando ejemplos son presentados de maneraorganizada y siguiendo un orden (de lo sencillo a locomplejo)
• CL: Al presentar ejemplos de entrenamiento amaquinas de aprendizaje de manera organizada, esposible mejorar la rapidez de convergencia ycapacidades de generalizacion
Y. Bengio et al. Curriculum learning. Proc. of ICML, 41–48, 2009.
(INAOE) 7 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Curriculum Learning
Curriculum LearningEjemplo: Aprendizaje de representaciones distribuidas determinos vıa CL
Figura: Aprendizaje de embeddings usando CL.
Y. Bengio et al. Curriculum learning. Proc. of ICML, 41–48, 2009.(INAOE) 8 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Curriculum Learning
Curriculum Learning
Problemas:• ¿Como definir la currıcula?• ¿Como realizar el aprendizaje?
Y. Bengio et al. Curriculum learning. Proc. of ICML, 41–48, 2009.
(INAOE) 9 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Lifelong ML
Lifelong MLMetodos de aprendizaje (sistemas) que pueden aprendermuchas tareas de uno o varios dominios a traves de sutiempo de vida
• Retencion sequencial de conocimiento• Transferencia selectiva de dicho conocimiento cuando
se aprende otra tarea• Enfoque de sistemas
(INAOE) 10 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Lifelong ML
Lifelong ML
Objetivo: Generar hipotesis o polıticas mas exactas!
Figura: A framework for LML.
Daniel L. Silver, Qiang Yang, Lianghao Li. Lifelong Machine Learning Systems: Beyond Learning Algorithms.2013 AAAI Spring Symposium SeriesWei-Wei Tu, Hugo Jair Escalante, Isabelle Guyon, Daniel L. Silver, Evelyne Viegas. Yuqiang Chen.Autonomous Lifelong Machine Learning with Drift. NIPS Competition 2018.
(INAOE) 11 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Sesgo en los datos
Sesgo en los datos• Metodos de aprendizaje estan inherentemente
sesgados a los datos en que fueron entrenados!• Existe una preocupacion creciente en el sesgo de los
datos y como evitarlo (mas ahora que ML es tanpopular)
Figura: Artıculos publicados en equidad.
https://www.youtube.com/watch?v=fMym_BKWQzk
(INAOE) 12 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Sesgo en los datos
Sesgo en los datos• Algunos problemas:
• Denigracion, estereotipos, no - representacion deminorıas
Figura: Ejemplos.
(INAOE) 13 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Sesgo en los datos
Sesgo en los datos
• Algunos problemas:• Denigracion, estereotipos, no - representacion de
minorıas
Figura: Ejemplos.
https://www.technologyreview.com/2019/04/30/135556/
how-a-google-street-view-image-of-your-house-predicts-your-risk-of-a-car-accident/
(INAOE) 14 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Sesgo en los datos
Sesgo en los datos
¿Como lidiar con el problema? FAT• Fairness: ¿Quien se beneficia del sistema? ¿A quien
puede danar?• Fairness forensics• Multidisciplinariedad real• Etica en clasificacion
https://www.youtube.com/watch?v=fMym_BKWQzk
(INAOE) 15 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Transformers
Transformers: Attention is all you need
• Variante de modelos de aprendizaje profundo quecapturan informacion sequencial a traves demecanismos de atencion
• Un mecanismo de atencion aprende a ponderar laimportancia de diferentes partes de la secuencia, sinhacer uso de modelos recurrentes
• Usualmente se entrenan en grandes cantidades dedatos, pero pueden transferirse a otras tareas conrelativa facilidad
(INAOE) 16 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Tecnicas y topicos no vistos Transformers
Transformers: Attention is all you need• Aprendizaje de atencion
Figura: Arquitectura de transformer.
(INAOE) 17 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Desarrollo Historico
Resumen
• El area de aprendizaje computacional empezo con lasprimeras computadoras y con la conviccion de que lacreacion de maquinas inteligentes necesitaba contarcon aprendizaje
• Durante su desarrollo ha sufrido diversos cambios yevoluciones
(INAOE) 18 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Desarrollo Historico
Evolucion
Antes AhoraEvaluacion informal, pocosdatos, no generalizable
Evaluaciones formales,medida de desempenos,creacion de benchmarks
Representacionessimbolicas, cercanıacon ciencias cognitivas,restrictivo a pocas areas
Apertura a otras areascomo PR y NN
Diversos tipos de apren-dizaje
Datos y evaluacionesproposicionales, enfasis enclasificacion y regresion
(INAOE) 19 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Desarrollo Historico
Evolucion
Antes AhoraIntimamente ligado a IA Separacion de IA a ML (re-
cientemente se esta jun-tando de nuevo)
I/O: Relacional, razon-amiento, planes, experien-cias, ...
Atributo-valor (algo en ILP yStatistical Relational Learn-ing), tendencia en que seaDNN quien defina la repre-sentacion
Sistemas inteligentes (AM,SOAR, ...), comportamien-tos “ricos” (semanticamentepara tareas complejas)
Enfasis en desempeno yestadısticas
(INAOE) 20 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Desarrollo Historico
Evolucion
Antes AhoraUso de conocimiento deldominio (EBL, ILP, theoryrevision, ...)
Muchos datos, mejoraen desempeno (poco enaprender de pocos datosusando BK)
Reflexiones sobre resulta-dos, a que se deben, ...
Formalismo matematico(con sesgo) y comparacion“ciega” de desempenos
(INAOE) 21 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Perspectivas y Retos
Persepectivas
• Desde hace tiempo se tiene un desarrollo acelerado delarea (se pueden ver en el numero de artıculos y foros)
• En parte ha sido impulsado por:• Interes comercial que le han dado diversos nombres y
$$: KDD, Big Data, Deep Learning, ...• Generacion de datos: “90% de los datos en el mundo
se han generado en los ultimos 2 anos”• Poder de computo (CPU, GPU, ...)
• Se esta viviendo un re-surgimiento del area deInteligencia Artificial (otra vez) con grandesexpectativas (antes: Inicios, Sistemas Expertos, NN,KDD; ahora: DL)
(INAOE) 22 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Perspectivas y Retos
Retos
• Aprendizaje sin (con poca) guıa• Diversos tipos de aprendizaje, concurrentes, y por largo
tiempo• Aprendizaje de “sentido comun”• Seleccion automatica de informacion relevante• Aprender con poca informacion• Organizacion del conocimiento aprendido
(INAOE) 23 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Tendencias y Expectativas
Una gran inversion de la industria y paıses desarrollados enel area:
• “Beijing is planning to build a 13.8 billion yuan ($2.12billion) AI development park”
• “Venture capital investment in AI doubled to US$12billion in 2017”
• “France to spend $1.8 billion on AI to compete with US,China”
• “China will have more robots operating in its productionplants by 2017 than any other country”
• ...
(INAOE) 24 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Tendencias y Expectativas(¿Como esta Mexico?)
• En Primaria-Preparatoria seensena a usar paquetes
• Existen 200+ nombres decarreras en computacion einformatica, muchas condeficiencias matematicas
• En investigacion hay pocosgrupos, son pequenos, no sereconocen los congresos
• Mexico invierte menos del0.5% del PIB en CyT
(INAOE) 25 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
¿Se puede lograr una verdadera IA?
Antes:• Godel (teorema de incompletes)• Dreyfus (manipulacion simbolica no es fundamento de
inteligencia)• Searle (pensamiento real y simulado)• Penrose (se requiere conocimientos de fısica no
incluıdos en las maquinas)Ahora:
• Barret, Hawking, Musk (“el ultimo invento del hombre”)• ¿Perdida masiva de empleos?• ¿Cuando se tendra una super-inteligencia y sus
consecuencias?
(INAOE) 26 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Super-Inteligencia
• Durante muchos anos, los investigadores de IA sedejaron de cuestionar si era posible crear unainteligencia artificial
• A pesar del entusiasmo inicial, el problema resulto sermucho mas difıcil de lo anticipado
• Con los avances recientes, tanto en generacion yacceso a datos, computadoras mas veloces, yalgoritmos de DL, la gente ya no se cuestiona si se va alograr, sino cuando y cuales pueden ser susconsecuencias
• Algunos autores predicen que con el desarrollo actualsera posible crear una super-inteligencia (entes masinteligentes que el hombre)
(INAOE) 27 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Super-InteligenciaExisten varios candidatos para crear super-inteligencias:
• IA: Algunos creen la mas probable y cercana• Emulacion del cerebro: Crear cerebros artificiales con
base en los biologicos• Bio-ingenierıa (DNA): Cambiar el DNA para promover
inteligencia (selective breeding)• Implantes cerebrales: Combinar el cerebro con
implantes que aumenten la capacidad cerebral (e.g.,conectarse a Internet - memoria ilimitada, transmisionde datos, calculos complejos ...)
• Farmacos: Aumentar la capacidad cerebral por mediode farmacos
• Organizacion Grupal: Crear grupos especıficos pararesolver problemas difıciles (super-inteligenciacolectiva)
(INAOE) 28 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Super-InteligenciaCon base en encuestas de cuando se podrıa tener unainteligencia a nivel del ser humano (HLMI):
• 2030 - 10%• 2050 - 50%• 2100 - 90%
Cuanto tiempo despues se va a tener unasuper-inteligencia:
• 2 anos despues - 5%-10%• 30 anos despues - 50%-75%
Creacion de una super-inteligencia:• 12% muy posible• 17% posible• 21% ni si ni no• 24% poco probable• 26% muy poco probable
(INAOE) 29 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Super-Inteligencia
• Creen que en cuanto nos acerquemos a unainteligencia, se va a dar muy rapido la creacion de unasuper-inteligencia
• Lo que se cree es que al crear un ente inteligente, esteva a poder desarrollar uno mas inteligente y asısucesivamente (y algunos creen que se puede dar muyrapido - meses/anos)
• Dadas las expectativas que se tiene se esta creandouna carrera hacia esto (parecido a la carrera a la luna)
(INAOE) 30 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
¿Que se espera a corto/mediano plazo?
• El surgimiento de muchas mas aplicaciones/companıasque usan IA
• En terminos de empleos, los robots van areemplazar/modificar empleos:
• Principalmente en telemarketing, cajeros, asistencialegal, choferes, comida rapida ....
• y en menos medida en psicologos, mutriologos,enfermeras, curas, artistas, cientıficos ...
• Algunas estiman que reemplazaran entre 400 y 800millones para el 2030
• Algunos estiman mayor creacion de nuevos empleos enRobotica, IA, IHR, entretenimiento, smart-X, ...
(INAOE) 31 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
¿Que se espera a corto/mediano plazo?
(INAOE) 32 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Super-Inteligencia
• Posiblemente se vaya a crear un “singleton” con ventajay dominio competitivo sobre los demas
• Si no lo crea un gobierno, ¿que tal un grupo terrorista?• ¿Se pueden monitorear los avances de los diversos
grupos? ¿Se harıan colaboraciones intenacionales?
(INAOE) 33 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Super-Inteligencia
Miedos:• Se van a desplazar empleos (los no o poco calificados)
y se cree que pronto (aunque no se tenga unasuper-interligencia)
• Miedo de que termine con la raza humana• ¿Se podrıa controlar?• ¿Se pueden inculcar valores “humanos”?
(INAOE) 34 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
¿Porque IA es mas difıcil de lo que secree?1
• Desde los inicios de IA ha tenido ciclos de primaveras einviernos
• En los inicios se hicieron predicciones irreales por losiniciadores del area (e.g., Simon, Shannon, Minsky, ...)
• Lo mismo ocurrio con los Sistemas Expertos y elProyecto de la Quinta Generacion de Japon
• Estamos viviendo lo mismo con las redes neuronalesprofundas (“aprenden atajos de las respuestascorrectas”)
• Predicciones de super-inteligencia en pocos anos:Russell, Altman (OpenAI), Legg (DeepMind),Zuckerberg (Facebook)
1M. Mitchell (2021). Why AI is harder than we think.arXiv:2104.12871v2
(INAOE) 35 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
¿Porque IA es mas difıcil de lo que secree?: Las cuatro falacias
Falacia 1: Existe un contınuo de IA “estrecha” (narrow)hacia GAI
• Muchos avances se consideran como el primer pasohacia GAI (e.g., Deep Blue, Watson, GPT-3)
• “Es como asegurar que con el primer mono que subio aun arbol se estaba avanzando hacia el primer alunizaje”(S. Dreyfus)
(INAOE) 36 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
¿Porque IA es mas difıcil de lo que secree?: Las cuatro falacias
Falacia 2: “Las cosas faciles son faciles y las difıciles sondifıciles”
• McCarhty: “IA es mas difıcil de lo que pensamos”;Minsky: “Es porque las cosas faciles son difıciles”
• Moravac: “Es relativamente facil hacer que lascomputadoras exhiban comportamiento experto enciertas areas y difıcil o imposible que tengan lashabilidades de un nino de un ano cuando se trata depercepcion y mobilidad”
• Existe un gran desconocimiento de la complejidad delos procesos subconscientes
• Somos inconscientes de la complejidad de nuestropropio proceso de pensamiento
(INAOE) 37 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
¿Porque IA es mas difıcil de lo que secree?: Las cuatro falacias
Falacia 3: El atractivo de la mnemotecnia• El sistema “entiende”, “aprende”, “piensa”, ...• Algunos de los benchmarks tienen nombres
pretenciosos y se comparan con personas• Resultados: “Un sistema de IA es mejor que las
pesonas en ...”• El problema es que esas pruebas no miden la
generalidad de las habilidades
(INAOE) 38 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
¿Porque IA es mas difıcil de lo que secree?: Las cuatro falacias
Falacia 4: Toda la inteligencia esta en el cerebro• La inteligencia se puede separar del cuerpo (pure
intelligence)• G. Hinton: “Para entender documentos a nivel humanos
vamos a necesitar redes mas grandes, peroseguramente la gente de hardware lo va a solucionar”
• Aunque los robots interactuan con el ambiente, suinteraccion es muy limitada
• La teorıa cognitiva actual sugiere que nuestrospensamientos estan asentados/asociados con lapercepcion, accion y las emociones, y que la mente y elcuerpo trabajan en conjunto para tener cognicion(embodied cognition)
(INAOE) 39 / 40
Introduccion
Tecnicas ytopicos novistosSelf supervisedlearning
Curriculum Learning
Lifelong ML
Sesgo en los datos
Transformers
DesarrolloHistorico
Perspectivas yRetos
Super-Inteligencia
Super-Inteligencia
Conclusiones• No esta claro como evaluar el progreso hacia una GAI o
como mejorar nuestra intruicion de lo que es lainteligencia
• Necesitamos mejorar el vocabulario de lo que lasmaquinas pueden hacer y mejorar el entendimiento dela inteligencia
• O. Etzioni: “El sentido comun en la materia obscura dela IA”
• Necesitamos dotar a las maquinas del conocimientoque los ninos tienen acerca del espacio, tiempo,causalidad, objetos inanimados, seres vivos, capacidadde abstraer y hacer analogıas (A. Turing - The ChildMachine)
• Lo que se hace ahora no es ciencia es alquımia (T.Winograd’77, E.Horvitz’17)
(INAOE) 40 / 40