Big Data 2.0: retos y tendencias tecnológicas del Big Data

  • Published on
    10-Dec-2014

  • View
    2.406

  • Download
    1

Embed Size (px)

DESCRIPTION

 

Transcript

  • 1. Big Data 2.0retos y tendencias tecnolgicas del Big Data Jordi Torres, UPC/BSC www.JordiTorres.eu Madrid - 19/06/2012
  • 2. Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717
  • 3. Twitter: (redes sociales) 90 millones de Tweets por da que representa 8 Terabytes. Boeing: (industria) Vuelo transoceanico de un jumbo puede generar 640 Terabytes. Wal-Mart: (comercio) 1 milln de transacciones por hora que se estima que alimenta una base de datos de 2.5 Petabytes.Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717
  • 4. Big Data? Explosin del volumen de los datos 2009: 2020: 0,8 35,2 Zettabytes Zettabytes 3 V : Volumen, Velocidad y Variedad (*) 1 Zettabyte (ZB) = 1.000.000.000.000 (GB)
  • 5. Retos tecnolgicos Se ha desbordado la capacidad actual Almacenamiento Gestin Procesado Tiempo de respuesta Anlisis GBs Volum de dades PBs
  • 6. Retos tecnolgicos Se ha desbordado la capacidad actual Almacenamiento Gestin Procesado Tiempo de respuesta Anlisis ? In-memory GBs Volum de dades PBs
  • 7. Almacenamiento Nuevas tecnologas de almacenamiento HHD 100 ms barato que RAM RAM vs HHD Pero 1000 veces ms lento Solucin actual Solid- state drive (SSD) adems no voltil Investigacin Storage Class Memory (SCM)
  • 8. Gestin Limitaciones de las BD relacionales Solucin actual: Tiempo de respuesta NoSQL systems GBs Volum de dades PBs
  • 9. Gestin Limitacin de propiedad ACID de BD Atomicity, Consistency, Isolation & Durability Nueva propiedad: BASE Basically Available, Soft state, Eventual consistency Ejemplo Consistencia eventual: Facebook Investigacin: Self-* NoSQL systems
  • 10. Procesado Nuevos modelos de programacin Solucin actual: Tiempo de respuesta GBs Volum de dades PBs
  • 11. Procesado Solucin Open Source: Hadoop Mercado: Distribuciones propias
  • 12. MapReduce+NoSQL Difcil pensar en MapReduce+NoSQL Hace falta desaprender Solucin: Niveles de abstraccin Hbase Hive (SQL based language) Pig (Data Flow Language)
  • 13. SQL+NoSQL Propuestas de la industria SQL+NoSQL Integrar funcionalidades MapReduce conectores Hadoop para DW Data ETL Normalized data Data ETL Normalized data DataWarehouse Hadoop ODBC Business Users Data driver Business Analysts Data Etc. Data
  • 14. MapReduce+NoSQL Investigacin: Gestin jerarqua de almacenamiento APPLICATION IN-MEMORY RDBMS Storage Hierarchy Management GBs PBs
  • 15. Anlisis - datos + Valor Volumen informacin + conocimiento - Hace falta conocimiento accionable
  • 16. Anlisis Solucin: Data Mining Asociacin Clasificacin Clustering Prediccin ... Investigacin: La mayora de algoritmos se ejecutan bien en miles de registros, pero son hoy por hoy impracticables en miles de millones.
  • 17. Anlisis Solucin Open Source: Reflejo de los avances? Source: http://www.smartplanet.com/blog/business-brains/retailer-or-a-data-company-wal-mart-is-now-both/20850
  • 18. Y el Cloud? Recursos usados T
  • 19. Y el Cloud? Capacidad CPD Recursos usados T
  • 20. Y el Cloud? Capacidad CPD recursos NO usados Recursos usados T
  • 21. Y el Cloud? Elasticidad del Cloud T
  • 22. Oportunidades Hace una dcada: WEB 2.0 ecosistema LAMP Linux Apache MySQL PHP hoy: DATA 2.0 ecosistema Hadoop
  • 23. Conclusiones Est llegando el Big Data La tecnologa se est preparando para ello Y ustedes? Preprense para subirse al Big Data Un reto y una oportunidad para ustedes
  • 24. Para saber ms Blog www.JordiTorres.org/blog Prximo libro Del Cloud Computing al Big Data Editorial UOC, septiembre 2012 Creative Commons 3.0
  • 25. Y especial gracias a www.bsc.es/eBusiness Autonomic Systems and e-Business Platforms research group
  • 26. Gracias por su atencin!
  • 27. Y otro libro http://www.librosdecabecera.com/empresas-en-la-nube

Recommended

View more >