27
Big Data 2.0 retos y tendencias tecnológicas del Big Data Jordi Torres, UPC/BSC www.JordiTorres.eu Madrid - 19/06/2012

Big Data 2.0: retos y tendencias tecnológicas del Big Data

Embed Size (px)

DESCRIPTION

 

Citation preview

Page 1: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Big Data 2.0 retos y tendencias tecnológicas

del Big Data

Jordi Torres, UPC/BSC

www.JordiTorres.eu

Madrid - 19/06/2012

Page 2: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717

Page 3: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Source: Economist , Feb 25th, 2010 http://www.economist.com/node/15579717

Twitter: (redes sociales)

90 millones de Tweets por día

que representa 8 Terabytes.

Boeing: (industria)

Vuelo transoceanico de un

jumbo puede generar 640

Terabytes.

Wal-Mart: (comercio) 1 millón de transacciones por hora que se estima que alimenta una base de datos de 2.5 Petabytes.

Page 4: Big Data 2.0: retos y tendencias tecnológicas del Big Data

¿Big Data?

• Explosión del volumen de los datos

• 3 V : Volumen, Velocidad y Variedad

2009: 0,8

Zettabytes

2020: 35,2

Zettabytes

(*) 1 Zettabyte (ZB) = 1.000.000.000.000 (GB)

Page 5: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Retos tecnológicos

• Se ha desbordado la capacidad actual – Almacenamiento

– Gestión

– Procesado

– Análisis

Volum de dades GBs PBs

Tie

mp

o d

e r

esp

ue

sta

Page 6: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Retos tecnológicos

• Se ha desbordado la capacidad actual – Almacenamiento

– Gestión

– Procesado

– Análisis

Volum de dades GBs PBs

Tie

mp

o d

e r

esp

ue

sta

?

In-memory

Page 7: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Almacenamiento

• Nuevas tecnologías de almacenamiento

– RAM vs HHD

– Solución actual

– Investigación

HHD 100 más barato que RAM

Pero 1000 veces más lento

Solid- state drive (SSD)

además no volátil

Storage Class Memory (SCM)

Page 8: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Gestión

• Limitaciones de las BD relacionales

Solución actual:

“NoSQL systems”

Volum de dades GBs PBs

Tie

mp

o d

e r

esp

ue

sta

Page 9: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Gestión

• Limitación de propiedad ACID de BD

• Nueva propiedad: BASE

Ejemplo Consistencia eventual: Facebook

• Investigación: Self-* NoSQL systems

Atomicity, Consistency, Isolation & Durability

Basically Available,

Soft state,

Eventual consistency

Page 10: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Procesado

• Nuevos modelos de programación

– Solución actual:

Volum de dades GBs PBs

Tie

mp

o d

e r

esp

ue

sta

Page 11: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Procesado

• Solución Open Source:

– Hadoop

• Mercado:

– Distribuciones propias

Page 12: Big Data 2.0: retos y tendencias tecnológicas del Big Data

MapReduce+NoSQL

• Difícil pensar en MapReduce+NoSQL

• Solución: Niveles de abstracción

Hace falta “desaprender”

Hbase

Hive

(SQL based language)

Pig

(Data Flow Language)

Page 13: Big Data 2.0: retos y tendencias tecnológicas del Big Data

SQL+NoSQL

• Propuestas de la industria SQL+NoSQL

– Integrar funcionalidades MapReduce

– conectores Hadoop para DW

Data

ETL

Data

Data

ETL

Normalized

data

Normalized

data

DataWarehouse

Business Users

Business Analysts

Etc.

Data

Data

Hadoop

ODBC

driver

Page 14: Big Data 2.0: retos y tendencias tecnológicas del Big Data

MapReduce+NoSQL

• Investigación: Gestión jerarquía de

almacenamiento

RDBMS

IN-MEMORY

APPLICATION

GBs PBs

Storage Hierarchy

Management

Page 15: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Análisis

• Hace falta conocimiento accionable

conocimiento

información

datos

+

Vo

lum

en

- +

-

Valo

r

Page 16: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Análisis

• Solución: Data Mining

• Investigación:

Asociación

Clasificación

Clustering

Predicción

...

La mayoría de algoritmos se

ejecutan bien en miles de registros,

pero son hoy por hoy impracticables

en miles de millones.

Page 17: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Análisis

• Solución Open Source:

Source: http://www.smartplanet.com/blog/business-brains/retailer-or-a-data-company-wal-mart-is-now-both/20850

• ¿Reflejo

de los

avances?

Page 18: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Recursos usados

T

¿Y el Cloud?

Page 19: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Recursos usados

T

Capacidad CPD

¿Y el Cloud?

Page 20: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Recursos usados

T

Capacidad CPD

recursos NO

usados

¿Y el Cloud?

Page 21: Big Data 2.0: retos y tendencias tecnológicas del Big Data

T

Elasticidad del Cloud

¿Y el Cloud?

Page 22: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Oportunidades

Hace una década:

WEB 2.0 ecosistema LAMP

– Linux

– Apache

– MySQL

– PHP

hoy: DATA 2.0 ecosistema Hadoop

Page 23: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Conclusiones

• Está llegando el Big Data

– La tecnología se está preparando para ello

– ¿Y ustedes?

• Prepárense para subirse al Big Data

– Un reto y una oportunidad para ustedes

Page 24: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Para saber más …

• Blog

• Próximo libro “Del Cloud Computing al Big Data”

Editorial UOC, septiembre 2012

Creative Commons 3.0

www.JordiTorres.org/blog

Page 25: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Y especial gracias a

Autonomic Systems and e-Business Platforms research group

www.bsc.es/eBusiness

Page 26: Big Data 2.0: retos y tendencias tecnológicas del Big Data

¡Gracias por su atención!

Page 27: Big Data 2.0: retos y tendencias tecnológicas del Big Data

Y otro libro …

http://www.librosdecabecera.com/empresas-en-la-nube