La tecnología detrás del Big Data - UPC. Universitat Politècnica de ... ?· Sistema de ficheros distribuido…

  • Published on
    03-Oct-2018

  • View
    212

  • Download
    0

Embed Size (px)

Transcript

  • 1

    www.bsc.es

    La tecnologa detrs

    del Big Data

    Mario Macas, PhDAutonomic Systems and e-Business Platforms

    http://www.xaas.guru

    Septiembre 2014

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

  • 2

    El Big Data es como el sexo para los

    adolescentes:

    todos hablan de ello,

    nadie sabe del todo cmo funciona,

    todos piensan que los dems lo hacen

    todos dicen practicarloAlguien en internet

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    De dnde venimos

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Autor: Ren Descartes

    Ttulo: El Discurso del Mtodo

    Editorial: AKAL

    Ao: 2007

    N de pginas: 96 pgs.

    Encuadernacin: Tapa blanda

    ISBN: 9788446027898

    Lengua: Castellano

    Localizacin: Filosofa 3.14(16)

    Autor: Ren Descartes

    Ttulo: El Discurso del Mtodo

    Editorial: AKAL

    Ao: 2007

    N de pginas: 96 pgs.

    Encuadernacin: Tapa blanda

    ISBN: 9788446027898

    Lengua: Castellano

    Localizacin: Filosofa 3.14(16) Referencia

    Integridad

    Referencial

    Integridad

    Referencial

  • 3

    Si esto es una base de datos

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    es esto Big Data?

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

  • 4

    Trabajando con datos relacionales

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Trabajando con MUCHOS datos relacionales

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

  • 5

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Trabajando con MUCHOS datos relacionalesAutor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Paralelismo

    Trabajando con DEMASIADOS datos relacionales

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

  • 6

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Trabajando con DEMASIADOS datos relacionales

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    Autor: .

    Titulo:

    Editorial:

    Localizacion: .

    LMITE DE LA ESCALABILIDAD

    Tenemos un problema

    de Big Data cuando el

    tamao de los datos es

    un problema

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

  • 7

    Antes: almacn de datos

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Ahora: caja de arena

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    vertedero de datos

    Redes sociales: fotos, comentarios,

    me gusta, #hashtags

    Agregadores de noticias, agencias de

    informacin, Open Data

    Ciudades sensorizadas: Smart cities

    Dispositivos mviles

    (y un largo etctera)

    Redes sociales: fotos, comentarios,

    me gusta, #hashtags

    Agregadores de noticias, agencias de

    informacin, Open Data

    Ciudades sensorizadas: Smart cities

    Dispositivos mviles

    (y un largo etctera)

  • 8

    Datos estructurados

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Autor: Ren Descartes

    Ttulo: El Discurso del Mtodo

    Editorial: AKAL

    Ao: 2007

    N de pginas: 96 pgs.

    Encuadernacin: Tapa blanda

    ISBN: 9788446027898

    Lengua: Castellano

    Localizacin: Filosofa 3.14(16)

    Autor: Ren Descartes

    Ttulo: El Discurso del Mtodo

    Editorial: AKAL

    Ao: 2007

    N de pginas: 96 pgs.

    Encuadernacin: Tapa blanda

    ISBN: 9788446027898

    Lengua: Castellano

    Localizacin: Filosofa 3.14(16)

    Datos desestructurados

    El 80-90% de los datos que se generan

  • 9

    Cmo sacar informacin de los datosdesestructurados?

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

  • 10

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Los datos solo son datos

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Visin artificial

    Inteligencia artificial Machine

    learning

    Reconocimiento y procesamiento de

    voz

    Etc

    Visin artificial

    Inteligencia artificial Machine

    learning

    Reconocimiento y procesamiento de

    voz

    Etc

  • 11

    Big Data =

    Muchos datos: Big

    Limitaciones de tiempo

    Lmites de escalabilidad

    Diversas fuentes

    Desestructuracin

    Multidisciplinaridad

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    www.bsc.es

    Las tecnologas detrs

    del Big Data: algunas

    pinceladas

  • 12

    Una pila de software para el Big Data

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Sistema de ficheros distribuidoSistema de ficheros distribuido

    Sistema de ficheros

    Un sistema de ficheros organiza cmo los datos estn

    guardados en una unidad de almacenamiento

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    txttxt jpgjpg mp3mp3

    Archivo gigantsimoArchivo gigantsimo

  • 13

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Archivo gigantsimoArchivo gigantsimo

    ArcArc hivhiv

    o go g igaiga

    ntnt simsim

    oo

    Una pila de software para el Big Data

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Sistema de ficheros distribuidoSistema de ficheros distribuido

    Modelo de programacinModelo de programacin

    Map ReduceMap Reduce

  • 14

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Cuntas veces se repite la palabra pelota segn el ao?

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

  • 15

    Paso 1. Dividir el trabajo

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Paso 2. Map

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Ao Libro Apariciones

    1920 15

    1950 22

    1955 33

    1958 32

    1960 40

    Ao Libro Apariciones

    1923 12

    1950 20

    1954 30

    1958 29

    1959 35

    Decenas

    de tablas

    Algunas

    contienen

    datos

    sobre los

    mismos

    aos

    Decenas

    de tablas

    Algunas

    contienen

    datos

    sobre los

    mismos

    aos

  • 16

    Paso 3. Reduce

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Ao Libro Apariciones

    1920 15

    1950 22

    1955 33

    1958 32

    1960 40

    Ao Libro Apariciones

    1923 12

    1950 20

    1954 30

    1958 29

    1959 35

    Ao Libro Apariciones

    1920 15

    1950 42

    1954 30

    1955 33

    1958 61

    1959 35

    1960 40

    Map/Reduce. Visin general

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Dato

    sD

    ato

    s

    DDaa

    ssoo

    tt

    Map Reduce Map Reduce

    Planificador

    (Scheduler)

    Planificador

    (Scheduler)

  • 17

    Una pila de software para el Big Data

    La tecnologa detrs del Big Data. Mario Macas. www.xaas.guru

    Sistema de ficheros distribuidoSistema de ficheros distribuido

    Modelo de programacinModelo de programacin

    Capa de abstraccinCapa de abstraccin

  • 18

    www.bsc.es

    Gracias por tu

    atencin!

    Mario Macas, PhDAutonomic Systems and e-Business Platforms

    Junio 2014

Recommended

View more >