28
A NEW PLATFORM FOR A NEW ERA O Pedro Algaba, Pre-sales Pivotal

Big Data: Presente o Futuro

Embed Size (px)

DESCRIPTION

Pedro Algaba de PIVOTAL profundiza en conceptos de plena actualidad Big Data en el Segundo Congreso Internacional de Ingeniería de Software.

Citation preview

Page 1: Big Data: Presente o Futuro

A NEW PLATFORM FOR A NEW ERA

O

Pedro Algaba, Pre-sales Pivotal

Page 2: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Pivotal, El nuevo Spin-out de EMC y VMware �  Pivotal integra tecnologías punteras de EMC y

Vmware para construir una plataforma de datos de nueva generación

�  Más de 1700 personas, con profundos conocimientos en tecnologías cloud, arquitectura de aplicaciones, datos y analítica

�  Esta plataforma permite a las organizaciones construir nuevas aplicaciones de forma ágil, que aprovechan todo el potencial de Big Data y Fast Data.

Private Cloud

Public Cloud

Page 3: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Cloud

IT Technology Eras

Mainframe Client-Server

Millions of Apps Billions of Users

* Source: Gartner, 2013: “Hunting and Harvesting in a Digital World: The 2013 CIO Agenda”

$ $ $ $ $ $

Capacidad de Delivery

Presupuesto*

Expectativas del negocio

Los requerimientos del negocio sobrepasan las capacidades de IT…

Page 4: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Un poco de historia. 3ª Plataforma 1st

MAINFRAME

Automatización de cuentas bancarias

Mainframes

ISAM

3rd

Cloud-Enabled Datacenters

New Data-fabrics

“CLOUD”

“Post-Sin-Papeles” Nuevas Experiencias Nuevos Modelos de Negocio Liderados por el Nuevo Consumidor Gigantes de Internet Acelerado por IoT

2nd

CLIENT-SERVER & WEB

Automación de procesos (papel) ERP, CRM, Email, …

Relational Databases

Mini’s & PC’s

Valor Negocio

Ruptura Tecnológica

Page 5: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Proceso Analítico Tradicional

Page 6: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

El sueño del mar de datos Fase1: La vida antes de Hadoop •  Cada aplicación usa su base

de datos legacy

•  Los analistas ejecutan informes y procesos analíticos sobre el Datawarehouse o Datamarts analíticos

Page 7: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Que han hecho los pioneros?

Desarrollo ágil de aplicaciones

MA

INFR

AM

E

CLI

ENT-

SER

VER

& W

EB

Almacenar y obtener valor de

grandes volúmenes de datos

Operación y Automatización con escalabilidad Cloud

Nuevas experiencias de usuario Nuevos modelos de negocio Nuevo valor para el negocio

APPS

ANALYTICS DATA

Speed!

Page 8: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

MA

INFR

AM

E

CLI

ENT-

SER

VER

& W

EB

...ETC

Desarrollo Ágil de Aplicaciones

Almacenar y obtener valor de

grandes volúmenes de datos

Operación y Automatización con independencia de

Cloud

Internet of Things (dispositivos y ,áquinas)

Interoperar con el Legacy

Habilitando a las organizaciones

New user experiences New business models New business value

APPS

ANALYTICS DATA

Speed!

Page 9: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Un Universo Digital De Oportunidades

RICH DATA Y el valor creciente de INTERNET DE LAS COSAS

Page 10: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Industrias En Cambio Estructural Redes, Dispositivos móviles, “Cosas”…Big & Fast Data

Page 11: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

La oportunidad Hadoop

�  Gestiona grandes cantidades de datos –  Escalabilidad a bajo coste

�  Usar nuevas fuentes de datos: –  Formatos nativos –  Mayor granularidad –  Tendencias emergentes –  Nuevas oportunidades, etc.

�  Las herramientas de base de datos tradicionales no sirven –  No fueron pensadas para casos de uso Big Data –  No escalan, son caras, estructuras de datos rígidas

Page 12: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Datos Estructurados

Datos no Estructurados

Enterprise

Datos Entorno

Datos Geográficos

Datos Financieros

Datos Logísticos

Social, Video

Partner Public

10101010100101010 011001010101110010 1101010100101011111

Telemetría, M2M

Origen y Tipos Big (& Fast!) Data

Page 13: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Evolución con Hadoop…

Page 14: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

• Hadoop es usado basicamente como area de staging y de proceso batch (Big ETL)

El sueño del mar de datos Fase 2: Se introduce Hadoop

Page 15: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

A N A L Í T I C A S

APROVECHA EL

PODER DEL

BIG DATA

Page 16: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

No Es Lo Que Parece No es el tradicional “business intelligence”

•  Datos estructurados vs todos los datos •  Relación y causalidad vs correlación •  Datos convencionales vs nuevas fuentes •  Descubrimientos insospechados •  Experimentación, Investigación y Desarrollo •  M2M Internet de las cosas •  M2H Internet de las cosas

Page 17: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

El Concepto Del Data Lake.

Analytic Data Marts

SQL Services

Operational Intelligence

In-Memory Database

Run-Time Applications

HDFS

Data Staging Platform

Data Mgmt. Services

Pivotal HD Stream

Ingestion Streaming Services

Software-Defined Datacenter

New Data-fabrics

In-Memory Grid

...ETC

Page 18: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Metamorfosis Negocio

Monetización de Datos

Optimización Del Negocio Nuevas

Revelaciones Monitorización Del Negocio

Modelo Evolutivo Analítico

+ Hadoop

+ Analíticas Predictivas, Prescriptivas

+ Tiempo Real, Ciencia de los Datos Traditional

BI/DW

Source: Schmarzo, Big Data Understanding How Data Powers Big Business

Page 19: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Energía

Big Data Transforma El Negocio Afecta A Todas Las Industrias

Salud Gobierno Ciberseguridad

Seguros Finanzas Telco Retail

Publicidad Juego

Page 20: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

‘Hemos estimado que esta nueva ola de innovación puede elevar el PIB global hasta 10-15 B$ ($10-15 trillion) en os próximos 20 años a través del crecimiento en la productividad.’ - GE

El Internet De Las Cosas & Big Data

Page 21: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

TI tiene la mayor prioridad para el negocio de la última década. La generación de ingresos ocupa el #1 en los planes de inversión en tecnología a 5 años – Gartner

Un mayor número de CEO percibe TI como una fuente de innovación y crecimiento

Source: Gartner, “The 2014 Gartner CEO and Senior Executive Survey: ‘Risk-On’ Attitudes Will Accelerate Digital Business” 9 April 2014 G00260067

La Empresa Definida Por Software Emerge

Page 22: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

•  Aplicaciones analíticas y transaccionales utilizan los datos que viven en Hadoop, sin requerir otros gestores de bases de datos diferenciados

El sueño del mar de datos Fase 3: Consolidación del “Data Lake”

OLTP

Online Apps

Analytic Apps

Page 23: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

APPS

ANALYTICS DATA

MA

INFR

AM

E

CLI

ENT-

SER

VER

& W

EB

...ETC

Cloud Fabric “El nuevo sistema operativo”

Data Fabric “La nueva Base de Datos”

App Fabric “El nuevo Middleware”

“The new Hardware”

Nueva arquitectura de software

Page 24: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Cloud Fabric: “Linux para el Cloud”

...ETC

Cloud Fabric “El nuevo sistema operativo”

Page 25: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Cloud Fabric: “Linux para el Cloud”

...ETC

Cloud Fabric “El nuevo sistema operativo”

•  Abstracción -  Portabilidad del Cloud

•  Automatización -  Aprovisionamiento,

Monitorización, Ciclo de Vida

•  Extensibilidad -  Registro de servicios

Page 26: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Porqué Pivotal?

� Plataforma Unificada para Big & Fast Data:

– Datos estructurados y no estructurados –  Integración de datos entre las distintas

aplicaciones: Batch, Analítco y OLTP – Todo en HDFS

� Pivotal ofrece la inovación y agilidad de una start-up, pero con el respaldo de EMC y Vmware

Page 27: Big Data: Presente o Futuro

© Copyright 2013 Pivotal. All rights reserved.

Elastic Runtime Java, Spring, Ruby, Node.JS Built-in “Middleware” Services

Operation Manager Installation, Management, Monitoring, Upgrades/Updates

...ETC

Pivotal One: La Plataforma para desarrollar software en la era del Cloud y Big Data….

Pivo

tal O

ne

Pivotal One CO-INNOVATION Agile Software Development

Data Lake Solutions

PIVOTAL MySQL

Pivotal One SERVICES

Page 28: Big Data: Presente o Futuro

A NEW PLATFORM FOR A NEW ERA