Embed Size (px)
Citation preview
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Data freedom, migrating bigdata workloads to AWSDaniel Pereiro | Xavi Morales | Javier Chamorro
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Evolution of data analysis platform technologies
S3 as HDFS
S3 Data Lake
S3 Data Lake
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AnalyticsMachine Learning
Real-time Data Movement
On-premisesData Movement
Data Lake on AWS
OLTP ERP CRM LOB
Data Warehouse
Business Intelligence
Data Warehouse
Business Intelligence
OLTP ERP CRM LOB Devices Web Sensors Social
Big Data processing, real-time, Machine Learning
Data Lake
Traditional Analytics Data Lakes Extend traditional approach Data Lakes & Analytics from AWS
CSV
ORC
Grok
Avro
Parquet
JSON
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS Big Data Platform
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Swim lane of jobs (different workloads running on the same unique cluster)
Over-utilized Under-utilized
Hadoop
Zeppelin
Livy
JupyterHub
Tez
Flink
Ganglia
HBase
Pig
Hive
Presto
ZooKeeper
MXNet
Sqoop
Mahout
Hue
Phoenix
Oozie
Spark
Hcatalog
TensorFlow
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Transient or long-running clusters
Deploy multiple clusters Resize a running cluster
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Spot for
task nodes
Up to 80%
off Amazon EC2
On-Demand
pricing
On-Demand for
core nodes
Standard
Amazon EC2
pricing for
On-Demand
capacity
Meet SLA at predictable cost Exceed SLA at lower cost
Use Spot and Reserved Instances to lower costs
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Three big indicators of individual behavior
Purchases Movement Influence
Madrid, 2018
Smart StepsEmpowering Data-Driven decisions
Xavier Morales Sorolla – Gerente Global de Producto Smart [email protected]
Javier Chamorro – Head of Global [email protected]
Portfolio de producto orientado a clientes corporativos/B2B
LUCA es la unidadBig Data de Telefonica
LUCA sea ha sido posicionado como Líder según el último informe de evaluación de proveedores de insights Big Data publicado por Forrester.
“The Forrester Wave™: SpecializedInsights Service Providers, Q3 2018”
https://data-speaks.luca-d3.com
Os invitamos a visitar nuestro blogy canal de YouTube:
Convirtiendo metales base…
¿Que es Smart Steps?
…en Oro!!!Piedra filosofalSustancia alquímica
legendaria
de los DATOS operativosde Telefonica…
…a INSIGHTS siempre anonimizados y agregados.
02/24/2018 15:35 hay 282 personas conectadas a una celda, de las cuales 25 están llamando, y alguna de ellas acaba de generar un evento hand-overporque ha cambiado de celda…
RANGOS DE EDAD
GENERO
PATRONES MOVILIDAD
CATEGORIASDE INTERES
NIVEL SOCIO-ECONÓMICO
en el kilometro 32 de la autovía A1, los sábados de 10 a 11 de la mañana transitan 20.000 personas, de las cuales un 65% son hombres, y de los cuales, un 15% están interesados en música y moda, con alto nivel socio económico…
AN
ON
IMIZA
CIO
N
¿Que es Smart Steps?
SMART STEPS
GRUPOS
ANONIMOS
GDRP complaint
LUCA Tourism
Asturias
Permite entender patrones de comportamiento por tipo de visitante. Aportamos insightsanonimizados y agregados sobre volumen y origen de turistas nacionales e internacionales. Así como perfil (rango edad, género, intereses, nivel socioeconómico, etc.) de los turistas nacionales.
Orientado al sector turístico público y privado, y a empresas de gestión de eventos.
Analíticas detalladas para puntos de atención físicos que hasta ahora eran exclusivas del mundo digital. Mediante el cruce de analítica in-store + out-storeofrecemos insights anonimizados y agregados sobre cuántas personas van a la tienda, cuán a menudo, de dónde vienen, a dónde van y qué perfil tienen.
Facilitan la toma de decisiones respecto a las ubicaciones, posibilitan comparar capacidad de atracción frente a la competencia e identificaracciones para mejorar la tasade conversión por perfil de visitante.
LUCA Store
LUCA TransitAnalizamos millones de desplazamientos cada día para entender patrones anónimos y agregados de movilidad, creando matrices de origen destino que tienen en cuenta el motivo del viaje y el modo de transporte.
Ayudamos a nuestros clientes a tomar decisiones sobre la planificación de servicios en base a la demanda real y sobre la planificación de nuevas infraestructuras u optimización de existentes.
LIMA
Quito
LUCA Audience
Aporta valor al sector de publicidad exterior con insights anonimizados y agregados que permiten entender el volumen y perfil de la audiencia que ha pasado cerca de sus paneles de publicidad.
Permitiendo un targeting más eficaz y una mejor medición del impacto.
En la era BDcon Telefónica
La toma de decisiones se sustenta en comportamiento real observado de una población de más de 20 millones de personas.
Antes de LUCA…
La toma de decisiones se sustentaba encomportamiento de unos pocos centenares de personas.
¿Quien declara en una encuesta que no recicla?
Antes de LUCA…
La toma de decisiones se sustentaba encomportamiento declarado.
>5bn
Accesos en 17 países
Procesando datos de ~400 millones de personas
350M 2,5 PetaB 250k 13
Datos desde el año 2013
Reunido Unido y España son los países pioneros
Líneasde Código
Incrementando rápidamente, seguimos construyendo propuestas verticales
Países con Smart Steps
Planes para continuar expansión en LATAM
Eventos recibidos al día
50.000 horas de procesado mensual
Big data,big numbers
