20141002 BIg Data España 2015. WR. Casos de uso de … · Analizar una variedad de datos máquina para mejorar la eficiencia operacional ... etc., con datos de clientes y de negocio

© 2014 International Business Machines Corporation

Casos de Uso de Big Data

Wolfram Rozas2 Octubre 2014

Big Data España 2015


Cambios en el Paradigma Analítico

© 2014 International Business Machines Corporation 3

Cambios en el Paradigma AnalíticoTRADITIONAL APPROACH

Analyze small subsets of information

Analyzedinformation

All available

information

BIG DATA & ANALYTICS APPROACH

Analyze all information

All available

informationanalyzed

Leverage more of the data being captured

Data leads the way—and sometimes correlations are good enough

Reduce effort required to leverage data

Leverage data as it is captured

TRADITIONAL APPROACH

Carefully cleanse information before any analysis

Small amount of carefully organized information


Analyze information as is, cleanse as needed

Large amount

of messy information

Hypothesis Question

DataAnswer


Start with hypothesis andtest against selected data


Explore all data andidentify correlations

Data Exploration

CorrelationInsight

Repository InsightAnalysisData


Analyze data after it’s been processed and landed in a warehouse or mart

Data

Insight

Analysis


Analyze data in motion as it’s generated, in real-time


Cambios en el Paradigma Analítico

Predict and decide the best action

Cognitive computing

Intuitive analytics for everyone

Analytics as and when you need it


the realm of the specialist


embedded in everything


Scheduled


Real-time


Pre-programmed analysis on structured data


Learn to sense and predict using all types of information


What has happened and why


What will happen and what should you do


Las 5 categorías de casos de uso


Innúmeros casos de uso en cada industria

Seguros

• Vista 360 del sujeto• Modelización

catástrofes• Fraude y Abuso• Analítica de

rendimiento producto

Banca

• Optimización de ofertas• Servicio a clientes y

eficiencia• Detección e

investigación de fraude • Riesgo de crédito y de

contrapartida

Telecom.

• Call Center proactivo

• Analítica de Red

• Servicios basados en localización

Energía y Utilities

• Analítica de Smart Meter

• Predicción/ planificación de carga

• Mantenimiento basado en condición

• Ofertas a clientes (TOU)

Medios y Entretenimiento

• Transformación de procesos de negocio

• Optimización de audiencias y marketing

• Campañas multicanal• Optimización de

comercio digital

Retail

• Analítica de Cliente y Fidelización

• Optimización de Mercancías

• Precios óptimos

Transporte y Turismo


• Analítica de Mantenimiento Predictivo

• Optimización de Capacidad y Precios

GranConsumo

• Disponibilidad Estante

• Optimización de Trade Funds

• Cumplimiento de mercancías

• Alertas/Excepciones de promociones

Gobierno

• Servicios públicos

• Defensa e Inteligencia

• Servicios fiscales y tributarios

Salud

• Medir y actuar sobre los resultados de salud

• Involucrar a los consumidores en su salud

Automoción

• Monitorización avanzada de condición

• Optimización Data Warehouse


Farmacia

• Aumentar la visibilidad de la seguridad y efectividad de los medicamentos

Química y Petróleo

• Vigilancia, Análisis, Optimización Operacional


• Investigación Upstream

Aviación y Defensa

• Plataforma de Acceso Información Uniforme


• Plataforma de Certificación Aerolínea


Electrónica de Consumo

• Analítica de clientes/ canal



ExploraciónEncontrar, visualizar, comprender los Big Data para mejorar el proceso de decisión

Vista 360º cliente mejoradaExtender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de información internas y externas

Inteligencia OperacionalAnalizar una variedad de datos máquina para mejorar la eficiencia operacional

Aumento del Data WarehouseIntegrar las capacidades de big data y de data warehousing para mejora de resultados de negocio

Seguridad/Inteligencia AumentadaReducir riesgo, detectar fraude y monitorizar seguridad en tiempo real

Las 5 Categorías de Casos de Uso









Exploracion: Necesidades

Luchar para gestionar y extraer valor de las 3 V’s en la empresa; necesidad de unificar la información en fuentes federadas

Incapacidad de relacionar los datos “brutos” recogidos de logs de sistema, sensores, clickstreams, etc., con datos de clientes y de negocio

Riesgo de exponer información de identificación personal y/o datos privilegiados debido a carencias de conciencia de la sensibilidad de la información

Encontrar, visualizar, comprender todos los datos para mejorar el proceso de toma de decisiones


Call Center

Highly relevant, secure &

personalized results

Access all sources

or individual source

Refinements based

on metadata

Dynamic

categorization

Narrow down results set

Setup alert to

notify change

Identify topical experts

Tag results

Rate results

Comment results

Store &

share results


Distintos propósitos de exploración

© 2014 International Business Machines Corporation 12IBM Confidential

© 2014 International Business Machines Corporation 13 13









Necesidades

Necesita una mayor comprensión del sentimiento de la clientela

Extender las vistas actuales de clientes (MDM, CRM, etc.) añadiendo fuentes de información internas y externas

Deseo de mejorar la fidelización (activa) del cliente y la satisfacción identificando acciones significativas necesarias

Desafío en facilitar la información correcta a los decisores para suministrar a los clientes lo que realmente necesitan (resolver problemas, cross-sell, etc.)


Análisis Actitudinal de Clientes


Pisadas

Sociodemográficos y Conducta

Tránsito

• Patrones de movimiento de personas y patrones de estancia • Análisis por hora y día• Inferencia para métricas de estancias dentro de edificios

• Perfil sociodemográfico combinado con movimiento• Edad, género, país, dirección vivienda, dirección trabajo, tipo dispositivo (datos, status), patrón de actividad

• Inferencia de rutas de transporte público incluyendo carreteras, trenes, autobuses

GeoMarketing 2.0 / Geofencing


Big Data DWBig Data DW

Datos linealesDatos lineales

Datos no

lineales

Datos no

lineales

Datos

suscripción

Datos

suscripción

Datos afinidad

y de gasto

Datos afinidad

y de gasto

Datos Redes

Sociales

Datos Redes

Sociales

Marketing/ ResearchMarketing/ Research

VisualizaciónVisualización

Motor de

Reglas

Análisis PredictivoAnálisis Predictivo

Datos

demográficos

Datos

demográficos

Gestión de Campañas

multicanal

Gestión de Campañas

multicanal

Procesado

Tiempo Real

Procesado

Tiempo Real Desarrolla modelos predictivos2

VinculaciónVinculación

Perfil 360º Perfil 360º

Tipo FanTipo Fan

campañas de marketing

Crear lista de prospectos mediante modelos predictivos y producir

campañas de marketing

3

PropensiónPropensión

ChurnChurn

Portal

Text

Mining

Lista de Prospectos

Fan

Lista de Prospectos

Fan

Noestructurado

EstructuradoEstructuradoExtraer datos y ejecutar

integración de entidades para crear perfiles individuales

1InfluenciaInfluencia

Análisis de Público Objetivo basado en Fans









Necesidades

Inteligencia mejorada y Vigilancia

Predicción y mitigación de ciberataques en tiempo real

Analizar el tráfico de red para:• Descubrir nuevas amenazas tempranamente• Detectar amenazas complejas conocidas• Actuar en tiempo real

Analizar datos sociales y de telecomunicaciones para:

• Reunir evidencia criminal• Prevenir las actividades criminales• Prender criminales proactivamente

Predicción y protección de crímenes

La extensión de Seguridad/Inteligencia mejora las soluciones de seguridad analizando todo tipo de fuentes

Analizar datos en movimiento y parados para:

• Encontrar asociaciones• Descubrir patrones y hechos• Mantener la actualidad de la información


Información s de Seguridad y Gestión de

Eventos (SIEM)

Conectores

DataWarehouse

Sistema de Monitorización de

Vigilancia

Sistema de Seguimiento de

Información Criminal

Con

ecto

res

Dat

os n

o es

truc

tura

dos/

en s

trea

min

g Datos E

structurados Tradicionales

• Análisis profundo

• Análisis operacional

• Gestión de datos estructurado de alto volumen

App

lianc

e de

mon

itoriz

acio

n de

te

lem

etrí

a de

red

(O

pcio

nal)

Ingesta y procesamiento en

tiempo real

• Video/audio• Red• Geoespacial• Predictivo

Almacenamiento y Análisis

• Text mining• Data mining• Machine learning

Análisis de Entidades/ Relaciones

Modelo Conceptual


Adaptarse a cambios en negocios clientes

productos

Evolución

ProblemasIntegridad?

Consistencia del proceso de

gestión de riesgo de crédito

Informarinvolucrados

Reportar

ReportingLimitado

Reporting limitado de

exposiciones y colaterales

Limitar el daño usando

cobertura

Cobertura

Respuestaa Tiempo

Falta de herramientas

de monitorización

de crédito

Reunir datos de posiciones,

mercados, oportunidades,

etc.

Preparar

Datos Históricos

Muchos datos, cambiando muy rápido, demasiada variedad

Estimar Ratings y

exposiciones

Exposición

CálculosScoring

Complejos

Los cálculos de scoring necesitan

hacerse más rápido

Comparar exposición agregada

contra límites

Límites

Demasiadosdatos

No hay simple vista del riesgo de crédito

(muchas vistas)

Determinar reqs. capital

Capital

MinimizarCostes

Optimización de las pérdi-

das de crédito, capital,

colaterales

Stress testing y Análisis de Escenarios

Stress

DemasiadosWhat ifs?

Múltiples escenarios de stress ad hoc

Mitigación de riesgos legales

Documentos

GestiónInformación

Gestionar datos no

estruc. de oportunidades y colaterales.

Reporting y búsqueda

Datos no estructurados:Análisis de sentidos como Análisis de EntidadesOtras fuentes de datos como geoposicionamiento, redes sociales

Análisis en Tiempo Real:

Cálculos en casi tiempo realAppliance/funcióncalidad streams

Escalabilidad:Capacidad a nivel de petabytes para grandes portfolios de crédito

Gestión de Datos:

MDM para las entidades de contrapartida legal

App. Riesgo: App de riesgo de crédito y colaterales

Análisis masivo:10-100x más rápido que sistemas tradicionales con empleo de Appliance

Gestión de Riesgos









Necesidades

• Ganar una visibilidad en tiempo real de las operaciones, experiencia de cliente, transacciones y conducta

• Planificar proactivamente para mejorar la eficiencia operacional

Analizar una variedad de datos máquina para mejorar los resultados de negocio

La capacidad de analizar datos máquina y combinarlos con los datos corporativos obteniendo una vista completa puede capacitar a las organizaciones a:

• Identificar e investigar anomalías• Monitorizar la infraestructura punto a punto

para evitar proactivamente la degradación del servicio o las cortes


Logs

bru

tos

y da

tos

máq

uina

Indexar, buscar

Modelización estadística

Análisis Causal

Exploración y Descubrimiento

Análisis en tiempo real

Sólo almacenar lo necesario

Modelo Conceptual

Acelerador de Datos Máquina


Análisis de los Datos Máquina (M 2M)

App. Server Logs

Web Access Logs

Web Proxy Logs

Clickstream Data

Message Queues

System Logs

Configuration Files

Database AuditLogs and Tables

Facility Systems

Sensor Data

Smart Meters

HDFS Logs

Utility Systems

Datos en reposo

Ingestión Datos

Datos en movimiento

Extractores

Estructurado

Análisis texto

Procesamiento

Algoritmos adaptativos

Indexado

Búsqueda

Causa raíz

Análisis

Análisis Patrones

Detección de Anomalías

Análisis Predictivo

Queries Dinámicas

Tiempo real

Solución de Negocio

Visualización

No estructurado

Correlación


Detección de Anomalías

Datos históricos Ultimos datos

1. Para cada punto de suministro se identifican otros puntos que tengan conducta de consumo similar

Contador Lectura

A 100

B 10

C 15

D 200

E 5

2. Se identifica cuánto se desvía el último consumo del grupo

3. Se identifican los consumos más anómalos para centrar la investigación


Network Analytics

•Análisis en tiempo real del uso de los clientes y de su experiencia de los servicios de datos y aplicaciones, para mejorar la experiencia de cliente

Recogida y extracción de datos

Mediación, Correlación y Análisis

Aplicaciones

Soluciones

1. Servicio a Clientes : priorizar problemas de clientes2. Operaciones de Red : impacto de los eventos de red (cuellos de botella,, llamadas caídas,

cortes, etc.) en la calidad de la experiencia de los abonados3. Ventas & Marketing : aumentar la tasa de aceptación









Necesidades

Necesidad de usar variedad de datos Extender la infr aestructura• Almacenamiento optimizado, mantenimiento y costes de

licenciamiento para migrar datos raramente usados (fríos)a Hadoop

• Costes de almacenamiento reducidos por procesamiento inteligente de datos en streaming

• Rendimiento del data warehouse mejorado determinando

Integrar las capacidades de big data y de data warehouse par amejorar la eficiencia operacional

• Análisis profundo en streaming de datos estructurados, no estructurados

• Requerimientos de latencia baja (horas – semanas)• Se requiere acceso a los datos


Valor y Modelo Conceptual

Pre-Processing Hub Query-able Archive Exploratory An alysis

Information Integration

Data Warehouse

StreamsReal-time

processing

BigInsightsLanding zone for

all data

Data Warehouse

BigInsights

Can combine with unstructured information

Data Warehouse

1 2 3

Find and view the data

Data Explorer

Data Explorer

BigInsights

StreamsOffload analytics for

microsecond latency


�Aplicar políticas de retención de datos

�Capturar objetos de negocio completos

�Preservar integridad de datos

�Preservar metatada

�Cargar datos a Hadoop según sea necesario

Archivar “Datos Fríos”

Almacén interrogable

utilizando Hive en HadoopArchivar y purgar datos

InfoSphere

Optim

Archivos comprimidos,

auditables, y restaurables

Base de DatosDistribución

Hadoop

Ficheros

Archive

Offloading


Data Lake


El problema de los Datos

• Hay una desproporción en el tiempo empleado en preparación de datos en los proyectos de Análisis

• El Big Data complicará más la situación con la adición de datos de múltiples formatos y la ingesta en tiempo real


Una demanda creciente….

Negocio quiere...

• Acceso abierto a más información

• Herramientas de análisis y visualización

más potentes

A los equipos IT …

• les preocupan los costes

• les preocupan los requisitos de gobernanza y regulatorios


¿Lagos o Pantanos?

• A medida que recogemos datos– Podemos preservar la claridad?

– ¿Conocemos lo que recogemos?

– ¿Podemos encontrar lo que necesitamos?

• ¿Estamos creando pantanos de datos?

• ¿Cómo construimos confianza en Big Data?– ¿Sabemos para qué se usan los datos?

¡Hay que gobernar el dato!


¿Qué es un lago de datos?

• Un lago de datos facilita datos a una organización para realizar análisis de todo tipo

• Es posible introducir el análisis en el lago de datos para generar conocimiento adicional de los datos cargados

• Un lago de datos gestiona repositorios compartidos de información para analizarla

• Cada repositorio del lago de datos se optimiza para un procesamiento particular

• Los datos pueden replicarse en múlitples repositorios en el lago de datos y tener distintos significados/usos

Lago de Datos

Gestión de Información y Gobierno del Dato

Servicios del Lago de Datos

Repositorios del Lago de Datos


Arquitectura lógica

Data Lake

CatalogInterfaces

Data Lake R

epositories

HarvestedData

INFORMATION WAREHOUSE

DEEP DATA

Advanced DataProvisioning

DescriptiveData

INFORMATION

VIEWS

SharedOperationalData OPERATIONAL

STATUS

Inter-lake

Exchange

DepositedData

CATALOG

Data Refineries

Real-timeInterfaces

InformationIngestion

PublishingFeeds

CODE

HUB

InformationIntegration &Governance

INFORMATION

BROKEROPERATIONAL

GOVERNANCE

HUB

CODE

HUBMMONITOR WWORKFLOWS ASTAGING AREAS

Real-timeAnalyics

STREAMING

ANALYTICS

CONTENT

HUB

Events to

Evaluate

Information

Service Calls

Data Out

Data In

Information

Federation

Calls

Notifications

Understand

Information

Sources

Deploy

Decision

Models

Information

Service Calls

Search

Requests

Report

Queries

Understand

Information

Sources

Curation

Interaction

Management

Data

Export

Data

Import

Understand

ComplianceInformation

Service Calls

Data

Export

Advertise

Information

Source

Deploy

Real-time

Decision

Models

Data

Import

AnalystInteraction

ReportingData Marts

InformationAccess

Find

Curate

Access

Provision


Resumen

• A medida que la analítica de una organización se hace más compleja, será necesario:– Acceder a datos históricos de muchos sistemas

– Estos datos incluyen datos sensible y valiosos que son el núcleo de la operación

– Hadoop felxible para almacenar muchos tipos de datso, pero no es suficientemente rápido para alguna analítica en producción. Los datos necesitan ser reformateados y copiados en una plataforma especializada paa el análisis

• Un lago o embalse suministra:

–Un extracción sencilla de datos – Catalogar y gobernar el dato

– Interfaces sencillos para que la línea de negocio acceda a la infomración que precisan

Lago de Datos = Gestión eficiente, Gobernanza, protección y acceso


¿Preguntas?

Gracias por su atención

Documents

20141002 BIg Data España 2015. WR. Casos de uso de … · Analizar una variedad de datos máquina para mejorar la eficiencia operacional ... etc., con datos de clientes y de negocio