Casos de Usode Big Data
Wolfram Rozas31 Octubre 2014
2
Agenda
Introduccin
El Lago de Datos
Cambio en el Paradigma Analtico
El rol del Chief Data Officer
Las cinco categoras de Casos de Uso
Ejemplos de Casos de Uso
Experiencias reales
Taller
3
Los datos son el nuevo recurso
natural
Social, Mvilidad, Big Data
Juntas estn enriqueciendo a la sociedadcon conocimiento, a travs de redesque generan expectativas de valor a cambio de su informacin
4
Las 3 ies son la causa del Big Data
instrumentado
interconectado
inteligente
Hasta10.000x
msvolumen
Hasta 10.000x ms rpido
Data Warehouse traditional e Inteligencia
de Negocio
Data
Sca
le
Volu
men
ao mes sem da hora min seg ms
Hexa
Peta
Tera
Giga
Mega
Kilo
Velocidad Tiempo esperado de decisin
ocasionalmente frecuentemente tiempo real
Datos en movimiento
Dato
sen
reposo
Mexcla (no)estructurados
Analtica C
ompleja
5
Integracin y Analtica & (DW, MDM,)
Informacinno vista
Gobierno
SistemasOperacionales
6
Para poder ejecutar las nuevas oportunidades, hay en fuentes de datos no tradicionales
Datos transaccionalesy de aplicacin
Datos Mquina(M2M)
Datos Sociales
Volumen
Estructurado
Throughput
Velocidad
Semiestructurados
Ingestin
Variedad
Altamente desestructurados
Veracidad
Contenido Empresarial
Variedad
Altamente desestructurados
Volumen
7
Datos DISPONIBLESpara una organizacin
Datos que una organizacinpuede PROCESAR
Por tanto, cul es la paradoja de Big Data?
El porcentaje de datos disponibles que una empresa puede analizar decreceen relacin proporcional a la disponibilidad de los mismos.
2009 0,8 Zb (*)
2010 1 Zb
2011 1,8 Zb
2018 estimado 35 Zb
Volumen Datos mundiales
(*) Zb (Zettabyte) = 10 3 Exabyte = 10 6 Petabyte = 10 9 Terabyte
8
Datos en Reposo
Deben procesarseTB-EB
Datos en Movimiento
Datos en streaming, no almacenados,
decision necesaria en ms
Datos con mltiples formatos
Estructurados, no estructurados,
texto, multimedia
Datos ruidosos
Fiabilidad de los datos: desfasados, incom-pletos, conflictivos,
irnicos, equivocados, vagos, errneos
Volumen Velocidad Variedad Veracidad
Qu es Big Data?
GrandeApp Clsicas
Tiempo RealM2M
No estructuradosDocs Corporativos
CalidadSocial Media
9
Volumen
Registros de prstamos analizados cada da
180millonesVelocidad
Clculos de datos de bonos en 1 minuto
2 billonesVariedad
Emails analizados mensualmente
40millones
Analizar ms prstamos por niveles de riesgo y
patrones de fraude
Analizar ms profundamente para
descubrir sentimiento y actitudes de los clientes
Descubrir riesgo e identificar oportunidades ms rpido
que antes
de negocio no confan en la informacin que usan para tomar decisiones
Confirmar la Veracidad de las fuentes Big Data
Retos y oportunidades en Banca
10
Volumen
4 petabytesVelocidad
248millonesVariedad
datos no estructurados80%
de datos de
modelizacin de
climatologa para la
optimizacin de la
situacin de
aerogeneradores
de una smart grid,
predicciones de tiempo,
documentos, etc.
lecturas diarias en un
proyecto estndar de
contadores inteligentes
6.000 millones $ perdidos en US anualmente debido a prdidas no tcnicas
Retos y oportunidades en Utilities
Confirmar la Veracidad de lasfuentes Big Data
11
Volumen
>1000 Millones Velocidad
6000Varieda
d
Perfiles de Redes Sociales
Analizar enormes volmenes
de datos para conseguir una
ntida vista de 260 del cliente
Los clientes envan
variedad de datos -
blogs, videos, emails, pins, tweets, etc.
Conocer dnde estn los
clientes para ofertas
lanzadas en tiempo real
abonados de mvilesPosts de facebook diarios y crecimiento de datos
empresarial
Millones 2800 Millones
Retos y oportunidades en Retail
de negocio no confan en la informacin que usan para tomar decisiones
Confirmar la Veracidad de las fuentes Big Data
12
Exploracin, landing y archivo
Enterprise warehouse
Gobierno de la Informacin
Analtica en Tiempo Real
Data mart
Analytic appliances
InformacinOperacional
Experiencia de cliente
Gestin del Riesgo
Mejoraseconmico-financieras
Fuentes de Datos
SISTEMAS-SEGURIDAD-ALMACENAMIENTO
Datos de aplicaciones y transformaciones
Datos de mquinas y sensores
ContenidoEmpresarial
Datos de RedesSociales
Imagen y video
Datos de Terceros
Enterprise warehouse
Data mart
Appliances Analticos
Reporting, anlisis, analtica contenidos
Modelizacinpredictiva
Apoyo a Toma de Decisiones
Descubrimiento y exploracin
S. Cognitivos
++
Gestin de Operacionesy del Fraude
Ahorros IT
Nuevos modelosde Negocio
AplicacionesMejoradas
Area de Entendimiento
Arquitectura de Nueva Generacin
13
Exploracin y Descubrimiento
Text Analytics
Motor Bsqueda
Metadata Extraction
Resultados WebFeedsSubscripciones
Ruting Federacin Queires
Framework Aplicacin
Modelo Entidad
Aplicaciones Vista 360O
ExtendidaUser Profiles
Aplicaciones Exploracin
CM, RM, DM RDBMS Feeds Web 2.0 Email Web CRM, ERPFile Systems
Framework
Conector
MDM
14
Plataforma Hadoop
Datos almacenados en un sistema de ficheros distribuido en mltiples ordenadores econmicos (intel)
Se puede operar con funciones en los datos
Escalable a miles de nodes y petabytes de datos
Aplicacin MapReduce
1. Fase de Mapeo(divide el trabajo en
muchas partes)
2. Fase de Combinacin(transfiere el output para
procesamiento final)
3. Fase de Reduccin (Reduce todo el output a un
juego sencillo de datos)
Devuelve un conjunto sencillo
de resultados
Juego resultado
Combinar
public static class TokenizerMapper
extends Mapper {
private final static IntWritable
one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text val, Context
StringTokenizer itr =
new StringTokenizer(val.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer
extends Reducer
15
ModificarFiltrar/Muestreo
Clasificar
Fusionar
Anotar
Anlisis en Marcha (Streaming)
Puntuar
Agregar
Analizar
Real-time Analytics
ANTES AHORA
16
Data Warehousing de Alto Rendimiento
Velocidad
Considerar un appliance optimizado para analtica
Aceleracin de queries basada en HW
Procesamiento masivamente paralelo (MPP)
Base de Datos In Memory
Escalabilidad
Hasta petabytes
Arquitectura en paralelo
Simplicidad
Integrar SW, procesador y almacenamiento
Facilitar interfaces estndar
Minimizar gestin y optimizacin
Analtica Avanzada
Analtica Avanzada
CargadorCargador
ETLETLBIBI
Aplicaciones
FPGA
Memoria
CPU
FPGA
Memoria
CPU
FPGA
Memoria
CPU
HostsHost
Almacenar Procesar Conectar
Procesamiento Masivamente Paralelo (AMPP)
Orquestrar
17
Analtica de Texto
Analiza texto y detecta significados con
anotadores
Comprende el contexto en el que se
analiza el texto
Incorpora anotadores preconstruidos
para construcciones estndar de texto
como nombres, direcciones, nmeros
de telfono, etc.
Convierte informacin desestructurada
en texto estructurado
Anlisis de sentimiento
Conducta del consumidor
Actividades ilegales
18
Gobernanza del Big data
Integrar cualquier tipo de dato Estructurado
No estructurado
Streaming
Gobernanza Asegurar datos sensibles
Gestionar el ciclo de vida del dato para controlar el crecimiento de datos
Perfiles de fuentes de datos
Validar y gestionar la calidad de los datos
Gestionar la metadata para trazar el linaje de los datos
Datos maestros, integrarlos y extenderlos con big data para hacerlos fiables
Data ArchivingData
MaskingTest Data Management Application RetirementDiscover
PartnerPartner--delivered Solutionsdelivered Solutions
19
Comprende lenguajenatural y estilo de comunicacin humano
Evoluciona y aprendemediante entrenamiento, interaccin y resultados
Genera y contrastahiptesis basadas en evidencias
1 2
3
Me comprende
Me involucra
Aprende y mejora en el tiempo
Me ayuda a descubrir
Genera confianza
Tiene una enorme capacidad analtica
Opera en tiempo real
Los sistemas cognitivos representanuna nueva era de Computacin
Watson de IBM
20
Sistemas Seguridad
Instalacin propia, Cloud, Como un Servicio
Almacenamiento
Infraestructura de Big Data Y Analytics
AplicacionesNuevas/Mejoradas
Datos
Zona de analtica en tiempo real
Zona de DW Corporativo y
appliances
Zona de Gobernanza de Informacin
Zona de aterrijzaje,
exploracin y archivado
Ingestin de
informacin y
zona de
informacin
operacional
Qu podraocurrir? Modelos
predictivos
Qu accintomar?Toma de
Decisiones
Qu estocurriendo?
Descubrimientoy exploracin
Por quocurri?Reporting,
anisis,anlisis de contenidos
Fbricacognitiva
Big Data & Business AnalyticsNo existe lo uno sin lo otro
Data Lake
22
El problema de los Datos
Hay una desproporcin en el tiempo empleado en preparacin de datos en los proyectos de Anlisis
El Big Data complicar ms la situacin con la adicin de datos de mltiples formatos y la ingesta en tiempo real
23
Una demanda creciente.
Negocio quiere...
Acceso abierto a ms informacin Herramientas de anlisis y visualizacin
ms potentes
A los equipos IT
les preocupan los costes les preocupan los requisitos de gobernanza y regulatorios
24
Lagos o Pantanos?
A medida que recogemos datos Podemos preservar la claridad?
Conocemos lo que recogemos?
Podemos encontrar lo que necesitamos?
Estamos creando pantanos de datos?
Cmo construimos confianza en Big Data?
Sabemos para qu se usan los datos?
Hay que gobernar el dato!
25
Qu es un lago de datos?
Un lago de datos facilita datos a unaorganizacin para realizar anlisis de todotipo
Es posible introducir el anlisis en el lago de datos para generar conocimiento adicional de los datos cargados
Un lago de datos gestiona repositorioscompartidos de informacin para analizarla
Cada repositorio del lago de datos se optimiza para un procesamiento particular
Los datos pueden replicarse en mltiples repositorios en el lago de datos y tener distintossignificados/usos
Lago de Datos
Gestin de Informacin y Gobierno del Dato
Servicios del Lago de Datos
Repositorios del Lago de Datos
26
Arquitectura lgica
Data Lake
CatalogInterfaces
Data
Lake R
eposito
ries
HarvestedData
Information Warehouse
Deep Data
Advanced DataProvisioning
DescriptiveData
InformationViews
SharedOperationalData Operational
Status
Inter-lake
Exchange
DepositedData
Catalog
Data Refineries
Real-timeInterfaces
InformationIngestion
PublishingFeeds
CodeHub
InformationIntegration &Governance
InformationBroker
InformationBroker
OperationalGovernanceHub
OperationalGovernanceHub
CodeHub
CodeHub
MonitorMonitor WorkflowWorkflowStaging AreasStaging Areas
Real-timeAnalyics
StreamingAnalytics
StreamingAnalytics
ContentHub
Events to
Evaluate
Information
Service Calls
Data Out
Data In
Information
Federation
Calls
Notifications
Understand
Information
Sources
Deploy
Decision
Models
Information
Service Calls
Search
Requests
Report
Queries
Understand
Information
Sources
Curation
Interaction
Management
Data
Export
Data
Import
Understand
ComplianceInformation
Service Calls
Data
Export
Advertise
Information
Source
Deploy
Real-time
Decision
Models
Data
Import
AnalystInteraction
ReportingData Marts
InformationAccess
Find
Curate
Access
Provision
27
Resumen
A medida que la analtica de una organizacin se hace ms compleja, sernecesario:
Acceder a datos histricos de muchos sistemas
Estos datos incluyen datos sensible y valiosos que son el ncleo de la operacin
Hadoop felxible para almacenar muchos tipos de datso, pero no es suficientemente rpidopara alguna analtica en produccin. Los datos necesitan ser reformateados y copiados en una plataforma especializada paa el anlisis
Un lago o embalse suministra:
Un extraccin sencilla de datos
Catalogar y gobernar el dato
Interfaces sencillos para que la lnea de negocio acceda a la infomracin que precisan
Lago de Datos = Gestin eficiente, Gobernanza, proteccin y acceso
Cambios en el ParadigmaAnaltico
29
Cambios en el Paradigma Analtico
TRADITIONAL APPROACH
Analyze small subsets of information
Analyzedinformation
All available
information
BIG DATA & ANALYTICS APPROACH
Analyze all information
All available
informationanalyzed
Aprovechar ms de los datos que se estn capturando
Lpos datos dirijen y algunas veces las correlaciones son bastantes buenas
Reducir el esfuerzo requerido para aprovechar los datos
Aprovechar los datos a medida que se capturan
TRADITIONAL APPROACH
Carefully cleanse information before any analysis
Small amount of carefully
organized information
BIG DATA & ANALYTICS APPROACH
Analyze information as is, cleanse as needed
Large
amount
of messy information
Hypothesis Question
DataAnswer
TRADITIONAL APPROACH
Start with hypothesis andtest against selected data
BIG DATA & ANALYTICS APPROACH
Explore all data andidentify correlations
Data Exploration
CorrelationInsight
Repository InsightAnalysisData
TRADITIONAL APPROACH
Analyze data after its been processed and landed in a warehouse or mart
Data
Insight
Analysis
BIG DATA & ANALYTICS APPROACH
Analyze data in motion as its generated, in real-time
30
Cambios en el Paradigma Analtico
Predecir y decidir la mejor accin
Sistemas cognitivos
Anlisis intuitivo para cualquiera
Anlisis cmo y cundo lo necesitas
TRADITIONAL APPROACH
the realm of the specialist
BIG DATA & ANALYTICS APPROACH
embedded in everything
TRADITIONAL APPROACH
Scheduled
BIG DATA & ANALYTICS APPROACH
Real-time
TRADITIONAL APPROACH
Pre-programmed analysis on structured data
BIG DATA & ANALYTICS APPROACH
Learn to sense and predict using all types of information
TRADITIONAL APPROACH
What has happened and why
BIG DATA & ANALYTICS APPROACH
What will happen and what should you do
Chief Data Officer
32
Chief Data Officer
Fuente: IBM Institute for Business Value, The New Hero of Big Data and Analytics, The Chief Data Officer, June 2014
Es un lder de negocio que crea y ejecuta datos y estrategia de anlisis para generar valor en su negocio
Es responsible de definir, desarrollar e implantar la estrategia y los mtodos por los que la organizacinadquiere, gestiona, analiza y gobierna sus datos.
Tambin se hace cargo de identificar nuevasoportunidades de negocio mediante un uso creativo de
los datos corporativos
33
Cinco maneras en las que los CDO conducen crecimiento e innovacin
34
Entregar valor de negocio es la primeraprioridad del CDO
scarce
1. ExperienciaCliente/ Ciudadano
2. Eficienciaoperacionalmejorada
3. Capacidadmejorada parainnovacin
3 impulsorespara el CEO
Las 5 categoras de casosde uso
36
Innmeros casos de uso en cadaindustria
Seguros
Vista 360 del sujeto Modelizacin
catstrofes Fraude y Abuso Analtica de
rendimiento producto
Banca
Optimizacin de ofertas Servicio a clientes y
eficiencia Deteccin e
investigacin de fraude Riesgo de crdito y de
contrapartida
Telecom.
Call Center proactivo
Analtica de Red
Servicios basados en localizacin
Energa y Utilities
Analtica de Smart Meter
Prediccin/ planificacin de carga
Mantenimiento basadoen condicin
Ofertas a clientes (TOU)
Medios y Entretenimiento
Transformacin de procesos de negocio
Optimizacin de audiencias y marketing
Campaas multicanal Optimizacin de
comercio digital
Retail
Analtica de Cliente y Fidelizacin
Optimizacin de Mercancas
Precios ptimos
Transporte y Turismo
Analtica de Cliente y Fidelizacin
Analtica de MantenimientoPredictivo
Optimizacin de Capacidad y Precios
GranConsumo
Disponibilidad Estante
Optimizacin de Trade Funds
Cumplimiento de mercancas
Alertas/Excepciones de promociones
Gobierno
Servicios pblicos
Defensa e Inteligencia
Servicios fiscales y tributarios
Salud
Medir y actuar sobrelos resultados de salud
Involucrar a los consumidores en susalud
Automocin
Monitorizacinavanzada de condicin
Optimizacin Data Warehouse
Analtica de Cliente y Fidelizacin
Farmacia
Aumentar la visibilidadde la seguridad y efectividad de los medicamentos
Qumica y Petrleo
Vigilancia, Anlisis, OptimizacinOperacional
Optimizacin Data Warehouse
Investigacin Upstream
Aviacin y Defensa
Plataforma de AccesoInformacin Uniforme
Optimizacin Data Warehouse
Plataforma de Certificacin Aerolnea
Monitorizacinavanzada de condicin
Electrnica de Consumo
Analtica de clientes/ canal
Monitorizacinavanzada de condicin
37
ExploracinEncontrar, visualizar, comprender los Big Data para mejorar el proceso de decisin
Vista 360 cliente mejoradaExtender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de informacin internas y externas
Inteligencia OperacionalAnalizar una variedad de datos mquina para mejorar la eficiencia operacional
Aumento del Data WarehouseIntegrar las capacidades de big data y de data warehousing para mejora de resultados de negocio
Seguridad/Inteligencia AumentadaReducir riesgo, detectar fraude y monitorizar seguridad en tiempo real
Las 5 Categoras de Casos de Uso
38
ExploracinEncontrar, visualizar, comprender los Big Data para mejorar el proceso de decisin
Vista 360 cliente mejoradaExtender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de informacin internas y externas
Inteligencia OperacionalAnalizar una variedad de datos mquina para mejorar la eficiencia operacional
Aumento del Data WarehouseIntegrar las capacidades de big data y de data warehousing para mejora de resultados de negocio
Seguridad/Inteligencia AumentadaReducir riesgo, detectar fraude y monitorizar seguridad en tiempo real
Las 5 Categoras de Casos de Uso
39
Exploracion: Necesidades
Luchar para gestionar y extraer valor de las 3 Vs en la empresa; necesidad de unificar la informacin en fuentes federadas
Incapacidad de relacionar los datosbrutos recogidos de logs de sistema, sensores, clickstreams, etc., con datos de clientes y de negocio
Riesgo de exponer informacin de identificacin personal y/o datosprivilegiados debido a carenciasde conciencia de la sensibilidadde la informacin
Encontrar, visualizar, comprender todos los datos paramejorar el proceso de toma de decisiones
40
Call Center
Highly relevant, secure &
personalized results
Access all sources
or individual source
Refinements based
on metadata
Dynamic
categorization
Narrow down results set
Setup alert to
notify change
Identify topical experts
Tag results
Rate results
Comment results
Store &
share results
4141
Distintos propsitos de exploracin
42IBM Confidential
4343
44
ExploracinEncontrar, visualizar, comprender los Big Data para mejorar el proceso de decisin
Vista 360 cliente mejoradaExtender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de informacin internas y externas
Inteligencia OperacionalAnalizar una variedad de datos mquina para mejorar la eficiencia operacional
Aumento del Data WarehouseIntegrar las capacidades de big data y de data warehousing para mejora de resultados de negocio
Seguridad/Inteligencia AumentadaReducir riesgo, detectar fraude y monitorizar seguridad en tiempo real
Las 5 Categoras de Casos de Uso
45
Necesidades
Necesita una mayor comprensin del sentimiento de la clientela
Extender las vistas actuales de clientes (MDM, CRM, etc.) aadiendo fuentes de informacininternas y externas
Deseo de mejorar la fidelizacin (activa) del cliente y la satisfaccinidentificando accionessignificativasnecesarias
Desafo en facilitar la informacin correcta a los decisores para suministrar a los clientes lo que realmentenecesitan (resolver problemas, cross-sell, etc.)
46
Anlisis Actitudinal de Clientes
47
Pisadas
Sociodemogrficos y Conducta
Trnsito
Patrones de movimiento de personas y patrones de estancia Anlisis por hora y da Inferencia para mtricas de estancias dentro de edificios
Perfil sociodemogrfico combinado con movimiento Edad, gnero, pas, direccin vivienda, direccin trabajo, tipo dispositivo (datos, status), patrn de actividad
Inferencia de rutas de transporte pblicoincluyendo carreteras, trenes, autobuses
GeoMarketing 2.0 / Geofencing
48
Big Data DWBig Data DW
Datos linealesDatos lineales
Datos no
lineales
Datos no
lineales
Datos
suscripcin
Datos
suscripcin
Datos afinidad
y de gasto
Datos afinidad
y de gasto
Datos Redes
Sociales
Datos Redes
Sociales
Marketing/ ResearchMarketing/ Research
VisualizacinVisualizacin
Motor de
Reglas
Anlisis PredictivoAnlisis Predictivo
Datos
demogrficos
Datos
demogrficos
Gestin de Campaas
multicanal
Gestin de Campaas
multicanal
Procesado
Tiempo Real
Procesado
Tiempo Real Desarrolla modelos predictivosDesarrolla modelos predictivos2
VinculacinVinculacin
Perfil 360Perfil 360
Tipo FanTipo Fan
Crear lista de prospectos mediantemodelos predictivos y producir
campaas de marketing
Crear lista de prospectos mediantemodelos predictivos y producir
campaas de marketing
3
PropensinPropensin
ChurnChurn
PortalPortal
Text
Mining
Lista de Prospectos
Fan
Lista de Prospectos
Fan
Noestructurado
EstructuradoEstructuradoExtraer datos y ejecutar
integracin de entidades paracrear perfilesindividuales
Extraer datos y ejecutar
integracin de entidades paracrear perfilesindividuales
1InfluenciaInfluencia
Anlisis de Pblico Objetivo basado en Fans
49
ExploracinEncontrar, visualizar, comprender los Big Data para mejorar el proceso de decisin
Vista 360 cliente mejoradaExtender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de informacin internas y externas
Inteligencia OperacionalAnalizar una variedad de datos mquina para mejorar la eficiencia operacional
Aumento del Data WarehouseIntegrar las capacidades de big data y de data warehousing para mejora de resultados de negocio
Seguridad/Inteligencia AumentadaReducir riesgo, detectar fraude y monitorizar seguridad en tiempo real
Las 5 Categoras de Casos de Uso
50
Necesidades
Inteligenciamejorada y Vigilancia
Prediccin y mitigacin de ciberataques en tiempo real
Analizar el trfico de red para: Descubrir nuevas amenazas tempranamente Detectar amenazas complejas conocidas Actuar en tiempo real
Analizar datos sociales y de telecomunicaciones para:
Reunir evidencia criminal Prevenir las actividades criminales Prender criminales proactivamente
Prediccin y proteccin de crmenes
La extensin de Seguridad/Inteligencia mejora lassoluciones de seguridad analizando todo tipo de fuentes
Analizar datos en movimiento y parados para:
Encontrar asociaciones Descubrir patrones y hechos Mantener la actualidad de la informacin
51
Informacin s de Seguridad y Gestin de
Eventos (SIEM)
Co
ne
cto
res
DataWarehouse
Sistema de Monitorizacin de
Vigilancia
Sistema de Seguimiento de
InformacinCriminal
Co
ne
cto
res
Da
tos
no
es
tru
ctu
rad
os
/en
str
ea
min
gD
ato
sE
stru
ctu
rad
os
Tra
dic
ion
ale
s
Anlisis profundo
Anlisisoperacional
Gestin de datosestructurado de alto volumen
Ap
plian
ce d
e m
on
ito
rizacio
nd
e
tele
metr
ad
e r
ed
(O
pcio
nal)
Ingesta y procesamiento en
tiempo real
Video/audio Red Geoespacial Predictivo
Almacenamiento y Anlisis
Text mining Data mining Machine learning
Anlisis de Entidades/ Relaciones
Modelo Conceptual
52
Adaptarse a cambios en
negociosclientes
productos
Evolucin
ProblemasIntegridad?
Consistenciadel proceso
de gestin de riesgo de crdito
Informarinvolucrados
Reportar
ReportingLimitado
Reporting limitado de
exposicionesy colaterales
Limitar el dao usando
cobertura
Cobertura
Respuestaa Tiempo
Falta de herramientas
de monitorizacin
de crdito
Reunir datosde posiciones,
mercados, oportunidades
, etc.
Preparar
DatosHistricos
Muchos datos, cambiandomuy rpido, demasiadavariedad
EstimarRatings y
exposiciones
Exposicin
ClculosScoring
Complejos
Los clculosde scoring necesitan
hacerse msrpido
Compararexposicinagregada
contra lmites
Lmites
Demasiadosdatos
No hay simple vista del riesgo de crdito
(muchasvistas)
Determinarreqs. capital
Capital
MinimizarCostes
Optimizacinde las prdi-
das de crdito, capital,
colaterales
Stress testing y Anlisis de Escenarios
Stress
DemasiadosWhat ifs?
Mltiplesescenarios de stress ad hoc
Mitigacin de riesgoslegales
Documentos
GestinInformacin
Gestionardatos no estruc. de
oportunidadesy colaterales.
Reporting y bsqueda
Datos no estructurados:Anlisis de sentidoscomo Anlisis de EntidadesOtras fuentes de datos comogeoposicionamiento, redes sociales
Anlisis en Tiempo Real:
Clculos en casitiempo realAppliance/funcincalidad streams
Escalabilidad:Capacidad a nivelde petabytes paragrandes portfolios de crdito
Gestin de Datos:
MDM para lasentidades de contrapartida legal
App. Riesgo: App de riesgo de crdito y colaterales
Anlisis masivo:10-100x msrpido quesistemastradicionales con empleo de Appliance
Gestin de Riesgos
53
ExploracinEncontrar, visualizar, comprender los Big Data para mejorar el proceso de decisin
Vista 360 cliente mejoradaExtender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de informacin internas y externas
Inteligencia OperacionalAnalizar una variedad de datos mquina para mejorar la eficiencia operacional
Aumento del Data WarehouseIntegrar las capacidades de big data y de data warehousing para mejora de resultados de negocio
Seguridad/Inteligencia AumentadaReducir riesgo, detectar fraude y monitorizar seguridad en tiempo real
Las 5 Categoras de Casos de Uso
54
Necesidades
Ganar una visibilidad en tiempo real de lasoperaciones, experiencia de cliente, transacciones y conducta
Planificar proactivamente para mejorar la eficiencia operacional
Analizar una variedad de datos mquina paramejorar los resultados de negocio
La capacidad de analizar datos mquina y combinarlos con los datos corporativosobteniendo una vista completa puede capacitara las organizaciones a:
Identificar e investigar anomalas Monitorizar la infraestructura punto a punto
para evitar proactivamente la degradacin del servicio o las cortes
55
Lo
gs b
ruto
sy d
ato
sm
q
uin
a Indexar, buscar
Modelizacin estadstica
Anlisis Causal
Exploracin y Descubrimiento
Anlisis en tiempo real
Slo almacenar lo necesario
Modelo Conceptual
Acelerador de Datos Mquina
56
Anlisis de los Datos Mquina (M2M)
App. Server Logs
Web Access Logs
Web Proxy Logs
Clickstream Data
Message Queues
System Logs
Configuration Files
Database AuditLogs and Tables
Facility Systems
Sensor Data
Smart Meters
HDFS Logs
Utility Systems
Datos en reposo
Ingestin Datos
Datos en movimiento
Extractores
Estructurado
Anlisis texto
Procesamiento
Algoritmos adaptativos
Indexado
Bsqueda
Causa raz
Anlisis
Anlisis Patrones
Deteccin de Anomalas
Anlisis Predictivo
Queries Dinmicas
Tiempo real
Solucin de Negocio
Visualizacin
No estructurado
Correlacin
57
Deteccin de Anomalas
Datos histricos Ultimos datos
1. Para cada punto de suministro se identifican otros puntos que tenganconducta de consumo similar
200D
5E
15C
10B
100A
LecturaContador
2. Se identifica cunto se desvael ltimo consumo del grupo
3. Se identifican los consumos msanmalos para centrar la investigacin
58
Network Analytics
Anlisis en tiempo real del uso de los clientes y de su experiencia de los servicios de datos y aplicaciones, para mejorar la experiencia de cliente
Recogida y extraccinde datos
Mediacin, Correlacin y Anlisis
Aplicaciones
Soluciones
1. Servicio a Clientes: priorizar problemas de clientes
2. Operaciones de Red: impacto de los eventos de red (cuellos de botella,, llamadas cadas, cortes, etc.) en la
calidad de la experiencia de los abonados
3. Ventas & Marketing: aumentar la tasa de aceptacin
59
ExploracinEncontrar, visualizar, comprender los Big Data para mejorar el proceso de decisin
Vista 360 cliente mejoradaExtender las vistas de clientes (MDM, CRM, etc) incorporando fuentes de informacin internas y externas
Inteligencia OperacionalAnalizar una variedad de datos mquina para mejorar la eficiencia operacional
Aumento del Data WarehouseIntegrar las capacidades de big data y de data warehousing para mejora de resultados de negocio
Seguridad/Inteligencia AumentadaReducir riesgo, detectar fraude y monitorizar seguridad en tiempo real
Las 5 Categoras de Casos de Uso
60
Necesidades
Necesidad de usar variedad de datos Extender la infraestructura Almacenamiento optimizado, mantenimiento y costes de
licenciamiento para migrar datos raramente usados (fros)a Hadoop
Costes de almacenamiento reducidos por procesamientointeligente de datos en streaming
Rendimiento del data warehouse mejorado determinando
Integrar las capacidades de big data y de data warehouse par amejorar la eficiencia operacional
Anlisis profundo en streaming de datosestructurados, no estructurados
Requerimientos de latencia baja (horas semanas) Se requiere acceso a los datos
61
Valor y Modelo Conceptual
Pre-Processing Hub Query-able Archive Exploratory Analysis
Information Integration
Data Warehouse
StreamsReal-time processing
BigInsightsLanding zone for
all data
Data Warehouse
BigInsights
Can combine with unstructured information
Data Warehouse
1 2 3
Find and view the data
Data Explorer
Data Explorer
BigInsights
StreamsOffload analytics for
microsecond latency
62
Aplicar polticas de retencin de datos
Capturar objetos de negocio completos
Preservar integridad de datos
Preservar metatada
Cargar datos a Hadoop segn sea necesario
Archivar Datos Fros
Almacn interrogable
utilizando Hive en
HadoopArchivar y purgar datos
InfoSphere
Optim
Archivos comprimidos,
auditables, y restaurables
Base de DatosDistribucin
Hadoop
Ficheros
Archive
Offloading
Ejemplos de Caso de Uso
64
ResultadosInteracciones proactivas
Aceptacin mejorada de ofertas
Satisfaccin clientes mejorada
Datos Externos ClienteCredit bureaus, demogrficos
(datos comprados)
Deteccin eventos tiempo real
Microsegmentacin
Sentimiento y Satisfaccin
Optimizar ofertas y timing
Modelos predictivos ms rpidos y precisos
NuevasCapacidades
GeoespacialLatitud, longitud (X,Y)
SocialActitudes,
preferencias
Datos Internos Clientes
Estructurados & No Estructurados
Contact CenterNotas y chats,
Interaccion con cliente
TransaccionesMulticanal
(Web, call-center, oficinal)
EventosTriggers conducta cliente
CorrespondenciaEmails y chats
Optimizacin de ofertas y venta cruzada
65
ResultadosIdentificar oportunidades de trading rentables
Crear una adecuada estructura de pricing para
reducir los picos de demanda
Cumplir los objetivos de uso de nerga
renovables
Evitar sobrecargar la red de transmisin y
distribucin
Prediccin de patrones de demanda
Prediccin de resultado de energa renovable
Predecir la necesidad de comprar o la oportunidad de vender energa en el mercado abierto
Optimizar la planificacin de generacin
Nueva capacidad
Topografa de Distribucin de Energa
Planificacin de mantenimiento de Equipamiento
Optciones de Generacin de EnergaPatrones demanda histricosLmites de capacidad de activosPlanes de produccin industrial
TiempoPrediccionesAlertas
Geoespacial y Temporal Datos GIS
ClientesSensibilidad al
precio por tiempo de uso (TOU)
Trading
Datos de mercado
actuales y previstos de
precios de fuel y energa
Prediccin y planificacin de carga en Utilities
66
ResultadosReducir los costes de marketing
Reducir abandonos
Incrementar fidelizacin
Ejecutar tcticas efectivas de Marketing
Microsegmentacin de clientes y vista 360 extendida
Obtener ms conocimiento del anlisis de sentimiento y de satisfaccin
Entregar ofertas a clientes a tiempo
Nueva capacidad
GeoespacialLatitud, longitud
(X,Y)Social Media
Sentimiento, intencin, preferencias,
ClickstreamActividades Online
clienteSocidemogrficos,
transacciones y patrones de compra
POSLogsTransaccional
VideoVigilancia, trfico de pies en la tienda
EventosTiempo, eventos
locales
Call CenterLlamadas: texto y audio
EmailAnalizar texto
para encontrar patrones
Competidores
Producto, pricing, etc.
Optimizacin de carga en Retail
Experiencias
68
Fabricante aeroespacial globalincrementa la eficiencia de la fuerza laboral y ahorra 36M$ anualmente
Necesidad
Los retrasos en resolucin de problemas de mantenimiento son caros y potencialmente incurren en penalizaciones financieras por tener equipos fuera de servicio
Aumentar la eficiencia de su mantenimiento y apoyar a los tcnicos, personal de apoyo e ingenieros
Beneficios
Dar apoyo a 5,000 agentes de servicio
Uso de manuales de papel eliminado que previamente se empleaban para investigacin
Poner en servicio ms de 40 aviones adicionales sin ms personal de apoyo
Tiempo de llamadas de servicio reducido en un 70% (de 50 a 15 min)
6969
Compaa de Emailing Americana analiza miles de millones de emails no estructurados
Necesidad
Sus clientes envan 35 millardos de emails cada ao (a sus bases de clientes)
Analizar la efectividad de emails es crtica para el xito del cliente
Poder analizar las tendencias
Reducir el tiempo de enviar emails
Saber qu contenidos son ms efectivos en campaa
Beneficios
40X mejora de rendimiento
Tiempo de anlisis reducido de horas a
segundos
Mejora directamente la experiencia de
clientes 15%-25% mejora de respuesta de las
campaas
Fcil de usar por la organizacin
Mejora los sistemas de anlisis
70
Fabricante de tecnologa de datos en streaming de sistemas de vigilancia
Necesidad
Desplegar un sistema de vigilancia para
detectar, clasificar, localizar, y rastrear
amenazas potenciales en un laboratoro
nacional altamente sensible
Beneficios
Tiempo de captura reducido para analizar
275MB de datos acsticos de horas a 1/14
de segundo
Anlisis de datos en tiempo real de
diferentes tipos de sensores y 1,024 canales
individuales para apoyar el permetro de
seguridad
Respuesta ms rpida e inteligente a
cualquier amenaza
71
Un mercado de Bolsa amercianomejora notablemente el rendimientode su gestin de informacin
Necesidad
Mayor flexibilidad para cumplir las
demandas del mercado
Reducir el tiempo necesario para
acceder a datos crticos de negocio
en su red, que sola ser 26 horas
El anterior sistema era ineficiente
en las bsqueda rastreando
mltiple informacin irrelevante
Beneficios
Capacidad de ejecutar rpidas
bsquedas de 650 Tb ;
almacenando alrededor de 1Pb
El tiempo de acceso a datos
crticos de negocio se ha reducido
de 26 horas a 2 minutos
72
Bureau Salud Asitico reduce errores de diagnstico
Necesidad
El servicio telemdico de diagnstico por imgenes tiene como objetivo aumentar la salud rural
Automaticamente mueve y analiza grandes collecciones de imgnesbuscando anomalas y enfermedades
Hace posible que radilogos y patlogos analicen 1000s imgenes de pacientes cada da
Mejoras esperadas:
Reduccin en errores de diagnstico
Resultados mejorados aprovechando el tratamiento mdico de casos similares
73
El Instituto de la Universidad de Ontario detecta los sntomas de neonatos con anterioridad
Ejecuta analtica en tiempo real utilizando datos fisiolgicos de los neonatos
Correlaciona datos continuamente de monitores mdicos para detectar cambios stiles y alertar al personal mdico antes
El sistema avisa a los cuidadores de posibles complicaciones
Beneficios:
Ayuda a detectar condiciones de amenaza hasta 24 horas antes
Reduccin de mortandad infantil y mejora de los cuidados de los pacientes
74
Una gran organizacin no lucrativa de
I+D conduce una proyecto de
demostracin regional para validar las
tecnologas de smart grid
Necesidad
Reunir y analizar datos del rendimiento de la smart grid de 15 sitios de prueba que representan el terreno, meteorologa, y demografa de la regin para derivar conocimiento y validar las tecnologas smart grid
Beneficios
50% de cadas a corto plazo en horas punta
15% de caidas en picos generales
10% reduccin de las facturas de electricidad (recomendaciones de consumo)
70 mil M$ de ahorros proyectados en 20 aos
Poder analizar 10 Pb en minutos
75
Ayudar a reducir los costes de energa y la fiabilidad y rendimiento de la red
Necesidad
Validar la viabilidad de una tcnica de la smart grid llamada control transactivo
Beneficios
Une a consumidores con activos mediante un sistema de seal-respuesta optimiza el sistema e integrar mejor los recursos renovables
Permite analizar y ganar conocimiento de 10Pb en minutos
Aumenta la eficiencia y la fiabilidad de la red mediante la auto-monitorizacin y feedback
Se capacita a la ciudad para evitar una potencial cada de tensin
75
76
Fabricante de aerogeneradores optimiza inversiones de capital
Necesidad
Definir modelos climticos para optimizar la localizacin de las turbinas, maximizando la generacin de energa y la vida residual del equipamiento
Beneficios
Reduce el tiempo requerido para identificar la localizacin de la turbina de semanas a horas
Reduce los costes de IT y disminuye el consumod e energa en un 40%
Incorpora 2,5Pb de flujos de informacin estructurada y no estructurada. Se espera que el volumen de datos crezca hasta 6Pb76
77
Deteccin de cambios medioambientales de recursos hdricos en tiempo real
Necesidad
Recoger y procesar mltiples flujos de datos fsicos, qumicos, y biolgicvos de sensores instalados en la Baha de Hudson
Los datos de sensores se analizan junto con datos meteorolgicos y se agregan
Los datos medioambientales en tiempo real se entregan en formato estndar a los cientficos, ingenieros, polticos y educadores
Beneficios
Estimula la colaboracin publicando los datos del mundo reales a sistemas externos, investigadores, y polticos
Ayuda a la gestin de recursos a responder ms efectivamente ante cambios en los recursos hdricos locales
7777
78
Centro de la Ciudad de Dublin: sistema de control de trfico robusto y eficiente que
Necesidad
Una solucin eficiente en presupuesto para mejorar el sistema de control de trfico
Su objetivo es incrementar la precisin en deteccin de eventos, inferencia de las condiciones de trfico (velocidad) y prediccin de llegada de autobuses
El resto es analizar adecuadamente los datos GPS, que son normalmente masivos y difciles de capturar
Beneficios
Monitorizar 600 autobuses de 150 lneas diariamente
Analizar 50 actualizaciones de localizaciones de autobs por segundo
Recoge, procesa y visualiza los datos de localizacin de todos los vehculos de transporte pblico
7878
Taller
80
Seleccionamos sectores industriales de inters
12
3
45
6
Definimos la
necesidad,
problema u
oportunidad de
negocio
Identificamos la idea innovadora que nos permite implantar la tecnologa
Listamos los datos estructu-rados y no estructurados
Enumeramos los beneficios o nuevas capacidades de su implantacin
Dibujar
la
arquitec
tura
concep
tual de
la
solucin
81
Valoracin de Ideas
Innovacin FactibilidadTcnica
FactibilidadEconmica
Valoramos del 1 al 10
82
Muchas gracias por su atencin