Business intelligence y Big Data en la ciudad

Business Intelligence y Big Data en la ciudad: Usos y Tecnologías

José Ramón Rodríguez

Director del Máster y los programas de BI y Big Data Universitat Oberta de Catalunya (UOC)

Noves estratègies d’evolució urbana: la planificació urbana intel·ligent Barcelona, Mayo 2015

“We need to think big, because technology alone will not create a better world”

(Eden Medina)

Jacobin, 17, Spring 2015

Dos conceptos muy próximos

Amazon.co.uk, 1 Mayo 2015

Contenidos

• Qué es y como funciona

o “Business Intelligence”

o Big Data

• Actualidad del BI y el Big Data

• Aplicaciones en la ciudad

oOpen data

• Actualidad y proyecciones

• Pensamientos finales

¡Gracias!

¿Qué es “Business” Intelligence?

Mates

Tecnología

La ciudad

SABIDURÍA

CONOCIMIENTO

INFORMACIÓN

DATOS

Usar datos de ayer y de hoy para tomar mejores decisiones para mañana (¡y para hoy mismo!)

De la información al conocimiento

DATOS INFORMACION CONOCIMIENTO

DIMENSIONES Eventos Tendencias Experteza

FORMA Transacciones Patrones Aprendizaje

TIPO DE TAREAS Representación Manipulación Modelado

FACTOR HUMANO

Observación Juicio Experiencia

PROPÓSITO Automatización Toma de decisiones

Acción y participación

VALOR Registro, rapidez, seguridad

Reducción de la incertidumbre

Comprensión y creación

Las organizaciones basadas en la información son capaces de convertir los datos en información y la información en conocimiento

El ciclo de vida de la información

MEDIR

COMPARAR

REPORTAR

ANALIZAR

PREDECIR

AVISAR

EXPERIMENTAR

COLABORAR

RECOMPENSAR

SABER

Usos estratégicos de la información

• Obtener mejor información de los clientes, proveedores, socios e interesados

• Añadir valor a los productos, servicios y procesos actuales

• Crear nuevos productos, servicios, usos, canales, ofertas y precios

• Crear nuevos negocios y modelos de negocio y transformar mercados enteros

• Realizar continuamente experimentos

• Facilitar la toma de decisiones descentralizada y aplanar las estructuras

• Potenciar la colaboración interna y premiar la innovación

• Facilitar la colaboración externa, con proveedores o clientes, o de socios de negocio

• Maximizar la gestión del talento

La fábrica de información

Datos maestros

Big Data (“datos masivos”) TIPOLOGIA EJEMPLOS

Not so Big Data UOC 20.000 estudiantes conectados al día

Big Data Wal-Mart 8500 tiendas (4253 en los EEUU) 100.000.000 consumidores por semana

(Very) BIG DATA Twitter 255.000.000 usuarios activos al mes 500.000.000 de tweets al dia Google 1.170.000.000 usuarios haciendo 12.900.000.000 de búsquedas al mes

Extreme Information Management (Gartner)

Big Data: las 3 Vs • Volumen

Terabytes (1 Tb = 1000 Gb)

• Velocidad Tiempo real

• Variedad Datos estructurados y no estructurados: redes sociales, sensores, texto sin formato, geoespaciales, audio, imágenes y vídeos.

– No es necesario que se cumplan las tres condiciones.

– La tecnología tradicional de BI no puede procesar rápida y fácilmente estos volúmenes y tipos de datos.

– Pero el BI tradicional y las tecnologías Big Data conviven.

– Es necesario pensar por qué y para qué decidimos usar sistemas de Big Data y cuál es el retorno de la inversión.

Mayor complejidad y costes • Infraestructura física redundante

Alto rendimiento, disponibilidad, escalabilidad, flexibilidad… Infraestructura distribuida y virtualizada en la nube

• Mayor infraestructura de seguridad Acceso a los datos y aplicaciones, encriptación, anonimización, detección de amenazas…

• Nuevas bases de datos operacionales Relacionales (SQL) y no relacionales (NoSQL) Orientadas a documentos, grafos, clave-valor, en columna…

• Nuevas herramientas y servicios para organizar los datos Herramientas de optimización y reducción de la dimensionalidad (ej. MapReduce)

• Almacenes para tratar los datos de siempre y los nuevos Integración del almacén tradicional y los nuevos entornos de Big Data

• Nuevos sistemas de aplicaciones y herramientas de análisis Sistemas de ficheros distribuidos (ej. Hadoop)

Presencia en el mercado

Gartner, G00263798, 2014

Gobernanza del BI

Desarrolla-dores de

modelos e integración

de datos

Analistas de datos

Facilitadores y Usuarios avanzados

Arquitectos y desarrolladores

de soluciones

Gestores de proyectos

de BI

Gestores de proyectos

de BI

Arquiectos, constructores y

parametri- zadores

Administradores de Bases y

Repositorios de Datos

Muchos roles y profesiones en una gobernanza compleja

Muchos departamentos y actores internos Muchos actores e intereses externos Dinámicas de poder Falta de formación y capacidades

Un cambio de mentalidad: de la opinión a los datos

«In God we trust. All others must bring data»

W. Edwards Deming

Contenidos



o Big Data



o Open Data



La primera fuente de inversión

Fuente: Gartner, Encuesta a CIOs, 2014

Grandes y pequeños jugadores

Compañías Volumen de ventas IBM 1.360

HP 869

Dell 652

SAP 545

Teradata 518

Oracle 491

SAS 480

Palantir 418

Accenture 415

PricewaterhouseCoopers 312

Ventas de las Top 10 10.385

Ventas del resto 20.000

Fuente: Signals and Systems Report, Junio 2014. Millones USD.

Gap entre la demanda y la oferta de profesionales

McKinsey Global Institute, 2011

Demanda registrada

Profesiones Demanda registrada

Analytics jobs 249.310

Big Data jobs 544.323

Business Intelligence jobs 29.891

Data Science jobs 95.392

BI Software Development jobs 83.468

Statistics jobs 72.474

Fuente: www.icrunchdata.com. Consultado el 21 Octubre 2014

http://www.icrunchdata.com/

“La profesión más sexy del siglo XXI”

“Gran parte del entusiasmo actual por los big data se enfoca en la tecnología. Aunque la tecnología es importante, como mínimo es igual de importante la gente con las capacidades (o la mentalidad) para usarla. Y en este frente, la demanda es mayor que la oferta.”

T. Davenport (Oct. 2012)

Y esto sólo acaba de empezar

Fuente: Gartner. Hype-Cycle para BI. 2014.

Contenidos



o Big Data



o Open Data



¿Para qué sirven las Smart Cities?

Euro

pea

n C

har

ter

for

Safe

guar

din

g H

um

an R

igh

ts in

th

e C

itie

s

Ciudad como facilitador

Jarmo Eskelinen (Helsinki), Smart City Expo 2014

Open Data

Wikipedia, Tungsten Tide, 2014

"Being comfortable as a facilitator of city outcomes rather than a deliverer of services..."

Stephen Hilton, Bristol City Council, UK

• Identifiers for everything of interest

• Identifiers that are universal, context independent

• Identifiers that are routeable

• Open data about the things of interest

• Not bounded datasets in a centralised platform, but a pervasive web of city data

• The data web is the platform

Tom Heath. Open Data Institute, 2014.

Cómo funciona

Usos estratégicos de la información en la ciudad

• Los mismos que cualquier empresa.

• Transparencia y responsabilidad.

• Proximidad y mejora de la atención al ciudadano.

• Aumentar y facilitar la participación.

• Innovación y creación de valor económico.

• Facilitar la colaboración.

• Eficiencia y reducción de costes propios, de los ciudadanos y de las empresas.

• Eficacia y mejora de los servicios públicos.

• Transformación de la planificación urbana.

• Realizar continuamente experimentos (living labs).

Información y oferta personalizada

Hila

Ore

n (

Tel A

viv)

, Sm

arti

Cit

ies

Wo

rld

Exp

o, 2

01

4

Participación

E. S

and

ers

on

(N

Y), S

mar

ti C

itie

s W

orl

d E

xpo

, 20

14

Eficiencia y ahorro de costes

E. S

and

ers

on

(N

Y), S

mar

ti C

itie

s W

orl

d E

xpo

, 20

14

J. Belissent (Forrester), Smart City World Expo, 2014.

Protección del medio ambiente

B. M

oh

len

dic

k (C

olo

gne

), S

mar

t C

ity

Wo

rld

Exp

o, 2

01

4

Mejora de los servicios

B. M

oh

len

dic

k (C

olo

gne

), S

mar

t C

ity

Wo

rld

Exp

o, 2

01

4

IBM, Curam, 2014

Planificación urbana

Go

h C

hye

Kia

ng

(Sin

gap

ore

), S

mar

t C

ity

Wo

rld

Exp

o, 2

01

4

Medir y compararse

La fábrica de información en la ciudad

Barcelona Smart City Strategy, 2013

El cuadro de mando de la ciudad

R. K

itch

in, G

. McC

ard

le (

Du

blin

), S

mar

t C

ity

Wo

rld

Exp

o, 2

01

4

Contenidos



o Big Data



o Open Data



Prioridades de inversión

Gar

tne

r, C

IO A

gen

da:

a G

ove

rnm

ent

Pers

pec

tive

, 20

15

Potencial de beneficios


Infraestructuras es la prioridad global

2,5%-3% “Smart”:

100 Bn USD

Para

g K

han

na,

Sm

art

Cit

y W

orl

d E

xpo

, 20

14

Smart City, desarrollo lento

Gat

ner

, Hyp

e-C

ycle

fo

r Sm

art

Cit

ies,

20

14

Captura de beneficios


McK

inse

y G

lob

al In

stit

ute

, 20

11

Complejidad

CityProtocol.org

Complejidad

Barcelona, Institut Municipal d’Informàtica, 2004

Principales barreras

Desconfianza sobre privacidad

El “spaghetti” heredado

Jarm

o E

skel

inen

(H

elsi

nki

), S

mar

ti C

itie

s W

orl

d E

xpo

, 20

14

Estrategias Top-Down

Ro

b M

eick

le, (

Toro

nto

), S

mar

ti C

itie

s W

orl

d E

xpo

, 20

14

Innovación “combinatoria”

Fran

k K

resi

n, S

mar

t C

ity

Wo

rld

Exp

o, 2

01

4

Contenidos



o Big Data



o Open Data



Pensamientos finales (I) • La inteligencia de negocio y los datos masivos son la mayor fuente de

inversión, empleabilidad y creación de empresas en todo el mundo y ha venido para quedarse en cualquier sector de actividad.

• El proceso global de urbanización son el mayor reto demográfico, económico y político de los dos últimos siglos. La construcción de infraestructuras para la ciudad es la mayor fuente de inversión actual futura. Una parte significativa de esta inversión se dedicará a la introducción de tecnologías inteligentes.

• Las ciudades presentan un potencial de beneficios del uso de estos procesos y sistemas superior a la mayoría de las industrias, en especial los datos masivos y abiertos, la geolocalización, la movilidad y la internet de las cosas.

• El uso intenso e inteligente de la información puede permitir mejorar los servicios y la eficiencia y facilitar la transparencia, la participación y la innovación… O puede aumentar la ineficiencia, la desigualdad y el control autoritario.

Pensamientos finales (II) • Las mayores barreras para la implantación de la inteligencia de negocio en

los gobiernos locales tienen que ver con la cultura de toma de decisiones, la resistencia al cambio, las dificultades para la gobernanza y la colaboración dentro y fuera de las organizaciones, la complejidad de los sistemas informáticos heredados y la falta de talento analítico.

• Las estrategias exitosas de implantación de la inteligencia de negocio y de otras tecnologías en la Smart City, son una combinación de

– Iniciativas gubernamentales de largo alcance

– Gestión del cambio, talento analítico y capacidad de ejecución

– Espacio para la innovación y experimentación de las empresas y la comunidad

– El empuje y exigencia de los ciudadanos y los movimientos sociales

• La inteligencia de negocio y el uso de datos para tomar decisiones y mejorar los servicios no será posible sin acciones contundentes de protección de la privacidad y la seguridad, que ganen la confianza de los ciudadanos.

Contactos Autor [email protected] http://informatica.blogs.uoc.edu/author/jose-ramon/ Blogs http://informatica.blogs.uoc.edu/category/business-intelligence-2/ http://openthoughts-analytics.blogs.uoc.edu/ Nuestros programas de BI y Big Data: http://business-intelligence.uoc.edu Nuestros programas de Gestión de la Ciudad: http://estudios.uoc.edu/es/masters-posgrados-especializaciones/gestion-ciudad-urbanismo La Universitat Oberta de Catalunya: http://www.uoc.edu/portal/es/index.html

mailto:[email protected]

http://informatica.blogs.uoc.edu/author/jose-ramon/



http://informatica.blogs.uoc.edu/category/business-intelligence-2/







http://openthoughts-analytics.blogs.uoc.edu/




http://business-intelligence.uoc.edu/




http://estudios.uoc.edu/es/masters-posgrados-especializaciones/gestion-ciudad-urbanismo










http://www.uoc.edu/portal/es/index.html

http://www.uoc.edu/portal/es/index.html

Data & Analytics

Business intelligence y Big Data en la ciudad