New Business Intelligence Big Data Computing in der Cloud Rosenheim, 4. November 2013 Henrik Kemmesies

New Business Intelligence

Big Data Computing in der Cloud

Rosenheim, 4. November 2013Henrik Kemmesies

Henrik Kemmesies, QAware 204. November 2013

Motivation: New Business Intelligence

Megabyte

Gigabyte

Terabyte

Petabyte

100

10

1

100

10

1

100

10

1

100

10

1

100

10

1

ExabyteDas Internet

Facebook

Der Google Index

Alle Schriften der Menschheit

Speichervermögen desmenschlichen Gehirns

Aktuell durchschnittliche Datenmenge in Unternehmen.

Schmerzgrenze klassischer relationaler Datenbanken.

Offshore-Leaks-Daten

Es entsteht eine neue BI-Architekturgeneration, die mit großen und vielfältigen Datenmengen umgehen kann.



Megabyte

Gigabyte

Terabyte

Petabyte

100

10

1

100

10

1

100

10

1

100

10

1

100

10

1

Exabyte

New

Bu

sin

ess

Inte

llig

ence

(N

ew B

I)

Kla

ssis

che

BI

Big

Dat

a

Big DataVerarbeitung großer Datenmengen durch:verteilte und hochgradig parallelisierte Verarbeitung.verteilte und effizient organisierte Datenablagen.

New BI = BI mit Big Data Technologien

Damit werden zusätzliche Daten für die BI erschlossen, die mit klassischer BI nicht handhabbar sind:groß: Großes Datenvolumen.schnell: Daten entstehen mit hoher Geschwindigkeit und müssen schnell weiterverarbeitet werden. vielfältig: Daten in vielfältiger Form aus vielfältigen Quellsystemen. dynamisch: Hohe Dynamik der Daten bzgl. ihrer Struktur

New BI ist ein Ersatz für die klassische BI und kann auch mit Small Data umgehen.

NutzenKennzahlengestützte und faktenbasierte Entscheidungs-findungBessere Unter-nehmenssteuerung und Informations-versorgung

Die Technik hinter NewBI ist grundverschieden zur klassischen BI – entstanden im Open-Source-Ökosystem.



User Interface

Staging Area

Data Warehouse

ETL

ETL

Data Science

Analytics Engines

Realtime Batch

Interactive Analysis Reporting & Dashboards

Data Sources

Mächtige Algorithmen undSprache als Open Source Bausteine.

NewSQL Datenbanken:SQL für große Datenmengen.Sharding (Datenverteilung)Verteilte und parallelisierte VerarbeitungSpaltenorientierte SpeicherungDatenkompressionPartitionierungIn-Memory ComputingEffiziente Indizes

Ein zentraler Data Hub:NewSQL oder NoSQL.

Business Infographics & Data Visualization Werkzeuge zu geringen Lizenzkosten und ohne Lock-In für Power User.

…

Dateibasierte Staging-Area als ewiges Gedächtnis.Verteiltes DateisystemIntegrierte Kompression

Individuelle BI-Apps mit mächtigen Open Source Charting Bibliotheken statt teurer Reporting Server.

D3

Leichtgewichtige Workflow-Steuerung

Effizient zu entwickelnde Jobs

MassiveParallelisierung

Pig Open Studio

Leistungsfähige Visualisierungen sind frei verfügbar und können in jede Web-App integriert werden.



NewBI in der Praxis: T-Online Business Intelligence


Kennzahl Wert

Datenvolumen im DWH mit Daten vom 15.8. bis 22.10.

500,87 GB

Datensätze im DWH mit Daten vom 15.8. bis 22.10.

1.751.960.156

Anzahl Dimensionen 6

Anzahl Fakten 5

Entwicklungsdauer 3 Monate

Rohdaten: CSV, XML, JSON

Sources:

Staging Area: CSV

Business Intelligence Environment

Data Warehouse

E3E2E1 En

T3T2T1 Tn

L3L2L1 Ln

Extract

Transform

Load … usw. …

… usw. …

… usw. …

Analysen

Data Science Analytics Reporting Dashboards

ET

L-S

teue

rung

GoogleBig Query

Jenkins

Google Cloud Storage

Spr

ing

Bat

ch

JSP / Flot

ATI Targeting Searchmetrics AdServer

Tableau

A B C D

Datenanalyse in der Cloud mit Google Big Query:Besucheranzahl aufgeschlüsselt nach Geschlecht und Tag.



Liegt das BI-Datenmodell vor, dann sind Auswertungen mit BI-Frontends oder mit Charting-Libs schnell erstellt.



Visualisierung mit Tableau: geographische Verteilung von Benutzern, differenziert nach Geschlecht:



Fazit


Klassische BI und NewBI im Vergleich: New BI macht BI zum Allgemeingut.



Eigenschaft Klassische BI NewBI

Konzeptionelle Grundlage OLAP OLAP

Lizenzkosten I.d.R. sehr hoch durch viele kommerzielle Werkzeuge: Vom ETL-Werkzeug über die Datenbank hin zum BI-Frontend.

Gering durch hohen Anteil an Open-Source-Bausteinen. Kommerzielles Analyse-Frontend ratsam (ca. 1,5k€ pro Power User – ca. 10% der Nutzerbasis).

Vendor Lock-In Geprägt von „rundum glücklich“ Stacks großer Hersteller.

Mehr Freiheit bei der Wahl des richtigen Tools für den Job. Viele Bausteine sind Open Source.

Datenvolumen Bis zu 1 TB möglich mit hohem Aufwand für DB-Optimierung und hohen Hardware-Kosten durch vertikale Skalierung.

Datenvolumen nur durch verfügbaren Speicherplatz und Anzahl an Rechnern begrenzt. Horizontale Skalierung auf billiger Standard-Hardware.

Zielgruppe Management um strategische Entscheidungen fällen zu können.

Alle Hierarchieebenen für operative, taktische und strategische Entscheidungen.

Reife Sehr reife Technologien, die jahrelang erlernt sind und sich im produktiven Einsatz bewährt haben.

Die Technologien sind größtenteils produktionsreif und haben eine aktive Community. Sie sind aber noch nicht jahrelang erlernt & erprobt. Es gibt aber bereits einige Erfolgsgeschichten.

Anreicherung von bestehenden IT-Systemen um BI-Funktionalität

Mit hohen Lizenzkosten verbunden oder individuell entwickelt als „frickelige“ Reports.

Direkt möglich über SQL-Abfragen und Darstellung über JavaScript Charting Bibliotheken.

Die Hürden sinken: Datenvolumina, Heterogene Daten, Lizenzkosten, Herstellerbindung

Diskussion


Fragen?

Anmerkungen?

Backup


Extraktion, Transformation und Laden der Daten: die Steuerung übernimmt ein Jenkins.



Documents

New Business Intelligence Big Data Computing in der Cloud Rosenheim, 4. November 2013 Henrik Kemmesies