BIGDATA Analysen mit QlikView II

© 2015 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

Mehrwert aus Vernetzung mit HANA, BWonHANA und HADOOP

BIGDATA Analysen mit QlikView - II

Alexander Götz und Patric Ganter | MHPBoxenstopp: 19.07.2016

© 2016 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 2

19.07.2016 Real-time Visualization Solution Skalierbare Lösung für die Echtzeitanzeige von Daten in

Webanwendungen

Einleitung

MHPBoxenstopp: Big Data Analysen mit QlikView - II

Agenda

Weitere MHPBoxenstopps www.mhp.com/events

Zu Anfang sind alle Teilnehmer auf stumm geschalten.

Wo Sie uns in 2016 auch finden können… www.mhp.com/events

11.00 – 11.05 Uhr Begrüßung Fabian Kehle

11.05 – 11.45 Uhr Vortrag Alexander Götz und Patric Ganter

11.45 – 12.00 Uhr Offene Fragerunde Sie können bereits während der Web Session über die Chat-

funktion im rechten Fenster Fragen einreichen.

www.youtube.de/MHPProzesslieferant www.slideshare.net/MHPInsights

http://www.mhp.com/de/events/aktuell/ ?utm_source=mhpboxenstopp&utm_medium=e-mail&utm_campaign=Unterlagen_Februar=16-028

http://www.youtube.com/MHPProzesslieferant

http://de.slideshare.net/MHPInsights




Ihre Gesprächspartner

Fabian Kehle

Senior Professional

Produkt- und

Innovationsmanagement

Alexander Götz

Manager

Business Intelligence

Patric Ganter

Junior Consultant



Prozesse verbessern kann nur, wer sich im Detail auskennt.

Genauso wie im Großen und Ganzen.


Wir wissen aus Erfahrung,

wie man Ziele erreicht und dabei vorneweg fährt.


Mieschke Hofmann und Partner (MHP)

A Porsche Company


Der Unterschied

Symbiose aus Management- + IT-Beratung l Prozesslieferant l Excellence l Automotive l Kunden

Die Kompetenz Ganzheitliches Beratungsportfolio über die gesamte Wertschöpfungskette

Technology

Services

Application

Mgmt.

Services

Product

Lifecycle

Mgmt.

Supply

Chain

Mgmt.

Production

& Opera-

tions Mgmt.

Customer

Relations

Mgmt.

Finance &

Controlling

Business

Intelligence

After

Sales

Retail

Mgmt.

Human

Resources

Die Leistung

Management Consulting

System Integration

Managed Services

Business Solutions


Ganzheitliches Beratungsportfolio über die komplette Wertschöpfungskette.

Unsere Kompetenzbereiche mit Themenfeldern.


Technology

Services

Application

Mgmt.

Services

Product

Lifecycle

Mgmt.

Supply

Chain

Mgmt.

Production

& Opera-

tions Mgmt.

Customer

Relations

Mgmt.

Finance &

Controlling

Business

Intelligence

After

Sales

Retail

Mgmt.

Human

Resources

Production Planning

Strategic Production

Consulting

Lean Production

Manufacturing

Execution

Maintenance

Retail Service

Management

Retail Consulting

Fleet Management

Sourcing

Planning

Affiliation

Performance

Development & Talent

Management

Governance, Risk and

Compliance

Template

Development and

Rollouts

Business Process

Development &

Optimization

Legal and Fiscal

Requirements

Accounts, Reporting

and Consolidation

System Harmonization

CIO Management

Consulting

Enterprise Content

Management

Standard Software

Individual Software

Application & Process

Services

Application

Management

Consulting

Product Structure

Management

Product Development

Process (PDP)

Management

SAP PLM Consulting &

Solution

Implementation

PTC Windchill Solution

Integration

DS Enovia V6 Solution

Integration

PLM Strategy &

Management

Consulting

Production

Logistics

Procurement & Quality

Sales Logistics

Service Management

Spare Parts

Management

Supply Chain &

Demand Planning

Service Management

Spare Parts

Management

Warranty Processes

(Pro-active) Complaint

Management

Digital incl. Connected

CRM & Social CRM

CRM Strategy &

Management

Consulting

Sales Force

Automation incl.

Mobile CRM

Analytics incl.

Segmentation &

Campaign

Management

Vertical Retail

Integration

(Pro-active) Complaint

Management

BI Technology

BI Strategy

Integrated Corporate

Planning

Analytical Business

Processes

Next Generation BI &

BIG DATA

Mobile BI Scenarios

CRM IT Consulting &

Solution

Implementation

Transition & Change

Management

Administrative Core

Processes

MHP Dealer

Performance

Management

Finance and

Controlling for

Automotive Retailers

Dealer Management

Systems

MHP Carbon

Innovations Connected Vehicle Future City Sustainable

Mobility Digitalisierung

Agenda


1. Einführung

2. Connectivity

3. Statistische Analysen

4. Reporting (Demo)

Agenda


1. Einführung

2. Connectivity


4. Reporting (Demo)

9 © 2016 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

Was ist Big Data?

1. Einführung

Big Data

Velocity


1. Einführung

Qlik Partner

Quelle: Qlik


Qlik - BigData Ansätze

1. Einführung

Verschiedene Ansätze in Abhängigkeit der

Anwendungsfälle und von Datenvolumina

Kombinationen sind möglich

Methoden variieren in Deployment-

Komplexität

Datenvolumen

Anzahl Zeilen

Dimensionen

Kardinalität

Chaining & Segmentation In-Memory

AppOnDemand

+

Direct Discovery



1. Einführung

Source 1 Source 2 Source 3 Source 4 Source 1

Hot Data

Source 3

Warm Data Cold Data

ETL - Tool

Quelle: www.fit-weltweit.de


Welchen Mehrwert bieten die Daten?

1. Einführung

Welche Fragestellungen habe ich?

Was soll mir dieses System liefern?

Wie kann ich darauf zugreifen?

Wie kann ein Szenario aussehen?


Use Case

1. Einführung

Renndaten

(Hadoop)

Fehlerdatenbank,

Streckeninformationen, …

(SAP HANA)

1) Connectivity

2) Statistische Analysen

3) Reporting / User-Frontend

Agenda


1. Einführung

2. Connectivity


4. Reporting (Demo)


Architektur

2. Connectivity

DSO

DSO

SAP-Connector

HANA

Tabelle

HANA

Tabelle

Analytic View

CDS-View

ODBC-Connector


SAP Anbindung (ca. 8 Mio. Datensätze)

2. Connectivity

677 636

405

1029

DSO-Tabelle

(SAP Connector)

AnalyticView

(ODBC)

Direktzugriff auf

HANA-Datenbank

(ODBC)

CDS-View

(SAP Connector)

Durchschnitt (Sekunden)


2. Connectivity

Qlik Connection-Points HADOOP

Quelle: Qlik


HADOOP Anbindung - Architektur

2. Connectivity


HADOOP Anbindung - Anpassung der Hosts-Datei gemäß Infrastruktur

2. Connectivity

In der Hosts-Datei müssen „Mappings“ für IP-Adressen eingetragen werden

(Adminrechte)


HADOOP Anbindung - Konfiguration des MIT Kerberos Tools und Abruf

eines Tickets

2. Connectivity

MIT Kerberos for Windows herunterladen (64 Bit) und installieren

http://web.mit.edu/kerberos/dist/kfw/4.0/kfw-4.0.1-amd64.msi

Vom Administrator bereitgestellte Konfigurationsdatei (krb5.ini) kopieren

Keytab-Datei in einem beliebigen Verzeichnis ablegen







HADOOP Anbindung - Konfiguration des MIT Kerberos Tools und Abruf

eines Tickets

2. Connectivity

Ticket mit folgendem Kommandozeilen-Befehl abrufen

Ticket mittels MIT Kerberos for Windows prüfen (Ticket Manager)


Treiber (64 Bit) herunterladen und installieren (http://de.hortonworks.com/downloads)

Treiber konfigurieren

HADOOP Anbindung - Installation und Konfiguration des HortonWorks

ODBC-Treibers

2. Connectivity

http://de.hortonworks.com/downloads


HADOOP Anbindung - QlikView-Datenabzug mittels Skript

2. Connectivity

„ODBC“ in DropDown auswählen und „Verbinden“ anklicken

Datenquelle wählen und auf „OK“ klicken (Verbindungstest ist nicht notwendig und läuft

oft auf „Fehler“ - Datenabzug funktioniert trotzdem)

„Selektieren“ anklicken und für User berechtigte Tabelle

auswählen (mehr Tabellen sichtbar als freigeschaltet -

Tabellen-Vorschau mit Doppelklick)


HADOOP Anbindung - QlikView-Datenabzug mittels Skript

2. Connectivity

Skript starten um den Datenabzug durchzuführen

Datenabzug

266.603 Datensätze

Ca. 35-50 Sekunden

QVD-Datei ca. 69 MB

Agenda


1. Einführung

2. Connectivity


4. Reporting (Demo)


Einführung


Big Data

Früher: betriebliche Anwendung vieler

statistischer Methoden sehr begrenzt

(aufgrund von fehlenden Daten und nicht

ausreichender Qualität)

Heute: Die Unternehmen sammeln hohe

Mengen strukturierter und unstrukturierter

Daten (Sensoren, Logs, Internet, Soziale

Netzwerke, Transaktionen, Wiki…)

Ab 2010-x: Sehr hohe Mengen (PB-Bereich)

unstrukturierter und semi-strukturierter

Daten - Datenverarbeitung in gängigen SQL-

Datenbanken zu teuer und zeitintensiv (Big

Data)

Neue Geschäftsideen

Großes Potential durch statistische und

quantitative Analysen der Daten:

Data Mining: Erkenntnisgewinn durch Daten,

Clusteranalyse, Korrelationsanalyse,

Ausreißer- und Anomalie-Erkennung

Zukunftsvorhersagen und Klassifikation

Decision Support System: Datengetriebene

Unterstützung oder Automatisierung von

Entscheidungsprozessen (z.B. mit Random

Forest, HMM)

Modellbildung und Optimierung (z.B. Twitter:

Interessenmodellierung)

Recommender Engines: Selbst-adaptierende

Empfehlungsdienste (z.B. Foursquare:

Empfehlung von Restaurants und

Freizeitaktivitäten)

Machine Learning

Künstliches „Lernen“ aus vorhandenen

Datensätzen

Überwachtes Lernen: richtige Vorhersagen

auf dem neuen Datensatz (Klassifizierung,

Regressionsanalyse)

Unüberwachtes Lernen: Erkennung von

Mustern ohne ein im Voraus bekanntes Ziel

(Clustering, Dimensionality Reduction)

Verstärkendes Lernen

Aktives Lernen (On-Line Learning)

Dynamisches Lernen (zeitabhängige

Modelle)


Integration von R


Quellen: Datenbank / DWH /

Hadoop Cluster

Log-Daten,

Historie-Daten

Sensordaten

Internet, Mobile,

Soziale Netzwerke

Connected Car

Internet of Things

Streaming-Daten

Eventbasierte

Daten

RDBMS – Daten

(z.B. CRM,

Finanzen)

Unstrukturiert

Strukturiert

Qlik View Applikation

Datenmodell

Transformation

Selektion

Vorverarbeitung

Datenmodell

User Interface

Interaktive Analyse

Selektion

Ergebnisdarstellung

Frontend

Statistik-Berechnungen

Predictive Algorithmen

Grafiken

R-Rechenkern

Rohdaten

Strukturierte,

vorverarbeitete

Daten

Kausalitätsmodell,

Entscheidung,

Vorhersage, erkannte

Anomalien...


Generelle Architektur



Zielsetzung von statistischen Analysen


Identifikation von zwei oder mehr Benutzergruppen basierend auf ähnlichen Charakteristiken

Identifikation und Analyse der Ausreißer und Anomalien (inkonsistente Daten, nicht funktionierende

Geräte, E-Mail Spam)

Vorhersage von Zielvariable mithilfe der vorhandenen Metriken und vorhandenen Daten

Ermittlung der Faktoren mit der größten Auswirkung auf die Zielvariable

Vorschlag von Empfehlungen auf Basis der bekannten Charakteristika des Benutzers


Integration von R


Datentransformation,

-konsolidierung

Selektion und

Vorverarbeitung

Analytics

Data Mining

Evaluierung und

Interpretation


Integration


Ausgangssituation: Signaldaten aus dem Race Lab von verschiedenen User-Fahrten

Beispiel nach Qlik View Transformation (Bereinigung der Variablenbezeichnungen,

Berechnung neuer Variablen, Aufteilung der Strecke in Sektoren)

Über 100 Variablen / Merkmale

Daten Zeit runID Val1

… … …

… … …

… … …

… … …

… … …

mfuel mfuelcapacity mgear msteeringshafttorque munfilteredthrottle PosX PosY PosZ

-0.00440985 46,1054 90 4 543.664 1.0 -11,2659 -3,92036

-0.00440985 46,1058 90 4 577.432 1.0 -11,3411 -3,91986

-0.00440985 46,1065 90 4 418.904 1.0 -11,4918 -3,91909

-0.00440985 46,1068 90 4 33.472 1.0 -11,5673 -3,91877


Integration


Qlik View:

Berechnung neuer Variablen (e.g. Sektoren, Zeitintervall, Beschleunigung)

Identifikation und Entfernung fehlerhafter Sessions

R: Aggregation der Daten nach Runde (Transformation der Längsschnitt- in die

Querschnittsdaten):

Berechnung einer Vielzahl von Metriken für jede Runde

Ergebnis-Tabelle: Zeilen: Entsprechen einer Runde

Spalten: Diverse Variablen berechnet für diese Runde (unter andem den Mittelwert jeder

Variable aus der Ursprungstabelle für die jeweilige Runde)

Ergebnisstabelle über 200 Spalten (nur ein kleiner Teil wird verwendet)

userCount runuuid finalLapTime SpeedPerLapMaxFuelDiff wheel_fr_mtemperature_m_meanmfilteredbrake_meanwheel_rr_mcamber_meanwheel_fr_mflat_meanwheel_rr_mbrakepressure_meanwheel_fr_mwear_mean

0 EF98AD69-E7BF-4DA3130.454 214.723 90.323 NaN 0,44981012 2,64E-09 NaN 0,16000686 0,92388766

0 EF98AD69-E7BF-4DA3697.456 216.687 1.714 NaN 0,19880028 -5,02E-10 NaN 0,0625263 0,91129207




Typische Fallstricke


Problem: Daten können fehlende oder konstante Werte enthalten

Entfernen der NaN-Werte, Spalten ohne Varianz, Behandlung der kategorischen

Variablen

Problem: Daten enthalten Variablen mit wenig relevanten Variablen

Entfernen der Variablen ohne / mit geringer Varianz

Entfernen falscher Prädiktoren

Selektion der Variablen je nach Aufgabenstellung (manuelle Auswahl,

Korrelationsanalyse, Varianz, PCA …)

Dimensionen sind nicht vergleichbar

Skalierung / Normierung der Werte je nach Methode


Deskriptive Statistik

Veränderung der Rundenzeit bei gleichem User


Starke Verbesserung ggü. 1. Runde

(Start + Eingewöhnung)

Stetig weniger Verbesserung ab

2. Runde


Korrelationsanalyse


Drehzahl + Max-Speed

Spritverbrauch + Bremsen

Drehzahl (je Speed) + Speed pro Runde


Ähnlichkeitsanalyse


Prüfung auf ähnliches Verhalten der Fahrer.

Die roten Markierungen geben an wie

ähnlich sich die Fahrer sind.


Clusteranalyse


Prüfung hinsichtlich Fahrverhalten (bspw.

sportliche, vorsichtige, rücksichtslose

Fahrer, bzw. Ausreißer)


Vergleichsanalyse


Rechts: Beste Runde

Links: Ausgewählte Runde

Variable: Geschwindigkeit

Farbe: Gang

Bester Fahrer hat 5. Gang

nicht benutzt


Vergleichsanalyse


Rechts: Beste Runde

Links: Ausgewählte Runde

Variable: Drehzahl

Farbe: Gang

Agenda


1. Einführung

2. Connectivity


4. Reporting (Demo)


Ihre Ansprechpartner


Alexander Götz

Manager


Mobil: +49 (0)151 4066 7209

E-Mail: [email protected]

Patric Ganter

Junior Consultant


Mobil: +49 (0)151 4066 7895

E-Mail: [email protected]


MHPTimetable 2016

Weitere Infos

www.mhp.com/

events

Mit nur einem “Klick” zur MHPBoxenstopp Anmeldung

Haben Sie einen MHPBoxenstopp verpasst? Kein Problem - in unserem MHP YouTube-Channel und auf unserem SlideShare

Profil finden Sie alle vergangenen Websessions:

Mitschnitte und Videos im Channel: Präsentationsunterlagen:

http://www.youtube.com/MHPProzesslieferant http://de.slideshare.net/MHPInsights

MHPBoxenstopp

Real-time

Visualization

Solution

13-14 Uhr | 19.07.16

http://www.mhp.com/events

http://www.mhp.com/events







