Embed Size (px)
Citation preview
//Rebuild
Hätte ich auf der Titanic überlebt?
BigData Analysis End-To-End
Olivia Klose
Technical Evangelist, Microsoft
@oliviaklose
Sammeln
Analysieren
Konsumieren
Speichern
Was war? Was ist? Was wird?
Advanced Analytics – Beyond BI
What happened?
Why did it happen?
What will happen?
How can we make it happen?
Traditional BI Advanced Analytics
Was war? Was ist? Was wird?
Sensordaten im Geschäft
Sensordaten im Geschäft
ID Kunden ID Interaktionsdaten x- & y-KoordinatenProduct ID
Sensordaten im Geschäft
Display ID Display Name x-Koordinaten y-Koordinaten
Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
Produkte
Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
Produkte
JoinNach Beliebtheit
sortieren
Hadoop
HDInsight
HDInsight
Azure Management Portal
http://manage.windowsazure.com
HDInsight
HDInsight
HDInsight
Was sind die 5 beliebtesten Produkte?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Beliebtheit sortieren
Orchestrieren?
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Beliebtheit sortieren
Orchestrieren?
Azure Data Factory
C#
MapReduce
Hive
Pig
Stored Procedures
Azure Data Factory
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables Nach Beliebtheit sortieren
Azure Data Factory
Kunde +
Produkt
Produkt-
positionen
Sensordaten
Top 5
ProdukteJoin 2 Tables
Nach Beliebtheit sortieren
In SQL DB
kopieren
Azure Data Factory
Datasets
Pipelines
Pipeline #1
Pipeline #1
Pipeline #1
Pipeline #1
Linked Services
Linked Service #1
Linked Service #2
Linked Service #3
Pipeline #2
Und was kam raus?
Sammeln
Speichern
Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsight Machine
Learning
Cortana
Was war? Was ist? Was wird?
Echtzeitdaten von Geschäften
Azure Stream Analytics
Azure SQL DB
Azure Event Hubs
Azure Tables
Azure Blob StorageAzure Blob
Storage
Azure
Event Hubs
Reference
DataQuery runs continuously against
incoming streams of events
Events
Optionally, have a defined
schema and are temporal
(sequenced in time)
Azure Stream Analytics – Query
Azure Stream Analytics – Query
Azure Stream Analytics – Query
Azure Stream Analytics – Query
Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt
Azure Stream Analytics – Zeitfenster
Tumbling Window Hopping Window
Sliding Window
Azure Stream Analytics
Beliebte Produkte? In Echtzeit.
Wann, was,
wieviele
Sensordaten Event-Hub
Stream
Analytics
Dashboard
Gespeichert in SQL DB
Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsight Machine
Learning
Cortana
Was war? Was ist? Was wird?
Was ist Machine Learning?
“The goal of machine learning is
to program computers to use
example data or past experience
to solve a given problem.”
Introduction to Machine Learning, 2nd Edition, MIT Press
Machine Learning – Warum?
1.Zu komplex:
Man kann es nicht programmieren.(z.B. Natural Language Processing, Handschrifterkennung, Computer
Vision,…)
2.Zu viel: Man kann es nicht skalieren.(z.B. Spam & Betrugsaufdeckung, Medizin)
3.Zu speziell: Man will
personalisierte Programme schreiben.(z.B. Amazon, Netflix)
4.Autonomes Lernen(z.B. Robotik)
Azure Machine Learning
Machine Learning für alle
Unternehmen, Data Scientists,
Entwickler, Analysten und Nutzer
überall auf der Welt zugänglich machen
Azure Machine Learning
HDInsightSQL Server VMSQL DBBlobs & Tabellen
Cloud
Desktopdateien
Exceltabelle
Andere…
Lokal
ML
Studio
IDE für MLWeb Service
M
MonetarisierenSpeicherkonto
Azure Machine Learning
Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Data Factory HDInsight Machine
Learning
Cortana
Dashboard
Wrap Up
Was haben wir gemacht?
Was war? Was ist? Was wird?
Speichern
Sammeln Analysieren Konsumieren
Sensordaten Event-Hub
Stream
Analytics
Blob SQL DB
Dashboard
Data Factory HDInsight Machine
Learning
Cortana
Machine Learning
Muss ich jetzt
Machine Learning lernen?
Azure Marketplace – Empfehlungsdienst
Build
Was ist neu?
Azure Data Lake
http://azure.com/datalake
Machine Learning API
http://gallery.azureml.net
Project Oxford
http://projectoxford.ai
Kostenloses E-Book
http://aka.ms/MLbook
Blog-Serie zu Machine Learning
http://aka.ms/MLSerie
Kostenlose Video-Serie zu Azure ML
http://aka.ms/AzureML-MVA
Weitere Informationen
http://aka.ms/startHDInsight
http://aka.ms/MVABigData
http://aka.ms/startADF
http://aka.ms/startASA
http://aka.ms/MLserie
http://aka.ms/AzureML-MVA
http://aka.ms/TechWiese
