Architectures lambda - Techdays camps 2015

AMBIENT INTELLIGENCE

#mstechdays techdays.microsoft.fr

techdays•2015camps

Architectures LambdaMichel Hubert / Georges Damien@michelhubert @georges_damien

tech.days 2015#mstechdaysArchitecture Lambda

About me

• Michel HubertDirecteur Technique chez CellenzaMVP AzureMicrosoft P-Seller

About me

• Georges DamienConsultant chez Cellenza

Agenda Architectures Lambda Définition Le Temps réel Event Hub Stream Analytics Le Batch Data Factory HD Insight Machine Learning

Introduction

« La meilleure façon de prédire le futur est de regarder le passé et le

présent ! »

Pourquoi les architectures lambda ?

IntroductionHistoriquement, le BigData est une suite logique de la B.I.Donc on a appliqué les techniques de la B.I. : Le BatchCe n’est pas plus suffisant !

Des flux de données à prendre en compte en temps-réel

Des historiques très volumineux qui recèlent de la valeur

Pourquoi les architectures lambda ?

De quoi parle-t-on ?Architecture lambda ?

Principe de baseLa base de données classique :Ex d’une action utilisateur (changement d’adresse) :

Chaque update écrase des données précédentes !

Architecture basée sur des données immuables

UPDATE

Principe de baseStockage immuable :La mort de l’update, vive l’insert !

Toute autre information peut être dérivée/reconstruite à partir de ces données brutes

Architecture basée sur des données immuables

Big Data + Temps réelQuels cas d’usage ?

Réponse MicrosoftPresentation and action

Storage andBatch Analysis

StreamAnalysis

IngestionCollectionEvent production

Event hubs

Cloud gateways(web APIs)

Field gateways

Applications

Legacy IOT (custom protocols)

Devices

IP-capable devices(Windows/Linux)Low-power devices (RTOS)

Search and query

Data analytics(Power BI)

Web/thick client dashboardsEvent Hubs

SQL DB

HD Insight

Power BI

Storage Blobs

Stream Analytics

Devices to take action

MachineLearning

more to come…

ScénarioPrenons un scénario Exemple :Site eCommerce / Retail

Quels gains ?• Analyse temps réel des comportements,• Calcul du Taux d’abandon de panier,• Prévision de stock• Détection de Fraude• Analyse d’une campagne marketing• Quels produits ne déclenchent pas d’achat ? Problème de stock ? De

prix ?

Architecture Lambda

Event Hub

La Master Data

Azure Service BusAzure Service

BusRelay

Notification Hub

Event Hub

NAT and Firewall Traversal ServiceRequest/Response ServicesUnbuffered with TCP ThrottlingMany publishers and many consumers to communicate over a FIFO like channel. (Competing consumers and Queue-based Load leveling scenarios)

Pub / Sub communication channel. Each Consumer subscribes to a copy of message

High-scale notification distributionMost mobile push notification servicesMillions of notification targets

EventHub Event Hub vs Topics / QueuesBus de messages

Topics / Queues Event Hub

Event HubPrincipe général

Event Producers

Azure Event Hub

> 1M Producers> 1GB/sec Aggregate Throughput

Up to 32 partitions via portal, more on

request

Direct

PartitionKeyHash

Consumer

Group(s)

Receivers

AMQP 1.0Credit-based flow controlClient-side cursorsOffset by Id or Timestamp

Event HubEnvoi des donnéesChaque Event Hub a un nombre déterminé de partitionsChaque événement possède une clef de partition, assignée à une partition en sortie

Partition 1

Partition 2

Partition “n”

Event 1PartitionKey=

Publication de message .Net / AMQP

Publication de message via HTTP<protocol>://<namespace>.servicebus.windows.net/<eventhubname>/publisher/<partitionkey>/messages

Event HubConsommation des données

Partition 1

Partition 2

Partition “n”

Event 1Pkey = A

Event 2Pkey = B Receiver 6

Receiver 2

Worker “n”

Receiver 1Receiver “n”

Worker 1

Chaque consommateur (worker) se connecte à l’Event Hub, et reçoit les messagesOn met en place un receiver pour chacune des partitions attendues

Event HubConsommation multiple

On met en place des groupes de consommateurs lorsque plusieurs applications consomment un même flux

Partition 1

Partition 2

Partition “n”

Consumer Group C

Callback for prtn. 6

Worker “n”

Callback “n”

Worker 1Consumer Group B

Worker “n”

Callback “n”

Worker 1Consumer Group A

Worker “n”Callback for prtn. 6

Callback “n”

Worker 1

IEventProcessorIEventProcessor

IEventProcessor

Architecture Lambda

Démo : Event Hub

Stream Analytics

Données en mouvement« Complex Event Processing »

Données au reposStream Analytics

SELECT count(*) FROM ParkingLotWHERE type = 'Auto' AND color = 'Red'

Question“Combien de voitures rouges dans le parking?”

Répondre avec une base de donnée relationnelleMarcher jusqu’au parkingCompter les véhicules qui sont: Rouge, Voiture

Données en mouvementStream AnalyticsLa question est différente“Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans la dernière heure?”

Répondre avec une base de donnée relationnelleS’arrêter, faire se garer toutes les voitures qui arrivent pendant l’heure dans un parking, les compter

Pas la meilleure des solutions…

L’avantage définitif

SELECT count(*) FROM A-10WHERE Type = ‘Voiture’ and Color = ‘Rouge’GROUP BY TumblingWindow(hour, 1)

La question est différente“Combien de voitures rouges sont passées au marqueur 18A sur l’A-10 dans la dernière heure?”

Agrégation temporelle – SQL LikeTumblingWindow(minute,5) HoppingWindow(minute, 10 , 5)

SlidingWindow(minute, 3)

tech.days 2015#mstechdays

Stream Analytics

Architecture Lambda

Démo : Stream Analytics

Data Factory

Une usine à données

M I C R O S O F T C O N F I D E N T I A L – I N T E R N A L O N LY

Azure Blob Storage Azure DB

Raw Materials Acquire Raw Materials

Transform raw materials into “finished goods” Deliver

Data Sources Ingest Transform & Analyze Publish

Last Name First Name Country Age …Flasko Mike Canada 32

Anand Subbaraj USA 30

Gaurav Malhotra USA 72

… …. …. ….

Last Name First Name At risk of churning ….

Flasko Mike Yes

Anand Subbaraj No

Gaurav Malhotra Yes

… ….

Raw Materials “Finished Good”

Predict customer churn

Azure Blob Storage

Call Log Files

Customer Table

On Premises Data Mart

Call Log Files

Customer Table

Azure DB

Customer Churn Table

Visualize

Data Set(Collection of files, DB table, etc)

Activity: a processing step (Hadoop job, custom code, ML model, etc)

Pipeline: a logical group of activities

Data Factory Concepts

…Data Sources Ingest Transform & Analyze Publish

Customer Call Details

Customers Likely to Churn

Transform, Combine, etc

Analyze Move

Azure Data Factory

A managed cloud service for building & operating data pipelines (aka. data flows)

1. Orchestrate, monitor & schedule • compose data processing, storage & movement services (on premises

& cloud)2. Automatic infrastructure mgmt

• combine pipeline intent w/ resource allocation & mgmt• data movement as a service (global footprint & on premises)

3. Single pane of glass • one place to manage your network of data flows

Azure DataFactoryEtaes de mise en oeuvre

Syntax – Example

Data Set 1

Azure Blob(e.g. log files)

Data Set 2

Azure Blob(e.g. aggregated

Activity 1

HDInsight(Hive query)

Data Set 3

Azure SQL(e.g. data mart)

Activity 2

Copy(provided by

Pipeline (Active Period: July 2015 to July 2016)

Process log files with Hadoop & put the results into my SQL DB

Azure DataFactoryInterfaces

Azure DataFactoryLes langages

Azure DataFactoryPowerShell - Déploiement

Data Factory

Architecture Lambda

Démo : HDInsight

Machine Learning

Pour aller plus loin…

Machine Learning

Apprentissage supervisé

Les principales classes

Classification

Ranking

Recommandations ProduitMachine Learning

Des données aux résultatsMachine Learning

Architecture Lambda

Démo : Machine Learning

Des questions ?

• Michel Hubertmichel.hubert@cellenza.com@michelhubert• Georges Damien• Georges.damien@Cellen

za.com• @georges_damien

#mstechdays techdays.microsoft.fr/camp

techdays•2015camps

Architecture Lambda

Architectures lambda - Techdays camps 2015

Technology

Techdays Par219

TechDays 2013 Developer Keynote

TechDays Switzerland 2009

v irtual techdays

TechDays - Accélérateur Windows Phone

Techdays 2009 beauty_and_thebeast_v1.0_final_audio_1-solid_q

Techdays 2013

Appsterize for techdays 2014

TechDays - IronRuby

TechDays 2010 : SharePoint Workspace

virtual techdays

20130306 techdays miten_it_ammattilainen_varmistaa_työpaikkansa_myös_tulevaisuudessa

TechDays 12