Microsoft Big Data platformaLuka Lovošević, Marko Tošić

MICROSOFT HRVATSKA

Isključite zvuk telefona

Sadržaj• Uvod u Big Data• Pregled Microsoft platforme• Hadoop• Demo

Što je Big Data?

MICROSOFT CONFIDENTIAL – INTERNAL ONLY

Što je Big Data?Podaci koji su vam bitni, ali ih tradicionalnim alatima ne možete procesirati.

VOLUME(Količina)

VARIETY (Struktura)

VELOCITY (Brzina)

Izvori podataka

Telematics Text

Smart-Grid Sensor

Time and Place RFID

Telemetry Social Networks

Što je Big Data?

Napredna analitika

Podaci u realnom vremenu

Analitika društvenih medija

Kako mogu poboljšati poslovanje ovisno o vremenskim prilikama ili tračevima s društvenih mreža, …?

Što se govori o mojem proizvodu na društvenim mrežama?

Kako da bolje uočim trendove i reagiram na njih?

Big Data algoritmi

Mining Social-Network Graphs

Finding Similar Items Mining Data Streams Frequent Item Sets

Advertising on the Web

Link Analysis

Recommendation SystemsClustering

c

Microsoft Big Data platforma

Microsoft Big Data platforma

SQL Server StreamInsight

Hadoop – HDInsight

(Windows ili Azure)

SQL Server 2012 Parallel Data Warehouse

Self-service BI alati

Microsoft Big Data platforma

Volume

Varie

t

yVelo

city

pull

push

bigsmall

fk/pk

k/v

SQL Server

PDW

HDInsight

StreamInsight

Malo više o Hadoopu…

Što je Hadoop?Platforma za procesiranje velike količine podataka.Apache, open source.Baziran na Google GFS i MapReduce algoritmu.Visoko skalabilan i distribuiran.Jeftini hardver.

2013

Yahoo!

EnterpriseHadoop

Apache projekt

2004 2008 2010 20122006

Hadoop arhitektura

Server

ServerServer

MapReduce (i)

Files

Server

MapReduce (ii)

// Map Reduce function in JavaScript

var map = function (key, value, context) {var words = value.split(/[^a-zA-Z]/);for (var i = 0; i < words.length; i++) {

if (words[i] !== "")context.write(words[i].toLowerCase(),1);}}};

var reduce = function (key, values, context) {var sum = 0;while (values.hasNext()) {sum += parseInt(values.next());

}context.write(key, sum);};

ServerServer

ServerServer

Code

Primjer za Map Reduce

HDInsight

Hadoop

Programiranje u .NET-uSecurity, HA & managementPodrška za virtualizacijuIntegracija s Microsoft BI alatimaIsto iskustvo za on-premise i cloud

Hadoop za Windows ServerHadoop za Windows Azure

Tehnologija oko HDInsight-a

MahoutBiblioteka skalabilnih algoritama za strojno učenje baziranih na MapReduceu.Vrti se na Hadoop infrastrukturi.

Scenariji korištenja:• Recommendation mining• Clustering• Classification

Demo

Mahout song recommendation

Pitanja i odgovori