Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

Techniek in vogelvlucht BIG DATA VISUALISATION

¡  De invloed van Volume, Variety en Velocity op Visualization

¡  Drie technologieën: Map-D, WebGL en renderclouds

G. Koot Big Data Visualization

OVERZICHT

Volu

me

>

Velocity >

G. Koot Big Data Visualization

VOLUME VS. VELOCITY: GEBRUIKERS

Volu

me

>

Velocity >

G. Koot Big Data Visualization

VOLUME VS. VELOCITY: SOFTWARE

Volu

me

>

Velocity >

G. Koot Big Data Visualization

VOLUME VS. VELOCITY: HARDDISKS VS. GPU EN RAM

Volu

me

>

Velocity >

Visualizatie en interactie

G. Koot Big Data Visualization

VOLUME VS. VELOCITY: HARDWARE

¡  Voor traditionele toepassingen met gestructureerde data zijn traditionele databases perfect

G. Koot Big Data Visualization

VARIETY

¡  Voor echt snel lezen en schrijven van blogs is de architectuur ongeschikt

G. Koot Big Data Visualization

VARIETY

¡  Het opslaan van netwerken in tabelvorm is niet praktisch

G. Koot Big Data Visualization

VARIETY: NETWORKS

G. Koot Big Data Visualization

GESPECIALISEERDE DATABASES MET GEINTEGREERDE VISUALISATIES

¡ Map-D: Ultrasnelle GPU database

¡ WebGL: Hardwareacceleratie browser

¡  Renderclouds: Distributie van visualisatieberekeningen

G. Koot Big Data Visualization

TECHNOLOGIEËN

¡  Het omzetten van medische data naar (3D-) visualisaties kan niet lokaal op een desktop

¡  Oplossing is om beelden te versturen, niet de ruwe data

G. Koot Big Data Visualization

RENDERCLOUDS

¡  Techniek is sterk in ontwikkeling door medische toepassingen, maar ook voor het produceren van animatiefilms bijvoorbeeld

¡ Mogelijkheden voor combinatie met Oculus Rift of Google Glass

G. Koot Big Data Visualization

RENDERCLOUDS

¡  De meest flexibele en snelle visualisatietool van iedereen ¡ WebGL: ondersteuning voor hardwareacceleratie ¡  Demo: http://sentdex.com/global-sentiment-analysis/

G. Koot Big Data Visualization

BROWSER

¡  http://mapd.csail.mit.edu/tweetmap-desktop/ ¡  Gebruikt voor sociologisch onderzoek ¡ MIT technology, cooperating with Facebook and Paypal

G. Koot Big Data Visualization

MAP-D

¡  350 miljoen tweets (totaal 350 miljard)

G. Koot Big Data Visualization

MAP-D

¡  Geen cluster, maar een enkele server met 8 GPU’s ¡  De database doet de rendering van de heatmap in éen stap

G. Koot Big Data Visualization

MAP-D

5 – 30 ms

¡  Zoek bijvoorbeeld op ‘bijbel’ (n = 31.264)

G. Koot Big Data Visualization

MAP-D

¡  Voor visualisatie en met name interactie is snelheid belangrijk ¡  Snelheid wordt bereikt door het samenbrengen van

verschillende stappen op éen plek

G. Koot Big Data Visualization

BIG DATA VISUALIZATION