19
Techniek in vogelvlucht BIG DATA VISUALISATION

Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

Embed Size (px)

Citation preview

Page 1: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

Techniek in vogelvlucht BIG DATA VISUALISATION

Page 2: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  De invloed van Volume, Variety en Velocity op Visualization

¡  Drie technologieën: Map-D, WebGL en renderclouds

G. Koot Big Data Visualization

OVERZICHT

Page 3: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

Volu

me

>

Velocity >

G. Koot Big Data Visualization

VOLUME VS. VELOCITY: GEBRUIKERS

Page 4: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

Volu

me

>

Velocity >

G. Koot Big Data Visualization

VOLUME VS. VELOCITY: SOFTWARE

Page 5: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

Volu

me

>

Velocity >

G. Koot Big Data Visualization

VOLUME VS. VELOCITY: HARDDISKS VS. GPU EN RAM

Page 6: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

Volu

me

>

Velocity >

Visualizatie en interactie

G. Koot Big Data Visualization

VOLUME VS. VELOCITY: HARDWARE

Page 7: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  Voor traditionele toepassingen met gestructureerde data zijn traditionele databases perfect

G. Koot Big Data Visualization

VARIETY

Page 8: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  Voor echt snel lezen en schrijven van blogs is de architectuur ongeschikt

G. Koot Big Data Visualization

VARIETY

Page 9: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  Het opslaan van netwerken in tabelvorm is niet praktisch

G. Koot Big Data Visualization

VARIETY: NETWORKS

Page 10: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

G. Koot Big Data Visualization

GESPECIALISEERDE DATABASES MET GEINTEGREERDE VISUALISATIES

Page 11: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡ Map-D: Ultrasnelle GPU database

¡ WebGL: Hardwareacceleratie browser

¡  Renderclouds: Distributie van visualisatieberekeningen

G. Koot Big Data Visualization

TECHNOLOGIEËN

Page 12: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  Het omzetten van medische data naar (3D-) visualisaties kan niet lokaal op een desktop

¡  Oplossing is om beelden te versturen, niet de ruwe data

G. Koot Big Data Visualization

RENDERCLOUDS

Page 13: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  Techniek is sterk in ontwikkeling door medische toepassingen, maar ook voor het produceren van animatiefilms bijvoorbeeld

¡ Mogelijkheden voor combinatie met Oculus Rift of Google Glass

G. Koot Big Data Visualization

RENDERCLOUDS

Page 14: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  De meest flexibele en snelle visualisatietool van iedereen ¡ WebGL: ondersteuning voor hardwareacceleratie ¡  Demo: http://sentdex.com/global-sentiment-analysis/

G. Koot Big Data Visualization

BROWSER

Page 15: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  http://mapd.csail.mit.edu/tweetmap-desktop/ ¡  Gebruikt voor sociologisch onderzoek ¡ MIT technology, cooperating with Facebook and Paypal

G. Koot Big Data Visualization

MAP-D

Page 16: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  350 miljoen tweets (totaal 350 miljard)

G. Koot Big Data Visualization

MAP-D

Page 17: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  Geen cluster, maar een enkele server met 8 GPU’s ¡  De database doet de rendering van de heatmap in éen stap

G. Koot Big Data Visualization

MAP-D

5 – 30 ms

Page 18: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  Zoek bijvoorbeeld op ‘bijbel’ (n = 31.264)

G. Koot Big Data Visualization

MAP-D

Page 19: Gijs Kootjes (TNO) - Tech update Big Datsa Visualisatie

¡  Voor visualisatie en met name interactie is snelheid belangrijk ¡  Snelheid wordt bereikt door het samenbrengen van

verschillende stappen op éen plek

G. Koot Big Data Visualization

BIG DATA VISUALIZATION