Codemotion 2012 : Accesso e analisi di Open Data: come gestire l'anarchia dei formati

Accesso e analisi di Open Data: come gestire l’anarchia dei formati

Matteo Picozzipicozzi@elet.polimi.it

home.dei.polimi.it/picozziPhD Student

Politecnico di MilanoDipartimento di Elettronica e

Informazione

Eugenio Minardieugenio.minardi@gmail.com

Web DeveloperWellnet S.r.l.

Diego Bancherodbanchero@wellnet.it

PM / AnalistaWellnet S.r.l.

domenica 25 marzo 12

• Acquisizione Dati• Reasoning• Visualizzazioni

Diego Banchero, Eugenio Minardi, Matteo Picozzidbanchero@wellnet.it, eugenio.minardi@gmail.com, picozzi@elet.polimi.it

Wellnet S.r.l. e Politecnico di Milano - DEI

Agenda

{ }Open Government• Insieme di linee guida date dal

governo americano• definizione di Open Data:

– indipendente dalla piattaforma– disponibile al pubblico– riutilizzabile– elaborabile da dispositivi automatici

3domenica 25 marzo 12

{ }I dati aperti• Abbiamo i dati aperti, questi sono i formati più

comunemente a disposizione• Ci troviamo elenchi interminabili di numeri e

termini• sono disponibili ma NON necessariamente

fruibili dal pubblico• Sono difficili da correlare perché non strutturati

e non solo...

{ }Come rendere fruibili i dati?• Esporre i dati in un formato più ricco:

– Necessita di maggior lavoro da parte di chi espone– Implica l’uso di piattaforme specifiche

• Arricchire il formato non strutturato– Prevede strumenti di annotazione, filtri e semantica– Richiede forte intervento manuale

{ }• Selezione delle colonne di interesse• Annotazione con meta dati• Selezione del tipo (non solo primitivo)• Eventuali suggerimenti sulla

presentazione del dato• Esportazione dei dati in un formato

riusabile da elaboratori

Arricchire il formato tabellare

{ }Il nostro strumento

Estratto della tabella

Selezione Colonne

Annotazione Colonne

{ }Mashup per Open Data

Mashup Framework

Binding Controller

Composition Controller

Event Handler

Data Manager

Data Proxy

mQuery Dispatcher

mQuery Interpreter

Result Set Formatter

Sources registry

Reasoner

Client

SPARQL

Web UI

ComponentsUI View Controller

{ }DEMO

{ }L’importanza delle Visualizzazioni

Visualization of data makes it possible for researchers, analysts, engineers, and the

lay audience to obtain insight in these data in an efficient and effective way,

thanks to the unique capabilities of the human

visual system, which enables us to detect interesting features and patterns in

short time.(Jarke J. van Wijk, The Value of

Visualization, Visualization 2005)

{ }Visualizzare Open Data• Gli Open Data sono dati “grezzi”• Perché siano veramente utilizzabili da un

essere umano è necessario:– mostrarli in un formato human-readable– fornire visualizzazioni che ne aiutino la

comprensione– poterli arricchire e confrontare con altre fonti– poterli aggregare

{ }Mashup e Open Data• Gli Open Data vengono messi a disposizione perché

altri utenti possano:– analizzarli– riusarli– creare valore a partire dalle informazioni contenute in essi

• I mashup sono un valido strumento per semplificare questo processo di integrazione di Open Data con sorgenti, servizi ed API pubbliche o private, proprietarie o di terze parti

{ }Mashup

• Sui tre layer applicativi (data, logic e presentation)• Applicazioni Web, recentemente anche mobile• Termine spesso abusato, i mashup che si possono

trovare in giro non esprimono al massimo le potenzialità del paradigma di composizione

I mashup sono applicazioni che combinano, integrano e sincronizzano dati, funzionalità e visualizzazioni di più sorgenti dati, servizi o Web API

def mashup =

http://www.housingmaps.com

{ }Pro e controFacile da sviluppare per chi conosce le tecnologie giusteAlto riuso del codiceModulareFlessibileArricchisce i dati di una sorgente con dati di un’altra sorgente senza dover integrare le diverse sorgentiMigliora l’esperienza degli utenti

SituazionaleVerticalePoco investimento di tempo da parte degli sviluppatoriFunzionalità limitateSpesso non si adatta a diversi scenariUn utente generico non è in grado di sviluppare un proprio mashup

{ }Mashup 2.0• Gli utenti sono protagonisti del Web 2.0

– Producono contenuti– Sono abituati ad usare strumenti lightweight per produrli

• Vedendo un mashup vorrebbero poterlo modificare ed adattare alle proprie esigenze ma non ne hanno le capacità

• Per questo sono nati diversi tool per la creazione facilitata di mashup (per esempio Yahoo! Pipes)

• Visualizzazioni– grafiche– tabellari– tree map– UI Component (per

es. Google Maps)• Possibilità di

aggiungere grafici e di sincronizzarli tra loro

{ }Strumenti per l’End User Development

DashMash

{ }Strumenti per l’End User Development

• Composizione a livello di presentazione

• Crazione di mashup basata su linguaggio visuale

• Orientato agli utenti finali

PEUDOM

{ }Conclusioni• Uno degli scopi per cui esistono gli Open Data è proprio quello di favorire la cultura della

partecipazione• Open Data hanno grandissime potenzialità

– tecnologiche– sociali (cooperazione)

• Limiti di Open Data– scarso numero di fonti– difficoltà nel reperimento– soprattutto in formati destrutturati– non utilizzabili per il calcolo automatico– senza visualizzazioni

• I destinatari di Open Data sono gli utenti finali– hanno diversi background e competenze– possono generare valore a partire da essi

• Necessità di strumenti che aiutino gli utenti finali ad utilizzare gli Open Data

{ }Work in Progress• Acquisizione dei dati da fonti eterogenee• Conciliazione ed omogeneizzazione dei dati• Ragionamento sui dati• Knowledge Discovery• Visualizzazioni complesse• Aggregazioni, Correlazioni e Mashup• Esposizione dei dati importati

{ }Domande

Codemotion 2012 : Accesso e analisi di Open Data: come gestire l'anarchia dei formati

Technology

Presentazione Codemotion

podatocni formati

FORMATI DIMPATTO Tiscali ADV. Formati dimpatto: Overview Tiscali - formati dimpatto - Rich media Raggiungono gli utenti Engagement Brand Awareness in

Il Bot di Codemotion - Emanuele Capparelli - Codemotion Milan 2016

Infinispan codemotion - Codemotion Rome 2015

Ecs codemotion

Graficni formati

Codemotion Berlin 2015 recap

Codemotion tiesport slideshare_(es)

formati papira

Meteor - Codemotion Rome 2015

Errico Malatesta L'Anarchia Il Nostro Programma

- Codemotion Rome 2015

Video formati

Maxi Formati

Codemotion Rome 2016 - Polymer

Codemotion provinciali v. 0.1- Codemotion Rome 2015

Codemotion 2016

Codemotion how to create a product copy - Codemotion Rome 2015

Think horizontally @Codemotion