Kuntasektorin datan avaus ja jakelu Suomessa

Tampereen alueen avoin datapilvi -projektin (TAPI) loppuraportin kalvot

17.3.2014Heikki Salo, Terhi Vesanen, Seppo Kalli, Jukka HelinKommentit kalvoihin: [email protected] Image by MazeNL77 (FindIcons.com) [CC-BY-3.0

(http://creativecommons.org/licenses/by/3.0)], via Wikimedia Commons

2014-03-17 © TAPI-projekti 2

Sisällysluettelo

• Taustaa• Avoin data ja kunnat

sekä ITI- ja INKA-ohjelmat

• Avoimen datan välitysalustan toteutusteknologia

• Ehdotetut toimenpiteet• Liitteet

Image by Tim Berners-Lee (http://www.w3.org/DesignIssues/LinkedData.html) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons


• Tampereen alueen kehitysyhtiö Tredeantilaama kehitysprojekti

• Toteuttaja Valomo–osuuskunta• Projektin kesto 9/2013-3/2014 • Projektin tavoitteet:

- Tuottaa suositukset prosesseista, vaatimuksista, hallinnoinnista sekä rahoituksesta liittyen Tampereen alueen avoimen datan tarvitsemiin datakatalogi-, datahotelli- ja muihin pilvipalveluihin.

- Analysoida alueen liiketoimintamahdollisuudet, ekosysteemi ja mahdollisesti perustettavan avoimen datan välittäjän liiketoimintamalli.

• Projekti toteutettiin EAKR/ELY-rahoituksen tuella

Tampereen alueen avoin datapilvi -projekti (TAPI)

TAPI-projekti

Kansallinen dataportaali:

VM/VIP, Gofore

TAPI-projektin liitokset muihin hankkeisiin

SHOKit: Digile, FIMECCAvoin data -hankkeet

VMX-Road-palveluväylä

SitraTaltioni

HelsinkiHRI

TampereODTR, ITS Factory

EU/KTMINKA, ITI

KelaKanta



Avoimen datan ekosysteemi

Teknologia- jainfrastruktuu-ritoimittajat

Avoimendatan

omistajat

Sovellus-kaupat

Palvelun-tarjoajat

Loppukäyt-täjät ja

hyödyntäjät

Ei-avoimendatan

omistajat

Selitykset:

Datavirta*

Rahavirta*

Datan välittäjä jakaa avointa, suljettua ja niistä mahdollisesti jalostamaansa dataa. Se maksaa suljetusta datasta ja jakeluteknologiasta ja saa tuloja palveluntarjoajilta.

Palvelun kehittä-jät, alihankkijat,

tutkimuslaitokset

(Avoimen)datan

välittäjä

* Ko. virtojen mukana kulkee myös tunnistautumis-, ym. informaatiota.


Avoin data Kysyntä

Palvelujen tarjontaInnovaatiot

Mittarit: yritysten ja liikevaihdon määrä

Mittarit: tutkintojen, sovellusten, julkaisujen ja patenttien lukumäärä

Mittarit: datan latausten, applikaatioiden ja käyttäjien lukumäärä

Mittarit: avattujen datajoukkojen lukumäärä

Avoimen datan positiivinen kehä*

Buustit:EU-direktiivit,valtiohallinnon ja kaupunkien toimet

Tiedon yhdistely luo uusia toimi-

aloja* Positiivinen kierre, positiivinen kehä (virtuous cycle, virtuous circle): ketju tapahtumia, jossa jokaisella edellisellä tapahtumalla on positiivinen vaikutus seuraavaan. Vrt.

negat. kierre, negat. kehä, ”noidankehä” (vicious cycle, vicious circle): ketju tapahtumia, jossa jokaisella edellisellä tapahtumalla on negatiivinen vaikutus seuraavaan.

Datan avaaminen luo uusia mahdol-

lisuuksia

Yritykset tuottavat palveluita

Ihmisten tarpeet luovat

kysyntää

Image couttery of atibodyphoto / freedigitalphotos.net.


Sisällysluettelo






Avoimen datan hyödyntämisen vaiheet kunnissa

Avoin data

1Kaupungit avaavat dataa palveluistaan

Jalostettu data

Avoimet rajapinnat:REST, Siri,…

2Avointa dataa ja rajapintoja on löydettävissä, sovelluksia voidaan kehittää ja dataa jalostaa3

Jalostetun datan ja uusien sovellusten avulla toiminta tehostuu ja saadaan säästöjä

03/2014 on menossa siirtymä 1 2-vaihe. 3-vaiheen toteutuminen edellyttää panostamista 2-vaiheeseen.


Image by Rayshade (Own work) [CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0) or GFDL (http://www.gnu.org/copyleft/fdl.html)], via Wikimedia Commons


Avoimen datan hyödyt kuntalaisille

Image couttery of David Castillo Dominici / freedigitalphotos.net.

Kuntalaisilla on uusia työpaikkoja, jotka datan jalostaminen ja yhdistely ovat luo-neet. He voivat osallistua palvelujen kehittämiseen ja tuottamiseen. Heillä on hyvät vaikutus- ja osallistumismahdolli-suudet kunnan päätöksenteossa.

3

Kuntalaisten ympäristö- ja laatutietoisuus paranee avattujen kunnan palvelujen datojen avulla ja kunnan hallinnon läpinäkyvyys lisääntyy.

1

Kuntalaisten elämä helpottuu avointa dataa ja rajapintoja hyödyntävien uusien sovellusten ja parempienpalvelujen avulla.

2


Avoin data ja kuntien talous – visio 2016Vuonna 2012 valtioneuvosto on edellisenä vuonna julkistanut periaate-päätöksen julkisten tietoaineistojen saatavuudesta. Käsite avoin data alkaakonkretisoitua valtionhallinnossa ja kuntasektorilla.

Vuonna 2014 Suurimmat kunnat avaavat datavarantojaan, mutta pienillä kunnilla ei ole resursseja tähän. Kunnilta puuttuvat kunnolliset prosessit datan avaamiselle, säilömiselle ja jakeluun. Kunnan palveihin liittyvändatan avaaminen aiheuttaa lisämaksuja kunnille. Datan avaamista helpottamaan avataan valtionhallintoon ja kuntasektorille dataportaaleja ja datahotelleja.

Vuonna 2016 huomataan kunnissa datan avaamisen johdosta, että aiemmin oli tehty paljon päällekkäistä tiedonkeruuta ja ylläpitoa, josta on voitu luopua ja joka voidaan toteuttaa tehokkaammin. Kunnat eivät enää lähetä raportointitietojaan monille eri viranomaisille, vaan viranomaiset hakevat itse nämä tiedot kuntien dataportaalista. Kuntien avoimia datavarantoja hyödyntäviä ja yhdisteleviä, kunnille itselleen ilmaisia, sovelluksia syntyy useita mm. matkailun, logistiikan, energiasektorin, median, terveydenhoidon, hyvinvoinnin ja kaupunkipalvelujen alueille. Syntyy uusia yrityksiä ja liikevaihtoa ja kunnat saavat lisää verotuloja. Kuntien palveluissa saadaan säästöjä esimerkiksi yhdistettäessä terveys-, sosiaali-, vero- ja työllisyystietoja alueittain (hyvinvointimaantiede).

Näkyvät hyödyt

Näkymättömät hyödyt

Image by Uwe Kils (iceberg) and User:Wiska Bodo (sky). [GFDL (http://www.gnu.org/copyleft/fdl.html) or CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0/)], via Wikimedia Commons.


Kuntasektorin vision toteutumisen edellytykset

Image couttery of ponsulak / freedigitalphotos.net.

• Vision toteutuminen edellyttää kuntasektorin avoimen datan välitysalustaa

• Tampereella voidaan toteuttaa välitysalustan ja palvelujen testaamiseen sopivan kehitysympäristön kombinaatio eli avoimen datan innovaatioalusta

• Innovaatioalusta mahdollistaa sekä isojen että pienten kuntien avoimeen dataan liittyvän testauksen, julkaisun, laadun, varastoinnin, jakelun ja löytämisen

• Tällä hetkellä useilla pienillä kunnilla ei ole resursseja, välitysalustaa eikä prosessia kuntansa avoimen datan suhteen

• Alustan päälle voidaan kehittää ja tuotteistaa yrityksien avointa dataa hyödyntäviä palveluja


Ehdotus välitysalustan dataportaaliosuudeksi

Image couttery of Stuart Miles / freedigitalphotos.net.

• VM ja Valtion IT-palvelukeskus (VIP) rakentavat kansallista dataportaalipalvelua avoindata.fi

• Metatiedot Suomen valtionhallinnon avoimesta datasta• Tamperelainen IT-talo Gofore koodaa palvelua• Koodit ja muut tuotokset julkistetaan avoimesti• Tuotannossa 4/2014?

• Dataportaalialusta voidaan kopioida ja rakentaa kuntien avoimelle datalle vastaava palvelu avoindata.kunnat.fi

• Metatiedot kaikkien kuntien avoimesta datasta• Metatiedot myös toimialakohtaisista ja yritysten

avoimesta datasta• Lisäksi voidaan toteuttaa tallennus- ja

jakelupalvelu kuntien ja yritysten avoimelle datalle (datastore.kunnat.fi)

• Palvelua voi hallinnoida liiketoimintaedellytysten täytyttyä, kuntasektorin avoimen datan välittäjä


Innovaatioalustan tuomat kaksivaiheiset hyödyt

IT-alustojen hallinta:• portaali• katalogi• hotelli

Kokonaisarkkitehtuurin hallinta:• standardit• yhteensopivat kilpailutukset• valmiit toteutusspeksit

Clearing house -toiminnot: • priorisointi• datan vastaanotto ja hyväksyminen• ohjeet ja avustaminen

Kunnat, kuntalaiset, yritykset• datan jatkokäsittely• Ennustaminen, analysointi• tiedolla johtaminen• uusien palvelujen kehitys

Palvelujen buustaus:• kilpailut• hackathonit

Avoin data

Muu, ei-avoin ja big data

Avoin data

Avoin data

Avoin data

Avoin data

Avoin data

Kuntasektorin avoimen datan innovaatioalusta

1

1 1

Hyötyjen saannin vaiheet: ① Datan avaus ja jakelu

2 2

② Datan yhdistely ja jalostus

Hyödyt• säästöt kunnille• uudet PK-yritykset• uusi liiketoiminta• paremmat palvelut


Kuntasektorin avoimen datan välitysalusta ja ITI/INKA-ohjelmatKansallinen dataportaali

avoindata.fi

Valtion julkishallinnon käyttöliittymä

1

1 04/2014 Kansallinen valtion dataportaali, jota hallinnoi VM/VIP, avataan

Helsinki Vantaa Espoo Tampere Turku Oulu

6AIKA2

2 05/2014 6AIKA käynnistää ITI-projektin kuntasektorin avoimen datan välitysalustan perustamiseksi

avoindata.kunnat.fi datastore.kunnat.fi

Kuntasektorin avoimen datan innovaatiosalustaKuntien käyttöliittymät

Tampere Turku Juupajoki Jyväskylä …3

3 12/2014 Kuntasektorin dataportaali, datahotelli ja ensimmäiset kuntien käyttöliittymät avataan4 2015 Yrityksissä ja INKA-ohjelmissa tehtyjä alustaa hyödyntäviä palveluja avataan

Biotal.• Joensuu• Jyväs-

kylä• Seinä-

joki

Kestävät energia-ratkaisut• Vaasa• Lappeen-

ranta• Pori

Tulev. terveys• Oulu• Kuopio• Pääkaup.• Tampere• Turku

Älykäs kaup.• Tampere• Lahti• Oulu• Pääkaup.• Turku

Uudist. Teoll.• Tampere• Lahti• Oulu• Pääkaup.• Turku

Kyber-turval-lisuus• Jyväs-

kylä

4Yritykset, ei-kuntien hankkeet


Sisällysluettelo






Yritykset, yhteisöt

Avoin data

Kuntasektorin avoimen datan välittäjäToteutetaan jos/kun yrityksen perustamiselle on liiketaloudelliset perusteet

SLA = Service Level Agreement, DaaS = Data as a Service, API = Application Programming Interface, App = Application

Kaupunki 1

Avoin data

Kaupunki N

Avoin data…

Avoin data

Loppukäyttäjät, palvelukehittäjät ja -tarjoajat

Kuntasektori-API

App 1 App N Selain…Datan kopiointi (optio kunnille)

avoindata.kunnat.fi• Datakatalogi muulle kuin

kansalliselle avoimelle datalle• Portaali (data, APIt, appsit,

esimerkit, dokumentaatio,…)• Kehittäjäyhteisöpalvelut

Kuntasektorin avoimen datan välittäjäSLA-pohjainen DaaS-palvelu

datastore.kunnat.fi• Keskitetty tallennus- ja jakelupaikka

staattiselle (ja dynaamiselle) kuntasektorin avoimelle datalle

• Konversiopalvelu• Datan validointi ja

laaduntarkistus

Portaali

CKAN-pohjainen datakatalogi

CM S Käyt t ölit t ym äkat alogiin

I ndeksoij a

CSW/CKAN-kerääjä

Datakatalogi ja portaali

data.pirkanmaa.fi

Kehit t äj äyht eisö

Web-lomake

REST- r aj apint a


datastore.kunnat.fi• Keskitetty tallennus- ja jakelu-

paikka eri kaupunkien staattiselle (ja dynaamiselle) datalle

• Tiedostojen hallinta riippumatonta julkaisijoista

• Linkit eri palveluihin pysyvät ehjinä• Staattisen datan toteutusalustana

pilvipalvelu (Cybercom, Forge, Amazon,…)

• Dynaaminen data tarvitsee omat jakelualustat

avoindata.kunnat.fi• Dataportaali ja -katalogi• CKAN-pohjainen alusta, joka perustuu

uuteen kansalliseen dataportaaliin• Avattujen datajoukkojen metatietokuvaus• Kehittäjäyhteisöpalvelut: API-kuvaukset,

dokumentaatio, esimerkit, sovellus-promootio avoindata.fi

• CKAN-pohjainen kansallinen dataportaali• Kerää metatiedot eri katalogeista• Ei sisällä ainakaan alkuvaiheessa varsinaista

tiedostojen tallennuspaikkaa• Metatietojen linkitys tulevaisuudessa EU-tason

katalogiin

HRI-katalogi• CKAN-pohjainen

pääkaupunkiseudun datakatalogi

• Sisältää myös tallennuspaikan (Amazonin pilvipalvelu)

EU-katalogi• Kokoaa EU-alueelta eri katalogien sisällön

yhteen katalogiin

MetatiedotMetatiedot

Metatiedot

avoindata.kunnat.fi -datakatalogin linkitys

Editoitu http://prezi.com/1vslepw9xhn-/avoimen-datan-katalogit/ (Joonas Dukpa, 2013-06-24) pohjalta.

Datan julkaisu web-lomakkeen tai APIn kautta

MuutCKAN-pohjaisetkatalogit SuomessaYritykset,

yhteisöt

Avoin data

Mikkeli

Avoin data

Oulu

Avoin data

Tampere

Avoin data

…

Kuntasektorin avoimen datan välitysalusta



Muut datakatalogit (kansallinen,

toimialakohtaiset, yritykset, jne.)

avoindata.kunnat.fi ja datastore.kunnat.fi -arkkitehtuuri

Selain

Loppukäyttäjät• Avointa dataa

hyödyntävien appsien ja selainpohjaisten palvelujen haku ja käyttö

Kehittäjät• Avoimen datan, API-

dokumenttien ja koodiesimerkkien selailu

• Appsien ja selainpohjais-ten palvelujen kehitys

• Kehittäjäyhteisön palvelut (GitHub, ym.)

Loppukäyttäjät japalvelukehittäjät

Meta-tietojen

haku

CMS = Content Management System (esim. Liferay, Wordpress, Drupal), API = Application Programming InterfaceCKAN = Comprehensive Knowledge Archive Network (Open Source –pohjaisen dataportaalin alusta, muita esim. Socrata, Junar ja OGPL)CSW = Catalog Services for Web (yleisesti käytetty rajapinta avoimessa datassa), GitHub = Sosiaalinen yhteisöpalvelu koodaukseenREST = REpresentational State Transfer (Web-palveluissa yleisesti käytetty rajapinta)

Portaali

CKAN-pohjainen datakatalogi

CMS Kunnittain räätälöidyt

käyttöliittymät

Indeksoija

CSW/CKAN-kerääjä

Datakatalogi ja -portaaliavoindata.kunnat.fi

Kehittäjä-yhteisö

Web-lomake

App

Yritykset, yhteisöt

Avoin data

Kaupunki 1

Avoinn data

Kaupunki N

Avoin data

Tallennuspalvelu datastore.kunnat.fi

Avoin data

…

REST-rajapinta

Tallennus

Konversio

Validointi- ja laadunvarmistus

Datan julkaisuweb-lomakkeentai APIn kautta

Datan kopiointi(optio)

Sovellus-markkinointi

Käyttäjähallinta


Sisällysluettelo







Ehdotetut toimenpiteet• Tampereen alue on kansainvälisesti edellä avoimen datan

hyödyntämisessä. Jotta etumatka säilyy, tulee toiminnasta saada pysyvää.

• 6AIKA-konsortion kautta haetaan 2-vuotista 5/2014 alkavaa ITI-projektirahoitusta kuntasektorin avoimen datan innovaatioalustan toteuttamiseksi

• Kaksivaiheinen projekti, jossa fokus on ensin datan avaamisessa ja jakelussa ja sitten datan jalostamisessa mukaan lukien big data -menetelmät

• Jos projektin aikana liiketoimintaedellytykset kuntasektorin avoimen datan välittäjälle selkiytyvät, otetaan perustamisasia käsittelyyn

• Kuntasektorin jakelualustan toteuttamisessa hyödynnetään mahdollisimman paljon valtionhallinnon avoindata.fi-alustaratkaisua

• Projektille pitää valita koordinaattoriImage couttery of ddpavumba / freedigitalphotos.net.


Sisällysluettelo







Datakäsitteiden määritelmät• Avoin data: digitaalisessa, helposti koneluettavassa muodossa olevaa dataa,

jota voidaan käyttää, jalostaa ja jakaa uudelleen ilmaiseksi• Metadata: ”dataa itse datasta”; kuvaa yleensä datan rakenteen,

käyttöoikeudet ja sisällön• Staattinen data: dataa, joka ei muutu sen jälkeen kun se on talletettu• Dynaaminen data: dataa, joka muuttuu reaaliajassa• Datakatalogi: luettelo käytettävissä olevista datoista• Datakatalogialusta: datan hallintajärjestelmä, jossa on työkalut metadatan

tai datan tallettamiseksi ja löytämiseksi katalogista• Dataportaali: sisältää perusdatakatalogin lisäksi muuta sisältöä ja

portaalipalveluja, kuten mahdollisen uutisosion ja keskustelufoorumin• Dataportaalialusta: sisältää datakatalogialustaan verrattuna yleensä ainakin

paremman sisällön- ja käyttäjähallintajärjestelmän, tietokantatuen ja käyttöliittymän räätälöintityökalut

• Datahotelli: datan tallennusvarasto, joka voi toimia myös staattisen datan jakelualustana

• Datavälittäjä: ottaa avointa tai maksullista dataa eri lähteistä ja välittää sitä eteenpäin sellaisenaan tai jalostamalla ja yhdistämällä eri lähteistä uutta dataa

• Big Data: dataa, joka on liian kompleksista ja jota on liian paljon, jotta sitä voitaisiin käsitellä tavallisilla tietokantojen hallintamenetelmillä ja työkaluilla

• My Data: tieto, joka ko. henkilöstä on talletettu eri tietokantoihin

Liite 1


Avoin vs. suljettu dataDatan ominaisuus Täysin avoin Täysin suljettuSaatavuus Kaikkien

saatavillaRajoitettu tietyille organisaatioille tai henkilöille

Muoto Koneluettavuushelppoa

Koneluettavuusvaikeaa

Hinta Ilmaista KallistaKäyttöoikeudet Vapaasti

käytettävissäUudelleen käyttö kielletty

Jakeluoikeudet Uudelleen jakelu sallittua

Uudelleen jakelukielletty

Datan luonne vaihtelee käytännössä täysin avoimesta täysin suljettuun.

Liite 2


Avoin data vs. muut datatyypit

Data

Bigdata

Avoindata

Avoin valtion-hallinnon data

Avoin kunta-sektorin data

My Data

Liite 3

Kuvassa on yksi esitystapa avoimen datan suhteesta muihin datatyyppeihin. Muitakin tapoja on olemassa.*

* Joel Gurin: Open Data Now, 1st Edition. McGraw Hill, ISBN 978-0071829779, 272 pages. http://www.opendatanow.com/2013/11/new-big-data-vs-open-data-mapping-it-outMcKinsey Global Institute: Open data report, 101 pages. http://www.mckinsey.com/insights/business_technology/open_data_unlocking_innovation_and_performance_with_liquid_information


Avoimen datan toimintaympäristö SuomessaLiite 4

Data & Analytics

Kuntasektorin datan avaus ja jakelu Suomessa