Stordata i offentlig sektor - WordPress.com · 2015. 12. 14. · Sosiale medier •90% av alle data...

Stordata i offentlig sektor OSDF 7.12

Store datavolum (Volume)

Varierte data fra forskjellige kilder (Variety)

Innhenting av data i real-time (Velocity)

Avklart kvalitet og opprinnelse (Veracity)

Summen av dataene er større enn (Value)de enkelte datasettene til sammen

Gir muligheter for segmentering, tilpasning, prediksjoner, automatisering…

Hva er stordata?

Big data

Virksom-hets data

Offent-lige dataTrans-

aksjoner

Sensordata

Sosialemedier

• 90% av alle data er produsert siste 2 år

• Innen 2025 vil det bli produsert 1,7 GB data per person per sekund

Store data mengder fra mange kilder

95% av alle data vi produserer er ustrukturerte

Verdikjeden

Paradigmeskiftet

BYTE prosjektet UiO

NOEN AV DATAENE ALLE DATA

RENE DATA

TESTE HYPOTESER

TIDSFORSINKELSER I ANALYSENE

SANNTIDS ANALYSER

UTFORSKING OG INNSIKT

KOMPLEKSE KOBLINGER

KAOTISKE DATA

DETERMINISTISKE DATA

Tradisjonell BI

The Big Data Revolution

Jason Kolb 2013

Map reduce

The Big Data Revolution

Jason Kolb 2013

DATASTRØM

The Big Data Revolution

Jason Kolb 2013

• Charles Joseph Minard sin berømte graf fra 1869

Visualisering

DRIVKREFTERLavere kostnader på

lagring og prosessering

God båndbredde

Tingenes internett

Maskinlæring og kunstig intelligens

Tilgang til skytjenester

Hadoop

Åpne data

GEVINSTPOTENSIALEEffektive

beslutningsprosesser

Presise prediksjoner

Raskere reaksjonstid

Økt brukerorientering

Bedre kvalitet i beslutningene

Økt aktualitet

Bruk av stordata

Økt innovasjon og næringsutvikling

Pris pr GB lagring 1998 - 2012

DRIVKREFTERLavere kostnader på

lagring og prosessering

God båndbredde

Tingenes internett

Maskinlæring og kunstig intelligens

Tilgang til skytjenester

Hadoop

Åpne data

GEVINSTPOTENSIALEEffektive

beslutningsprosesser

Presise prediksjoner

Raskere reaksjonstid

Økt brukerorientering

Bedre kvalitet i beslutningene

Økt aktualitet

Bruk av stordata

Økt innovasjon og næringsutvikling

DRIVKREFTERLavere kostnader på

lagring og prosessering

God båndbredde

Tingenes internett

Maskinlæring og kunstig intelligens

Tilgang til skytjenester

Hadoop

Åpne data

GEVINSTPOTENSIALEEffektive

beslutningsprosesser

Presise prediksjoner

Raskere reaksjonstid

Økt brukerorientering

Bedre kvalitet i beslutningene

Økt aktualitet

Bruk av stordata

Økt innovasjon og næringsutvikling

Statens vegvesen – data inn

Ca. 5000 målepunkt innen 2018

DRIVKREFTERLavere kostnader på

lagring og prosessering

God båndbredde

Tingenes internett

Maskinlæring og kunstig intelligens

Tilgang til skytjenester

Hadoop

Åpne data

GEVINSTPOTENSIALEEffektive

beslutningsprosesser

Presise prediksjoner

Raskere reaksjonstid

Økt brukerorientering

Bedre kvalitet i beslutningene

Økt aktualitet

Bruk av stordata

Økt innovasjon og næringsutvikling

DRIVKREFTERLavere kostnader på

lagring og prosessering

God båndbredde

Tingenes internett

Maskinlæring og kunstig intelligens

Tilgang til skytjenester

Hadoop

Åpne data

GEVINSTPOTENSIALEEffektive

beslutningsprosesser

Presise prediksjoner

Raskere reaksjonstid

Økt brukerorientering

Bedre kvalitet i beslutningene

Økt aktualitet

Bruk av stordata

Økt innovasjon og næringsutvikling

Åpne data…

Eksempel: Statens vegvesen

• https://www.vegvesen.no/vegkart/vegkart/#kartlag:geodata/hva:(~)/hvor:()/@326574,6707886,5

• http://data.norge.no/search/site/NVDB

Statens vegvesen - NVDB

https://amk.beekeeper.no/

https://reisetid.helsedirektoratet.no/analyse/dashboards/3d72811b-e1b6-46ea-8a17-9357e92b2186

Eksempel: Helsedirektoratet

Eksempel: Statsbygg

Statsbygg

Gartners årlige Big Data undersøkelse – off.sektor

8%

0%

2%

9%

6%

6%

6%

11%

11%

15%

26%

6%

6%

9%

6%

13%

9%

6%

13%

13%

11%

8%

4%

13%

9%

6%

2%

9%

15%

8%

11%

15%

8%

ANNET

INTEGRASJON MED EKSISTERENDE INFRASTRUKTUR

INFRASTRUKTUR OG/ELLER ARKITEKTUR

FORSTÅ HVA "STORDATA" ER

INTEGRASJON AV FLERE DATAKILDER

TILGANG PÅ NØDVENDIG KUNNSKAP OG KOMPETANSE

LEDERMESSIGE- ELLER ORGANISATORISKE UTFORDRINGER

FINANSIERING AV STORDATATILTAK

DEFINERE VÅR STRATEGI

RISIKOBASERTE UTFORDRINGER (SIKKERHET, PERSONVERN, …

BESTEMME/DEFINERE HVORDAN SKAPE VERDI FRA STORDATA

OFFENTLIG SEKTOR

Rangering 1 Rangering 2 Rangering 3

• En god del verdifull forskning

• Noen offentlige virksomheter har kommet langt i utprøving og er på veg over i forvaltning

• Noen offentlige virksomheter tester ut mulighetene

• De fleste har ingen initiativer, men følger med på utviklingen

Status i norsk offentlig sektor

• Økokrim – økonomiske transaksjoner

– SKATT og NAV – forebygge og avsløre svindel

– Dibk – regelverksutvikling

– Medisinsk forskning – genforskning, bioinformatikk, hjerneforskning

• I Norge er vi ikke kommet i gang med

– Predictive policing

– Intelligente tjenester

– Sosiale media som datakilde

– Copernicus

Noen eksempler

Dataenes økosystem

• Tilgang til data – åpne og ikke åpne.

• Usikkert om personvern – formål, anonymisering osv.

• Hvem eier dataene?

• Kompetanse

• Prosessorkraft – cloud eller ikke cloud?

Dette er vanskelig..

• Få fatt i data

• Forvalte dem

• Forstå dem

• …og gjøre de riktige analysene…

Det aller vanskligste….