Upload
talent-base-oy
View
956
Download
5
Embed Size (px)
DESCRIPTION
Miten Master Dataa voi käyttää apuna Big Datan hyödyntämisessä? Mitä uutta Big Data voi tarjota Master Datalle? - Käytä master dataa laadukkaan ja standardoidun tiedon lähteenä - Sovella master datan hallinnan periaatteita Big Dataan - Elinkaari - Omistajuus - Hyödynnä samoja data quality työkaluja ja periaatteita - Määritä laatukriteerit - Estä huonolaatuisen datan pääsy prosessiin - Käytä samoja työkaluja - Valitse sellaiset työkalut, jotka pystyvät käsittelemään isoja määriä ei-rakenteista dataa
Citation preview
Big Data kohtaa Master Datan
Talent Base Oy
Nino Ilveskero, osakas
13.3.2013
Talent Base - Getting the Best out of IT
Luomme asiakkaillemme kilpailuetua suunnittelemalla parhailla
menetelmillä tarkoituksenmukaisia IT-ratkaisuja.
1 Strategia
2 Prosessit
3 Ratkaisusuunittelu
Palvelualueemme
Yksittäisestä sovelluksesta kokonaisuuden hallintaan
Avaintiedon
hallinta
(MDM)
Sisällönhallinta (ECM)
Asiakkuudenhallinta
(CRM)
Verkkokauppa
Sähköiset palvelut
Sisältö
• Johdanto
• Tiedon laatu
• Master Data apuna Big Datan hyödyntämisessä
• Laillisuusnäkökulma
• Yhteenveto
Johdanto
Big Datan määritelmä tämän esityksen
puitteissa
• Big Dataa voidaan kuvata kolmella V:llä: Volume (Määrä), Velocity
(Nopeus), Variety (Vaihtelevuus)
• Tiedon hyödyntämistä vaikeuttaa rakenteen puuttuminen ja puutteet
laadussa sekä sisällön ymmärrettävyydessä
Master Datan määritelmä
• Master Data on (staattista) koko organisaation toiminnalle
keskeistä ja jaettua tietoa, jolla on yhteisesti sovittu rakenne,
sisältö ja merkitys.
• Tyypillisiä avaintietoja: – Toimijat (asiakkaat, henkilöstö, toimittajat, kumppanit)
– Paikat (toimipisteet, myymälät, markkina-alueet)
– Asiat (tuotteet, palvelut, kiinteistöt, omaisuus, sopimukset)
Master Data Managementin (MDM)
määritelmä
Kokoelma sovittuja vastuita, prosesseja ja työkaluja, joiden avulla kuvataan
sekä hallitaan organisaation toiminnan kannalta keskeisiä tietosisältöjä ja
varmistetaan niiden laatu.
Datakerrokset
METADATA
REFERNSSI DATA
MASTERDATA
TRANSAKTIODATA
BIG DATA
Datan määrä
Semantiikka, datan staattisuus
ja uudelleen-käytettävyys
Sensoridata, verkkopalvelun lokitietoa, twiittejä…
PÄIVÄMÄÄRÄFORMAATTI, OSOITESTANDARDI... (DDMMYYYY)
MAALISTA, TOIMISTUSLAUSEKKEET... (Fin;Swe;UK;Rus)
MATERIAALI, TUOTE, ASIAKAS...
(Talent Base;Y-tunnus 21574644)
MYYNTITILAUS, TOIMITUS... (order-number;7756365)
Big Datan hyödyntäminen yleistyy
How big is big data adoption – Talend. Kyselytutkimus tehty kesäkuussa 2012, 231
vastaajaa EMEA ja Pohjois-Ameriikan alueelta.
• 41%:lla yrityksistä on Big Data strategia. Big Datan käyttöönotto etenee.
• 48% Big Data hankkeista on liiketoiminnan ja 39% IT:n johtamia.
• Niistä, joilla ei ole Big Data strategiaa 76% kertoi syyksi sen, että he eivät erottele
Big Dataa muusta yritystiedosta.
• 62% vastaajista sanoi, että he ovat saavuttaneet liiketoimintahyötyjä. Näistä 28%
liittyi liiketoimintaprosessien tehostamiseen ja 24% liittyi myynnin ja markkinoinnin
tehostamiseen.
Lähde: http://www.talend.com/resources/whitepapers/how-big-is-big-data-adoption
Big Datan lähteet
Lähde: Talend survey 2012
Walmart käsittelee ja tallentaa yli miljoona asiakastapahtumaa joka tunti.
Esimerkki vähittäiskaupasta
Lähde: Talend survey 2012
Esimerkki lentoliikenteestä
Hype hälvenee ja palataan perusasioiden
äärelle
Yritykset tulevat oivaltamaan, että “big data” tarkoittaa
kaikkea heidän tietoa.
Forrester, Big Data Predictions for 2013, Jan 2, 2013
http://blogs.forrester.com/mike_gualtieri/13-01-02-big_data_predictions_for_2013
Tiedosta ymmärrykseksi
Data Information Knowledge
Big Muuttuuko mikään?
Tiedon laatu
Määrä ei korvaa laatua
Huono datan laatu + Big Data = Isoja ongelmia
Huono datan laatu * Big Data = Isoja ongelmia^2
Tiedon laatuvaatimukset riippuvat aina käyttötarkoituksesta.
Big Datan laadun varmistaminen on yleensä huomattavasti vaikeampaa kuin master datan.
MDM Big Datan laadun varmistamisessa
• Käytä master dataa laadukkaan ja standardoidun tiedon
lähteenä
• Sovella master datan hallinnan periaatteita Big Dataan
– Elinkaari
– Omistajuus
• Hyödynnä samoja data quality työkaluja ja periaatteita
– Määritä laatukriteerit
– Estä huonolaatuisen datan pääsy prosessiin
– Käytä samoja työkaluja
• Valitse sellaiset työkalut, jotka pystyvät käsittelemään isoja määriä ei-
rakenteista dataa
– Yksinkertainen esimerkki http://www.youtube.com/watch?v=NKwotbwCg78
Master Data apuna Big
Datan hyödyntämisessä
Miksi Master Data ja Big Data pitää
käsitellä kokonaisuutena?
• Mikäli Big Dataa (analyysituloksia) ei voida yhdistää osaksi oman
organisaation kontekstia, esim. tuote- tai asiakastietoja, niin se jää helposti
irralliseksi ja kertaluonteiseksi toimenpiteeksi.
• Olemassa olevia MDM-toimintamalleja voidaan hyödyntää myös Big
Datassa
– Tietomallit (rakenne & merkitys)
– Prosessit ja hallintamalli (governance)
– Laadun varmistus ja parantaminen
• MDM luo organisaatiolle yhteistä kieltä ja käsitteistöä. Asiakas pitää olla
asiakas myös Big Datassa.
• Molemmat ovat osa isompaa EIM (Enterprise Information Management)
sateenvarjoa.
Ilman tiedon rakennetta ja merkitystä Big
Datan käyttö voi olla samanlainen
kokemus kuin juominen paloletkusta.
Big Datalle tarvitaan merkitystä ja
rakennetta
SYNERGIA
Viitekehys
* = volume, velocity, variety
MDM
Governance Prosessit
Liiketoiminta-hyötyä Big
Datasta
Kolmen V:n* hallinta
Tiedon merkitys ja rakenne
Tiedon laatu
Organisaation osaaminen
SoMe
Mobiililaitteet
Transaktiot
Verkkolaitteet
Sensorit
Datojen kohtaaminen
…
Big Data
Rakenteinen data Ei rakenteinen data
Miten yhdistää? SoMe
Mobiililaitteet Analysointi
Tulosten yhdistäminen
Transaktiot
Sensorit
…
Suora datan
yhdistäminen
Business
Analyst
Liiketoiminta-
käyttäjä Johto
TIEDON HYÖDYNTÄMINEN
Big Datan ja Master Datan kohtaaminen
Ulkoiset lähteet
Sisäiset lähteet
Data
Sisällöt
Datavirrat
Big Data työkalut
Rakenne- ja sisältöanalyysi
Tunnista malleja
Big Data
MDM työkalut
Yhdistä
Semantiikka ja rakenne
Master Data
BI työkalut
Analysoi
DW
Raportit, visualisointi
Trendit
BI
Uudet käsitteet
Optimointi
Laadukas data
Tulokset
I
N
T
E
G
R
A
A
T
I
O
DQ
Päätöksenteko
Esimerkki: asiakassegmentointi
Ulkoiset lähteet
Sisäiset lähteet
Data
Sisällöt
Datavirrat
Big Data työkalut
Rakenne- ja sisältöanalyysi
Tunnista malleja
Big Data
MDM työkalut
Yhdistä
Semantiikka ja rakenne
Master Data
BI työkalut
Analysoi
DW
Raportit, visualisointi
Trendit
BI
Uudet käsitteet
Optimointi
Laadukas data
Tulokset
I
N
T
E
G
R
A
A
T
I
O
DQ
ASIAKAS
- Nimi
ASIAKKUUS
- Segmentti
TOIMIPISTE
KONTAKTI
Ulkoiset • Facebook
aktiviteeti • Tweetit
Sisäiset • Verkko-
palvelulokit • Click stream • Osto-
tapahtumat / historia
Data scientist
Tiedon
analysointi
DW
Big Data Uusi asiakas-
segmentti Raportointi
segmenteittäin
Parempi kohdentaminen
Esimerkki: laitteen vikaantumisanalyysi
Ulkoiset lähteet
Sisäiset lähteet
Data
Sisällöt
Datavirrat
Big Data työkalut
Rakenne- ja sisältöanalyysi
Tunnista malleja
Big Data
MDM työkalut
Yhdistä
Semantiikka ja rakenne
Master Data
BI työkalut
Analysoi
DW
Raportit, visualisointi
Trendit
BI
Uudet käsitteet
Optimointi
Laadukas data
Tulokset
I
N
T
E
G
R
A
A
T
I
O
DQ
ASIAKAS
Nimi
LAITEKANTA
Tuote
TOIMIPISTE
Koordinaatit
Paikkakunta
Ulkoiset • Sää tiedot
alueittain
Sisäiset • Sensoridata • Huolto-
käynnit
Data scientist
Tiedon
analysointi
DW
Miksi huoltokäynnit lisääntyvät? Laadukas pohjatieto
Parempi huoltokäyntien ennakointi
Esimerkki: Boeing 787
Ulkoiset lähteet
Sisäiset lähteet
Data
Sisällöt
Datavirrat
Big Data työkalut
Rakenne- ja sisältöanalyysi
Tunnista malleja
Big Data
MDM työkalut
Yhdistä
Semantiikka ja rakenne
Master Data
BI työkalut
Analysoi
DW
Raportit, visualisointi
Trendit
BI
Uudet käsitteet
Optimointi
Laadukas data
Tulokset
I
N
T
E
G
R
A
A
T
I
O
DQ
MODUULI
- ID
- Toimittaja
KOMPO-
NENTTI
- ID Sisäiset • Reaali-
aikainen sensori data
• Lentotiedot
(Data scientist)
Tiedon
analysointi
DW
Big Data Tunnistetaan huollon tarve
Valmistaudutaan huoltoon
Nopea huolto
ERP
Kaikki mikä on teknisesti
mahdollista ei aina ole
sallittua
Yksityisyydensuoja
• Kriittistä, kun käsitellään henkilötietoja (kuluttajat, työntekijät,
potilaat jne.)
• Kansallista ja EU tason lainsäädäntöä.
– Kansallisissa laeissa paljon eroavaisuutta
– Tulossa uutta EU-lainsäädäntöä, joka korvaa kansallisia lakeja
• Ole erityisen varovainen yhdistäessäsi eri tietokokonaisuuksia
– Sinulla ei välttämättä ole oikeutta käyttää/pitää syntyvää
tietokokonaisuutta
Varoittava esimerkki
http://www.guardian.co.uk/technology/2012/apr/22/big-data-privacy-information-currency
“Big Data age puts privacy in question as information becomes currency”
Yhteenveto
1. Datan määrä ei itsessään luo arvoa
2. Jos pystyt yhdistämään Big Datan ja Master Datan, pystyt hyödyntämään
dataa lukemattomin eri tavoin ja tuottamaan todellista arvoa
liiketoiminnalle
3. Master Data tarjoaa Big Datalle merkityksen ja rakenteen
4. Hyödynnä MDM-periaatteita Big Datan laadun varmistamiseen
5. Varo lakiansoja
Kiitos!
Lisätietoja:
www.talentbase.fi