Upload
ivoriofinland
View
692
Download
2
Embed Size (px)
DESCRIPTION
Big data -esitys 14.11.2013 tilaisuudesta.
Citation preview
Ivorion missio
Ivorio on Suomen johtava riippumaton big data -asiantuntija.
Autamme asiakkaitamme selvitymään tiedon vallankumouksesta voittajina.
Mitä tarkoittaa big data?
● Big data tarkoittaa kahta asiaa:
1. Havaintoa siitä, että dataa on koko ajan määrällisesti enemmän ja sen muoto ja laatu vaihtelee suuresti
2. Ratkaisuja (tuotteet, palvelut, ohjelmistot, teknologiat), joilla tuohon haasteeseen tartutaan
Big datan 3 V:tä, se käytetyin määritelmä
1. VolumeTietoa (dataa) on koko ajan enemmän. Se pitäisi pystyä tallentamaan ja hyödyntämään.
2. VelocityTietoa (dataa) tulee koko ajan nopeammin. Päätöksiä pitäisi pystyä tekemään nopeasti.
3. VarietyTietoa (dataa) tulee kiihtyvällä tahdilla erilaisista lähteistä, eikä se istu hyvin nykyisiin toimintamalleihin
Veracity, Value Virality, Validity, Viscosity… myös muita V-kirjaimia on lisätty kuvaamaan ilmiötä.
Saatavilla olevat datavarannot(avoin data, datamarkkinat)
Potentiaalinen data(ei vielä kerätä)
Digitaalinen todellisuus(internet, sosiaalinen media)
Fyysinen todellisuus(sensorit, esineiden internet)
Mistä sitä dataa oikein tulee?
Organisaation hallussa tai saatavilla oleva data(ERP, CRM, DW, RDBMS)
© Ivorio 2013
Suppein näkökulma dataan
Tästä näkökulmasta big data koskettaa ilmiönä n. 0.2 % maailman organisaatioista
“Eihän meillä edes ole big dataa!” “Pilvipalvelut sopivat pilotointiin.”
Yrityksen oma strukturoitu dataYrityksen vielä hyödyntämätön data
Yrityksen vielä keräämätön data
© Ivorio 2013
Suppeahko näkökulma dataan
Tästä näkökulmasta big data koskettaa ilmiönä n. 3 % maailman organisaatioista
“Liiketoimintakriittistä dataa ei voida laittaa pilveen, ehkä jotain lokitietoja tms.”“Privaattipilvi kiinnostaa!”
Yrityksen oma strukturoitu dataYrityksen vielä hyödyntämätön data
Yrityksen vielä keräämätön data
© Ivorio 2013
Laaja näkökulma dataan
Tästä näkökulmasta big data koskettaa ilmiönä n. 22 % maailman organisaatioista
“Mihinkäs me laitetaan kaikki tuo data...”“Olisiko julkisilla pilvipalveluilla jotain annettavaa?”
Yrityksen oma strukturoitu dataYrityksen vielä hyödyntämätön data
Yrityksen vielä keräämätön data
© Ivorio 2013
Verkostoitunut näkökulma dataan
Tästä näkökulmasta big data koskettaa ilmiönä n. 72 % maailman organisaatioista
“Verkottunut yritys ei voi hillota dataansa!”
Organisaatio
Kumppani Kumppani
Kumppani Kumppani
Kumppani Kumppani
© Ivorio 2013
Kokonaisvaltainen näkökulma dataan
Tästä näkökulmasta big data koskettaa ilmiönä n. 98 % maailman organisaatioista
“Palvelinkellarissa homehtuva data ei tuota lisäarvoa tai kilpailuetua!”
Avoin data(dokumentoidut rajapinnat)
Data marketplace(pilvessä olevat datan markkinapaikat)
Datakauppiaat(yksittäiset suoraan omaa tai
verkostonsa dataa myyvät)
Puoliavoin data(ei rajapintoja, hajallaan)
© Ivorio 2013
Big datan hyödyntämiskohteita
● Markkinointi
● Suositukset (recommendation engine)
● Tilastollinen analyysi
● Tutkimus- ja kehitystyö
● Mallintaminen ja ennustaminen
● Resurssien kohdentaminen
Mahdollisuuksien tunnistaminen vaatii toimialan ja organisaation ymmärtämistä.
Kuinka suuret ovat big data -markkinat?
● Yleisin luku on välillä 15-50 mrd €
○ IDC sanoo (12/2012), että vuonna 2016 markkinoiden koko on n. 26 mrd $
○ Gartner sanoo (10/2012), että vuonna 2012 big data -markkinat olivat n. 28 mrd $
○ Wikibon ennustaa (02/2012), että big data -markkinat ovat vuonna 2015 n. 54 mrd $
○ McKinseyn raportissa (05/2011) arvioitiin big datan vuotuisen lisäarvo- ja kustannussäästöpotentiaalin olevan vuonna 2011 arviolta 1 000 mrd €
“McKinsey 2011:Big data: The next frontier for innovation, competition and productivity
€250 billion - potential annual value to Europe’s public sector administration in use of big data more efficiently.
“
“General Electrics 2012Industrial Internet: Pushing the Boundaries of Minds and Machines
Today, the people that manage big data systems or perform advanced analytics have developed unique talents through self-driven specialization, rather than through any programs that build a standard set of skills or principles
“
“Gartner, 2013:Survey Analysis: Big Data Adoption in 2013
64 % of organizations investing or planning to invest in big data technology.
“
“Tieto Oyj, Q3/2013:Osavuosikatsaus Q3 2013
Big datan odotetaan olevan yksi tietotekniikkapalvelujen nopeimmin kasvavista alueista keskipitkällä aikavälillä.
“
Big datan haasteet Suomessa
1. Osaajapula (teknologiat, datatieteilijät)2. Lähdedatan vaihteleva laatu ja kasvava määrä3. Ilmiön ja teknologioiden jäsentymättömyys
%
Lähde: LVM:n Big data Suomessa -selvitys 09/2013
“McKinsey, 2011:Big data: The next frontier for innovation, competition and productivity
By 2018, the United States alone could face a shortage of 140,000 to 190,000 people with deep analytical skills.
“
“Opetus- ja kulttuuriministeriö:
Huippuosaamisella on vaikutusta niin julkishallinnon sisäiseen toiminnan tehokkuuteen ja läpinäkyvyyteen kuin pysyvän kilpailuedun saavuttamiseen globaaleilla markkinoilla.
“
Big datan teknologiat
● Hadoop (tunnetuin yksittäinen uusi teknologia)
● NoSQL (uudenlaiset tietokannat)
● “Appliancet” (valmisratkaisut)
● In-memory-, In-database analytics
● Pilvipalvelut○ Amazon Elastic MapReduce
○ Google BigQuery
○ Microsoft HDInsight
HadoopBig datan teollisuusstandardi
Hadoopin asema big data -ilmiössä
Hadoop
Tiedon määrä
Tied
on r
aken
teis
uus
2 Tb1 Gb 20 Tb 200 Tb
Nearly all sectors in the US economy had at least an average of 200 terabytes of stored data per company with more than 1,000 employees.McKinsey 2011
By 2015, 65 percent of packaged analytic applications with advanced analytics will come embedded with Hadoop.Gartner 2013
© Ivorio 2013
Innoittajana Google
Googlen julkaisu Vuosi
Avoimen lähdekoodin projekti Vuosi Mihin tarkoitukseen?
GFS ja MapReduce
2004 Hadoop 2006 Datan tallentaminen ja analysointi (klusteri)
Sawzall 2005 Pig ja Hive 2008 Massa-analytiikka
BigTable 2006 HBase 2008 Avain-arvopari -tietokanta (NoSQL)
Pregel 2010 Giraph 2011 Graph-tietokanta
Dremel / F1 2010 Cloudera Impala
2012 Nopeat kyselyt(SQL)
Spanner 2012 ? ???? Transaktiot
Hadoop Suomessa
© Ivorio 2013
Käyttäjiä v. 2013 mm.
Käyttäjiä lähitulevaisuudessa
Rovio
Sanoma
Supercell
Vähittäiskauppa
Teollisuus
Telekommunikaatio
MediaPalvelualat
Hadoop-työpaikkojen tarjonta
© Ivorio 2013
Lähde: Indeed.comTyöpaikat pääasiassa Yhdysvalloissa
Mitä Hadoop tekee?
Hadoop auttaa rakentamaan klusterin palvelimista
Miksi haluaisin Hadoop-klusterin?- edullista tallennustilaa (mikä vaan x86-palvelin käy)
- tehokasta prosessointia (rinnakkaisuus)
- toimintavarmuutta (moninkertainen tallennus)
- skaalautuvuutta (klusteria helppo laajentaa)
- ekosysteemi, lisäosia ja laajennoksia!
Hadoopissa kaksi keskeistä komponenttia
HDFS MapReduce
tiedostojärjestelmä tiedonlouhintaa
Node 1
Node 1
Hadoop: arkkitehtuuri
“raakadata”MapReducen idea/vahvuus on rinnakkaistaa ja hajauttaa analytiikka.
Map
“välitulokset”
Reduce
HDFS
Node 2
Node2
“raakadata”
Map
“välitulokset”
Reduce
HDFS
Data
Hadoopin käyttöönotto
Neljä vaihtoehtoa1. http://hadoop.apache.org2. Valmis jakelu3. Hadoop osana Appliance-ratkaisua4. Pilvipalvelu
1. http://hadoop.apache.org
Lataa, asenna ja konfiguroi
1. http://hadoop.apache.org
Vahvuudet (+) Ilmainen
Heikkoudet (-) Joutuu tekemään kaiken itse
“Harva organisaatio päätyy käyttämään Hadoopia näin. Startup-yritysten, tutkimuslaitosten ja yliopistojen vaihtoehto.”
2. Valmis jakelu
Otetaan käyttöön valmiiksi paketoitu kokonaisuusAmazon (AWS EMR)
Cloudera (CHD)
Hortonworks (HDP)
MapR (M7)
Microsoft (HDInsight)
Pivotal (Pivotal HD)
IBM (IHC)
Intel (Intel Distribution for Apache Hadoop)
2. Valmis jakelu
Vahvuudet (+) Helppous, tuki, koulutus, partnerit ja optimoitu suorituskyky
Heikkoudet (-) Lukittumisuhka (lock-in), maksullinen
“Tyypillinen tapa tällä hetkellä ottaa Hadoop käyttöön. Objektiivinen vertailu hankalaa, tietoa vaikea saada.”
Hadoop-jakeluyritysten tunnettuus
3. Hadoop osana Appliance-ratkaisua
Big data Appliancet (esimerkkilista tunnetuista)HP (HAVEn)
IBM (Infosphere BigInsights)
Microsoft (Parallel Datawarehouse)
Oracle (Big Data Appliance)
Pivotal (Pivotal)
SAP (SAP HANA Platform)
Teradata (Teradata Aster Big Analytics Appliance)
3. Hadoop osana Appliance-ratkaisua
Hadoop-kytköksetHP (all leading distros)
IBM (Cloudera)
Microsoft (Hortonworks)
Oracle (Cloudera)
Pivotal (Pivotal HD)
SAP (Intel, Hortonworks)
Teradata (Hortonworks)
3. Hadoop osana Appliance-ratkaisua
Vahvuudet (+) Kehittyneet ominaisuudet, integroitavuus, tuki- ja partneriverkosto
Heikkoudet (-) Kallis, vendor lock-in
“Tämä on se todennäköinen tapa, jolla Hadoop hiipii yrityksiin osana isompaa kokonaisuutta.”
4. Hadoop pilvipalveluna
Hadoop pilvipalveluna tarjolla mm.:Amazon (AWS Elastic MapReduse, EC2)
Microsoft (Windows Azure HDInsight)
Joyent (Joyent Hadoop)
Lisäksi esim. MapR M7:lla tehty terasortin maailmanennätysGoogle (Google Compute Cloud)
Datan analysoiminen pilvessä
© Ivorio 2013
Terasortin maailmanennätys Googlen pilvipalvelussa:
“Since the servers used in MapR’s world record were virtually instantiated in the Cloud, the cost estimate for running the TeraSort was about $9 compared to the over $5M estimate to run the previous record.”
joustavuudesta!
Tästä on kysymys:
$ 9 vs. $ 5 000 000
4. Hadoop pilvipalveluna
Vahvuudet (+) Nopea käyttöönotto, joustavuus
Heikkoudet (-) Tietoturvahuolet, lainsäädäntö, lisää osaamisvaatimuksia
“Helpoin, riskittömin ja nopein tapa pilotointiin, demoamiseen ja testaamiseen. Todennäköisesti tulevaisuudessa yhä merkittävämpi vaihtoehto myös tuotantokäyttöön.”
4. Hadoop pilvipalveluna
Hadoopin käyttökohteita
Lähde: Hortonworks
Toimialue Käyttökohde (case) Datatyyppi
Finanssisektori
RiskianalyysiPetosten tunnistaminenPäätöksenteon nopeuttaminen (lainahakemukset yms.)
Paikkatieto
Palvelin- ja muut lokit
Tekstiaineistot
Sensoridata
Sentimenttianalyysi
Clickstream
KommunikaatioPuhelulokitietojen louhiminen (CDR)Investointipäätösten tukeminenResurssien allokointi (tietoliikennekaista yms.)
Vähittäis- ja verkkokauppa
360-asteen näkyvyys asiakkaaseenTuotekehitys, hankintapäätöksetMarkkinoinnin vaikuttavuuden mittaaminen
Teollisuus
Tilaus-toimitusketjun optimointiTuotennon sujuvoittaminen (lean manufacturing)Varastoarvojen minimointiLaadun parantaminen
Kannattaako versio 2 ottaa käyttöön?
Kyllä.
Nyt liikkeelle lähdettäessä ei ole mielekästä takertua versioon 1.x. Harjoitteluun, konseptointiin ja pilotointiin versio 1.x käy hyvin tietenkin edelleen.
Ivorio tarjoaa Pohjoismaiden ensimmäisen Hadoop-sertifikaatin. Ensimmäinen versio tuli saataville syyskuussa 2013 suomeksi ja myöhemmin sertifikaatista tulevat myös ruotsin- ja englanninkieliset versiot.
MITÄ PITÄISI TEHDÄ?
Ehdotus 1: Lähteä liikkeelle
Pilvipalveluiden kohdalla mm. Accenture suositteli jo vuonna 2009, että liikkeelle kannattaa lähteä heti ja ei niille vähäarvoisimmilla sovelluksilla, vaan liiketoiminnalle merkityksellisillä.
Kuunneltiinko? Olisko kannattanut?
Ehdotus 2: Datakartoitus
Kartoitetaan datalähteet (nykyiset, potentiaaliset), arvioidaan kiinnostavuutta liiketoiminnan ongelmien näkökulmasta.
Ehdotus 3: Teknologiakartoitus
Peilataan omien datalähteiden mahdollisuuksia tarjolla olevien teknologioiden tarjoamiin vaihtoehtoihin. Otetaan huomioon osaaminen, teknologioiden kypsyys, kustannuskset (elinkaari) ja odotettavissa olevat hyödyt.
Ehdotus 4: Laaditaan datastrategia
Laaditaan strateginen kartta tulevaisuuteen.
Miten tulevaisuuden markkinoilla aiotaan tuottaa lisäarvoa ja pitää sekä parantaa omaa asemaa arvoketjussa?
Kiitos