Vuosi asiakkaiden kanssa

Näin uudistettiin Yle Areena Leevi Kokko, Asiakkuuspäällikkö, Yle.fi

Muutamia asiakkaalle näkyviä Areenan uudistustavoitteita •  Etsiminen, selaaminen, löytäminen - parempi löydettävyys

•  Sisältö on saatavilla julkaisupäätöksellä, esim. esittäminen Areenassa ennakkoon

•  TV ja radiosisältö on eroteltu •  Ryhmittely on asiakaslähtöistä sekä TV- että radiosisällöille,

suomeksi ja ruotsiksi •  Tuotetietoja parantamalla ja hakutuloksia painottamalla asiakkaan

on helpompi löytää haluamansa sisältö sekä Areena-palvelussa että hakukoneilla

•  Kuluttaja näkee mistä muut pitävät automaattisten top-listojen avulla •  Kuluttaminen, uppoutuminen, seuraaminen - nautittavampi

katselukokemus •  Uusi player käyttöön, yleinen palvelun laadun parantaminen •  Palvelu tukee toimituksen tuottamia soittolistoja (esim. ”kello 17

lastenohjelmat” tai ”tuoreimmat uutisklipit”) •  Luotettavuus, ketterämpi jatkokehitys

Parhaiden asiakkaiden mielipiteet ohjaamaan kehitystä ”So we started by learning which features were most important, and which problems were most aggravating. We also realized that solving everyone's problems was too big of a challenge for the first release. It would be better to build a product that a lot of people love, than one that everyone tolerates, and so that was our goal.”

Paul Buchheit 22.10.2005

http://googleblog.blogspot.fi/2005/10/guess-what-just-turned-34.html

Miten asiakkaita osallistettiin?

implisii&nen   eksplisii&nen  

kvan-ta-

ivinen

 kvalita

-ivine

n  

Asiakastutkimus  

Ryhmähaasta5elut  

Käyte5ävyystutkimus  

Jatkuva  asiakaskysely  

Palautekysely  

Analy-ikka  

Heatmapit  

Sosiaalinen  media  

Asiakastutkimus Toukokuu 2011

Asiakaskyselyn toteutus

•  Kysely toteutettiin toukokuussa 2011 Webropol-ohjelmistolla.   http://www.webropolsurveys.com/S/1306A0EF9DAE1AD1.par

•  Kyselyyn oli linkki Areenan etusivulla sekä Yle.fi:n etusivulla. Se levisi myös varsin tehokkaasti Facebookin ja muun sosiaalisen median avulla.

•  Kyselyn tarkoituksena oli selvittää, mitkä sisällöt kiinnostavat Areenan nykyisiä käyttäjiä, ja millä tavoin he käyttävät palvelua.

•  Kiinnostuksen kohteena oli myös se, minkälaisia teknisiä ongelmia käyttäjät ovat kohdanneet ja minkälaisia asioita he Areenalta jatkossa toivovat. Miten Areenaa voitaisiin kehittää?

•  Vastauksia kertyi yhteensä 766. •  Vastaajista oli miehiä 50,2 % ja naisia 49,8 %. •  Vastauksista koostettiin myös julkinen yhteenveto:

http://blogit.yle.fi/kehitys-kehittyy/yle-areenan-kayttajat-toivovat-tulevaisuudessa-palvelulta-muistuttajia-ja-suosituks

Kyselyn kysymykset

1. Miten usein käyt Areenassa? (monivalinta) 2. Mitä Areenaa vastaavia palveluita olet käyttänyt? (monivalinta + avoin) 3. Käytän seuraavia palveluita. (Facebook/Twitter) 4. Missä seuraavista keskustelet TV ja radio ohjelmista (valitse sopivat)? (monivalinta + avoin) 5. Miten suosittelet Tv-ohjelmia muille? (monivalinta + avoin) 6. Kuinka tärkeitä sinulle ovat seuraavat asiat Areenassa? (monivalinta) 7. Mitä asioita toivoisit Areenassa olevan? (monivalinta) 8. Haluaisin Areenaan... (monivalinta) 9. Kuinka usein tiedät miltä kanavalta hakemasi ohjelma on tullut? (monivalinta) 10. Mitä seuraavista kriteereistä haluaisit käyttää ohjelmien selaamisessa? (monivalinta) 11. Tuletko Areenaan kokonaisten ohjelmien vai lyhyiden klippien vuoksi? (monivalinta) 12. Mitä mieltä olet lyhyistä klipeistä Areenapalvelussa? (monivalinta) 13. Miten kuvailisit kiinnostustasi käyttää Areenaa eri yhteystavoilla ja laitteilla (monivalinta) 14. Missä asioissa haluaisit YLEn erityisesti kehittävän Areenaa? (avoin) 15. Syntymävuotesi (vapaa) 16. Sukupuolesi (monivalinta)

Heavyuserit korostuivat vastaajajoukossa

•  Yli 50% vastaajista vieraili Areenassa lähes päivittäin tai useammin

•  Neljännes kävi ainakin muutaman kerran viikossa.

22%  

31%  

26%  

7%  

10%  

3%  

Kuinka  usein  vierailet  Areenassa?  

Kerran  päivässä  

Lähes  päivi5äin  

Muutaman  kerran  viikossa  

Kerran  viikossa  

Muutaman  kerran  kuukaudessa  

Harvemmin  

En  ole  käynyt  Areenassa  

Feature-priorisoinnille saatiin apua

Kysely tuki muutamia analytiikasta nousseita löydöksiä

Vanhan  Areenan  web-­‐analy-ikkadata  paljas-,  e5ä  yli  90%  Areenan  hakukoneen  käytöstä  kohdistuu  ohjelma-­‐nimikkeisiin.  

Nimikkeisiin  kohdistuva  ennakoiva  haku  nousi  selkeäksi  kehityskohteksi.  

13  %  

24  %  

17  %  

23  %  

16  %  

29  %  

14  %  

32  %  

15  %  

35  %  

19  %  

36  %  

54  %  

75  %  

0  %   10  %   20  %   30  %   40  %   50  %   60  %   70  %   80  %   90  %   100  %  

Ei  Heavyt  

Heavyt  

Ei  Heavyt  

Heavyt  

Ei  Heavyt  

Heavyt  

Ei  Heavyt  

Heavyt  

Ei  Heavyt  

Heavyt  

Ei  Heavyt  

Heavyt  

Ei  Heavyt  

Heavyt  

Katsotuim

mat  

ohjelm

at  

Muu

t  jaksot  

suositu

ska

tsotun

/kuun

nellu

n  oh

jelm

an  

jälkeen  

Suorat  

lähe

tykset  Teem

at  Uusim

mat  

ohjelm

at  

Etusivun

 "suo

situsk

aruselli"  TVoh

jelm

at  

Kuinka  tärkeitä  sinulle  ovat  seuraavat  asiat  Areenassa?  

Miten heavyuserit eroavat muista?

Alle  45-­‐vuo-aat  Areenan  heavy-­‐käy5äjät  suosivat  muita  enemmän  TV-­‐ohjelmia  

15-­‐29  heavy-­‐käy5äjät  käy5ävät  eniten  Karusellia  ja  Katsotuimpia  ohjelmia  

Yli  60-­‐vuo-aat  Areena-­‐ak-ivit  käy5ävät  eniten  teemoja.  

Lähde:  Areenan  käy5äjäkysely,  kevät  2011,  OR  &  AR  

Toimitustyötä arvostetaan, suorat lähetykset jo arkipäivää

17.3  

19.9  

16.7  

21.2  

11.9  

21.4  

34.5  

23.5  

18.5  

26.1  

56.5  

62.9  

36.0  

36.6  

38.0  

45.9  

32.2  

29.7  

37.0  

42.6  

33.1  

34.0  

34.2  

33.7  

20.4  

20.3  

21.8  

18.0  

16.4  

16.3  

14.0  

19.5  

17.7  

19.4  

6.5  

2.5  

18.2  

16.8  

16.7  

12.9  

24.2  

20.4  

11.2  

12.3  

19.9  

15.7  

0.8  

0.8  

8.1  

6.4  

6.7  

2.0  

15.3  

12.1  

3.3  

2.2  

10.7  

4.8  

2.1  

0.1  

0%   10%   20%   30%   40%   50%   60%   70%   80%   90%   100%  

2009  

2011  

2009  

2011  

2009  

2011  

2009  

2011  

2009  

2011  

2009  

2011  

Muu

t  jaksot  

katsotun

/kuun

nellun  

ohjelm

an  

jälkeen  

Suorat                                        

lähe

tykset  

Teem

at  

Uusim

mat                                                

ohjelm

at  

Etusivun

 "suo

situskar

uselli"  

TVoh

jel

mat  

Käytän  paljon  

Käytän  jonkin  verran  

Olen  vain  kokeillut  

En  ole  kokeillut  

En  ole  koskaan  huomannut  

Lähde:  Areenan  käy5äjäkysely,  kevät  2011,  OR  &  AR  

Ryhmähaastattelut Kesäkuu 2011

Miten fokusryhmät toteutettiin?

•  Asiakaskyselyyn vastanneista rekrytoitiin nk. heavy-käyttäjiä* (8 naista ja 8 miestä) live/fokusryhmään, joka järjestettiin Pasilan Isossa pajassa. Sukupuolittain jaetut ryhmät veti Ylen asiakkuuspäällikkö.

•  Ryhmäkeskustelussa käytiin läpi yleisesti mediankäyttöä ja paneuduttiin tarkemmin Yle Areenaan.

•  Osallistujat saivat nähdä uuden Areenan beta-versiosta kuvia ja pääsivät kommentoimaan suunnitelmia.

•  Keskustelutilanteet nauhoitettiin monikameraohjauksella, lähetys ajettiin suorana Ison Pajan auditoriotilaan sekä tallennettiin talon sisäistä jatkokäyttöä varten.

*  Heavy-­‐käy5äjä  käy5ää  Areenaa  ainakin  kerran  päivässä.  

Pikku Joutsen –studiotilaa valmistellaan ryhmähaastattelutilannetta varten

”Suora lähetys” ajettiin Areenan projektiryhmälle ja tutkijoille auditorioon

Haastatteluun osallistuneet saivat mm. nähtäväkseen uuden Areenan konseptikuvia keskustelun pohjaksi

Vihreä:  mihin  huomio  kiinni6yy  Punainen:  mikä  sivulla  tärkeintä  Musta:  turhaa  Sininen:  kommen;t  

Ryhmähaastattelujen avulla asiakas sai Ylen sisällä kasvot ja äänen

Jos  olisi  kirjautuminen,  voisi  tehdä  niin,  e5ä  jos  vaikka  automatkalla  kuuntelee  

jotain  ajankohtaisohjelmaa  ja  se  jää  kesken,  niin  sitä  voisi  jatkaa  kotona  vaikka  

isommalta  ruudulta.  

Mobilissa  harmi5aa  valikoiman  suppeus  ja  

kuvan  laatu.  iPhonella  kun  katsoo  niin  laatu  

heikkenee  harmi5avas-.  Olisi  myös  kiva,  jos  iPadille  oli  oma  applica-on,  koska  nyt  sen  käy5ö  on  hyvin  

epämielly5ävää.  

Käyn  usein  katsomassa  Areenalta  suositukset  etusivulta  ja  haen  si5en  ohjelman  TVkaistalta  paremmassa  laadussa.  

Sarjat  -laan  usein  ne-stä  tai  katson  verkosta  ”Amerikan  

ajassa.”  

Lisäbonus: testaajan tuottamaa sisältöä fokusryhmän yhteenvetona

•  Ryhmähaastattelussa mukana ollut asiakas kirjoitti (iloiseksi) yllätykseksemme pitkän blogipostauksen haastattelutilanteesta

•  http://makke.posterous.com/yle-areena

Käytettävyystutkimus Elokuu 2011

Areenan beta-version käytettävyys testattiin Etnoteamin avustuksella •  Kun Areenan proto alkoi olla siinä vaiheessa että sitä

saattoi klikkailla, se altistettiin käytettävyystestaukselle •  Testattavina oli melko kirjava joukko suomalaisia:

•  Viisi alle 25 –vuotiasta, kuusi 25−45 –vuotiasta sekä viisi yli 45 –vuotiasta käyttäjää

•  Sukupuolitettu tasan, 8 miestä ja 8 naista •  Yksi käyttäjistä oli äidinkieleltään ruotsinkielinen •  Kolme käyttäjistä oli taloudesta, jossa ei ole käytössä

televisiota •  Kuusi Areenan heavyuseria, kymmenen ”peruskäyttäjää”

•  Testissä kävi ilmi, ettei uusi lähestymistapa aiheuttanut suuria intohimoja suuntaan tai toiseen oltiin varmempia siitä, että muutosvastarinta tuskin nousee liian suureksi ongelmaksi

Käytettävyystestit järjestettiin Yleisradion tiloissa Pasilassa

Testaaja ja testattava Ylen tiloissa suorittamassa tehtäviä

Testien etenemistä saattoi seurata ruudun välityksellä naapurineukkarista

Julkinen beta avataan 7.12.2011

Liikenteen ohjaaminen uuteen palveluun

Helmi-toukokuu 2012

Uuteen Areenaan johdettiin liikennettä kevään ajan sisäisellä kampanjalla

Sisäisen ohjauksen tehoa beta-palveluun saatiin muutettua reaaliajassa Vanhasta  palvelusta  tulevan  liikenteen  osuus  viiko5ain  Beta-­‐palvelun  käynneistä  

Jatkuva asiakaskysely

Lyhyt ja ytimekäs kysely: sormi asiakkaan pulssilla

•  Jo aiemmin vuoden 2011 puolella aloitettu säännöllinen satunnaisotantaan perustuva exit-kysely

•  Toteutettiin samansisältöisenä sekä vanhassa että uudessa Areenassa, joten palveluiden vertailu ja trendien tutkiminen mahdollista

•  Mittaa käynnin ja palvelun subjektiivista laatua asiakkaan näkökulmasta välittömästi käynnin päätyttyä

Jatkuvaa asiakaskyselyä käytettiin esim. käynnin onnistumisen ja suositteluherkkyyden tarkkailussa

Käynnit vanhassa ja uudessa palvelussa, ja nettosuositteluindeksi

Käynnit vanhassa ja uudessa palvelussa, ja käynnin onnistuminen

Palautekyselyt Tammi-toukokuu 2012

Pyysimme palautetta: saimme 16791 täytettyä palautelomaketta

•  Avointa palautetta purettuna yhteensä n. 1000 liuskaa •  Areenan konseptisuunnittelijat, projektijohto ja tuottaja saivat

joka aamu sähköpostiinsa edellisen vuorokauden aikana kertyneen palautteen

•  Spontaani palaute auttoi usein paikallistamaan hankalia virhetilanteita

Tutkimusta tehtiin käyttäen myös muita työkaluja, mm. heatmapeja piirtävää Crazy Eggiä

Viestintä

Areena-blogi lanseerattiin osana muutosviestintää

Areenan FB-sivun fanimäärää pyrittiin systemaattisesti kasvattamaan

Sivu pystyttiin valjastamaan positiivisessa hengessä muutosviestinnän tarpeisiin, etenkin paljon verkkoa käyttävien ja Areenaa fanittavien keskuudessa

Asiakkaat keskustelivat pitkin matkaa...

...ja tässä keskustelussa kannatti olla mukana: sosiaalinen media on myös (julkista) asiakaspalvelua

Lopuksi

Onnistuiko uudistus? 08/2011 08/2012

•  Käynnin onnistuminen 82.3% •  +2.8%-yksikköä

•  Nettosuositteluindeksi 37.9 •  -9.8 pistettä

•  Eri selaimet viikossa, keskiarvo +11% •  Käynnit viikossa, keskiarvo +17%

Asiakkaiden osallistamisen onnistuminen

+ mahdollisimman monta näkökulmaa muutokseen + avoimuus, viestintä + monta projektiroolia osallisena tutkimuksessa + asenne tärkeämpää kuin ulkoiset puitteet

– asiakasdialogi olisi vaatinut vielä enemmän aikaa – järjestelmät ja prosessit puutteellisia – asiakaslupaukset ja tekniset ongelmat