37
AB-testing: Slik gjør du det Are Halland Gjermund Alsos

AB-testing: Slik gjør du det

Embed Size (px)

DESCRIPTION

Foredrag fra frokostseminar om Måling og måloppnåelse 7. september 2010, i regi av NetLife Research.

Citation preview

Page 1: AB-testing: Slik gjør du det

AB-testing: Slik gjør du detAre HallandGjermund Alsos

Page 2: AB-testing: Slik gjør du det

Kontroll Utfordrer

Page 3: AB-testing: Slik gjør du det

For eksempel

Page 4: AB-testing: Slik gjør du det

Bilde eller ikkje?

A B

A: 34% fleire nedlastingar

Page 5: AB-testing: Slik gjør du det

Overskrifter

http://whichtestwon.com/

A B

A: 113% fleire registreringar

Page 6: AB-testing: Slik gjør du det

TriggerordA B

A: 42% fleire innsendte skjema

Page 7: AB-testing: Slik gjør du det

SkjemafelterA B

B: 60% høgarekonverteringsrate

Page 8: AB-testing: Slik gjør du det

Tekster og formuleringarA B

B: 92,8% høgare konverteringsrate

Page 9: AB-testing: Slik gjør du det

Kva oppnår vi med dette, da?

Page 10: AB-testing: Slik gjør du det

Drepe synsing

• Du kan ikkje vite før du har testa!• Basere avgjerdsler på fakta, ikkje

synsing

Page 11: AB-testing: Slik gjør du det

Feile raskare

• Prøve ut og avdekke feil umiddelbart• Raffinering og perfeksjonering over tid

Page 12: AB-testing: Slik gjør du det

Riktig fokus

• Kontinerlig vedlikehald og videreutvikling• Forretningsmål, handlingsdrivere og

konvertering

• Også innhald kan testes• Fremmer kreativet og endringsvilje

Page 13: AB-testing: Slik gjør du det

Forsider

Navigasjonssider

SkjemaerLandingssider

Produktsider Kampanjesider

NyhetsbrevAdWords

Kontaktsider

Page 14: AB-testing: Slik gjør du det

Funker aller best når

• Høg trafikk• Klare konverteringsmål• Varianter med små

og tydelige forskjeller• Gir grunnlag for å

ta beslutninger

Page 15: AB-testing: Slik gjør du det

• Alternativet er å leve lykkeleg uvitande om at B gir 100% auke i konvertering

• Morsomt og lærerikt (veddemål, anyone?)

• Enkelt (ikkje sant Gjermund?)

Page 16: AB-testing: Slik gjør du det

Ingredienser i en AB-test

Mål

Test-verktøy

Fordele besøkendeMåle resultat

Page 17: AB-testing: Slik gjør du det
Page 18: AB-testing: Slik gjør du det

Et eksempel

• Hvordan brukte Google website optimizer, på badusability.com

steg for steg…

Page 19: AB-testing: Slik gjør du det

Kontroll

Page 20: AB-testing: Slik gjør du det
Page 21: AB-testing: Slik gjør du det

Utfordrer

Page 22: AB-testing: Slik gjør du det
Page 23: AB-testing: Slik gjør du det
Page 24: AB-testing: Slik gjør du det
Page 25: AB-testing: Slik gjør du det
Page 26: AB-testing: Slik gjør du det

Målside/ konverteringsmål

Page 27: AB-testing: Slik gjør du det

Test-verktøy

Noen verktøy:• Google Website Optimizer• Omniture Test&Target

www.omniture.com/en/products/conversion/testandtarget

• Webtrends Optimizewww.webtrends.com/products/optimize.aspx

• Episerver + CMO-modulwww.episerver.com/no/Produkter/Marketing-Arena/EPiServer-CMO/

• Visual Website Optimizervisualwebsiteoptimizer.com/

• Egenutvikla scripts• Andre erfaringer?

Page 28: AB-testing: Slik gjør du det
Page 29: AB-testing: Slik gjør du det

Målside

Page 30: AB-testing: Slik gjør du det
Page 31: AB-testing: Slik gjør du det
Page 32: AB-testing: Slik gjør du det
Page 33: AB-testing: Slik gjør du det

Når kan man stole på resultatene?

• Ikke trekk konklusjoner dersom dataene ikke er statistisk signifikante.http://visualwebsiteoptimizer.com/ab-split-significance-calculator/

• Når du har kåret en vinner:bruk den beste versjonen og start et nytt A/B-eksperiment.

Page 34: AB-testing: Slik gjør du det

Feilkilder

• Teste seg ihjel.Ikke bli låst til å bare finpusse på det som enkelt lar seg måle

• A/B-testen kårer en vinner blant to versjoner, men er ikke garanti for at noen av versjonene er gode.

• Teste feil kriterier.A/B-testen reflekterer det målet du har satt.

Page 35: AB-testing: Slik gjør du det

Spørsmål? Kommentarer?

Are Halland908 70 026

Gjermund Alsos995 04 078

www.netliferesearch.no

Page 36: AB-testing: Slik gjør du det

Kilder

• http://whichtestwon.com/• http://abtests.com/• http://www.grokdotcom.com/

2007/04/03/64-tips-for-getting-started-with-google-optimizer/

Page 37: AB-testing: Slik gjør du det

Bilder

• http://www.flickr.com/photos/foxtongue/2657434642/

• http://www.flickr.com/photos/viernest/3531901577/

• http://www.flickr.com/photos/ladymixy-uk/4063937150

• http://www.flickr.com/photos/44442915@N00/4195793373/