Web Analytics Day bvh Multivariates Testen (2010-10-26)

Konversionsrate steigern durch Multivariates Testing Claudia StrauchSenior Web Analytics Consultantcontentmetrics GmbH

[email protected]

Copyright © 2010, contentmetrics GmbH, Haar, Hamburg

Das Unternehmen contentmetrics

• contentmetrics ist Spezialist für Auswahl und Integration von Web Analytics Lösungen Auswertung von Web Analytics Daten mit den Zielen:

Effizienzsteigerung von Online-Marketing-Kampagnen Betriebswirtschaftliche Auswertung von Online Aktivitäten

• 2003 als inhabergeführtes Dienstleistungs- und Beratungshaus gegründet

Standorte sind Haar bei München und Hamburg Derzeit sind 11 Consultants und insg. 14 Mitarbeiter

für contentmetrics tätig

• Wir betreuen ca. 70 aktive Kunden mit Reichweiten von 1 Million bis > 2 Milliarden Page Views im Monat


Unabhängige & neutrale Beratung

• Wir arbeiten als Dienstleister im Auftrag unserer Kunden: Systemauswahl Anpassung von bestehenden Lösungen Dokumentation von Anforderungen und technischer Umsetzung Kontinuierliche Betreuung Analyse und Handlungsempfehlung 1st-Level Support Implementierung und Qualitätssicherung

• Wir sind zertifizierter Partner für Consulting, Support und Implementierung:

Strategische Partnerschaft mit Autonomy Coremetrics Support DACH Strategische Partnerschaft mit Econda Omniture Professional Service Provider Beratungspartner für Search Analytics – Searchmetrics Exklusiver Vertrieb von Vertster DACH Webtrekk Implementation Partner


Einige Kunden ...Retail Social Media

High Tech

Media

eCommerce Travel

Agencies

Finance

Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 5

Agenda

• Testing Grundlagen• Unterschied multivariater Test und A/B-Test• Taguchi• Bedingungen für multivariate Tests• Der Testplan

Mögliche Thesen Test- und Messzeitraum Abbruchbedingungen Metriken und KPI Segmente

• Auswertung• Signifikanz


Agenda





Testing Grundlagen - Warum Testing?

• … zur Überprüfung von Hypothesen nicht mehr schätzen, sondern wissen!

• … zur langfristigen Optimierung der Website aufgrund des Konversionsverhaltens der Besucher


Ein Test zum Testen

• Ein Beispiel von webanalysts.infohttp://www.slideshare.net/webanalystsinfo/guess-the-outcome-of-15-ab-tests

• 15 Testszenarien mit jeweils zwei Varianten• Ein Panel hatte die Aufgabe, die jeweils erfolgreichste

Variante herauszufinden: Ein Affe Des Autors Mutter Ein HiPPO (Highest Paid Person's Opinion) Ein Usability Experte Ein Art Director Ein Web Analyst

• Am Ende wurden für jeden die richtigen Antworten (max. 15) gezählt.





Die überraschend(st)en Ergebnisse …




Version 1 um 49% mehr Abschlüsse auf dem mittleren Angebot als Version 2


• Mama ist die Beste … ?• Und der Affe auf Platz drei … ?

Uuups …


Testing Grundlagen – Testgegenstand

• Ganze Seite (Page) in einer Website Landing-Page-Tests oder A/B-Tests

• Ein einzelnes Element auf einer Seite (Page) in einer Website A/B- bzw. A/N-Tests Es gibt verschiedene Varianten für ein Element

• Mehrere Elemente auf einer Seite (Page) in einer Website Multivariate Tests Es gibt mehrere Elemente bzw. Variablen mit jeweils

mehreren Varianten


Testing Grundlagen - Vorgehen

Jeder Besucher wird eindeutig einer Gruppe zugewiesen Die verschiedenen Varianten werden anhand von vorher

festgelegten Metriken (Konversionen) verglichen und bewertet.

Umsetzen der besseren Alternative

€ KonversionsrateGruppe A

€ Konversionsrate Gruppe BAlternative

B

Alternative A


Testing Grundlagen - Regeln

•Innere und äußere Faktoren soweit wie möglich ausschließen•Alle Faktoren können das Testergebnis verfälschen!•Beispiele: Kampagnen, Änderungen an der Webseite, etc.


Testing Grundlagen - Voraussetzungen

• Valides Messsystem • Test- und messbare Thesen• Geeignete Alternativen• Hinreichende Anzahl an Probanden

• Reproduzierbarer Testaufbau• Abgrenzung aller Einflussfaktoren


Testing Grundlagen - Aufwände

• Never overstimate the underestimation .... Insbesondere nicht beim technischen Setup!

• Kreativität Haben Sie bitte vier Ideen… Jetzt.

• Planung Die meisten Tests scheitern nicht an der Technik

oder an den Ideen, sondern an einer nicht strukturierten und koordinierten (!!) Umsetzung

• Konsequenz Wenn ein Ergebnis vorliegt, handeln Sie danach! Vielfach wird das Testergebnis ignoriert, weil es

politisch "unangenehm" ist

30%

20%

30%

20%


Agenda





Unterschied multivariater Test und A/B-Test (1)

• In einem A/B- bzw. A/N-Test wird ein Element mit zwei oder mehr (N) Varianten getestet.


Unterschied multivariater Test und A/B-Test (2)

• In einem multivariaten Test (MVT) werden mehrereElemente mit zwei oder mehr Varianten getestet.


Unterschied multivariater Test und A/B-Test

• A/B bzw. A/N-Test: 1 Element mit 2 oder N Varianten Man braucht also 2 oder N Gruppen Das bedeutet, der Besucherstrom wird in 2 oder N Teile

geteilt

• Multivariater Test (MVT): N Elemente mit 2 oder N Varianten Man bräuchte bei 4 Elementen und jeweils 3 Varianten

34 Gruppen = 81 Gruppen Das bedeutet, der Besucherstrom muss in 81 Teile geteilt

werden. Das könnte zu sehr kleinen Testgruppen und zunicht mehr signifikanten Ergebnissen führen.


Agenda





Taguchi

• Viele Kombinationen erfordern viel Traffic• Die Taguchi-Methode verringert mit einer

statistischen Berechnung die Anzahl der zu testenden Kombinationen:

10.04.23 27

A/B- bzw. A/N-Test MVT (Taguchi)

4 Elemente / 3 Varianten

81 Kombinationen9 Kombinationen im

Test

5 Elemente /4 Varianten

1024 Kombinationen16 Kombinationen im

Test

„Versuchspläne nach Taguchi sind im wesentlichen Teilfaktorpläne (engl. fractional factorial designs), das heißt, es werden nicht alle möglichen Kombinationen von Faktorstufen durchgespielt, sondern nur eine genau ausgewählte Teilmenge.“

(Quelle: Wikipedia, Taguchi-Methode)


Agenda





Bedingungen für multivariate Tests

• Gleiches Konversionsziel (z.B. ein Vertragsabschluss) für jedes Element damit man es vergleichen kann

• Eine Kombination als Vergleichsgröße; in der Regel der bisherige Seiteninhalt ("Default Content„)

• Alle anderen Ergebnisse werden damit verglichen und bewertet

10.04.23 29


Agenda





Der Testplan

Was wird getestet? Warum wird getestet? / Was ist das Ziel des Tests? Wie lautet die These? Wann möchten Sie die Ergebnisse haben? Wann wird getestet bzw. gemessen? Was ist die bzw. sind die Abbruchbedingungen? Welche Messeinheiten und KPIs werden verwendet? Welche Segmente werden getestet bzw. gemessen? Welche Randbedingungen (Kampagnen, IT, etc.)

können den Test beeinflussen? Welche Abteilungen sind betroffen? Welche internen und externen Ressourcen werden

benötigt? Wer aus dem Management fordert den Test an?

10.04.23 31


Mögliche Thesen

• „Das neue Design ist besser“• „Unsere Kunden kaufen unsere Produkte aufgrund

unseres technischen Vorsprungs“• „Wenn die E-Mailadresse ein Pflichtfeld ist, hemmt

das die Konversion“• „Wenn bei nicht ausgefülltem E-Mailfeld eine

Fehlermeldung kommt, hemmt das die Konversion“• „Männer klicken Frauenbilder, Frauen klicken

Männerbilder“ • „Für wiederkehrende Besucher funktioniert Design A

besser.“

10.04.23 32


Beispiele für mögliche Varianten

• Verschiedene Preise• Preisnachlässe in % gegen €• Verschiedene (Button-)Designs• Den Content gemäß der SEM-Suchbegriffe gestalten• Promotions in E-Mailkampagnen• „Call to Action“ Funktionen• Werbegeschenke (z.B. verschiedene Incentives

testen)• Radikale Vereinfachungen• Verschiedene Texte

10.04.23 33


Fehler bei der Variantenerstellung

• Grundsatz:

Unterscheiden sich die Varianten nicht signifikant voneinander, so werden sich auch die Testergebnisse nicht signifikant voneinander unterscheiden.

• Denken Sie radikal: Sie wissen nicht, was Ihre Besucher bevorzugen. Interne Denk- und Sichtweisen müssen nicht zwingend die der

Besucher sein Betriebsblindheit verhindert eine optimale Zielerreichung Das Corporate Design folgt nicht zwingend den Regeln eines

optimalen User-Interface-Designs Die Erfahrung zeigt: Featuritis in der Website erfreut Vorstände und

verwirrt Besucher


Testzeitraum und Messzeitraum

• Vorlauf: Gefühl für die Ergebnisse bekommen; Konversionen aus dieser Zeit (rot) nicht mitberücksichtigen

• Testzeitraum: mindestens ein durchschnittlicher Konversionszeitraum

• Nach Testende: eine durchschnittliche Konversionszeitraumlänge messen, dann erst auswerten; alle Konversionen aus Testzeitraum (grün) mitberücksichtigen

10.04.23 35

Durchschnittlicher

Konversionszeitraum

Testzeitraum

Durchschnittlicher

Konversionszeitraum

Messzeitraum

Vorlauf

Durchschnittlicher

Konversionszeitraum

€€

€€€


Der Testplan




10.04.23 36


Mögliche Abbruchbedingungen

• Die Konversionsrate einer Kombination weicht zu stark nach unten von der Vergleichsgröße ab.

• Anzahl der Registrierungen sinkt unter einen bestimmten Wert.

• Der Umsatz sinkt um X%.

Ganzen Test stoppen oder nur eine Kombination „ausschalten“

10.04.23 37


Metriken und KPI

• Registrierungen• Vertragsabschlüsse• Warenkorbwerte• …

• Eine der Metriken wir als KPI festgelegt. Die Ausprägung dieser entscheidet über den Ausgang und die

nächsten Schritte

• KPI und Metriken vor dem Test festlegen!• Integration mit Web Analytics Tool ermöglicht später

weitere Analysen auf weiteren Metriken

10.04.23 38


Mögliche Segmente

• Zufall (keine Segmentierung)• SEM-Traffic vs. normaler Traffic• Adword Gruppe1 vs. Adword Gruppe2• Produktgruppe1 (Krankenversicherung) vs.

Produktgruppe5 (Kredit)• Deutschland vs. Österreich (Geo-Segmentation)• Registrierte vs. nicht registrierte Nutzer• Neue vs. wiederkehrende Besucher• Internetexplorer vs. Firefox• Besucher an Wochentagen vs. Besucher am

Wochenende

10.04.23 39


Der Testplan




10.04.23 40


Agenda





Auswertung

10.04.23 42

Signifikanz

Konversionsrate und Änderung

zur VergleichsgrößeTestteilneh

mer

„Rezepte“


Agenda





Exkurs: Signifikanz

• Was bedeutet „Signifikanz“?

• Signifikanz beschreibt die Wahrscheinlichkeit, mit der das Testergebnis reproduzierbar ist.

• Die Signifikanz errechnet sich aus der Anzahl der Testteilnehmer, Mittelwerten und Standardabweichung.

• Deutlich höhere Abschlüsse bei einer Kombination müssen nicht gleich signifikant sein!

10.04.23 44


Signifikanz und Relevanz

Signifikanz

Rele

van

z Fokus

Irrelevant

Potential

Analyse

Interessant für

WA

Nicht alle Metriken sind relevant für die Zielerreichung.

Nicht alle Segmente sind relevant.


Vielen Dank!

Copyright © 2010, contentmetrics GmbH, Haar, Hamburg 10.04.23 4710.04.23 47

Kontaktdaten

Claudia Strauch

[email protected] +49 (0) 40 / 1804 336 – 14 Mobil +49 (0) 176 / 1021 3692

contentmetrics GmbH

Münchner Str. 25 – D-85540 Haar b. MünchenTelefon +49 (0) 89 / 219 65 15 - 0PC-Fax +49 (0) 89 / 219 65 15 - 16

Spaldingstr. 218 – D-20097 Hamburg Telefon +49 (0) 40 / 1804 336 – 0 PC-FAX +49 (0) 40 / 1804 336 – 16

Office München Office Hamburg

Business

Web Analytics Day bvh Multivariates Testen (2010-10-26)