In this webinar. James Ross, Senior Product Manager at Xapix, walks us through the challenges of A/B testing in 5 easy steps as well as shares real-life examples and tips, and more.

1. Title
Lead Text
Subtitle
Bodytext
1
Title | Data | Xapix

2. A/B Testing Stolpersteine
Erfahrungen aus der
Produktmanagement Welt
17.08.2021

3. Mein Hintergrund
1.Google, 08-12
2.Sociomantic Labs, 12-16
3.dunnhumby, 17-19
4.Xapix, 20-21
AdWords und Doubleclick AdExchange
Start Up, Online Marketing Platform
Tochterfirma von Tesco, Retail Customer Data Science
Start Up, Low-Code Daten Integration und Insights für
eCommerce Marktplätze

4. 4 Phasen eines A/B Testing Projektes
1.Priorisierung
2.Zielsetzung
3.Implementierung
4.Experimentieren
Survey: What is the hardest part of running a successful
A/B test? Why do some projects fail & others succeed?
Choosing what to test & why
Setting realistic goals
Collecting the required data
Running and analyzing the test

5. 5
Erwartungen vs Realität

6. Implementier
ung
Priorisierung
/Zielsetzung
Experimenti
eren
A/B Testing Projektziel vs Realität
Projekt
Abbruch

7. xapix
Priorisierung & Zielsetzung:
Was sollen, können, werden wir testen?

8. Priorisierung:
Was sollen wir testen?
- Was sind die wichtigsten Geschäftsprobleme und Möglichkeiten?
- Gibt es eine Kern KPI die verbessert werden kann/muss?
- Eine North Star Metric als Wegweiser?
- Ist es überhaupt der richtige Moment in der Firma, sich auf inkrementale
Verbesserungen zu konzentrieren?

9. Stolperstein #1: Timing eines A/B Testing Projektes
“Exclusively using data to drive product decisions is like exclusively staring at the GPS
navigation to drive your car. Occasionally you need to look outside the window.”
Chris Saad, Former Head of Product, Uber Developer Platform

10. Priorisierung: Was können wir testen?
- Gibt es genug und vollständige Daten?
- Haben wir die benötigte Expertise um es Umzusetzen?
- Welche Ressourcen werden beansprucht?
- Welche Roadmap Implikationen könnte es geben?

11. Stolperstein #2: Daten Volumen & Qualität
- Ideen/Hypothesen mit den
Daten Experten intern
evaluieren

12. Zielsetzung: Was werden wir testen?
Nach dem “Go”
- stakeholder Alignment
- Abteilungsübergreifende “handshake” wenn mehrere
Roadmaps involviert sind (legal, backend, frontend, data
science)

13. Stolperstein #3 Stakeholder Alignment
Beispiel Kommunikation:: Unnötige Abkürzungen, “Acronyms”
“Excessive use of made up acronyms is a significant
impediment to communication and keeping communication
good as we grow is incredibly important. No one can actually
remember all these acronyms and people don’t want to
seem dumb in a meeting, so they just sit there in ignorance.”
Elon Musk

14. Zielsetzung: Was müssen wir erreichen und bis
wann?

15. Stolperstein #4: Zielwerte Versprechen
Anchoring
“People use a two-stage process called anchoring-and-adjustment.
First, people generate a preliminary judgment called their anchor.
They adjust that judgment to incorporate additional information, but
the adjustment is usually insufficient. ”
-
Source:
Tversky, A., & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124–1131.

16. Stolperstein #4: Zielwerte Versprechen
Wieso ist das hier relevant?
- Die 50% Zahl wurde geankert
und eine signifikante
Verbesserung wurde nicht Ernst
genommen
- Das Versprechen kann am
Anfang für Momentum und
Projektzusage sorgen, kann
aber schnell poblematisch und
demotivierend werden

17. xapix
Implementierung

18. Implementierung
- Bereitstellung der Daten
- Implementierung eines A/B Testing Frameworks
- Etablierung interner Prozesse

19. Stolperstein #5 Implementierung Unterschätzen
- Moderne Tools für die Datenintegration
und A/B Testing nutzen, damit die
Implementierung beschleunigt werden
kann und auch für den Produktmanager
direkt einsehbar ist
- Vermeiden, dass Daten in verschiedenen
Backend Applikationen begraben werden
und jede Änderung ins Engineering
Backlog rein muss
- Moderne no/low-code Tools können vieles
für PMs zugänglich und anpassbar machen

20. xapix
Experimentieren

21. Experimentieren
- Hypothesen formulieren
- Tests Launchen
- Resultate Analysieren
- Lernen und Hypothese anpassen

22. Stolperstein #6: User Fokus Verlieren
Negatives Test Resultat =! Versagen
- Valide Resultate sind aussagekräftig
- Man kann mit negativen Resultaten auch viel über die
Präferenzen der User lernen und darauf basiert verbessern
-

23. Implementier
ung
Priorisierung
/Zielsetzung
Experimenti
eren
Was würde ich ändern?
Projekt
Abbruch

24. Was würde ich ändern?
- Mehr Zeit in Priorisierung und Evaluierung investieren
- Zuerst lernen, dann iterative Ziele setzen
- Klein Anfangen, internes Vertrauen in A/B Testing aufbauen

25. 25
Source: Itamar Gilad, itamargilad.com
Stolperstein #7: Wasserfall Projektplanung

26. Title
26
Title | Data | Xapix
Steps / Tasks: Ideen
schnell testen und
validieren um Vertrauen
aufzubauen
Unternehmensziele mit
North Star Metric als
Wegweiser
Ideen und Hypothesen für
test Scenarios von überall
Sammeln
Agile Planning Cadence: Abteilungsübergreifend
Source: Itamar Gilad, itamargilad.com

27. The A/B Testing Flywheel
North Star
Metric for
Customer
Success
Experiment &
Learn: MVP
approach
Always-On
Experimentation
Framework
Prove Uplift
Internal
Confidence in
Experiments
Clearer Goals & Increased
Investment, Priority
27

28. Recap
Stolpersteine
#1: Timing eines A/B Testing Projektes
#2: Daten Volumen & Qualität
#3: Stakeholder Alignment
#4: Zielwerte Versprechen
#5: Implementierung Unterschätzen
#6: User Fokus Verlieren
#7: Wasserfall Projektplanung

29. Survey Results: LinkedIn
1.Priorisierung
2.Zielsetzung
3.Implementierung
4.Experimentierung

30. 1.Priorisierung
2.Zielsetzung
3.Implementierung
4.Experimentierung
Survey: What is the hardest part of running a successful
A/B test? Why do some projects fail & others succeed?
Choosing what to test & why
Setting realistic goals
Collecting the required data
Running and analyzing the test
Survey Results: Webinar

31. xapix
Q&A

32. xapix
Jimmy Ross
Senior Product Manager
Danke!
james@xapix.io
xapix.io
Xapix Inc.
Ritterstrasse 24-26
10969 Berlin
32
Xapix Inc.
44 Tehama Street
San Francisco, CA 94105

33. xapix
APPENDIX
Subheadline / description text
Chapter title

34. Quote
Author
34

35. Number caption #2
Number #2
Title
Body text
Subtitle
Number #1
Number caption #1
Lead text
Number #3
Number caption #3
35

36. Title
Lead Text
Subtitle
Bodytext
36
Title | Data | Xapix

37. Body text
Subtitle #1
Title
Body text
Body text
Subtitle #2
Lead text
Subtitle #3
37
Title | Data | Xapix

38. Headline
Body text
Subheadline
Lead text
38
Title | Data | Xapix

39. Lead text
Title
Subtitle
Body text
39
Title | Data | Xapix

40. Lead text
Title
Subtitle #1
Body text
Subtitle #2
Body text
40
Title | Data | Xapix

41. xapix
Name Surname
Title
Email
Website
CTA
Xapix Inc.
Ritterstrasse 24-26
10969 Berlin
41
Xapix Inc.
44 Tehama Street
San Francisco, CA 94105