A/B-Test

Was macht einen A/B-Test zu einem echten Test?

Der entscheidende Unterschied zu einem Vorher-Nachher-Vergleich ist die Gleichzeitigkeit: Bei einem A/B-Test laufen Variante A und Variante B im selben Zeitraum, und der Traffic wird per Zufall auf beide Varianten aufgeteilt. Ein Vorher-Nachher-Vergleich — erst zwei Wochen die alte Seite, dann zwei Wochen die neue — vermischt den eigentlichen Effekt der Änderung mit Saisonalität, Wochentagsschwankungen oder parallel laufenden Marketingkampagnen. Der A/B-Test schaltet diese Störfaktoren aus, weil beide Gruppen denselben äußeren Bedingungen ausgesetzt sind.

Die Hypothese: der oft übersprungene erste Schritt

Ein A/B-Test ohne klare Hypothese ist reines Ausprobieren und liefert selten wiederverwertbares Wissen. Eine belastbare Hypothese besteht aus drei Teilen:

1. Die Änderung: Was genau wird verändert?
2. Der erwartete Effekt: Welche Kennzahl soll sich wie verändern?
3. Die Begründung: Warum sollte diese Änderung diesen Effekt haben?

Erst mit einer Begründung lässt sich aus einem gescheiterten Test lernen — schlägt die Hypothese fehl, lässt sich zumindest die zugrunde liegende Annahme über das Nutzerverhalten überprüfen und für den nächsten Test schärfen.

Statistische Signifikanz ohne Formelwüste

Die Kernfrage der Signifikanz lässt sich ohne Formel verstehen: Wie sicher kann ich sein, dass der gemessene Unterschied zwischen A und B echt ist und nicht bloß zufällige Schwankung?

Ein kleiner Unterschied bei wenigen Besuchern kann rein zufällig entstehen — würfelt man mit zwei fairen Münzen je 20 Mal, landet man nicht garantiert bei exakt 10:10. Erst bei ausreichend großer Stichprobe wird ein echter, systematischer Unterschied vom bloßen Zufallsrauschen unterscheidbar. Die Signifikanz drückt aus, wie wahrscheinlich es ist, ein Ergebnis dieser Größenordnung rein zufällig zu beobachten, wenn es in Wirklichkeit gar keinen Unterschied zwischen A und B gäbe. Ein niedriger Wert dieser Wahrscheinlichkeit spricht dafür, dass der beobachtete Unterschied echt ist — ein hoher Wert dafür, dass er noch im Bereich des Zufalls liegen kann.

Wie viel Mindest-Traffic braucht ein A/B-Test?

Es gibt keinen universellen Schwellenwert — die nötige Stichprobengröße hängt von drei Faktoren ab: der Ausgangs-Conversion-Rate der Kontrollvariante, der Größe des Effekts, den man überhaupt zuverlässig erkennen will, und der gewünschten statistischen Sicherheit. Ein Shop mit sehr niedriger Grund-Conversion-Rate braucht für denselben relativen Effekt deutlich mehr Besucher als ein Shop mit hoher Conversion-Rate. Vor Testbeginn lässt sich die nötige Stichprobengröße mit einem Sample-Size-Rechner grob abschätzen — das verhindert, einen Test zu starten, der bei realistischem Traffic niemals eine belastbare Aussage liefern kann.

Praktische Faustregeln für die Stichprobenplanung

Auch ohne Rechner helfen ein paar einfache Daumenregeln, um vorab grob einzuschätzen, ob ein Test realistisch ist:

• Je niedriger die Ausgangs-Conversion-Rate, desto mehr Besucher werden gebraucht. Bei einer niedrigen Grund-Conversion-Rate liefert jeder einzelne Besucher seltener ein Erfolgssignal, wodurch insgesamt deutlich mehr Traffic nötig ist, um denselben relativen Unterschied zuverlässig zu erkennen.
• Je kleiner die erwartete Verbesserung, desto mehr Traffic. Eine kleine Änderung wie eine andere Button-Farbe erzeugt in der Regel einen kleineren Effekt als eine komplett neue Seitenstruktur — und ein kleinerer Effekt braucht überproportional mehr Traffic, um sich vom Zufallsrauschen abzuheben.
• Volle Wochenzyklen statt kalendarischer Zufallsdauer einplanen. Mindestens eine, besser zwei volle Wochen (7 bzw. 14 Tage), damit sich Wochentagsschwankungen ausgleichen — selbst wenn eine Zwischenauswertung nach drei Tagen bereits „signifikant“ aussieht.
• Reicht der Traffic absehbar nicht, lieber mutiger statt granularer testen. Wenn ein Test bei realistischem Traffic mehrere Monate bräuchte, ist die geplante Änderung meist zu klein dimensioniert. Größere, grundlegendere Varianten oder qualitative Methoden wie Nutzer-Interviews und Session-Recordings liefern dann verlässlichere Erkenntnisse als ein unterpowerter A/B-Test.

Der häufigste Fehler: zu früh stoppen

Der mit Abstand häufigste Fehler bei A/B-Tests ist, den Test abzubrechen, sobald ein Zwischenstand „signifikant" aussieht. Zwischenstände schwanken naturgemäß stark — ein Test kann nach zwei Tagen zufällig einen deutlichen Vorsprung für Variante B zeigen, der sich nach einer Woche wieder relativiert oder sogar umkehrt. Wer bei jedem Blick ins Dashboard prüft, ob das Ergebnis „schon signifikant" ist, und bei der ersten positiven Zwischenmeldung abbricht, erhöht die Wahrscheinlichkeit eines falsch-positiven Ergebnisses erheblich.

Sequenzielles Testen: fortlaufend prüfen, ohne die Fehlerquote zu sprengen

Der Wunsch, während der Laufzeit mitzuschauen, ist menschlich und grundsätzlich nicht das Problem — das Problem ist die Methode, mit der geschaut wird. Klassische Signifikanztests gehen implizit davon aus, dass genau einmal ausgewertet wird, nämlich am Ende der vorab geplanten Laufzeit. Sequenzielle Testverfahren („Always-Valid“-Methoden) sind dagegen von Grund auf so konstruiert, dass fortlaufendes Prüfen erlaubt ist: Sie passen die statistischen Schwellenwerte über die Laufzeit hinweg an, sodass ein Test bei einem eindeutigen Ergebnis auch früher regulär beendet werden darf, ohne die Fehlerquote zu erhöhen. Viele moderne Testing-Tools bieten solche Verfahren inzwischen als Standardauswertung an.

Wer sein Testing-Tool nicht genau kennt, sollte vorher klären, welche Methode hinter dem angezeigten „Signifikant“-Status steckt, statt sich blind auf ein grünes Häkchen im Dashboard zu verlassen.

Typische Fehler bei A/B-Tests

1. Test vor Erreichen der vorab berechneten Stichprobengröße abbrechen, sobald ein Zwischenstand positiv aussieht.
2. Keine klare Hypothese vor Testbeginn, wodurch sich aus dem Ergebnis kein übertragbares Lernen ziehen lässt.
3. Testlaufzeit zu kurz gewählt, sodass Wochentags- oder Tageszeit-Effekte das Ergebnis verzerren.
4. Mehrere überlappende Tests auf derselben Journey, ohne die Effekte sauber trennen zu können.
5. Falsche Zielgröße gewählt — etwa Klicks statt tatsächlicher Käufe optimiert, wodurch eine Variante gewinnt, die zwar mehr Klicks, aber nicht mehr Umsatz bringt.

Systematisches A/B-Testing ist einer der zuverlässigsten Wege, die Conversion Rate nachhaltig zu verbessern, statt auf Bauchgefühl zu setzen. Konkrete erste Testideen liefert unser Beitrag Conversion-Optimierung: Quick Wins.