Ein A/B-Test vergleicht zwei Versionen, um festzustellen, welche ein bestimmtes Ziel besser erfüllt. Zum Beispiel sehen einige Besucher Anmeldeseite A und andere Seite B.
Für einen fairen Vergleich sollten die Gruppen planmäßig zugeteilt werden, für beide dieselbe Kennzahl gelten und der Zeitpunkt der Auswertung vorab feststehen.
Ein kurzfristiger Vorsprung beweist nicht, dass eine Version besser ist. Änderungen bei Traffic, Tracking oder Zeitpunkt beeinflussen die Zahlen. Deshalb braucht der Test einen klaren Plan und eine sorgfältige Auswertung.