A/B testi, belirli bir hedef için hangi sürümün daha iyi çalıştığını öğrenmek amacıyla iki sürümü karşılaştırır. Örneğin bazı ziyaretçiler kayıt sayfasının A sürümünü, diğerleri B sürümünü görebilir.
Karşılaştırmanın adil olması için iki grup planlı biçimde atanmalı, ikisinde de aynı ölçüt kullanılmalı ve sonucun ne zaman inceleneceğine önceden karar verilmelidir.
Bir sürümün kısa süre önde olması daha iyi olduğunu kanıtlamaz. Trafik, izleme veya zamanlama değişiklikleri sayıları etkileyebilir; bu nedenle testin net bir plana ve dikkatli bir değerlendirmeye ihtiyacı vardır.