A/Bテストは、特定の目標に対してどちらがよく機能するかを調べるため、二つのバージョンを比較します。たとえば、登録ページAを表示する訪問者と、ページBを表示する訪問者に分けます。

公平に比較するには、二つのグループを計画的に割り当て、同じ指標を使い、いつ結果を確認するかを事前に決めておきます。

一方が一時的に先行しても、優れている証拠にはなりません。トラフィック、計測方法、タイミングの変化で数値が変わることがあるため、明確な計画と慎重な読み取りが必要です。