ABテストのやり方｜仮説・必要サンプル・有意差を正しく判断する手順

ABテストで分かること・分からないこと

適切なランダム割付と計測ができれば、テスト対象者・期間・条件における変更の効果を推定できます。一方、その結果が別の商品、季節、国、新しい流入にも同じように当てはまるとは限りません。

変更前の1か月と変更後の1か月を比較するだけの前後比較は、厳密にはランダム化したABテストとは異なります。流入量、曜日、セール、広告予算などの影響を別に考える必要があります。

ステップ1：観測した問題から仮説を作る

「ボタンを赤くしたい」ではなく、「料金を確認できないため送信前に離脱している」といった、ユーザーの行動を説明する仮説を置きます。アクセス解析、入力エラー、問い合わせ内容、ユーザーへの聞き取りが材料になります。

一つの要素に絞ると原因を解釈しやすくなります。ただし、ページ全体の案を比較すること自体が誤りではありません。その場合に分かるのは案全体の差であり、どの変更部分が効いたかを個別には断定できません。

ステップ2：指標と割付単位を決める

主指標は意思決定に直接つながるものを選びます。ボタンクリックだけを増やしても、フォーム完了や有効商談が増えなければ目的を達成できない場合があります。

同じ人が訪れるたびにAとBを行き来すると比較が混ざるため、原則として割付を維持します。ユーザー単位で割り付けるなら、分析もユーザーを単位に考え、複数訪問をすべて独立した人のように数えないようにします。ログインをまたぐ利用やCookie削除など、同一人物を完全に識別できない条件も記録します。

サイト上のCVRの分母を確認する際は、CVRの定義と計算式も参照してください。

ステップ3：必要サンプルと期間を先に計算する

必要な人数は、現在のCVR、検出したい差、有意水準、検出力、片側・両側、割付比率などで変わります。小さな改善を見つけようとするほど多くのデータが必要です。

たとえば、CVR3%から3.6%への変化は、0.6ポイント、相対20%の改善です。有意水準5%、検出力80%、両側検定、50:50割付、各ユーザーの成果を独立な二項データとみなす通常の正規近似では、各群約13,914人、合計約27,828人が目安になります。補正や検定方法によって値は変わります。

1日に対象ユーザーが合計500人なら、単純計算で約56日必要です。訪問回数が500回でも、対象となるユニークユーザーが500人とは限りません。実際の期間には曜日の偏りや成果確定までの待ち時間も加味します。

この人数を集められない場合は、検出したい差を事業上意味のある範囲で見直す、流入の多いページを選ぶ、インタビューや操作観察で改善案を絞るなどの方法があります。少ないデータから無理に勝者を選ばないことが大切です。

上の例の計算条件：p1=0.03、p2=0.036、p=(p1+p2)/2。各群nは、{1.959964×√[2p(1−p)]＋0.841621×√[p1(1−p1)+p2(1−p2)]}²÷(p2−p1)²を切り上げたものです。

ステップ4：配信と計測が正しいか確認する

公開前にA・B両方のフォームを実機で操作し、表示・遷移・完了イベントを確認します。ユーザーの割付、重複イベント、内部アクセス、対象外の流入を確認し、障害がある場合はテスト結果を解釈する前に修正します。

実行中は、予定した割付比率から不自然に外れていないかも調べます。たとえば50:50の予定なのに大きな偏りが続く場合は、対象条件やタグ欠損に問題がある可能性があります。勝ち負けの検定より先に、実験が成立しているかを確認します。

ステップ5：有意差・信頼区間・事業価値を一緒に読む

p値は「Bが優れている確率」ではありません。検定の前提の下で、差がないという仮説に対して、観測したデータがどの程度整合しにくいかを評価する指標です。

改善幅の95%信頼区間が+0.3〜+1.2ポイントだったとしても、将来必ず0.3ポイント以上改善するという保証にはなりません。頻度主義の信頼区間は、同じ手順を繰り返したときの区間の包含率に関するものです。NISTの信頼区間解説

「有意差なし」は「差が存在しない証明」ではありません。改善幅を狭く推定できているのか、単にデータが足りないのかを分けます。

失敗しやすい3つの運用

有意になった瞬間だけで終了する

固定サンプルの検定を前提に、毎日結果を見て有意になった時だけ止めると、予定した誤判定率を保てない場合があります。途中判断を行うなら、その用途に設計された逐次検定などの方法と停止ルールを使います。

多数の指標・セグメントから良い結果だけ選ぶ

主指標や分析対象を後から増やすほど、偶然の良い結果を見つけやすくなります。探索的な分析で見つけた傾向は次の仮説として扱い、確認のためのテストを設計します。

テスト中に広告・価格・対象条件を変える

共通の変更でも効果の解釈に影響し、片群だけに影響すれば比較が壊れる場合があります。必要な変更は履歴に残し、再開・再実施の判断をします。

結果を残すテンプレート

「仮説／対象／変更内容／割付方法／主指標／必要サンプル／実施期間／実際の人数・CV数／改善幅と区間／補助指標／採否／次の仮説」を1つの記録にまとめます。勝ったテストだけでなく、差が不明だった結果も残すと、同じ案を繰り返し試す無駄を減らせます。

最初のテストでは、十分な流入があり、改善の理由を説明できる1か所を選んでください。結果を急ぐより、条件と判断方法を事前に決めることが、再利用できる学びにつながります。