A/Bテストとは？設計・必要サンプル・結果判定の進め方
A/Bテストは、対象者を無作為に分け、異なる案を比較して施策の効果を評価する実験です。始める前に、仮説、主指標、割付単位、検出したい差、必要サンプル、終了・判定条件を決めます。「Bの率が高かった」「p値が0.05を下回った」だけで採用する方法ではありません。
無作為割当は、両群を平均的に比較しやすくする設計です。偶然のばらつきや計測不備を自動的になくすものではなく、同じ人が両案を見る汚染、ユーザー間の干渉、欠損なども点検して初めて結果を解釈できます。以下の数値は架空の計算例で、一般的な改善率や企業実績ではありません。
何を比較し、何を学びたいかを決める
見出しだけを変えるテストは、その変更を評価しやすくなります。一方、見出し・画像・導線をまとめて変えたページでも、無作為比較ならA/Bテストです。ただし、結果からどの要素が効いたかまでは切り分けられません。変更を一つにすることは学習目的に応じた選択であり、A/Bテストの必須定義ではありません。
区分 | 何を変えるか | 結果から言える範囲 |
|---|---|---|
単一要素のA/B | 見出しなど一つの変更 | その変更案全体の差 |
ページ全体のA/B | 複数要素をまとめた案 | 案全体の差。個別要素の効果は不明 |
多変量テスト | 複数要因の組合せ | 設計に応じて主効果や交互作用 |
別URL・画面内・サーバー配信 | 案を表示する実装方法 | 実装だけでは無作為実験にならない |
広告管理画面で複数素材を登録し、媒体が配信を最適化する運用は、そのまま等条件の無作為実験にはなりません。配信対象や機会が異なる可能性があるため、正式な実験機能の割付・対象・分析条件を確認します。メール開封も保護機能等の影響を受けるため、本人の閲読と同一視せず、クリック・成果・解除などと合わせて読みます。
実験の前には、LPの課題を診断し、読者が迷う理由を観察して仮説を作ります。CTAを変える場合は文言・配置・操作性の設計が出発点です。明らかな送信エラーや誤価格は、実験で良し悪しを試す前に修正する対象です。
テスト計画書で先に固定する項目
「フォームの説明不足が入力前の不安を生み、受付成功を妨げている。入力目的の説明を追加すれば成功率が上がる」といった、理由と変更と指標がつながる仮説を置きます。主指標は一つを基本に、品質・収益・エラー等をガードレールとして別に設定します。
項目 | 記入内容 | 確認する理由 |
|---|---|---|
仮説・対象 | 誰の、どの障害を、何で変えるか | 全訪問者に必要な変更かを分ける |
主指標・ガードレール | 成功率／品質／エラー／売上など | 安いクリックだけで勝ちにしない |
割付・分析単位 | ユーザー／組織等、割合、固定方法 | 重複や群間の干渉を確認 |
効果と統計条件 | ベース率、絶対/相対MDE、α、検出力 | 必要数と判断の精度を定める |
期間・停止・判断 | 最大期間、確定待ち、安全中止、採用基準 | 結果を見て条件を変えない |
分析単位も重要です。ユーザーを割り付けたのに、同じユーザーの複数セッションを独立標本として扱うと、ばらつきを過小評価することがあります。端末をまたぐ識別やログイン前後の扱い、ボット・社内アクセスの条件を確認します。売上など分布が偏る指標は、単純な二項比率の計算を流用しません。
事前設計の考え方はMicrosoft Researchの実験準備の解説を参照できます。指標を選ぶ基準はKPIの役割、成功の定義はコンバージョンの数え方でも整理しています。
必要サンプル数を流量と期間へつなぐ
必要数は、基準の成功率、検出したい最小差（MDE）、有意水準、検出力、検定方法、割付比などで変わります。MDEは「検出できれば実務上判断が変わる差」です。絶対差のポイントと相対差の%を併記し、希望する大きな効果を根拠なく置いて必要数を小さく見せないようにします。
架空の計画：独立したユーザーを二群に等数で無作為割当し、1人あたり受付成功の有無を測定します。基準2.0%から2.4%への変化、つまり+0.4ポイント・相対+20%を検出したいとします。両側検定、有意水準5%、検出力80%、二群比率の正規近似なら、必要数は約21,109人／群、合計42,218人です。
対象となる新規ユーザーが両群合計で1日1,000人なら、流量だけで約43日かかり、さらに成果確定待ちが必要です。1〜2週間で終わるという一律の推奨はできません。実際の流量、重複、組織単位の割付、多重比較、指標の分散が変われば再計算します。5%・80%も、この例で選んだ設定であり、あらゆる実験の固定必須値ではありません。
必要期間が事業の判断期限を超えるなら、小差のテストを無理に始めず、効果の大きい仮説、ユーザー調査、操作観察、計測整備を検討します。低流量で有意差が出ないことを、改善余地がない証拠にはしません。
開始前のQAと、実施中に監視すること
- 両案を点検する。表示、リンク、フォーム成功、戻る操作、再読込、端末・言語、同意条件を確認する。
- 割付を確認する。同じ対象者が意図せず両案へ移らないか、対象外のアクセスが入らないかを調べる。
- 計測を照合する。割付記録、露出、成功イベント、業務側の受付をつなぎ、群ごとの欠損を確認する。
- 安全と品質を監視する。購入不能や重大なエラー、問い合わせ品質の悪化は事前の中止条件に沿って対処する。
- 割付比の異常を調べる。予定50:50と観測比に説明できないずれがあれば、結果判定の前に原因を確認する。
最後の問題はSample Ratio Mismatch（SRM）です。単なる群人数の差を見てすぐ異常とせず、予定割付に対する統計的な不整合を診断します。Microsoft ResearchのSRM解説は、効果を読む前のデータ品質確認として位置づけています。
途中で見てよい監視と、勝ちを決める停止を分ける
固定終了の通常検定で、毎日p値を見て有意になった日に終了すると、誤検出の確率が設計時の想定より増えます。一方、安全・エラー・割付の確認まで禁止する必要はありません。途中の採用判断が必要なら、逐次検定など、その監視と停止を織り込んだ手法を事前に設計します。連続監視を扱うMicrosoftの研究も、通常の固定終了検定と補正された監視を区別しています。
予定数に達しなかったときだけ都合よく延長する、良い結果が出たセグメントだけ後から選ぶ、といった変更は、最初の判定条件と別物になります。変更理由と分析への影響を残し、確認的な結論と探索的な発見を分けてください。
結果は効果量・区間・事業上の価値で読む
架空の結果：Aは5,000ユーザー中100成功で2.0%、Bは5,000中110成功で2.2%。B−Aは+0.2ポイントで、相対差は0.2÷2.0＝+10%です。「10ポイント改善」とは異なります。
項目 | A | B／差 |
|---|---|---|
対象ユーザー | 5,000 | 5,000 |
受付成功 | 100 | 110 |
成功率 | 2.0% | 2.2% |
絶対差 | 基準 | +0.2ポイント |
相対差 | 基準 | +10% |
差の95%区間 | 非プール正規近似 | 約−0.362〜+0.762ポイント |
単純な非プール正規近似による差の95%信頼区間は、約−0.362〜+0.762ポイントです。0を含むため、この例からBが勝ちとは断定しません。区間がどの範囲の悪化・改善と整合するかを見て、事前のMDE、導入費、成果品質を含めて判断します。別の妥当な推定手法では区間が多少変わるため、利用した方法も記録します。
p値は、差がないという帰無仮説のもとで、観測以上に極端な結果が出る確率です。Bが正しい確率でも、今回の差が偶然だった確率でもありません。95%信頼水準は同じ手順を繰り返した場合の区間の性質であり、通常の頻度論で今回の固定された真値に95%の確率を割り当てる説明とも区別します。
このような前提、汚染、多重比較の問題はオンライン比較実験の研究解説に整理されています。多数の指標やセグメントから良い結果だけを拾わず、事前に決めた主指標を中心に読みます。後から見つかった端末差は探索として扱い、必要なら新しい実験で確かめます。
主指標が改善しても、事前に決めた品質や安全の条件を満たさなければ採用を見送る選択があります。少数の成果では1件の増減が率を大きく動かすため、率だけでなく人数と成功数を併記します。
採用・不採用・判断保留を記録する
採用には、効果の不確実性に加え、実務上の利益、維持費、品質、安全性を確認します。非有意は「効果が完全に0」と同義ではありません。サンプル不足や区間の広さで判断できないなら、判断保留と記録できます。実験中の新奇性や季節性、継続利用への影響が重要なら、その観測期間も事前に含めます。
- 実験ID、仮説、変更点、対象・割付・分析単位。
- 主指標、MDE、必要数、期間、成果確定日、利用した分析方法。
- 群別人数、成功数、差と区間、SRM・欠損・ガードレール。
- 採用／不採用／保留、理由、実装担当、段階展開と再確認日。
- 計画から外れた点、探索的な発見、次の仮説。
記録はPDCAの次の計画へつなげます。担当、実施計画、費用と月次予実の管理にはXtrategyの機能一覧もご覧ください。実験の仮説と判断理由を、施策の実行記録と一緒に残すことが重要です。
