A/Bテストのサンプルサイズとは?
サンプルサイズとは、A/Bテストで信頼できる結論を出すために各バリエーションに必要な最小の訪問者数です。サンプルが不足すると、実際の改善効果を統計的に検出できなかったり、偶然の差を改善効果と誤認するリスクが高まります。
無料ツール · A/Bテスト
A/Bテスト計算ツール
実験の前には必要な訪問者数とテスト期間を、実験の後には統計的有意性とサンプル比率不一致(SRM)まで無料で確認できます。
サンプルサイズ・期間・MDE・有意性の計算は、業界標準である信頼水準95%、検定力80%、両側z検定(two-tailed)を基準にしています。SRMチェックはカイ二乗適合度検定(有意水準0.01)を使用します。
サンプルサイズ計算
現在のコンバージョン率と検出したい期待改善率を入力すると、A/Bテストに必要なバリエーションあたりの訪問者数を計算します。
バリエーションあたりの必要訪問者数
53,211
テスト期間計算
1日平均訪問者数とバリエーション数をもとに、A/Bテストを何日間実行すべきかを計算します。
必要なテスト期間
107日
計算結果がこれより短くても、曜日による訪問者行動の違いを反映するため、最低14日(2週間)以上実験を実行することをおすすめします。
統計的有意性計算
実施済みのA/Bテストのグループ別訪問者数とコンバージョン数を入力すると、コンバージョン率の差が統計的に有意かどうかを判定します。
統計的に有意な差です
- p値
- 0.0175
- コントロールのコンバージョン率
- 3%
- バリアントのコンバージョン率
- 3.6%
- 相対改善率
- +20%
サンプル比率不一致(SRM)チェッカー
グループごとの実際のサンプル数と期待比率を入力すると、トラフィックが意図した比率で分配されたかをカイ二乗適合度検定で確認します。要約統計だけでもチェックできます。
サンプル比率不一致(SRM)の兆候はありません
観測されたグループのサイズと期待比率の差は、標本のばらつきで説明できる範囲です。
- p値
- 0.1552
- カイ二乗統計量
- 2.02
- 自由度
- 1
- 全体のサンプル数
- 19,800
| グループ | 観測サンプル数 | 期待サンプル数 | 観測比率 / 期待比率 |
|---|---|---|---|
| 1 | 10,000 | 9,900 | 50.51% / 50% |
| 2 | 9,800 | 9,900 | 49.49% / 50% |
p値が0.01より小さい場合、サンプル比率不一致と判定します。SRMチェックは実験結果を判定する前にデータ品質を確認するためのものです。
最小検出可能効果(MDE)計算
確保できるバリエーションあたりの訪問者数を入力すると、そのトラフィックで統計的に検出できる最小の改善率を計算します。
検出可能な最小改善率(相対値)
10.32%
サンプルサイズを事前に計算すべき理由
テスト前にサンプルサイズを計算すべき理由
実験開始後に結果を何度も確認し、有意になった瞬間に実験を止める行為(peeking)は、誤った判定を大幅に増やします。実験開始前に必要なサンプルサイズと期間を決め、その基準を満たしてから結果を判定することで、実験を信頼できます。
最小検出可能効果(MDE)を理解する
MDE(最小検出可能効果)とは、実験で検出したい最小の改善率です。MDEを小さく設定するほど必要なサンプルは急激に増えます。例えばコンバージョン率3%で相対改善率10%を検出するにはバリエーションあたり約5万3千人が必要ですが、5%を検出するには約21万人が必要です。確保できるトラフィックに合わせて現実的なMDEを設定することが実験設計の核心です。
サンプル比率不一致(SRM)とは?
SRM(Sample Ratio Mismatch)は、各グループに実際に割り当てられたサンプル数が意図した比率と大きく異なる現象です。50:50で設計した実験で片方が明らかに少ない場合、ランダム割り当ての失敗、イベントの欠損、ボットトラフィック、特定環境での読み込み失敗といったデータ品質の問題が潜んでいる可能性があります。この場合はコンバージョン率の比較自体が歪むため、結果を判定する前に原因を確認する必要があります。SRMチェッカーは観測サンプル数と期待比率だけでカイ二乗適合度検定を行い、p値が0.01より小さい場合に不一致を警告します。
計算に使用する統計基準
サンプルサイズ・期間・MDE・有意性の計算ツールは、2つの比率を比較する両側z検定(two-proportion z-test)を基準とし、信頼水準95%(α=0.05)と検定力80%(β=0.2)を使用します。ほとんどのA/Bテストツールが採用する業界標準の設定です。SRMチェッカーは性質の異なる検定のため、カイ二乗適合度検定と有意水準0.01を使用します。
よくある質問
A/Bテストのサンプルサイズ計算ツールはどう使いますか?
現在のコンバージョン率と検出したい期待改善率(MDE)を入力すると、バリエーションあたりの必要訪問者数が計算されます。1日平均訪問者数も入力すれば、必要なテスト期間も確認できます。
信頼水準95%と検定力80%は何を意味しますか?
信頼水準95%とは、実際には差がないのに差があると誤って判断する確率(第一種の過誤)を5%以下に制限するという意味です。検定力80%とは、実際に差があるときにそれを検出できる確率が80%という意味です。どちらもA/Bテストで最も広く使われている業界標準です。
A/Bテストは最低何日間実行すべきですか?
計算されたサンプルサイズをより早く満たせる場合でも、最低14日(2週間)以上の実行をおすすめします。曜日ごとに訪問者の行動パターンが異なるため、2週間未満の実験は特定の曜日の影響で結果が歪む可能性があります。
トラフィックが少なくてもA/Bテストはできますか?
可能です。ただし、小さな改善率を検出するには多くのサンプルが必要なため、トラフィックが少ない場合はまずMDE計算ツールで現実的に検出可能な改善率を確認してください。小さな文言修正よりも、ページ全体のリニューアルのような大きな変化を生む実験から試すのが効率的です。
統計的有意性とは何ですか?
2つのグループのコンバージョン率の差が偶然による可能性が十分に低いという意味です。一般的にp値が0.05未満であれば(信頼水準95%基準)、統計的に有意と判断します。
この計算結果はHackleダッシュボードの実験分析と同じですか?
この計算ツールは実験設計段階で使う標準的な公式(two-proportion z-test)に基づく推定値です。Hackleダッシュボードは収集された実験データに対して頻度主義・ベイズ統計分析を提供するため、実際の実験結果の判定はダッシュボードの分析結果を基準にしてください。
グループごとのサンプル数が期待した比率と異なる場合はどうすればよいですか?
まずSRMチェッカーで、その差が偶然で説明できる水準かどうかを確認してください。p値が0.01より小さい場合、ランダム割り当てやデータ収集に問題がある可能性が高いです。その場合は実験結果をそのまま解釈せず、SDKの実装箇所、特定のプラットフォームやブラウザでのイベント欠損、ボットトラフィックのフィルタリング状況を点検したうえで実験をやり直すのが安全です。
