ABテストのやり方｜AIが作る検証計画と集計判断を、同じ途中集計で依頼文を変えて確かめる

ABテストは、開始前に「何を1つ変えるか」「何を主要指標にするか」「どうやって無作為に振り分けるか」「いつ・何人で終えて、どう判断するか」を決めてから始めます。AIに計画や集計を手伝わせることはできますが、今回の試験では、ただ「計画と判断を説明して」と頼むだけだと、無作為割付などの項目が回答から抜けることがありました。確認してほしい5項目を指示文に書き込んだ条件（c2）では、3回答すべてに5項目への言及がありました。一方で、どの回答も「AとBで何を変えたのか」は問い返さず、計画の出発点はAI任せにできないことも見えました。

この記事では、ABテストを始める手順を整理したうえで、AIに途中集計を渡して計画と判断を答えさせた結果と、そのまま使える点検表・指示文を紹介します。

ABテストを始める前に決める5つのこと

ABテストは、複数のパターンの成果を測り、より良い成果が出るパターンを判断する手法です（LINE SM）。異なるパターンをユーザーにランダムに表示して成果を比べ（GMOリサーチ＆AI）、変える要素は1つだけにするのが基本の進め方とされています（リコー）。

これを実際の準備に落とすと、開始前に次の5つを書き出しておくことになります。

1. 目的と仮説：何を改善したいか、なぜその変更で良くなると考えるか
2. 変える要素（1つ）：ボタンの文言、見出し、フォームなど、AとBで違うのはどこか
3. 主要指標と計測方法：何を成果として数えるか、分母は誰か、その成果は正しく計測できているか
4. 割付：訪問者をA・Bにどう振り分けるか、同じ人を同じパターンに保てるか
5. 終了条件と判断基準：何人・どの期間で終えるか、終わった後に何を見てBを採用するか（または見送るか）

特に5は、始める前に決めておくことが大切です。途中の数字を見てから終了日や指標を変えると、都合のよい時点で結論を出すことになってしまいます。問い合わせ完了を主要指標にする場合は、先に計測が正しく動いているかを確かめておくと安心です。手順はGA4で問い合わせの送信完了を測るには？フォーム方式に合う設定と確認方法にまとめています。

必要人数・期間・判断基準を決める手順

5の「終了条件と判断基準」は、次の順に数字で書き出すと決めやすくなります。

1. 必要人数を、開始前に算定する：必要人数の計算器（例：Statsigの必要人数の計算器）では、基準の転換率（現在のAの転換率、またはその見込み）、検出したい最小の差、有意水準、検出力の4つを開始前に決めて入力します。この計算器の「検出したい最小の差」は相対変化率で、パーセントポイントとは別物です。たとえば転換率4%を5%にしたい場合、差は1ポイントですが、相対変化では25%にあたります。あわせて、検定を片側・両側のどちらで行うかと、A・Bの割付比（均等なら1：1）を実際の計画に合わせ、出力される「各パターンの必要人数」と「合計人数」を分けて計画書に記録します。今回のAI回答でも、有意水準（c1-2回目、c2-1回目）、検出力（c2-1回目）、実務上意味のある差（c2-1回目）が判断材料に挙がっていました。なお、この記事では計算器で実際に算定していないため、算定結果の人数は示しません。
2. 予定人数と算定した人数を分けて書く：今回の試験の「各1000人」は合成データに付けた予定人数で、1の算定で出した必要人数ではありません。c2-1回目も「予定人数だけでは検出力が十分とは断定できない」と答えています。計画書には「予定」と「算定結果」を別の欄で残します。
3. 流入見込みから期間を見積もる：人数と流入は、同じ集計単位にそろえて割ります。必要人数が「各パターンの人数」で決まっている場合は、パターン数を掛けた合計人数を、テスト対象ページの1日あたりの流入（A・B合計）で割ります。たとえばA・Bに均等に振り分けて各1000人が必要で、対象ページの流入が1日合計100人なら、人数がそろうまでの見込みは2000÷100＝20日です。各1000人をそのまま100人で割ると10日となり、期間を半分に見積もってしまいます。問い合わせなど成果が訪問の後から発生する場合は、この20日とは別に、最後に振り分けた人の成果が記録されるまでの観測期間を加えます（c2-1回目・c2-3回目は、計測期間・観測期間を事前に固定するよう提案していました）。
4. 予定した時点で判定し、採否の分け方を先に決める：固定期間の検定では、1で算定した人数と観測期間がそろった予定の時点で、主要指標のp値を事前に決めた有意水準と比べます（Statsig Docs「p-Value Calculation」）。有意かどうかだけで決めず、効果の向き（Bが上か下か）と大きさ、信頼区間も読み、開始前に決めた事業上の採用条件と照合します。有意にならなかった場合も、効果がゼロだと証明されたわけではありません。計画書には「評価に使う方法と有意水準」「Bを採用する条件」「見送る条件」「計測や割付に問題が見つかったときに保留して原因を確かめること」を、途中の数字を見る前に書いておきます。

途中で止めないのには理由があります。固定期間の検定で途中集計を何度も見て、有意になった時点を選んで止めると、偽陽性（本当は差がないのに差があると判定すること）の割合が、決めた有意水準より高くなります（Statsig Docs「Frequentist Sequential Testing」）。見るたびに、偶然の揺れで有意と出る機会が重なるためです。途中で採否を決める必要があるなら、開始前に逐次検定など途中での判定に対応した方法を選んでおきます。後で紹介する今回の試験の各100人の途中集計も、予定時点より前の数字なので、採否の判断には使いません。

実施手段を選ぶときの確認項目

計画ができたら、使うツールや仕組みが次を満たすかを確かめます。操作方法は、使うツールの公式手順に従ってください。

• 訪問者をA・Bに無作為に振り分けられるか
• 同じ人が再訪したとき、同じパターンを表示し続けられるか
• A・Bそれぞれの分母（振り分けた人数）と成果の件数を別々に取得できるか
• 成果の計測が、A・Bで同じ条件で動いているか

AIに途中集計を渡して、計画と判断を答えさせた

AIに計画と集計を任せた場合、途中の数字に引っ張られて勝者を決めてしまわないか、計画に必要な項目がそろうかを確かめました。

比較したのはChatGPTの1モデルだけで、Claudeなど他のAIでは試していません。

結果：計算と「保留」は6回とも正しく、差が出たのは計画の項目

率の計算は6回答すべてでA＝4%、B＝6%となり、参照値と一致しました。また、6回答とも「途中集計なのでBの優位は確定できない」として判断を保留し、Bを勝者とした回答はありませんでした。この2点では、c1とc2に差はありませんでした。

差が出たのは、計画に何を書くかです。

c1では1回目だけ無作為割付への言及がありませんでした。主要指標は、1回目が「件数÷人数で比較する」、2・3回目が「事前に定める」との記述にとどまり、何を分子・分母にするかの定義はありませんでした。c2では3回答とも5項目がそろい、さらに「割付が実際に行われたかは、渡された資料からは確認できない」と、入力の限界を自分から書いていました。点検してほしい項目を指示文に入れると、抜けが減り、確認できないことを確認できないと書く回答になった、というのが今回の結果です。

図を原寸で開く

想定と違ったこと：6回とも「何を変えたか」を聞き返さなかった

今回渡した途中集計には、AとBで何が違うのかを書いていませんでした。ABテストの基本は1つの要素だけを変えることですが、6回答のどれも、変更内容が不明であることには触れませんでした。c2でも、指定した5項目は点検した一方、指定していない「変える要素」は点検の対象になりませんでした。

ほかにも、今回の6回答では次の点への言及がありませんでした。

• 予定の各1000人が必要人数として妥当かの計算（c2-1回目は「予定人数だけでは検出力が十分とは断定できない」と留保した）
• 広告・端末など流入の内訳による偏り

ただし、今回の入力には流入の内訳を含めていないため、AIが偏りに気づけるかどうかは試せていません。企画の段階では流入構成の偏りを含むデータも用意する予定でしたが、実際に渡したのは途中集計1つだけでした。

なお、各100人の段階では、成果が1件増えるか減るかで率が1ポイント動きます。今回の2ポイントの差は、2件分の違いです。途中の率だけで判断しないというAIの回答は、この点でも妥当でした。

立場別に見た、AI案の使いどころ（仮定）

AIに3つの立場を想定させ、上の6回答をどう使うかを判断させました。以下は実際の担当者の行動ではなく、想定上の判断です。

3つの立場とも、Bの採用は保留し、AI案は計算と下書きに使うという判断で一致しました。立場による違いは、どこを重点的に確かめるかにありました。

そのまま使える点検表と指示文

開始前の点検表

AIに頼むときの指示文

c2の結果を踏まえ、c2で抜けた「変える要素」も加えた指示文です。

次のABテストについて、実験計画と結果判断を説明してください。
回答では、次の項目をそれぞれ点検し、入力から確認できないことは「確認できない」と書いてください。
1. AとBで変えた要素は1つか、何を変えたか
2. 主要指標の定義と分母
3. 無作為割付の方法と、実際に行われたか
4. 必要人数の根拠と終了条件
5. 率の算式と計算結果
6. 現時点で判断を保留すべきか、その理由
【データ】（ここに集計表を貼る）

AIの回答を受け取ったら、率は自分でも計算して照合し、「確認できない」と書かれた項目は人が埋めてから開始してください。

分かること・分からないこと

今回分かったのは、合成した途中集計1つについて、ChatGPT（gpt-6.1-sol）が6回とも率を正しく計算し、勝者を決めずに保留したこと、そして点検項目を指示文に入れると計画の抜けが減ったことです。これは「その条件でAIがそう回答した」という記録で、実サイトでのABテストの改善効果や、AIの回答の正しさ全般を示すものではありません。

今回の6回は同じ途中集計を使い、依頼文だけを変えたものです。分からないのは、母数の違うデータ、流入構成の偏りや、途中だけ差が出て最後には消えるようなデータをAIがどう扱うか、他のAIやモデルの版で結果が変わるか、必要人数や期間をAIがどこまで正しく見積もれるか、です。ABテストのツールの比較や、計画作成にかかる時間の計測もしていません。回答はモデルの更新などで変わる可能性があります。

分析の前提となる計測や、既存ページの改善の進め方は、AI検索からの流入と問い合わせをGA4で調べる方法や既存記事のSEO改善は何から始める？本文・タイトル・内部リンクの点検手順も参考にしてください。

参考資料

• LINE SM「【図解】A/Bテストとは？意味や実施方法を解説（事例あり）」
• GMOリサーチ＆AI「ABテストでWebサイトや広告を改善｜やり方や事例を解説」
• リコー「ABテストとは？基本的な進め方と成果を上げるコツ・よくある失敗」
• Statsig「Power calculator」
• Statsig Docs「p-Value Calculation」
• Statsig Docs「Frequentist Sequential Testing」