# 羽根を量る体重計：機能するA/Bテストの設計法（Billur Engin氏）

- 番組: [Super Data Science: ML & AI Podcast with Jon Krohn](https://ai-curator.jp/podcasts/shows/cmv3z5c0j000j5o10v3e8e8p9)（Jon Krohn）
- 元のタイトル: 1046: Weighing a Feather: How to Design A/B Tests That Work, with Billur Engin
- 配信日: 2026年11月20日
- 長さ: 24分
- 要約作成日: 2026年11月20日
- トピック: [#A/Bテスト](https://ai-curator.jp/topics/A%2FB%E3%83%86%E3%82%B9%E3%83%88) [#因果推論](https://ai-curator.jp/topics/%E5%9B%A0%E6%9E%9C%E6%8E%A8%E8%AB%96) [#実験設計](https://ai-curator.jp/topics/%E5%AE%9F%E9%A8%93%E8%A8%AD%E8%A8%88) [#AAテスト](https://ai-curator.jp/topics/AA%E3%83%86%E3%82%B9%E3%83%88) [#データサイエンス](https://ai-curator.jp/topics/%E3%83%87%E3%83%BC%E3%82%BF%E3%82%B5%E3%82%A4%E3%82%A8%E3%83%B3%E3%82%B9) [#Prolific](https://ai-curator.jp/topics/Prolific)
- URL: https://ai-curator.jp/podcasts/cmwp05n6t00002v10m5d57jmc

## 要約

Prolificでデータサイエンスとアナリティクスを率いるBillur Engin氏が、Jon Krohn氏と、学びを得られる実験の設計法を語った回。A/Bテストの最大の誤解は「どのテストからも何か学べる」という思い込みで、検出できる効果量を設計時に考えないと、体重計で羽根を量るようなテストになると述べる。ランダム化できない場合の因果推論の代替手法や、予測が安価になった今こそ因果推論が重要だという見方、指標定義の統一が意思決定の信頼を支えるという考えも紹介された。

## ポイント

- A/Bテスト最大の誤解は「毎回何か学べる」こと。検出力や想定効果、最小検出効果量を考えずに走らせると、時間とコストを使って何も学べない。
- 同じ処理を二群に配信するAAテストを時々実施し、差が出れば計測システムが壊れていると判断する。結果が良すぎる場合や過去の知見と矛盾する場合も再確認を促している。
- 予測は「いつ起きるか」を教え、因果は「なぜ起きるか」を教える。予測が安価になった今、適切な介入と実験で理由を理解する因果推論の需要が高まると述べた。
- 対照実験ができない場合の代替として、地域単位のジオ実験、反事実予測、システムのオン・オフ切り替えの3つを挙げた。Prolificはネットワーク全体のオン・オフを多用している。
- 予測モデルの複雑さは価値を示して初めて採用されるべきで、まず単純な予測から始めるという姿勢を示した。
- 意思決定の基盤として、指標定義の一元化とKPIツリー、成功の定義の共有を重視。「走らせなかった実験が最もコストが高い」とも述べた。

## 章立て

- [00:00] **Prolificとゲスト紹介** — Prolificは、AIが偏りのない代表性ある人間データから学ぶための基盤を提供する。Billur氏の経歴とともに紹介された。
- [02:06] **プロジェクト初週と失敗の元** — 開始時に指標・測定方法・必要な効果の大きさをステークホルダーと合意する重要性と、インフラの制約を考える必要性を述べた。
- [05:12] **複雑さは価値を示すべき** — 予測モデルでは昨日の値が大半を説明するため、特徴量や高度な手法は追加価値を示して初めて採用すべきだという学び。
- [07:19] **A/Bテストの誤解とAAテスト** — 体重計と羽根の比喩で最小検出効果量の重要性を説明し、結果を信頼できるかを確かめるAAテストを紹介した。
- [10:34] **予測と因果、COVIDの例** — 予測は価値が下がり、因果理解が重要になる。COVIDで広告実験の効果が判別できなくなった経験も語られた。
- [14:39] **実験できない場合の因果推論** — ジオ実験、反事実予測、オン・オフ切り替えの3手法と、ネットワーク型市場での汚染への対処を解説した。
- [16:51] **組織の意思決定と信頼** — 成功の定義の共有、指標定義の一元化、KPIツリー、AIエージェント活用のための文脈整備について語った。
- [21:02] **推薦書と締めくくり** — Pearl著『The Book of Why』を推薦。実験しないことが最大のコストという主張と採用情報、番組の総括。

## 解説記事

Prolificでデータサイエンスとアナリティクスを率いるBillur Engin氏が、Super Data Science Podcastに初出演し、成果の出るA/Bテストの設計法と因果推論の意義を語った。Netflixでの実験・予測の経験を踏まえた具体例が多く、実務に近い内容だ。

#### 「羽根を量る体重計」になっていないか

Engin氏が挙げるA/Bテスト最大の誤解は、「走らせたテストからは必ず何か学べる」という思い込みである。実験は時間もコストもかかる。何を測れる設計か、検出力（power）はどの程度か、期待される効果はどれほどかを考えないまま走らせれば、何も学べないという。

これを同氏は体重計に例える。体重計で羽根は量れないが、それは体重計の故障ではなく、そもそもその効果を測るよう設計されていないだけだ。変更が小さすぎて、設定上の最小検出効果量を下回るなら、学びは得られない。Jon Krohn氏も、サイトの青色を少しだけ変えるようなテストを例に挙げて同意した。

#### 結果を信じてよいかを見分ける

結果を信頼できるかについて、Engin氏はまず「良すぎる結果は疑う」「過去のテストから得た知見と矛盾する場合も見直す」という経験則を示した。加えて、時々AAテストを行うという。観客を二つに分け、まったく同じ処理を配信し、もし差が測定されたら計測システムのどこかがおかしい、という確認方法だ。Krohn氏はこの手法を初めて聞いたと述べている。

意外な結果の例として、休暇シーズンのマーケティング実験が語られた。業界には「利用が増える時期に広告費をかけても無駄」という通念があったが、同氏は関心の高い人が増える時期こそ適切なターゲティングで広告を出す価値があると考えた。観客を二分して広告の有無を比較したところ、テストが検出できるよう設計していた水準を大きく上回る明確な効果が見られ、理解が変わったという。

#### 予測が安価になった今、因果が重要になる

予測が「いつ起きるか」を教えるのに対し、因果的な理解は「どのように起きるか」を教える、とEngin氏は区別する。需要の増加時期が分かれば供給側の準備はできるが、需要を何が押し上げるかを理解して初めて、プロダクトを改善し持続的な価値を生める。

そして、AIモデルの普及で予測は安価になった、と同氏は述べる。良いデータと文脈があれば、社内の誰でも十分な予測を作れる。しかし適切なデータ、介入、実験がなければ「なぜ」は分からない。Krohn氏も、LLMでモデリングの方針を素早く作れる今、人間は設計を見直して相関ではなく原因を学ぶ機会が得られる、とまとめた。

外部要因の例としてCOVIDも挙がった。Netflix時代、人気番組を使った広告の効果を測る実験を、開始の一週間前に準備していたところにCOVIDが起きた。対照群のベースラインが非常に高くなり、仮に効果があっても、COVIDの影響にかき消されてノイズと区別できなくなったという。相関だけを見れば大成功に見えたはずだと同氏は指摘する。

#### ランダム化できないときの3つの手段

対照実験ができない場合の代替として、同氏は次の3つを挙げた。

- ジオ実験：都市や国を単位とし、一部にだけ処理を適用して差を見る
- 反事実予測：実際に起きたことと、起こり得たことを比較する
- システムのオン・オフ切り替え：単位を「システムがオンの日」と「オフの日」にする

Prolificでは3つ目を多用している。参加者と調査をマッチングするネットワーク型のサービスでは、調査単位で処理をランダム化しても同じ参加者プールに届くため測定が汚染される。そこでネットワーク全体で処理を入れたり切ったりするという。ただしこうした準実験はシグナルを得にくく、ノイズが多いため、実施期間を慎重に考える必要があるとも述べた。

#### 組織での意思決定と「走らせなかった実験」

組織の意思決定については、シンプルさと共通理解を重視する。Prolificでは、堅牢で誠実性の高い参加者プール、顧客の需要への対応、高品質なデータの提供という3つの成功軸を全員が理解し、自分のプロジェクトがどれを改善するのかを把握するよう求めている。

信頼が崩れる最初の要因はデータの一貫性だ。「アクティブな顧客は何人か」という質問に全員が違う答えを出すような状況は信頼を損なうとし、指標定義を一元化し、KPIツリーで各指標をつなぎ、AIエージェントで非専門家も分析できるよう文脈を整備していると語った。

また、一つだけ変えられるなら何かと問われ、「走らせなかった実験が最もコストが高い」と答えた。単純な変更でも、検証しなければ登録フローを壊すなどの静かな失敗が起こり得るからだ。

#### まとめ

本回の核心は、実験は「やること」より「何を検出できる設計か」が重要という点にある。事前に最小検出効果量を考え、AAテストで計測系を点検し、ランダム化が難しいときもジオ実験などで因果に迫る、という流れは、実務でそのまま使える。予測の民主化が進む中で、因果を問う力が差を生むという主張は、LLM活用が広がる日本のデータ組織にも示唆的だ。推薦書はJudea Pearl著『The Book of Why』で、観察・介入・反事実という因果の階層を学べる一冊として挙げられた。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Super Data Science: ML & AI Podcast with Jon Krohn「1046: Weighing a Feather: How to Design A/B Tests That Work, with Billur Engin」
