# superintelligence.com創設者の「P(Doom)を0.01%未満に下げる計画」──Craig Kaplan博士とのディベート

- 番組: [Doom Debates!](https://ai-curator.jp/podcasts/shows/cmv8ukqpp00067110ytpj7bnm)（Liron Shapira）
- 元のタイトル: “Superintelligence.com” Founder’s Plan To Get P(Doom) Below 0.01% — Debate with Dr. Craig Kaplan
- 配信日: 2026年11月18日
- 長さ: 1時間25分
- 要約作成日: 2026年11月18日
- トピック: [#AI安全性](https://ai-curator.jp/topics/AI%E5%AE%89%E5%85%A8%E6%80%A7) [#P(Doom)](https://ai-curator.jp/topics/P(Doom)) [#集合知](https://ai-curator.jp/topics/%E9%9B%86%E5%90%88%E7%9F%A5) [#超知能](https://ai-curator.jp/topics/%E8%B6%85%E7%9F%A5%E8%83%BD) [#直交性テーゼ](https://ai-curator.jp/topics/%E7%9B%B4%E4%BA%A4%E6%80%A7%E3%83%86%E3%83%BC%E3%82%BC) [#道具的収束](https://ai-curator.jp/topics/%E9%81%93%E5%85%B7%E7%9A%84%E5%8F%8E%E6%9D%9F)
- URL: https://ai-curator.jp/podcasts/cmwl2onx300005q11dxh4h9iu

## 要約

Doom Debatesの司会Liron Shapiraが、ドメイン superintelligence.com を所有するCraig Kaplan博士と議論した回。Kaplan氏は自身のP(Doom)を10%とし、個人向け超知能と超知能ネットワークによって段階的にリスクを下げられると主張する。一方Lironは、知能が高まれば人間らしい価値観の痕跡は薄れ、星々の資源を取りに行く収束的な振る舞いが生じると反論した。両者は直交性テーゼや道具的収束をめぐって平行線をたどった。

## ポイント

- Kaplan氏のP(Doom)は当初約20%だったが、議論が広がったことで現在は約10%に下がったという。Lironは自分は約50%と述べている。
- 計画は三段階。現行AI＋ガードレール（10%以上）、個人向け超知能（1%以下）、超知能ネットワーク（0.01%以下）で、0.01%は人間同士の殺人・戦争による年間死亡率を基準にした目標値だという。
- 安全性の核心は、ブラックボックスの巨大モデルではなく、多数のAIが監査可能な共通言語で互いの仕事を人間より速く検証し合う集合知アーキテクチャにあると主張した。
- Kaplan氏は、AIは人間データで訓練されたため人間的な価値観を初期状態として持ち、賢くなるほど思慮深くなるので、人類絶滅が最も可能性の高い結果とは考えにくいと述べた。
- Lironは、知能の尺度が高くなれば出自の痕跡は消え、自然選択的な圧力で「カエサル型」の征服志向AIが「のんびり型」AIを圧倒すると反論した。
- 両者は、AIの安全は設計段階から考えるべきで、実存リスクは緊急の課題だという点では一致した。

## 章立て

- [00:00] **ゲスト紹介とドメインの価値** — Craig Kaplan氏の経歴と、superintelligence.comの取得経緯や買収オファーについて語られる。IQ Companyの事業も紹介された。
- [04:00] **三段階計画とP(Doom)の目標** — 現行AIから個人向け超知能、超知能ネットワークへ進む三段階の図と、0.01%という目標の根拠を説明する。
- [13:16] **集合知とブラックボックスAI** — Kaplan氏は、多数のAIが互いに検証し合うネットワークの方が、巨大モデル単体より賢く安全だと主張する。OpenRouterや混合専門家との比較も議論された。
- [18:46] **個人向け超知能と PredictWallStreet** — 個人の価値観を学習するエージェントの具体例をLironが追及する。PredictWallStreetの経験も語られる。
- [31:22] **経歴とHerbert Simon** — 認知科学やIBM、ソフトウェア品質の経験を振り返り、設計段階で安全を作り込む発想の背景を説明する。
- [36:51] **想定する破滅シナリオと価値の源泉** — AIを子どもに例える育成論と、理性は手段であり価値は外から与えられるというSimon由来の考え方を述べた。
- [47:26] **直交性と道具的収束をめぐる対立** — 直交性テーゼの強弱、人間らしさが残るか、星々の資源獲得を目指すか、のんびり型AIとカエサル型AIは共存できるかで激しく議論した。
- [1:17:17] **総括と結びの発言** — Lironが対立点を整理し、Kaplan氏は設計段階での安全確保を訴えた。両者とも対処の緊急性では一致して締めくくった。

## 解説記事

AI研究者のCraig Kaplan博士は、superintelligence.comというドメインの所有者であり、集合知システムを30年以上手がけてきた人物だ。Doom Debatesの司会Liron Shapiraとの本回で、自身のP(Doom)（AIによる人類絶滅確率）を10%と述べつつ、それを大幅に下げる設計論を提示した。Lironは約50%という見積もりで、議論は多くの点で噛み合わないまま終わった。

#### 0.01%を目指す三段階計画

Kaplan氏のサイトには三段階の図がある。第一段階は「ガードレール付きの現行AI」でP(Doom)は10%以上、第二段階は「個人向け超知能」で1%以下、第三段階は「超知能ネットワーク」で0.01%以下とされる。0.01%という数字は、人間同士の戦争や殺人による年間死亡率を基準にした願望的な目標だと本人は説明する。人間と同程度に「悪い」だけの超知能なら許容できる、という発想である。ただしこれは到達の仕組みではなく目標値だと、本人も認めている。

#### 集合知による安全性

仕組みの核は集合知だ。Kaplan氏は、巨大なブラックボックスのモデルを作るよりも、多数のAIがネットワークで協調し、監査可能な共通の言語でやり取りする設計の方が賢く、しかも安全だと主張する。互いの仕事を人間より速く検証できるからだという。PredictWallStreetで、一般投資家の知識を束ねることで、ウォール街のプロに勝てることを実証した経験が背景にある。

Lironは、集約による改善は1〜2%の優位にとどまり、再帰的自己改善のような桁違いの伸びを生むとは思えないと反論した。これに対しKaplan氏は混合専門家（MoE）の例を挙げ、知識や価値観の異なる主体を足し合わせれば単体モデルより良くなると応じた。個人の価値観を学習するエージェントの具体例を求められた場面では、現行モデルがすでに多くの例を処理できる点をLironが突き、Kaplan氏も例が最新ではない可能性を認めた。

#### 価値はどこから来るか

Kaplan氏はAIを「超天才の子ども」にたとえる。理性は手段にすぎず、何を目指すべきかという規範は論理だけでは導けないというHerbert Simon、さらにDavid Humeの考えを引き、AIの価値観は人間から与えられるほかないと述べた。大規模言語モデルは人間のデータで訓練されたため、人間的な価値観を出発点に持つ。賢くなるほど思慮深くなるので、人類を滅ぼすことが目的になるとは考えにくいというのが彼の見方だ。

#### 直交性と道具的収束をめぐる対立

直交性テーゼとは、知能の高さと目的・道徳は独立した軸だという主張である。弱い形（そうしたAIが原理的に存在しうる）にはKaplan氏も同意した。しかし強い形（実際に作られる可能性が高いか）では、人間データで育った以上、人間的価値を保つ可能性が高いと主張した。

Lironは、潜水艦が魚の1000倍速くなれば魚らしさは残らないという比喩を使い、知能が高まれば出自の痕跡は消えると反論した。さらに、あらゆる目標に役立つ資源の獲得という道具的収束を持ち出し、のんびり型AIは征服志向のAIに駆逐されると論じた。Kaplan氏は、人間社会にも多様な価値観が共存し、攻撃に対しては均衡に至ると応じた。また、巨大な知能を語りながら暴走するツールとしても描く議論は矛盾していると指摘した。Lironは、人間の均衡を類人猿社会から類推できないのと同様、超知能を人間から類推するのは危うい、と再反論した。

#### まとめ

結論の一致は少ないが、実存リスクが緊急の課題であり、安全は後付けではなく設計段階で考えるべきだという点では両者が一致した。Kaplan氏自身、自分の設計が最善とは限らず、より良い案を歓迎すると述べている。日本の読者にとっては、「AIは人間のデータで育つので人間的になる」という楽観と、「知能が高まれば出自は関係なくなる」という悲観の分かれ目が、安全設計の議論の中心にあることを確認できる回だ。多エージェント協調の設計が実際に安全性を高めるかは、番組内でも実証されておらず、今後の検証が待たれる。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Doom Debates!「“Superintelligence.com” Founder’s Plan To Get P(Doom) Below 0.01% — Debate with Dr. Craig Kaplan」
