# 「AIチェルノブイリ」がトランプと習近平に即時停止を迫る——Jeremie & Edouard Harris

- 番組: [Doom Debates!](https://ai-curator.jp/podcasts/shows/cmv8ukqpp00067110ytpj7bnm)（Liron Shapira）
- 元のタイトル: “AI Chernobyl” Will Scare Trump and Xi To Order An Immediate Pause — Jeremie & Edouard Harris
- 配信日: 2026年10月21日
- 長さ: 1時間29分
- 要約作成日: 2026年10月21日
- トピック: [#AI安全保障](https://ai-curator.jp/topics/AI%E5%AE%89%E5%85%A8%E4%BF%9D%E9%9A%9C) [#米中AI交渉](https://ai-curator.jp/topics/%E7%B1%B3%E4%B8%ADAI%E4%BA%A4%E6%B8%89) [#検証技術](https://ai-curator.jp/topics/%E6%A4%9C%E8%A8%BC%E6%8A%80%E8%A1%93) [#AIガバナンス](https://ai-curator.jp/topics/AI%E3%82%AC%E3%83%90%E3%83%8A%E3%83%B3%E3%82%B9) [#スケーリング則](https://ai-curator.jp/topics/%E3%82%B9%E3%82%B1%E3%83%BC%E3%83%AA%E3%83%B3%E3%82%B0%E5%89%87) [#PauseAI](https://ai-curator.jp/topics/PauseAI)
- URL: https://ai-curator.jp/podcasts/cmvgy2lrw00005j110sgj9b25

## 要約

Gladstone AI共同創業者のハリス兄弟が、Doom DebatesのLiron Shapiraと対談した回。重大なAI事故（AIチェルノブイリ）を契機に、トランプ大統領と習近平主席が直接対話してAI開発の減速で合意するシナリオを描く。条約は批准の手続き上間に合わないとして行政協定を想定し、検証技術の事前整備と、閾値以下の攻撃的選択肢による執行力の確保が急務だと主張した。

## ポイント

- 二人は2015年の「Wait But Why」記事でAIリスクを知り、2020年のGPT-3とスケーリング則を見て、成功していた起業を離れてAIリスクに専念した。
- 主シナリオは、死者や巨額損害を伴うAI事故が起き、政治的に放置できなくなり、トランプと習の直接対話で減速に至るというもの。AIチェルノブイリは死者数ではなく政府の反応で定義すると述べた。
- 米上院での3分の2批准が必要な条約は危機に間に合わないため、行政協定が現実的だと見ている。
- 初動で使えるのは衛星画像や熱情報などの国家技術手段（NTM）だけで、チップの位置検証やゼロ知識証明などの検証技術を情報機関が事前に審査しておく必要があると主張した。
- 執行面では、航空攻撃のような軍事行動ではなく、サイバーや否認可能な作戦といった閾値以下の手段を備えるべきだとし、この点でYudkowskyとは意見が異なると述べた。
- PauseAIについては純利益かどうか確信が持てないとした。解決策が先に決まっていることや、組織への同一化が議論の妨げになることを懸念している。

## 章立て

- [02:00] **GPT-3での転機と経歴** — GPT-3とスケーリング則を見て起業を離れた経緯や、特定コミュニティに属さない立場を語る。
- [09:15] **物理学の背景とYudkowsky評** — 物理学の素養、多世界解釈への見方、知能の性質、Yudkowskyの主張への評価を話す。
- [25:04] **米政府へのブリーフィング** — 早い時期から政府関係者に説明を重ね、国務省委託の報告書や英国サミットに関わった経緯を語る。
- [35:00] **トランプ・習電話会談シナリオ** — AIチェルノブイリ後の首脳対話、初動のNTM、検証技術の審査に時間がかかる問題を説明する。
- [47:45] **スパイ活動と攻撃的選択肢** — 中国による米国AI産業への浸透、閾値以下の作戦が持つ抑止と安定化の役割を論じる。
- [57:45] **中国の位置と条約不成立の理由** — 中国の計算資源や蒸留の戦略、重みの流出、条約より行政協定になるという見通しを述べる。
- [1:08:00] **検証と執行、Yudkowsky論争** — 検証技術の優先整備と、空爆まで言及することへの異論を述べる。
- [1:16:25] **警告射撃・P(doom)・PauseAI** — 最悪の場合の可能性、各自のP(doom)、PauseAIへの評価を語る。

## 解説記事

Gladstone AIの共同創業者で物理学者のJeremie Harris氏とEdouard Harris氏が、Doom DebatesのLiron Shapira氏と対談した。テーマは、重大なAI事故をきっかけに米中が減速で合意する場合、何を今のうちに準備すべきかである。以下は番組での発言の整理であり、主張は二人の見方である。

#### GPT-3から政府への助言まで

二人は2015年にTim Urban氏の「Wait But Why」の記事でAIリスクを知ったという。2020年にGPT-3とスケーリング則の論文を見て、「この傾向が続けばどうなるか」と考え、順調だった起業を離れてAIリスクに専念した。

EA（効果的利他主義）やラショナリストの共同体には属さないと強調している。当時の主要な資金提供者から政府に話すなと言われたが、軽い検証のつもりで話してみると、関係者は「スケーリングが続くなら懸念すべきだ」と答えたそうだ。その後、国土安全保障長官や各国の中央銀行総裁、軍高官への説明に至り、ChatGPT公開の前月に委託された報告書が、その後の政府対応につながったと述べている。

#### AIチェルノブイリと首脳対話

二人のメインシナリオはこうだ。ラボの自主規制では済まないほど大きな事故が起き、数億ドルから数十億ドル規模の損害や死者が出る。政治的に現状維持が難しくなり、トランプ大統領が習近平主席と直接話す。AIチェルノブイリは死者数ではなく政府の反応で定義するとし、大統領自身が身の危険を感じる場合まで想定している。

番組で挙げられた比較は、Hugging Face事件の50倍規模の事故である。ただしこの対話では、より悲観的な、事故が制御不能なほど大きいケースも否定していない。二人が語るのは、生き延びられる規模の事故を前提とした楽観的シナリオである。

#### 条約ではなく行政協定、そして検証

二人は米中の協力自体を否定しているわけではない。主張は、条約は上院で3分の2の賛成が必要で、数年かかるため危機に間に合わない、というものだ。実際に機能するのは行政協定だと見ている。

最大の課題は検証である。初動で使えるのは衛星画像、熱、人的情報といった国家技術手段だけで、できるのは「データセンターが稼働しているか」といった粗い確認にとどまる。これでは巨大な経済価値が封じられるため、より精密な検証技術への圧力が高まるはずだという。

しかし新技術を情報機関が審査・信頼するまでには避けられない時間がかかる。チップの位置検証、ゼロ知識証明、クラスタのトポロジーの証明などの開発者は、ほとんど情報機関と接触しておらず、数千万ドル規模の支援で改善できると訴えた。

#### 執行力と閾値以下の作戦

検証と並んで必要なのが執行、つまり違反時に代償を課す能力だと説明する。二人によれば、中国は米国のAI産業に深く入り込んでいる。フロンティアラボの研究者の半数以上が機微な知見にアクセスでき、中国の国家による圧力も働くという。重みの流出も確信していると述べた。一方、米国は冷戦後にスパイ能力が衰えたと見る。

そのため、サイバーや否認可能な作戦といった閾値以下（サブスレッショルド）の手段を磨くべきだと主張する。こうした作戦は国家間の「軽い蹴り合い」として能力を確かめ合い、安定化にも働くという。この点でYudkowskyの空爆への言及には賛成せず、巡航ミサイルは核戦争へのエスカレーションにつながると警戒した。

#### 運動への距離感とP(doom)

P(doom)について、Edouardさんは10〜90%の範囲だと述べた。Jeremieさんは、このまま進めば60〜70%程度という見方だが、主体的に動けば変えられるとした。

PauseAIについては、純利益か確信がないと答えている。解決策を前提にした組織が、白紙から議論する場に入りにくいというのが理由だ。アラインメント研究も、米中の合意が脅威認識の共有に基づく場合は不安定化要因になりうると指摘した。

#### まとめ

この回の価値は、「減速すべきか」ではなく、危機が来た後に実行できる手段が今あるのかを具体的に問うた点にある。検証技術の事前審査、執行手段の整備、行政協定という経路は、日本の政策担当者や企業にとっても、国際的なAI規制の枠組みを考える材料になる。

ただしシナリオは、事故が生き延びられる規模であることと、米中首脳が合意できることを前提にしている。司会者自身も、より大きな被害があれば行動はもっと速いのではと疑問を示した。一つの見通しとして受け止めたい。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Doom Debates!「“AI Chernobyl” Will Scare Trump and Xi To Order An Immediate Pause — Jeremie & Edouard Harris」