# Jeremie Harris が語る「本物のAI災害」後の世界と、中国との信頼構築が難しい理由（NonZero からのクロスポスト） - 番組: [80,000 Hours Podcast](https://ai-curator.jp/podcasts/shows/cmv3z5c0y000q5o103gzfd3j4)（The 80,000 Hours team） - 元のタイトル: Jeremie Harris on what happens after a real AI disaster, and why China still won’t trust us | Crosspost from NonZero - 配信日: 2026年11月6日 - 長さ: 2時間22分 - 要約作成日: 2026年11月6日 - トピック: [#AI安全](https://ai-curator.jp/topics/AI%E5%AE%89%E5%85%A8) [#スケーリング則](https://ai-curator.jp/topics/%E3%82%B9%E3%82%B1%E3%83%BC%E3%83%AA%E3%83%B3%E3%82%B0%E5%89%87) [#米中関係](https://ai-curator.jp/topics/%E7%B1%B3%E4%B8%AD%E9%96%A2%E4%BF%82) [#AI governance](https://ai-curator.jp/topics/AI%20governance) [#検証技術](https://ai-curator.jp/topics/%E6%A4%9C%E8%A8%BC%E6%8A%80%E8%A1%93) [#OpenAI](https://ai-curator.jp/topics/OpenAI) - URL: https://ai-curator.jp/podcasts/cmw3xeqcy00015v11qbvgy27y ## 要約 Gladstone AI CEO の Jeremie Harris が、NonZero の Robert Wright と対談した。スケーリング則を信じ続けてきた経緯や、初期のAI安全コミュニティ、OpenAI への見方を語る。後半では、米大統領が身の危険を感じるほどの「AIチェルノブイリ」が起きて初めて米国の政策が転換し、中国との協調が必要になるという見通しを示す。検証技術や脅しの役割、Wright の「信頼が前提」という主張との相違点も議論された。 ## ポイント - Harris は2020年のスケーリング則論文を機に、人間レベルAIが近いと確信して起業家活動を離れ、政府への働きかけを始めたと述べている。 - 当時の主要資金提供者 Open Philanthropy は、政府に伝えると「強力な兵器」として超知能のマンハッタン計画を招くと懸念し、外部の働きかけを抑えたと Harris は批判する。一方で、問題の本質は誰よりも正しく捉えていたとも評価した。 - 能力はスケーリングで自動的に伸びるが、制御・アラインメントには同様の曲線がなく、安全は人が手作業で担うため脆いと主張する。OpenAI は安全派が抜け続ける「蒸発冷却」が起きていると見る。 - Harris は、大統領自身が危険を感じるほどの「AIチェルノブイリ」が米国の公式姿勢を転換させ、国内の減速と中国への働きかけにつながると予測する。 - 検証技術が間に合わない初期段階では、データセンターや大規模訓練の熱源などを対象に粗い合意を結び、違反には報復の脅しで臨むしかないと述べる。Wright は透明性の前提として友好関係が要ると反論した。 - Harris は、アラインメントの進展が中国に「米国が合意を破るのでは」と疑わせうる不安定要因になると指摘し、また米中の諜報・サプライチェーンでの非対称性にも言及した。 ## 章立て - [01:26] **2024年報告書と政府との攻防** — Gladstone AI が国務省の委託報告書で AGI や制御喪失の語を載せるため、政権内で政治的に争った経緯と、内部告発の広がりを語る。 - [08:35] **スケーリングを信じ続けた6年** — スケーリング則論文をきっかけに起業を離れた経緯と、テキスト予測がなぜ強力なのか、懐疑論が繰り返し外れてきたことを論じる。 - [22:10] **初期AI安全コミュニティへの批判** — Open Philanthropy の資金構造、長い AI タイムライン観、政府への接触を避ける姿勢について Harris が批判と評価を述べる。 - [34:18] **能力は伸びるが制御は進まない** — Yudkowsky の予測の評価、AIチェルノブイリの定義、超知能アラインメントの進捗の乏しさを論じる。 - [44:58] **OpenAI と Sam Altman への懐疑** — 安全チームの離脱や蒸発冷却、Altman の警告の真意への疑いを語る。 - [56:04] **減速は経済を壊すか** — AIインフラ投資と金利、Anthropic の黒字化などを手がかりに、停止の経済的影響を議論する。 - [1:12:19] **AIチェルノブイリと対中交渉の構想** — 大統領が習近平に電話する場面を想定し、粗い合意と報復の脅し、検証技術の準備不足を論じる。 - [1:46:43] **透明性・非対称性・Dario の民主主義ブロック** — 信頼と検証の関係、中国の浸透度、アラインメント進展のリスク、Dario のブロック構想への見解を議論する。 ## 解説記事 本稿は、80,000 Hours Podcast が NonZero から転載した、Gladstone AI の CEO Jeremie Harris と作家 Robert Wright の対談の要点を整理したものである。発言は Harris 自身の見解や伝聞であり、番組内で裏付けられていない主張も含まれる。 #### スケーリングへの賭けと政府への働きかけ Harris は兄の Ed とともに、2020年にスケーリング則（計算量とデータを増やすほど性能が滑らかに上がる法則）の論文を読み、自分たちの会社を離れたと語る。GPT-3 が、本来はテキスト補完用のモデルなのにコードを書けることを見て、人間レベルAIが近いと確信したという。その後、米国やその他の政府関係者に危機を訴え続けた。 2024年に国務省の委託で出した報告書は、ChatGPT 登場の約1か月前に委託されたため官僚的な調整を免れたと説明する。当時の政権は AGI や「制御喪失」という語を SF的だとして避けようとし、掲載をめぐって水面下で争ったという。報告書の公開後、フロンティアラボの内部関係者が相次いで話すようになったとも述べた。 Harris は、自分の予測が外れた点があるとすれば逆方向だとも言う。「もうとっくに死んでいるはずだと思っていた」と冗談めかして語った。懐疑論については、データの壁や計算の壁といった議論が何度も出ては覆されてきたと指摘する。 #### Open Philanthropy への批判と評価 Harris の批判の矛先は、当時のAI安全分野で主要な資金提供者だった Open Philanthropy（現 Coefficient Giving）にも向く。同団体は、政府に危険を伝えると「強力な兵器」と受け取られ、超知能のマンハッタン計画を招くと考えていた、と Harris は説明する。そのため、AGI という語の使用にも反対されたという。 さらに、AIタイムラインの見積もりが長く（2040年頃など）、その枠組みが小さな界隈で影響力を持ちすぎたと見る。資金を配る側には、受け手が相手の信念に合わせて話す傾向が生じるとも述べた。Harris たちは独立性を保つため、効果的利他主義系の助成を断り、営利事業で活動費を賄ったという。 ただし Harris は、同団体がこの問題を「ほとんど誰よりもはるかに正しく」捉えていたことも認めており、現在の見解は更新されているとも付け加えた。これはあくまで Harris 側の視点で、反論の場は番組にはない。 #### 能力は伸び、制御は伸びない 中心的な論点は、能力と安全の非対称性である。能力の側は、事前学習の計算効率という一つの数値を上げ続ければよく、自動化しやすい。制御やアラインメントには「曲線」がなく、場当たり的な安全技術を後付けするしかない。そのため、安全担当の数人が仕事をやめれば状況が急に悪化する一方、能力の開発は放っておいても進む、と Harris は言う。 Harris は、超知能の制御（スーパーアラインメント）については進歩はほぼゼロだとも述べる。また OpenAI については、計算資源の20%を割り当てると約束した件が果たされず、安全チームが入れ替わり続け、安全重視の人材が抜ける「蒸発冷却」が起きていると見る。Sam Altman の警告も、Elon Musk に出資を求める時期の発言ではないかという Wright の推測に同調した。 #### 「AIチェルノブイリ」後のシナリオ Harris は、スケーリングが続けば Hugging Face の事案のような出来事が増え、いずれ米政府の公式姿勢を転換させる規模の事故が起きると予測する。大統領や議員が自分の身の危険を感じる水準まで、段階的に想定を引き上げれば同じ結論になるという主張である。その場合、国内で開発を止める必要があり、米国より約6か月遅れとされる中国とも交渉せざるを得ない。 問題は検証技術が間に合わないことだ。Harris は、衛星で見える熱源などに基づく粗い合意から始め、大規模データセンターや訓練を対象にするしかないと言う。違反には「戦略的曖昧さ」を保った報復の脅しが必要だと主張する。背景として、米中ロが互いに水面下で妨害を重ねる「閾値以下の戦争」が、一種の相互理解になっているという見方を語った。 これに対し Wright は、米国にも国際法違反や合意破りがあり、不信は対称的だと指摘する。さらに、細かな透明性は敵対関係では得られず、友好関係が前提になると主張した。Harris は、検証技術が進めば信頼なしでも段階的に透明性を高められると楽観する一方、強制手段は最後の保険として必要だと譲らなかった。 #### 不安定化の要因と中国の非対称性 Harris は、アラインメントの進展が逆に合意を揺るがす可能性にも触れる。中国が、米国は制御に成功して約束を破るかもしれないと疑えば、協調の根拠が崩れるという。また、米国の主要ラボには中国国籍の研究者が多く、中国側の影響力が強い、サプライチェーンにも浸透していると主張した。これらは証拠を示せない伝聞だと本人も認めている。Dario Amodei の「民主主義ブロック」構想については、意図が分からないとしたうえで、イデオロギーより検証と制裁の実効性が重要だと述べた。 #### まとめ 対談は、米中協調を重視する Wright と、中国への警戒を保つ Harris の立場の違いを残しつつ、「超知能を作ってはならない」「検証と制裁を備える」という点で一致して終わる。日本の読者にとっては、能力と安全の非対称性や、事故後に政策が急転するという見立て、検証技術への早期投資の必要性が注目点だ。ただし、AIチェルノブイリの予測や中国の浸透度に関する主張は Harris の見解であり、割り引いて受け止める必要がある。 > この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: 80,000 Hours Podcast「Jeremie Harris on what happens after a real AI disaster, and why China still won’t trust us | Crosspost from NonZero」