# 2050年までのAI破滅確率は「ゼロ」――Prakash Narayanan（AI in the AM 司会）との討論

- 番組: [Doom Debates!](https://ai-curator.jp/podcasts/shows/cmv8ukqpp00067110ytpj7bnm)（Liron Shapira）
- 元のタイトル: There’s ZERO Chance of AI Doom By 2050 — Debate with Prakash Narayanan, Host of AI in the AM
- 配信日: 2026年11月11日
- 長さ: 1時間59分
- 要約作成日: 2026年11月11日
- トピック: [#P(Doom)](https://ai-curator.jp/topics/P(Doom)) [#再帰的自己改善](https://ai-curator.jp/topics/%E5%86%8D%E5%B8%B0%E7%9A%84%E8%87%AA%E5%B7%B1%E6%94%B9%E5%96%84) [#ASI](https://ai-curator.jp/topics/ASI) [#AIアライメント](https://ai-curator.jp/topics/AI%E3%82%A2%E3%83%A9%E3%82%A4%E3%83%A1%E3%83%B3%E3%83%88) [#ナノテクノロジー](https://ai-curator.jp/topics/%E3%83%8A%E3%83%8E%E3%83%86%E3%82%AF%E3%83%8E%E3%83%AD%E3%82%B8%E3%83%BC) [#AIと雇用](https://ai-curator.jp/topics/AI%E3%81%A8%E9%9B%87%E7%94%A8)
- URL: https://ai-curator.jp/podcasts/cmwbfgr5x00005w11w7gtdhvb

## 要約

Doom Debatesの司会Liron Shapiraが、X上で約6万フォロワーを持つ@8teAPiことPrakash Narayananと討論した回。Prakashは2050年までのP(Doom)を「文字通りゼロ」と主張し、AIは資源と市場が支える多人数ゲームで、再帰的自己改善（RSI）にも物理的制約があると述べる。一方Lironは、全人類の死滅を完全に排除する姿勢を認識論的に不健全だと批判した。二人は力の定義、ナノマシン、雇用、政治移行のリスクなどを議論した。

## ポイント

- Prakashは2050年までのP(Doom)を0%とし、理由としてAIが「多人数ゲーム」で、データセンター建設などに資金と時間が要り、均衡が生まれる点を挙げている。
- Prakashは12か月以内のRSI開始や、AIがすでに個々の人間より賢い可能性に同意しつつ、RSIは物理法則や資源に縛られ「永久機関」ではないと述べる。
- 全人類の生身の身体が捨てられ、シリコン基盤へ移行する確率を5%とする一方、それは「破滅」ではないと位置づけている。
- Lironはベイズ推論の観点から、想像できる更新が一切ない0%は自己矛盾を避けるための固定にすぎないと指摘し、1/50,000や1/100,000の方が妥当だと主張した。
- 「人間に失うべき力があるか」をめぐり、Prakashは人間の力は限定的だと主張し、Lironは気温や住居を保つ力が奪われる事態を懸念すると反論した。
- Prakashの本当の懸念は破滅ではなく、AI政府への移行時の過去の訴追や出生率低下などの人間側の選択と社会問題であり、Lironもその点には一部同意した。

## 章立て

- [01:00] **ゲスト紹介と@8teAPiの経緯** — Prakashは投資銀行・PE出身で、匿名アカウントからPalantirに関するスレッドで拡散し、2023年に注目を集めた経緯を語る。e/accを名乗らなくなった理由も説明する。
- [07:19] **P(Doom)0%の主張と多数派論争** — Prakashは2050年までのP(Doom)を0%とし、世界の大半は破滅を信じていないと主張。Lironは0%は合理性の範囲外だと反論する。
- [15:15] **多人数ゲームと均衡の議論** — データセンターなど物理的な制約が緩やかな進展を生み、均衡が保たれるとするPrakashの中核論拠が示される。LironはRSIがデータセンター増設を必要としない可能性を指摘する。
- [20:36] **ベイズ的検証と「破滅」の定義** — 何があっても更新できない0%はベイズ的に問題だとLironが指摘。Prakashは人類の全死滅とアップロードなど他の極端な未来を区別する。
- [34:34] **ASIの力と人間の力の有無** — ASIが分散的な市場や人間集団を凌駕できるか、そして人間が失うべき力を持つかをめぐって応酬する。
- [59:04] **共感・選好の安定性・思考実験** — AIが共感を持つか、一貫した効用関数を保つかを議論。ペーパークリップ脳レーザーや「100万倍の変化」の仮想事例でも意見が分かれる。
- [1:19:04] **ナノマシンと資源制約** — 2027年のナノマシンによる急速な変化の可能性を巡り、Lironは約1%と見積もり、Prakashは資源・エネルギー・資金の制約を強調する。
- [1:30:30] **雇用・政治移行・加速しない理由** — 比較優位や地位経済、出生率低下、AI政府への移行での訴追問題などPrakashの現実的懸念を語り、最後は一部合意で締めくくられる。

## 解説記事

AI破滅論を扱うポッドキャスト「Doom Debates」の司会Liron Shapiraが、テクノ楽観派のXアカウント@8teAPiで知られるPrakash Narayananと討論した。Prakashは2050年までのP(Doom)（AIによる人類破滅の確率）を「文字通りゼロ」と言い切る。一方でRSI（再帰的自己改善）の接近や、AIが個々の人間より賢い可能性には同意しており、技術予測がほぼ共通なのに結論が極端に違う点が、この回の面白さだ。

#### 「ゼロ」は許されるのか

Prakashは2050年までの破滅を0%とし、「世界の大半の人は破滅を信じていない」とも述べた。これに対しLironは、自分が定義する「正気ゾーン」から外れていると批判する。ベイズ推論の観点では、想像できる更新がある以上、1/50,000程度の確率を残すべきだという。Prakashは人類の適応力を挙げ、COVID時のワクチン展開を例にした。さらに、仮にHugging Face事件より衝撃的な出来事が起きても自分は更新しない、と述べている。

#### 多人数ゲームと「永久機関」

Prakashの中心的な論拠は、AIが単一の主体ではなく競争する複数の主体からなる多人数ゲームであり、データセンター建設などに資金と時間が要るので均衡が生まれる、というものだ。破滅シナリオを「永久機関」にたとえ、エネルギーも資源も増やさず知能だけが無限に増える話だと批判した。Lironは、現在の計算資源でも理想的なアルゴリズムがあれば十分強力で、RSIに増設は必須でないと考える。Prakashは市場の分散的な情報処理を重視し、中央集権的な知能は市場に劣ると応じた。個々の人間を超える知能の出現は認めつつ、人類と機械の総体を単一のデータセンターが凌駕するとは考えていない。

#### 「破滅」の定義と人間の力

意外なのは、Prakashが全人類の肉体が捨てられシリコン基盤へ移る確率を約5%と認めた点だ。彼はアップロード社会を「破滅」ではなく、好ましくないが価値を保つ結果と位置づける。Lironはその確率を認めながら全滅だけを完全に排除するのは不自然だと突いた。また「人間に失うべき力があるのか」という問いも議論になった。Prakashは人間の力は限定的だとするが、Lironは自分が快適な温度の住環境を保つといった日常的な力が奪われる事態を懸念している。

#### 共感・選好・ナノマシン

AIの共感については、Prakashは認知的不協和を避けるため、AIは共感を単にモデル化するだけでなく実際に持つようになるかもしれないと考える。Lironは、強力なAIは選好を書き換えさせないはずだと反論した。思考実験として、脳にレーザーを当てられ家族をミンチにすることを受け入れる「新しいPrakash」の例や、2027年に変化が100万倍になる場合が挙がった。ナノマシンについてLironは約1%の可能性を認める。Prakashは鉄や金の採取に見られるエネルギー効率、資源、資本の制約を強調し、これらは誰かが対価を払う必要があると主張した。

#### Prakashの本当の懸念

終盤でPrakashは、破滅より人間側の選択を懸念していると語る。例として、出生率の低下を「エコシステムの汚染」とみなし、AIがこれを逆転させる可能性を挙げた。また、AI政府への移行時に過去の不正の訴追をどうするか、真実和解のような枠組みを選べるかといった課題も指摘した。Lironは、急速な移行で統治が混乱し人が苦しむリスクについては同意している。

#### まとめ

この討論で目立つのは、技術の到来時期への見方が近いのに、結論が0%と50%ほど離れる点だ。論点は、市場や資源の制約がどこまで均衡を保証するか、そして「0%」という確信の持ち方そのものの妥当性にある。日本の読者にとっては、AIリスクの議論を技術予測だけでなく、経済の均衡や社会制度への信頼という前提まで分けて検討する際の材料になるだろう。なお、番組では参加者の意見は変わらなかった。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Doom Debates!「There’s ZERO Chance of AI Doom By 2050 — Debate with Prakash Narayanan, Host of AI in the AM」