# Luke Muehlhauser が語る「誰も手をつけていない最重要のAI安全の仕事」 - 番組: [80,000 Hours Podcast](https://ai-curator.jp/podcasts/shows/cmv3z5c0y000q5o103gzfd3j4)（The 80,000 Hours team） - 元のタイトル: Luke Muehlhauser on the most important AI safety work nobody is doing - 配信日: 2026年10月30日 - 長さ: 2時間36分 - 要約作成日: 2026年10月30日 - トピック: [#AI安全](https://ai-curator.jp/topics/AI%E5%AE%89%E5%85%A8) [#AIガバナンス](https://ai-curator.jp/topics/AI%E3%82%AC%E3%83%90%E3%83%8A%E3%83%B3%E3%82%B9) [#慈善助成](https://ai-curator.jp/topics/%E6%85%88%E5%96%84%E5%8A%A9%E6%88%90) [#思考連鎖の監視](https://ai-curator.jp/topics/%E6%80%9D%E8%80%83%E9%80%A3%E9%8E%96%E3%81%AE%E7%9B%A3%E8%A6%96) [#AIタイムライン](https://ai-curator.jp/topics/AI%E3%82%BF%E3%82%A4%E3%83%A0%E3%83%A9%E3%82%A4%E3%83%B3) [#輸出規制](https://ai-curator.jp/topics/%E8%BC%B8%E5%87%BA%E8%A6%8F%E5%88%B6) - URL: https://ai-curator.jp/podcasts/cmvtt1vf3000245111oxhqngl ## 要約 Coefficient Giving の AI ガバナンス・国際政策チームを率いる Luke Muehlhauser が、AI 安全のために必要なのに存在しない制度や組織について語った回。資金は足りているが、資金の配分役と創業者が足りないと指摘する。モデル性格の評価機関や思考連鎖の監視観測所などの具体案を挙げ、タイムラインを2033年頃に短縮したことで戦略が変わったことや、初期の AI 安全コミュニティの誤りも振り返った。 ## ポイント - Luke は、AI に必要な制度の大半が存在しないと述べる。米国の AI 安全機関の予算は年1,500万ドルで、軍楽隊への支出の25分の1だという。 - 航空や原子力にある独立評価、事故調査、検証といった機能が AI にはほぼない。非営利組織で試行し、有効なものを政府が採用する道があると説明した。 - 創設を望む組織の例は、モデルの「性格」評価機関、思考連鎖の監視可能性を追う観測所、生物脅威のレッドチーム、隠れた忠誠の監査、企業スコアカードなど。 - ボトルネックは資金ではなく、助成の配分役と創業者だとする。非創業者的な若手や異分野のベテランが短期間で大きな成果を出した例を挙げた。 - TED AI（人間の専門家を凌駕する AI）の中央値予測を2041年から2033年頃に前倒しした。今後は警告的事件（warning shot）による政治の転換に備えることを重視する。 - 初期コミュニティの誤りとして、groupthink（集団思考）と閉鎖性、計算資源の軽視を挙げた。一方、主要3社の創業者が安全を気にしている点は幸運だと評価した。 ## 章立て - [03:07] **現状認識と欠けている制度** — Mythos によるオーバートンの窓の変化と、AI 安全機関の予算の小ささ、航空や原子力にある制度が AI にないことを説明する。 - [09:58] **創設してほしい組織の案** — モデルの性格評価機関や思考連鎖の監視可能性観測所など、具体的な組織案を挙げる。 - [18:58] **配分役・創業者の不足とキャリア転換** — 資金は十分で人が足りない状況を述べる。キャリア転換助成や、Brad Carson ら異分野からの転身例を紹介する。 - [30:38] **警告的事件への備えと政策への影響** — Mythos 後の政策変化、今後想定される事件、州法や輸出規制での非営利組織の役割を論じる。 - [54:29] **戦略とタイムラインの短縮** — 3つの最悪シナリオと戦略の3本柱を説明する。TED AI の予測を2033年頃に早めたことで戦略が変わった経緯を述べる。 - [1:14:31] **アライメントの現状と米中合意** — アライメントが順調に進んでいないという見方と、米中合意の現実性を議論する。 - [1:30:36] **初期AI安全コミュニティの回顧** — 2011年の参入経緯、過去の予測の当たり外れ、コミュニティの誤りを語る。 - [2:02:42] **助成の実務と創設してほしいプロジェクト** — 助成担当者の仕事、能動的助成、追加の組織案を紹介し、最後に精神的な保ち方や理想の未来を語る。 ## 解説記事 AI のリスクに2011年から取り組む Luke Muehlhauser は、現在 Coefficient Giving（CG）で AI ガバナンスと国際政策の助成を率いている。80,000 Hours Podcast の本エピソードでは、司会の Luisa Rodriguez に対し、AI の安全に必要な制度の大半がまだ存在しないこと、そして資金はあっても担い手が足りないことを繰り返し訴えた。冒頭では、収録後に公表された Hugging Face の侵入事件の独立調査にも触れられている。 #### 存在しない制度と小さすぎる予算 Luke は、AI は今世紀、ひょっとすると人類史で最も変革的な技術なのに、安全やガバナンスに向く世界の労力はほとんどないと述べる。例として挙げたのが米国の AI 安全機関の予算で、年1,500万ドル。これは国防総省が軍楽隊に使う額の25分の1にあたるという。英国の機関は年7,000万〜8,000万ドル程度で、同じ比率を米国に当てはめると約8億5,000万ドルになると試算した。 航空、原子力、医薬品など、利益も危険も大きい分野では、通常8種類ほどの制度が生まれるという。独立評価・監査（FAA や FDA に相当）、業界の相互審査、航空の NTSB のような事故調査、IAEA のような検証機能である。AI にはこれらがほぼない。政府機能の一部は非営利組織で先に試し、うまくいったものを政府が採り入れればよいとする。 #### 創ってほしい組織の例 CG は Y Combinator 型の公募を予定していた。Luisa の前置きによれば、これは Project Tailwind として公開され、36件のプロジェクトが挙げられている。Luke が挙げた例は次のとおり。 - **生物脅威版 Mythos への備え**:新規病原体を自律的に設計できるモデルを想定し、生物安全施設や DNA 合成企業などで現地レッドチーム演習をする組織。 - **AI の性格評価**:嘘をつく傾向や政治的立場、権力掌握への協力の有無などを評価し、モデル仕様に沿っているかを調べる。Anthropic が性格や価値観を重視し、OpenAI が規則重視（義務論的）の傾向が強いなど、企業間の違いが大きくなっていると述べた。 - **思考連鎖の監視可能性観測所**:AI の推論過程が人間に読めなくなる懸念（neuralese）を踏まえ、各社の状況を追い、要因を研究する。OpenAI の調査で不可解な語が出た例も紹介された。 - 隠れた忠誠の監査、第三者監査機関の増強、企業のスコアカード、AI 制御の大規模科学プロジェクト、事故調査機関、国際合意の検証技術の研究開発。 #### 足りないのは資金ではなく人 Luke は、数千億ドル規模の慈善資金が今後数年で動き出すと見ており、資金は問題ではないと述べる。不足しているのは助成の配分役と創業者だ。そのため CG は応募を待つ受け身の方式から、必要なプロジェクトを自ら書き出して創業者を探す能動的な助成へ移行している。 若く創業者らしくない研究者に数百万ドルを託した例が想定以上にうまくいったという。また、元下院議員の Brad Carson（Americans for Responsible Innovation と Public First を運営）や、共和党系キャンペーンに20年携わった Brendan Steinhauser（Alliance for Secure AI）のように、異分野の人が数か月で重要な役割を担った例も紹介した。助成担当者は1年目に1億ドル規模を動かしうるので、直接の仕事より影響が大きい場合が多いという「乗数」の議論も示している。 #### 警告的事件と政策 Mythos の発表で、ホワイトハウスは AI 安全を否定する姿勢から、事実上のモデル公開の許認可体制へ動いたと Luke は述べる。元 OpenAI の Joshua Achiam が「安全コミュニティは政府が採用できる意思決定指針を事前に用意できなかった」と批判した件には、部分的に同意しつつ、非公開の準備も多かったこと、企業内の情報が不可欠なこと、枠組みは通常事件の後に数年かけて整うことを反論として挙げた。 今後は3か月に1回程度の頻度で同規模の事件が起きうると見ている。想定は、病院へのハッキングによる死者、生物兵器の実証、失業率の急上昇、中国の統合 AGI プロジェクトなど。備えとしては、政策案の事前準備は変化が速く脆いので、人材パイプラインと信頼関係の構築のほうが頑健だと述べた。州法（SB 53、RAISE Act、イリノイの SB 315）は、州法の10年禁止案を阻止した連合の成果であり、「民主主義の実験室」として機能していると評価した。 #### タイムラインの短縮と戦略 Luke は、人間の専門家を凌駕する AI（TED AI）の見通しを、2025年版戦略の2041年中央値から、80%区間2028〜2048年・中央値2033〜34年へ改めた。社内メモ、Anthropic などの収益成長、Claude Code と Opus 4.6 を使った実感が理由だという。 これにより戦略は、政治的意思を押し上げることから、間近に迫る警告的事件と政治の転換を最大限使うことへ移った。AI 乗っ取りシナリオの重みが増し、フロンティアの減速（pacing the frontier）や、AI 労働力を安全研究に使う準備も重要度が上がった。3つの最悪シナリオは、AI による乗っ取り、人間集団による権力固定、生物超兵器である。戦略の柱は、主要 AGI プロジェクトの信頼できる統率、フロンティア安全、広範な防御の3つだ。アライメントについては、5年前より楽観的だが1年前よりは悲観的で、順調とは言えないとした。 #### 初期コミュニティの回顧 Luke は2010年頃に LessWrong で AI の実存的リスクに出会い、2011年に Singularity Institute（のちの MIRI）で働き始めた。当時の常勤は5〜10人で、現在は2,000〜5,000人程度と見る。Yudkowsky の2006年論文や Omohundro の基本的 AI 動機の議論は多くが的中した一方、計算資源の軽視など外れた点もあった。 コミュニティの過去の誤りとして、特定の見取り図への集団思考、政策への関心の薄さ、専門用語による閉鎖性を挙げた。主要3社の創業者が安全を気にかけているのは、議論に触れていたことが影響した可能性があり、幸運だとも述べている。現在の課題としては、唯一の詳細な計画が事実上の標準になりがちな点や、逆効果になりうる一部の停止論を挙げた。 #### まとめ 本回の中心は、AI 安全で最も不足しているのは資金より、組織を立ち上げる人と助成の配分役だという指摘である。日本でも、評価・監査、事故調査、検証技術のような分野は、専門知識があれば異分野から入れる余地がある。Luke の見立てでは、時間は限られている。短期の警告的事件が相次ぐ前提で、人材・関係・制度の準備を進める必要があるというのが、彼の主張だ。なお、これらはあくまで Luke 個人の見解で、CG 全体の公式見解とは限らないと本人が断っている。 > この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: 80,000 Hours Podcast「Luke Muehlhauser on the most important AI safety work nobody is doing」