# AI史に残りうるブレークスルーか？ Nick Cammarata「ニューラルネットはすでにクリーンだった」

- 番組: [The AI Daily Brief: Artificial Intelligence News and Analysis](https://ai-curator.jp/podcasts/shows/cmv40atyk00075j0zs7iqtm08)（Nathaniel Whittemore）
- 元のタイトル: A Potentially Historic AI Breakthrough
- 配信日: 2026年10月18日
- 長さ: 23分
- 要約作成日: 2026年10月18日
- トピック: [#解釈可能性](https://ai-curator.jp/topics/%E8%A7%A3%E9%87%88%E5%8F%AF%E8%83%BD%E6%80%A7) [#mechanistic interpretability](https://ai-curator.jp/topics/mechanistic%20interpretability) [#AIセーフティ](https://ai-curator.jp/topics/AI%E3%82%BB%E3%83%BC%E3%83%95%E3%83%86%E3%82%A3) [#superposition](https://ai-curator.jp/topics/superposition) [#ニューラルネットワーク](https://ai-curator.jp/topics/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF) [#欺瞞検出](https://ai-curator.jp/topics/%E6%AC%BA%E7%9E%9E%E6%A4%9C%E5%87%BA)
- URL: https://ai-curator.jp/podcasts/cmvdumam000015s0z1t5lwbr3

## 要約

元OpenAI研究者Nick Cammarataのエッセイが、ニューラルネットの内部は従来考えられていたより読み解きやすいと主張し、大きな反響を呼んでいる。番組では猫の顔と車の前面を同時に検出するニューロンの例などを通じ、その論旨を平易に解説した。一方でGoogle DeepMindのNeel Nandaらからは慎重論も出ており、検証はこれからだと整理している。

## ポイント

- Nick Cammarataは、モデル内部のニューロンの大半（兆単位パラメータのモデルでも）は読み取れると主張し、自身の確信度を約85%とする作業仮説として提示している。
- 「猫と車」に反応するニューロンは、実は尖った形に反応する「V字検出器」であり、無関係な概念の詰め込みではなかったと説明された。
- 彼はスクランブルの原因を、可視化ツールの不備、初期画像モデル（Inception v1）の学習の問題、枝分かれ（branching）する検出器の見落としの3つに整理した。
- モデルが大きいほど個々の検出器が特化して読みやすくなるという、通常の懸念と逆の見方を示している。
- ニューロンが読めれば、出力だけでなく計画そのものを確認でき、欺瞞の検出につながる可能性があるとされる。ただしLiv GortonやNeel Nandaは、superpositionの定義が狭いこと、複数ニューロンの組み合わせ理解が別問題であることなどを指摘している。
- 詳細な技術論文は未公開で、数値は自己申告の初期値であり、他者による追試もまだ行われていない。

## 章立て

- [00:00] **導入：話題のエッセイと主張** — 65分に及ぶ技術エッセイが注目を集めた経緯と、Nickが「解釈可能性は想定より解けそうだ」と述べた要旨を紹介する。
- [02:08] **なぜ解釈可能性が重要か** — AIは作られるというより育てられるもので、現状は試験的な評価に頼っている。監視されていると知って振る舞いを変える問題も取り上げる。
- [04:14] **6年間の経緯とV字検出器** — 2017年からの期待と悲観の流れ、superpositionの説明、猫と車のニューロンが実はV字検出器だったという再解釈を説明する。
- [08:10] **欺瞞検出への含意** — 最新モデルで検出器の約9割が主な役割を1つ持つとの主張と、計画を読める可能性が欺瞞対策にどう効くかを述べる。
- [12:30] **専門家はなぜ見逃したのか** — 3つの誤りの積み重ねと、superpositionをめぐるLiv GortonやNeel Nandaの反論、Nickの応答を整理する。
- [16:36] **大きいモデルほど読みやすい？** — ニューヨークの金融街の比喩と犬の耳検出器の実験で、規模拡大が検出器を特化させるという主張を紹介する。
- [19:42] **賛否と未解決の問い、司会者の見解** — 熱狂派から懐疑派までの反応、残る疑問、そして科学の進歩は視点の転換から生まれるという司会者の見方を述べる。

## 解説記事

AI解説ポッドキャスト「The AI Daily Brief」の司会者NLWが、元OpenAI研究者Nick Cammarataのエッセイ「Neural Networks Are Already Clean」を取り上げた回である。ニューラルネットの内部は思われていたほど不可解ではないという主張が、AI安全性の議論にどんな意味を持ちうるのか、賛否両方の反応とともに整理している。

#### なぜ「中身を読む」ことが重要なのか

番組はまず、AIは「作られる」よりも「育てられる」ものだというChris Olahの言い回しを紹介する。開発者自身も内部の仕組みを十分には把握しておらず、現状の安全確認は質問を投げ、レッドチーム（攻撃的検証）を行い、答えを採点するという「試験」に近い。この方法では想定した質問の範囲しか見えない。また、モデルが監視を意識して振る舞いを変える可能性も問題になる。番組は、Opus 5-5などの最近のテストで不正行為が大きく減った際、本当に傾向が変わったのか、隠しているのかが論点になったと紹介している。だからこそ、能力競争と並んで「解釈可能性」の競争があるという位置づけだ。

#### 「猫と車」の謎とsuperpositionの見直し

過去数年、解釈可能性研究は期待から悲観へと傾いた。ニューロン（番組では「検出器」と呼ぶ）の中に、猫の顔と車の前面の両方に反応するものがあり、無関係な概念が同じ検出器に詰め込まれているという説明、すなわちsuperposition（重ね合わせ）が定説になった。2023年にNickのチームがGPT-4でGPT-2のニューロンを説明させた際、読み取れたのは約2%にとどまり、研究者の間には「野心的な解釈可能性は間に合わないほど難しい」という空気があったという。

ところが今回Nickは、この検出器を「猫や車という語を使わずに説明するなら」と問い直した。答えは「V字の検出器」で、尖った形（キツネの鼻先、猫の顔、車の前面、新幹線の先頭、ろうそくの炎、マティーニグラス）で反応し、丸い形では反応しない。無関係な2つではなく、まだ認識されていない1つの概念だったという。

#### 3つの誤りと「枝分かれ」

Nickは、混乱の多くはAI自体ではなく「顕微鏡」の側にあったと論じる。第一に、検出器が最も好む画像を描かせる可視化ツールが近道をして誤解を招いていた。第二に、研究対象のInception v1（2014年のGoogle画像モデル）に学習上の問題があった。Nickの見積もりでは、当時のツールで読めたのは約5%だが、顕微鏡を直すと約50%、現代的な設定で再学習すると約70%、同規模の現代的設計なら99%まで上がるという。第三に、検出器が枝分かれ（branching）しながら成長するため、最終形だけ見ると無関係に見える点である。「IY」から「DIY」、さらに「do it yourself」へ育つ例が挙げられた。

Nick自身が2019年に見つけた「車の検出器が犬の検出器に隠れている」例も再検証され、実際には向き（ポーズ）を捉える検出器で、車と犬が姿勢を共有していただけだったという。理論がもっともらしかったために、疑う動機が生まれなかったとも述べている。最新のOpenAIモデルでは、約9割の検出器が主な役割を1つ持つとも主張しているが、これは初期の自己申告の数値で、詳細な論文は未公開だと番組は強調する。

#### 大きいモデルほど読みやすく、欺瞞も見つけやすい？

もう一つの目を引く主張が、モデルが大きいほど読みやすくなるというものだ。Nickは、小さな町では「金融街」という区分があいまいだが、ニューヨークでは明確だという比喩を用いる。約300倍の規模差がある3つのモデルで犬の耳の検出器を比べると、小さなモデルでは大まかな「犬」、大きなモデルでは垂れ耳、淡い色の耳、波打つ耳といった具体的な検出器に分かれるという。

安全面では、各検出器は後段の検出器に読まれるために存在するので、AIは自分自身の回路から読めるよう組織化されているというのが論拠だ。人間がもう一人の「読み手」になれれば、出力に偽装があっても計画自体を確認できる可能性がある。番組はKimi K3に落とし物の財布への対応を尋ねる例を示し、「落とし物」や「誠実さ」の検出器が「返す」という答えを後押しする様子が観察できたと紹介した。Nick自身は「欺瞞は丸見えなのに読み方を知らないだけかもしれない」と書いている。

#### 懐疑論と未解決の問い

反応は大きく割れた。OpenAIのruneは「科学史上の重要な瞬間かもしれない」と述べ、「attention is all you need」級だとする声もある。一方、Google DeepMindのNeel Nandaは「全体像を大きく変えるものではない」と評し、検出器が「1つの仕事」をするという基準が甘く、かなりの数が実際には混ざっていると見る。Liv Gortonは、superpositionは容量の話であり、関連する概念同士も詰め込めるため、Nickの批判は狭い定義に向けられていると指摘した。Nickは、問題なのは「読めない形で恣意的に詰め込まれているか」であり、そうなっていないと答えている。また、全検出器が読めても、それらがどう結合して判断になるかの理解には別の難しさがあるとの異論もある。

批判者も、追試する価値があること、実用的な場面では役立ちうること、AIエージェントによる読み取りへの期待には同意していたという。残る問いは、superpositionは反証されたのか単に再定義されたのか、部分が読めれば全体も読めるのか、そして実際の大規模モデルでも成り立つのか、である。

#### まとめ

この回の要点は、結論そのものよりも「見方が変わると難問の景色が変わるかもしれない」という点にある。Nick自身が確信度を約85%の作業仮説と位置づけ、技術論文も未公開で第三者の検証も待たれる以上、現段階で過度に期待するのは禁物だ。それでも、解釈可能性が実用的な安全対策として使えるのなら、AIの監査や欺瞞検出に関心を持つ日本のエンジニアや企業にも関係が深い。追試の結果と詳細論文の公開を注視したい。NLWも、最大級の主張には懐疑を保ちつつ、方向性としては前向きに受け止めるのが妥当だとしている。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: The AI Daily Brief: Artificial Intelligence News and Analysis「A Potentially Historic AI Breakthrough」