# ニューロン基底：Goodfire の Curt Tigges が語るエージェント型解釈性、単義性、リバースエンジニアリング - 番組: ["The Cognitive Revolution" ](https://ai-curator.jp/podcasts/shows/cmv3z5bzl00065o10zt140p1w)（Erik Torenberg, Nathan Labenz） - 元のタイトル: The Neuron Basis: Goodfire's Curt Tigges on Agentic Interp, Monosemanticity & Reverse Engineering - 配信日: 2026年11月11日 - 長さ: 1時間56分 - 要約作成日: 2026年11月11日 - トピック: [#機械的解釈性](https://ai-curator.jp/topics/%E6%A9%9F%E6%A2%B0%E7%9A%84%E8%A7%A3%E9%87%88%E6%80%A7) [#LLM](https://ai-curator.jp/topics/LLM) [#ニューロン](https://ai-curator.jp/topics/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%AD%E3%83%B3) [#スパース性](https://ai-curator.jp/topics/%E3%82%B9%E3%83%91%E3%83%BC%E3%82%B9%E6%80%A7) [#MoE](https://ai-curator.jp/topics/MoE) [#SwiGLU](https://ai-curator.jp/topics/SwiGLU) - URL: https://ai-curator.jp/podcasts/cmwb2lz2p00006x11seovmr7k ## 要約 Goodfire の Curt Tigges が、現代の LLM の MLP 内の個々のニューロンは従来考えられていたよりずっと解釈しやすいという研究を解説する回。Qwen3.6-35B-A3B を対象に、ゲート付き MLP の構造、約9割のニューロンを落としても性能がほぼ保たれるスパース性、自動エージェント「neuron scientist」による説明生成と検証を議論する。名詞ではなく動詞・制御フローとしてニューロンを捉える見方や、監視・ペルソナ操作への応用、残る課題も語られる。 ## ポイント - Tigges は、MLP の個々のニューロンは複雑ではあるが、無数の意味を持つのではなく少数のコンパクトな意味の集合を持つことが多いと述べている。 - SwiGLU のようなゲート付き MLP は gate と up の二系統の入力の積で条件の連言を作れるため、文脈に応じた切り替えが可能になり、解釈しやすさにつながっている可能性があるという。 - 最も強い活性だけを残して約9割のニューロンを無効化しても多くのベンチマークで性能が保たれ、推論の劣化も約1億トークンの追加学習でほぼ回復したと報告している。 - neuron scientist は仮説の生成・反実仮想実験・ステアリングを行い、別モデルの予測値をパッチして KL ダイバージェンス損失の74%を回復することで説明を検証する。 - ニューロンは単なる対象検出器ではなく、推論の確信度や「wait」といった挙動を方向づける制御信号、つまり動詞的な役割を持つという見方が示された。 - 個々のニューロンを理解しても高次の回路や挙動の理解にはまだ距離があり、残差ストリームの理解など多くの課題があると認めている。 ## 章立て - [05:13] **論文の主張と背景** — 個々のニューロンは従来考えられていたより解釈しやすいという中心的主張と、それが見過ごされてきた理由（ツールの進歩、活性化関数の違い）を説明する。 - [11:28] **Qwen の構造とゲート付きMLP** — 40層・256エキスパート・計500万ニューロンの構成と、gate と up の二系統を掛け合わせる SwiGLU の仕組みを解説する。 - [26:10] **スパース化とアブレーション実験** — 平均値アブレーション、top-k とパーセンタイル方式の違い、9割を落としても性能が保たれる理由を議論する。 - [41:40] **neuron scientist エージェント** — 活性例のクラスタリング、仮説生成、ツール利用、別モデルによる予測とパッチでの検証、KL ダイバージェンス回復率の意味を説明する。 - [55:34] **単義性と回路・リバースエンジニアリング** — 単義性より「意味を列挙できるか」が重要という見方、名詞から動詞への転換、回路やコミュニティを積み上げる道筋を語る。 - [1:16:24] **監視・SAE・事実記憶・エキスパート** — 監視やペルソナ操作への応用、SAE や転コーダとの比較、事実の保存場所、エキスパートの専門性を扱う。 - [1:28:41] **アーキテクチャ設計と推論性能の回復** — 解釈しやすい設計、二重否定の活性、少量の追加学習での推論回復と長文脈への懸念を議論する。 - [1:46:05] **今後の展望** — ニューロン基底での思考のトレース、計算コスト、読者が自分で試せることを述べて締めくくる。 ## 解説記事 Goodfire の Curt Tigges をゲストに迎えたこの回では、論文「Neurons as an Interpretable Basis」の内容が語られた。同僚の Nick Camerata が書いた話題のエッセイ「Neural Networks Are Already Clean」の LLM 版にあたる。ニューロンは意味が混ざり合っていて直接読めず、スパースオートエンコーダ（SAE）のような補助モデルが要るという通説に、真正面から異を唱える研究だ。 #### 中心的な主張：ニューロンは思ったより読める Tigges によれば、MLP の個々のニューロンは複雑ではあるものの、複数の意味を持つ場合でも無数ではなく、コンパクトな意味の集合に収まることが多い。同時に活性化しているニューロンもさほど多くなくてよいという。 なぜ今になって見えてきたのか。Tigges は二つの要因を挙げる。一つは、活性例を大量に読んでパターンを抽出できるエージェントなど、道具が良くなったこと。もう一つは活性化関数で、ReLU や GELU のネットワークより、SwiGLU のようなゲート付き MLP のほうが解釈しやすいと述べている。gate と up という二系統の入力を掛け合わせるため、「文脈が料理で、かつ食材がニンニク」のような連言を作れ、小さな論理回路として働くという説明だ。さらに正負それぞれの極が別の意味を持ちうるため、約500万ニューロンは実質1000万の表現力を持つとされる。対象の Qwen3.6-35B-A3B は40層、各層256エキスパート（うち8個が稼働）、エキスパートあたり512ニューロンという構成である。 #### スパース性：9割を落としても動く 実験の柱がスパース化だ。各エキスパートで活性の大きい上位64ニューロンだけを残し、残りは平均値に置き換えると、多くのベンチマークでほぼ性能が保たれた。ARC-AGI など一部では、内部の「気を散らす要素」が減って確信度が上がり、むしろ改善したと Tigges は推測している。 一方で推論タスクでは、ループに陥ったり自己確認を繰り返したりする劣化が出た。ところが約1億トークン、GPU 数台で1日程度の追加学習で、ほぼ元の性能に戻ったという。知識自体は残っており、ずれていたのは確信度の較正のようなものだろうと見ている。MedQA や GPQA も数ポイント以内に回復した。ただし数十万〜100万トークン級の長い文脈で弱い活性が効いてくる可能性は未検証で、32K トークンまでは問題なかったと述べている。 #### neuron scientist：エージェントによる説明と検証 500万個の説明を作る手段が neuron scientist だ。ニューロンが活性化した例をクラスタリングして渡すと、フロンティアモデルが仮説を立て、文を作って活性を測ったり、わずかに違う文を比べたり、ステアリングしたりして段落長の説明に仕上げる。 検証は別モデルで行う。説明だけを見せ、各トークンでの発火強度を0〜9で予測させ、その値を元モデルにパッチして、ニューロンを丸ごと消した損傷をどれだけ回復できるかを見る。KL ダイバージェンスで測った損傷の回復率は74%で、損傷が大きい箇所ほど重みが大きい。説明だけから最大活性を超える文を書かせる検証や、関連性の判定（90%台）も併用する。例として、リストの二番目の項目が、ずっと前に別の形式で導入されたリストを言い換える位置で発火するという構造的なニューロンが紹介された。知能を上げるほど読める範囲が広がるという。最も高価な設定では1ニューロンあたり推論費用45ドルだが、難しいものだけに計算を集中させれば現実的との見立てだ。 #### 名詞から動詞へ：単義性の捉え直し Tigges は、単義か多義かの二分より「そのニューロンが表すものを列挙できるか」が重要だと言う。昆虫に関するニューロンが餌・生息地・産卵場所の三点にだけ発火する例や、「ガレージセールで見つかるもの」という共通概念で衣類・運動器具・食器が結びつく例が挙げられた。外から見ると多義でも、モデルには一つの概念かもしれないということだ。 またニューロンは物体の検出器というより、下流の回路を呼び出す制御信号、つまり動詞に近いと述べる。推論中の確信度を上げ下げしたり、「wait」で見直しを促したり、別のアプローチへ転換させたりするものがある。事実は個々のニューロンではなくニューロン間の接続に保存され、印象派とポスト印象派の画家の区別には数十ニューロンの小さなコミュニティが対応していたという。エキスパートも1〜3個のトピックに集中しており、数学、法律、時間、医療などの専門性が見られる。 #### 応用と限界 最初の応用は監視だ。報酬ハッキング文に反応する単一ニューロンを見つけた外部ユーザーの例や、ペルソナ操作の実用性が紹介された。ただし最初に見つけた一つだけに頼ると他の経路を見逃すと、注意も添えられている。転コーダなど SAE 系の手法は元の MLP より損失が大きく、MLP については上位ニューロンを直接見るほうがよいという立場だ。一方、残差ストリームの理解は未解決で、ニューロン理解が即「野心的なリバースエンジニアリング」になるわけではないと認めている。物理から化学、生物へと階層を上るように、各階層の法則を見つける必要があるという比喩で説明された。 SwiGLU に特有の、gate と up がともに負になる二重否定の活性は意味が読みにくく、まだ役割が不明だ。ReGLU を使う Gemma 4 などは構造上これが起きないという。スパース性や知識の局在化を促す設計が、大きな「アライメント税」なしに解釈性を高める可能性も議論された。 #### まとめ 補助モデルを介さず、ニューロンそのものを大規模に読める可能性が示された点が最大の収穫だ。モデルの監視やデバッグを行う実務者にとって、再構成物ではなく実体を見られる利点は大きい。ただし、ニューロン単位の理解が回路や挙動の予測へ積み上がるかは未解決で、Tigges 自身も慎重な姿勢を崩していない。今後はニューロン基底での「思考のトレース」や公開予定のラベルに注目したい。 > この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: "The Cognitive Revolution" 「The Neuron Basis: Goodfire's Curt Tigges on Agentic Interp, Monosemanticity & Reverse Engineering」