"The Cognitive Revolution"
エージェントはどう決断するのか：Goodfireのエリック・ビゲロウが語るクリティカルトークン、相転移、文脈内学習
How Agents Decide: Goodfire's Eric Bigelow on Critical Tokens, Phase Shifts, & In-Context Learning
Goodfireの研究者エリック・ビゲロウが、LLMが最終的な答えを「決める」仕組みを、forking paths研究を軸に語った回。各トークンで推論を大量に再サンプリングすると、出力分布が特定の1トークンで急激に収束することがある。ビゲロウは、決定の実体はサンプリングにあり、推論は自ら生成した文脈からの文脈内学習だと捉える。推論モデルのCoTの不透明化、RLによる分布の変化、モデル選定、解釈可能性への投資不足にも話が及ぶ。