# 私のAIエージェントが車を買ってくれた：Hermes Agentと自己改善の最前線 - 番組: [Agentic Conversations (formally mlops.community)](https://ai-curator.jp/podcasts/shows/cmv3z5c0n000l5o10j1ogyu9h)（Demetrios） - 元のタイトル: My AI Agent Bought Me A Car - 配信日: 2026年11月10日 - 長さ: 35分 - 要約作成日: 2026年11月10日 - トピック: [#AIエージェント](https://ai-curator.jp/topics/AI%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#Hermes Agent](https://ai-curator.jp/topics/Hermes%20Agent) [#強化学習](https://ai-curator.jp/topics/%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92) [#継続学習](https://ai-curator.jp/topics/%E7%B6%99%E7%B6%9A%E5%AD%A6%E7%BF%92) [#アクティベーション・ステアリング](https://ai-curator.jp/topics/%E3%82%A2%E3%82%AF%E3%83%86%E3%82%A3%E3%83%99%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%BB%E3%82%B9%E3%83%86%E3%82%A2%E3%83%AA%E3%83%B3%E3%82%B0) [#推論モデル](https://ai-curator.jp/topics/%E6%8E%A8%E8%AB%96%E3%83%A2%E3%83%87%E3%83%AB) - URL: https://ai-curator.jp/podcasts/cmw9ivsg700014e126mc9g67m ## 要約 Nous ResearchのRLポストトレーニングチームに所属するSam Herringが、オープンソースのエージェントHermes Agentの個人的な活用例から、エージェントの失敗を学習環境に変えて自己改善させる取り組みまでを語った回。XiaomiのMiMo-V2.6 Proに着想を得たTrace to Environmentのループ、推論モデルの過剰な思考、推論時のアクティベーション・ステアリング、真の継続学習の展望にも話が及ぶ。 ## ポイント - Hermes Agentは社内の生産性ツールとして始まり、エージェントが自分でスキルを書く機能が、利用者にとって「魔法のような体験」の決め手になったとSamは述べている。 - Samは初期のHermesに、RL環境の設計、クラウドでの学習、得られた重みのローカルモデルへのホットスワップを行わせるコードを組み込み、自己改善の原型を試した。 - Trace to Environmentは、エージェントのトレースからRL環境を合成して再学習する発想で、失敗分析、失敗タイプ別のクラスタリング、環境合成、再学習を繰り返すループとして社内で構築が進んでいる。 - 推論モデルは、誤りを出して自己修正する前提で訓練されたため過剰に推論している可能性があるとSamは個人的見解を述べる。一方、自身の調査では推論が長いほど精度が上がる傾向も確認したという。 - 推論時にモデルの活性値へベクトルを加えるステアリングは、小型モデルを改善する未開拓の手段だとSamは主張する。解釈可能性とも関係が深いという。 - 目標とする継続学習は、全パラメータを更新せず、モデル内の特定の経路だけを更新できる形だとSamは語る。 ## 章立て - [01:21] **Nous ResearchとHermesの成り立ち** — SamがNousの一員として自己紹介し、Hermesが社内の生産性ツールとして始まった経緯を説明する。 - [03:18] **陶器の服探しから三輪車の購入まで** — 古代陶器に合う服を探すツールが最初の使い道だった。その後、政府オークションを毎日調べさせ、駐車違反取締り用の三輪車を購入した。 - [06:31] **生活事務の活用例とスキル自動生成** — 創作パイプラインやスマートホームなどの利用例を紹介する。公共料金の処理を扱う社内ベンチマークの話もあり、エージェントが自らスキルを書く機能が転機になったと述べる。 - [09:37] **1年前のRLとホットスワップの試み** — Thinking MachinesのTinkerを使ったRL、Endless Terminals、そしてHermes内で自己学習して重みを差し替える初期の仕組みを振り返る。 - [14:54] **XiaomiとTrace to Environment** — XiaomiのMiMo-V2.6 Proの論文に基づくTrace to Environmentを紹介する。失敗分析、クラスタリング、環境合成、再学習のループを説明する。 - [21:06] **トークン効率と過剰推論** — 事前学習知識への依存という弱点、推論の長さと精度のトレードオフ、推論レベル設定の煩雑さを議論する。 - [26:37] **推論時ステアリングと継続学習** — 活性値を操作して振る舞いを変えるステアリングの構想、解釈可能性との関係、特定経路だけを更新する継続学習の理想像を語る。 ## 解説記事 Nous ResearchでRLポストトレーニングに取り組むSam Herringが、MLOps Communityのポッドキャスト（AGNTCon + MCPCon North America会場収録）に登場した。オープンソースのエージェントHermes Agentの身近な使い道から、エージェントが自らを改善する「再帰的自己改善（RSI）」への道筋、推論時の制御手法まで、幅広く語っている。 #### 社内ツールから生まれたHermes Samによれば、Hermesはもともと社内の生産性向上を目的に、長時間動くエージェントの実行基盤として作られた。製品化の意図はなかったという。Samが最初に使ったきっかけは、古代の陶器やネイティブアメリカンの美術に合う服を探したいという友人のSNS投稿だった。メンズ服サイトの画像を集め、目標画像との埋め込み類似度で順位付けするプログラムをHermesに書かせ、約1時間で動くものができたと話す。 さらに、サンフランシスコやニューヨークを走る三輪の取締り車が政府オークションで売られていると知り、毎日オークションサイトを検索して購入するスクリプトをHermesに書かせた。5月に出品があり、Samは実際に購入して今も市内で運転している。家探しや車探しのように、毎日サイトを確認する生活事務に向いていると述べる。 #### スキル自動生成が決め手に Hermesの使われ方として、SamはTwitterの告知動画を作る創作パイプライン、スマートホーム制御、暗号資産の取引分析などを挙げる。Nousは、コーディング以外の生活事務を対象にしたベンチマークも内製した。たとえば、メールから公共料金の請求書を集めて小切手を起草し、人間は最後の承認だけを行う、といったタスクである。 さらにSamは、エージェントが繰り返し行う作業を自分でスキルとして書き出す機能を、大きなブレークスルーと位置づける。人が「これをスキルにして」と指示しなくても自動で身につくため、利用者は魔法のような体験を得られるという。Nousは、使い始めてからエージェントが自分と一緒に成長すると実感するまでの時間を「time to magic」と呼んで重視していると述べている。 #### 失敗を学習環境に変えるループ Samは1年前の取り組みも振り返る。Thinking MachinesのTinker（クラウド上のRLサービス）にNousのRLライブラリを統合し、手続き的に生成する端末操作タスク群Endless Terminalsも構築した。初期のHermesには、ローカルのQwenモデルで動かしつつ、RL環境を設計し、クラウドで学習させ、得た重みをホットスワップする機能を組み込んだという。Samはこれを自己改善の「最初の兆し」と表現する。 現在注目しているのが、XiaomiのMiMo-V2.6 Proの論文で語られたTrace to Environmentである。エージェントのトレースからRL環境を合成して学習する考え方で、毎晩の作業履歴から環境を作り、寝ている間に自己更新する使い方も想定できるとSamは説明する。Nousが構築中のループは、①失敗した正確な地点を特定する失敗分析、②失敗の種類ごとのクラスタリング、③実際の状態に近い合成環境の生成、④難易度を調整しながらの再学習、という流れだ。失敗分析とクラスタリングは、Anthropicが公開した手法を参考にした自動パイプラインで行われている。Samは、スキルや記憶を足すだけの自己改善には限界があり、失敗の収集と環境化がポストトレーニングで残された課題かもしれないと述べる。 #### 過剰推論とトークン効率 後半は推論の話題に移る。モデルは事前学習の知識に頼り、更新されたVercelのようなツールのドキュメントを読まずに誤った前提で進めてしまうことがあり、これが弱点になりうると司会者が指摘し、Samも同意した。ただし、毎回ドキュメントを読めばトークン効率は下がるため、トレードオフがある。 Samの個人的な見解では、現在のモデルは誤りを出してから自己修正する前提で訓練されたため、後戻りや自己疑念を含む長い推論を行いがちだが、実際にはもっと短く推論しても正解に至れるはずだという。一方で、自身が公開した調査では、制約のある設定では推論が長いほど性能が上がり、直感は正しかったと認める。収穫逓減がどこで起きるかは、さらに調べる価値があるとしている。また、推論の努力レベル（low、medium、highなど）を人間が選ぶ現状は一時的な仕様で、将来はより動的に制御されるだろうという仮説も示した。 #### ステアリングと継続学習 Samが最も期待する推論時の改善が、活性値にベクトルを掛けてモデルの振る舞いを誘導するアクティベーション・ステアリングである。数学では実務的に、創作では自由に、といった方向づけを推論時に行うイメージで、学習済みアダプタを必要なときに足す感覚に近いと説明する。構想としては、vLLMのような推論エンジンに付随する仕組みとして実装する。小型モデルをRLで限界まで鍛える以外の道として、未開拓だと主張している。 ステアリングは解釈可能性とも重なる。振る舞いを制御できれば、その元になる構成要素の理解に近づく一方、制御できたからといって理由を逆向きに説明できるとは限らない。Samはエージェント用途では制御のほうに関心があるという。 最終的な目標として、Samは真の継続学習を挙げる。全ニューロンを更新するのではなく、たとえばAGNTCon 2026の事実情報を、モデル内の特定の経路だけに書き込めるような更新である。理解した構成要素へ学習更新を送り込めば、人間のように常時自己更新するモデルに近づくと述べている。 #### まとめ 本回の注目点は、エージェントの実利用で得た失敗の記録を、そのまま学習データと環境に変換するという実践的なRSI像である。スキルの自動生成にとどまらず、失敗分析から重みの更新までを回すことが、オープンなエージェント開発の次の焦点になりつつあることがうかがえる。日本の開発者にとっても、自社のエージェントのトレースを分析し、失敗パターンを整理するところから、同様の発想を試せるだろう。推論の長さ制御やステアリングといった推論時の工夫も、小型モデルを実用化する際の選択肢として覚えておく価値がある。なお、Samの主張の多くは個人的な見解や構想であり、効果の検証は今後の公開成果を待つ必要がある。 > この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Agentic Conversations (formally mlops.community)「My AI Agent Bought Me A Car」