# Machine Studying（機械の勉強）：Jacob X. Li 氏と考える、コーパスだけから事前に専門性を獲得するAIエージェント

- 番組: [Weaviate Podcast](https://ai-curator.jp/podcasts/shows/cmv8ukqps000871106w428xh5)（Weaviate）
- 元のタイトル: Machine Studying with Jacob X. Li - Weaviate Podcast #148!
- 配信日: 2026年10月29日
- 長さ: 53分
- 要約作成日: 2026年10月30日
- トピック: [#Machine Studying](https://ai-curator.jp/topics/Machine%20Studying) [#エージェント](https://ai-curator.jp/topics/%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#継続学習](https://ai-curator.jp/topics/%E7%B6%99%E7%B6%9A%E5%AD%A6%E7%BF%92) [#RAG・検索](https://ai-curator.jp/topics/RAG%E3%83%BB%E6%A4%9C%E7%B4%A2) [#LoRA](https://ai-curator.jp/topics/LoRA) [#評価・ベンチマーク](https://ai-curator.jp/topics/%E8%A9%95%E4%BE%A1%E3%83%BB%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF)
- URL: https://ai-curator.jp/podcasts/cmvtorbc900005d11qqghrwt0

## 要約

MIT博士課程のJacob X. Li氏が、ドキュメント群（コーパス）だけを与えられたエージェントが、下流タスクを知らないまま事前に学習し専門性を高める枠組み「Machine Studying」を解説した回。専門性を「推論時の探索を正確な成果に変える効率」とし、性能対計算量曲線の下の面積で測る定義や、継続学習との違い、三つの賭け（自己教師あり・重み更新・文脈管理）を議論している。チートシートの効果や評価科学の重要性にも話が及ぶ。

## ポイント

- Machine Studyingは、下流タスクが未知のままコーパスを勉強し、テスト時にもコーパスにアクセスできるという設定で、試験勉強に例えられている。
- 専門性は、ReAct型ループの検索回数を予算の軸にした性能対計算量曲線の下の重み付き面積で定義される。勉強時間予算まで一段上げたものが「studying intelligence」で、ゼロからの再学習がベースラインとなる。
- 文献レビューの実験では、古いモデル＋BM25でも新しいモデルとほぼ同じ論文を集められたが、どれが重要かの判断は新しいモデルが大きく優れていたという。勉強は検索だけではないという主張につながる。
- 継続学習はベンチマーク列を前提にしがちで長文脈処理に還元されやすいが、Machine Studyingは明確なベンチマークがない状態で何を学ぶかを自ら決める点が違うと述べている。
- 既存手法は三つの賭け（自己教師あり目的や合成データ、LoRA・KVキャッシュのcartridges・リトリーバ訓練による更新、ノートやチートシートによる文脈管理）のいずれかに分類されるとする。
- チートシートはDSPyでは有効だったが、より大きく新しいOpenClawではあまり効かなかった。重みと文脈のどちらが良いかは意図的に未決とされ、評価の科学が重要な課題として挙げられた。

## 章立て

- [01:00] **Machine Studyingとは何か** — コーパスだけを与えられ、下流タスク不明のまま準備するエージェントという問題設定を、試験勉強の比喩で説明している。
- [05:00] **発見との違いと専門性の定義** — discoveryとの関係に触れたうえで、専門性を性能対計算量曲線の下の面積で測る定義と、検索回数を軸にする理由を語る。
- [14:30] **検索の学習とBM25の議論** — 文献レビュー実験を例に、検索能力と重要論文の判断力は別物であり、勉強は検索だけではないと述べる。
- [23:31] **継続学習との違いと三つの賭け** — 継続学習との違いを整理し、既存手法を自己教師あり・重み更新・文脈管理の三つに分類する。
- [29:03] **再学習の基準とチートシートの結果** — ゼロからの再学習をベースラインとするstudying intelligenceと、DSPyとOpenClawでのチートシートの結果を紹介する。
- [36:25] **重みと文脈、プロンプト最適化** — 重みベースと文脈ベースの比較を未決とし、GEPAなどのプロンプト最適化との関係や合成問題生成の難しさを議論する。
- [41:39] **人間の勉強法と個人エージェント** — 自己テストや注釈といった人間の勉強習慣が手法に与える影響と、ユーザーを先に学習するエージェントの可能性を話す。
- [48:03] **評価の科学と今後の方向** — ベンチマークのない領域での再帰的自己改善をどう評価するかという課題が、今後の関心事として語られる。

## 解説記事

MIT博士課程のJacob X. Li氏が、Weaviate Podcastのホストと共に、新しい枠組み「Machine Studying」を解説した回である。コードベースや創薬論文、システムログなど、文書群だけで定義される領域に対し、AIエージェントが事前にどこまで理解を深められるかが主題になっている。

#### 試験を知らない学生としてのエージェント

Li氏の設定では、エージェントはコーパスを与えられるが、後でどんなタスクが出るかは知らない。ただしタスクはコーパスに基づくことは分かっており、本番（試験）でもコーパスへアクセスできる。学校で試験内容は見られなくても、授業で教わった範囲から出ると分かっている状況に近いという。

現在のCodexやClaude Codeのようなエージェントは、質問を受けてからコードベースを探索する、つまり推論時の計算に大きく頼っていると同氏は指摘する。Machine Studyingは、その前にどこまで深い理解を作れるかを問う。ホストは、Letta社のSleep Time Computeの論文との近さにも触れていた。

#### 専門性を面積で測る

論文の特徴は専門性の定義にある。専門家とは、推論時の探索や計算を正確な成果に効率よく変換できるエージェントだとされる。測定には、性能対計算量の曲線の下の重み付き面積を使う。時間をかければ初心者でも総当たりで正解に至れるが、専門家は探索の当たりをつけ、結果を読み解けるので同じ結果を早く出せる、という人間の直感を借りた発想だという。

計算量の軸は、従来の推論の深さ（medium、highなど）の代わりに、ReAct型ループでの検索回数を予算として使う。現行版では回答のみ、最大5回、最大20回、20回強制の4点で評価している。公開予定の版では10点以上の細かい刻みにするとのことだ。

この曲線を勉強時間の予算に対してもう一段上げたものが「studying intelligence」である。ゼロからの再学習（合成データ追加を含む）が基準になり、手法が再学習より効率的かを比較できる。合成問題だけで訓練すると、再学習より非効率になりうるとも述べている。

#### 勉強は検索だけではない

文献レビューの小実験が紹介された。新論文のタイトルと要旨からクエリを作って関連論文を集める段階では、古いモデル＋BM25でも新しいモデルとほぼ同じ集合を集めた。ところが集めた論文からどれが重要かを判断してレビューを書く段階では、新しいモデルが大きく優れていたという。Li氏はこれを、勉強は検索だけではない根拠として挙げる。人間も教科書を順に読み、索引でキーワード検索する程度であり、BM25以下の道具でも効果的に勉強できると述べた。リトリーバを自分で訓練する選択肢を排除するものではない、とも付け加えている。

#### 継続学習との違いと三つの賭け

Li氏は、継続学習は学習後も学び続けるという約束を示した一方、何から何をどう学ぶかは曖昧だと述べる。ベンチマークの列を前提にすることが多く、実際には長文脈処理に還元されがちだとも指摘する。これに対しMachine Studyingでは、明確なベンチマークや強化学習環境がない状態で、モデル自身が何を抽出すべきかを決める必要があり、教師信号の出どころが問題になる。

既存手法は三つの賭けのどれかに属すると同氏は整理する。第一は、次トークン予測などの自己教師あり目的や合成データの利用。第二は、LoRA、KVキャッシュを訓練するcartridges、リトリーバ訓練による更新。第三は、ノートやチートシートのような、償却された文脈管理である。

#### チートシートと重みの比較は未決

ブログ版の結果では、チートシートはDSPyのコードベースでは効いたが、より新しく大きいOpenClawではあまり効かなかった。モデルが難しい部分まで探索しきれなかった可能性があるという。ただしLi氏は、文脈のほうが正しい道だと言いたいわけではないと強調する。合成データによる強化学習でも専門性の向上が得られる実験が今後出るとし、重みと文脈の比較は意図的に未決としている。プロンプト最適化（GEPAなど）も対立せず、自作の模擬試験のスコアでチートシート生成を最適化できるという。難しいのは、モデルが練習に値する良い問題を自分で作れるかだ。ホストも、深い調査型の問題の合成は、なぞなぞになりがちだと述べていた。

#### 人間の勉強法と、評価の科学

三つの賭けは人間の勉強習慣とも対応するとLi氏は言う。読むことは自己教師あり学習、翌日の自分への問題は合成問題、注釈やノートは文脈管理に当たる。注釈付きの本を再読すれば、過去の自分の推論を元に推論できる、という点も示唆的だとした。今後の応用として、先に利用者を勉強して教えるエージェントなども挙げた。

もう一つの関心は評価の科学である。ベンチマークのない新領域で再帰的自己改善を進めるとき、進捗をどう測るのか。自分を理解できているかのベンチマークは本人が作るのが筋だが、本人でも良い設計は難しい、とLi氏は述べている。この点は公開予定の論文でも簡単に触れるという。

#### まとめ

Machine Studyingは、エージェントの準備段階を、勉強という身近な比喩と測定可能な指標で捉え直す試みだ。社内文書やコードベースなど、秘匿データに特化したエージェントを作る日本の開発者にとっても、検索の工夫だけでなく、事前に何を学び何をノートに残すかという設計が論点になる。重みと文脈の優劣は未決で、続報となる論文の実験と評価方法が注目点である。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Weaviate Podcast「Machine Studying with Jacob X. Li - Weaviate Podcast #148!」