# Ep 97: Jev開発者が語る「決定モデル」、ベンチマーク疲れ、そしてなぜ大手ラボは見逃したのか

- 番組: [Unsupervised Learning with Jacob Effron](https://ai-curator.jp/podcasts/shows/cmv40atyo00095j0z7enkoxtb)（by Redpoint Ventures）
- 元のタイトル: Ep 97: Jev Creator on Decision Models, Benchmark Fatigue & Why the Labs Missed It
- 配信日: 2026年11月5日
- 長さ: 1時間1分
- 要約作成日: 2026年11月6日
- トピック: [#System 1モデル](https://ai-curator.jp/topics/System%201%E3%83%A2%E3%83%87%E3%83%AB) [#LLM](https://ai-curator.jp/topics/LLM) [#ベンチマーク](https://ai-curator.jp/topics/%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF) [#コーディングエージェント](https://ai-curator.jp/topics/%E3%82%B3%E3%83%BC%E3%83%87%E3%82%A3%E3%83%B3%E3%82%B0%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#KVキャッシュ](https://ai-curator.jp/topics/KV%E3%82%AD%E3%83%A3%E3%83%83%E3%82%B7%E3%83%A5) [#AI安全性](https://ai-curator.jp/topics/AI%E5%AE%89%E5%85%A8%E6%80%A7)
- URL: https://ai-curator.jp/podcasts/cmw3ou3xc00015k114twhfkrp

## 要約

TypeSafe AI共同創業者でJevの開発者Diogo Almeidaが、Jacob Effronと対談した回。人間向けの文章ではなく機械向けの構造化された判断を返す「System 1」モデルJevの狙いを語り、形(shape)の新奇さより信頼性が重要だと強調した。KVキャッシュに縛られたコーディングエージェント設計への批判、ベンチマーク偏重への違和感、Anthropicの評価やAI安全性についての見方も述べている。

## ポイント

- Almeidaは、LLM呼び出しの大半は最終的に人間ではなくソフトウェアが消費するものだと考え、機械ネイティブな「認知の核」を目指してJevを作ったと述べている。
- 新しいモデルの「形」を作るのは安価で、難しいのは信頼性と実用性だと主張。見せかけの新モデルやベンチマーク最適化は期待を裏切り、開発者の信頼を損なうと懸念を示した。
- コーディングエージェントはKVキャッシュ（append-only）を前提に設計されており、ルーティングやサブエージェント、圧縮などが制約されていると指摘。これを「KVキャッシュの専制」と呼んだ。
- 意味的な依存型（semantic dependent typing）や、ツール呼び出しごとの高速で安価なセマンティック・セキュリティチェックなど、将来の応用アイデアを披露した。
- コーディングエージェントによる開発速度向上は20〜40%程度と見積もり、AnthropicのIPO評価には期待の過大評価（ミスキャリブレーション）が含まれうるとの見方を示した。
- 真のエージェンシーまでには「巨大なブレークスルーがあと2つ」必要と推測し、ASIやRSIの議論は技術より哲学的だと述べた。

## 章立て

- [01:01] **機械ネイティブなAIという着想** — LLM呼び出しの大半は機械向けであるべきだという信念と、Jev開発の動機を語る。
- [08:03] **開発者とのco-evolutionと「無力感」** — モデル提供者に依存する業界の姿勢を批判し、開発者がジャギッドネスについてもっとフィードバックすべきだと訴える。
- [16:47] **新しい形よりも信頼性** — 新モデルの形は安価に作れるが、実用性が重要であり、過剰な約束と過小な提供が信頼を損なうと述べる。
- [21:37] **KVキャッシュの専制と将来構想** — コーディングエージェントの設計制約と、意味的依存型やセキュリティチェックなどのアイデアを紹介する。
- [34:34] **マルチモーダルと競合・資金調達** — 画像モデルの現状、5年前でも可能だったという見方、競合モデルの登場や資金調達の考え方を語る。
- [48:14] **Anthropic、生産性、AI安全性** — Anthropic IPOへの見方、コーディングエージェントの生産性見積もり、AI安全性やエージェンシーに関する見解。

## 解説記事

TypeSafe AI共同創業者で、OpenAIのInstructGPT論文の共著者でもあるDiogo Almeidaが、Unsupervised LearningのホストJacob Effronと対談した。話題は、9月に公開して注目を集めた「決定モデル」Jevの設計思想から、業界のベンチマーク文化、コーディングエージェントの構造的制約、Anthropicの評価、AI安全性まで幅広い。

#### Jevの出発点：「機械が消費する出力」

Almeidaが繰り返したのは、LLMをAPIやサブモジュールとして見たとき、その呼び出しのうち人間が読むものはどれだけかという問いだ。文体や散文が重要な呼び出しもあるが、彼は、最も文字列志向の人でも機械向けの割合は「何ナインもの％」になると答えると述べている。コンピュータが本当に欲しがるのは文字列ではなく、せいぜい極端にカーディナリティの高い列挙型くらいだという。

この発想から、テキストではなく構造化された判断を返す「System 1」モデルを目指した。名前は人間の直感的思考を連想させ、周囲には反対されたそうだが、AIが圧縮されて行き着く形は実際にSystem 1的だと考え、弱点も正直に伝える方針を取ったと述べている。彼のNorth Starは、数学の難問は解けるのに会計に関わる作業は自動化できない、という不思議な状況を解消することだ。

#### 新しい「形」より信頼性

Almeidaは、新しいモデルの形を作ること自体は安価で、自分も1週間でできると思っていて実際にできたと語る。難しいのは役に立つこと、つまり信頼性だという。他社が似た形のモデルを次々に出す現状については、実用性を欠いたまま期待だけを煽る「過剰な約束と過小な提供」が開発者の信頼を損なうと懸念した。

この文脈でベンチマークにも否定的だ。ベンチマークに最適化されたリリースは善意を使い果たし、時間のない開発者ほど被害を受けると言う。彼によれば、この種のモデルについては人々がすでに新リリースに関心を失い、ベンチマーク疲れが想像より早く来ている。社内にはベンチマーク最適化版を出して市場を試す案もあったが、出さなくてよかったと振り返っている。

#### 開発者こそ声を上げるべき

Almeidaは、業界全体が「モデル提供者がやることを受け入れるだけ」のストックホルム症候群に陥っていると批判する。映画『WALL-E』で椅子に座って与えられるものを受け取る人々の比喩も使った。必要な信頼性や知能の水準を一番よく知るのは開発者であり、もっとモデルの「ジャギッドネス（得意不得意のでこぼこ）」について文句を言うべきだと促している。

また、用途ごとにモデルの人格を理解してシステムをロックインさせる使い方は、開発者中心の世界観ではないと述べた。目指すのはSQLのようにプロバイダ非依存になるほど信頼できる知能であり、依存関係の更新を毎回気にするのは本来のソフトウェア工学と逆だという。

#### KVキャッシュの専制

技術的に最も具体的だったのが、コーディングエージェントの設計がKVキャッシュ（追記のみの状態保持）に強く縛られているという指摘だ。彼によれば、これがルーティングやサブエージェントの有効性を妨げ、どの文脈を渡すかという判断が難しくなり、結局は巨大な状態を渡し続けてコンテキストが劣化していく。

彼は、複数のエージェントが同じ文脈を共有する、読み取り専用エージェントが作業中に可視化を生成する、圧縮をタスクに応じて意味的に行う、過去の履歴を安価に検索して同僚とも共有するなどの構想を挙げた。さらに、自然言語で性質を指定して検証する「意味的な依存型」や、ツール呼び出しごとの高速なセキュリティチェックも将来像として紹介した。これらは新しいリリースの予告も兼ねた話だったと述べている。

#### 画像、競合、そして業界観

画像モデルについて、テキストより信頼性が劣化しやすいと指摘したうえで、自社の画像モデルはテキストモデルの10%程度の完成度で、本番利用の承認は出せないと率直に述べた。5年前でも実現は可能だったとし、OpenAI時代に「1年前にAGIを持てたはずだ」という文書を書いたという。

Anthropicの評価については、コーディングエージェントは大きな価値があるが、投入資金に見合うかは別問題だと慎重だった。ラボの最大の強みは金融工学だという見方を伝え聞きとして示し、「世界を治す」といった期待は過大評価につながりうると語った。生産性向上は20〜40%と見積もる。AI安全性では、ASIの議論は技術の現実から離れていると見ており、真のエージェンシーには「巨大なブレークスルーがあと2つ」必要だと推測した。

#### まとめ

日本の開発者にとって注目すべきは、モデルの賢さを単一の軸で測る見方への異議と、信頼性を設計目標に据える視点だ。ベンチマーク偏重への批判や、KVキャッシュがエージェント設計を縛るという指摘は、実運用でエージェントを組む際の判断材料になる。一方で、これは開発元の発言であり、競合比較やコスト面の主張は番組内で検証されていない点には留意したい。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Unsupervised Learning with Jacob Effron「Ep 97: Jev Creator on Decision Models, Benchmark Fatigue & Why the Labs Missed It」