# 「95%がアインシュタイン、5%がMr. ビーン」――Jev開発者が語る、AIが確実に自動化できない理由（Diogo Almeida）

- 番組: [The MAD Podcast: How AI Gets Built — with Matt Turck](https://ai-curator.jp/podcasts/shows/cmv40atyr000a5j0zjht6shq4)（Matt Turck）
- 元のタイトル: “95% Einstein, 5% Mr. Bean”: Jev’s Creator on Why AI Can’t Automate Anything Reliably (Diogo Almeida)
- 配信日: 2026年10月15日
- 長さ: 1時間7分
- 要約作成日: 2026年10月16日
- トピック: [#Jev](https://ai-curator.jp/topics/Jev) [#決定モデル](https://ai-curator.jp/topics/%E6%B1%BA%E5%AE%9A%E3%83%A2%E3%83%87%E3%83%AB) [#RLHF](https://ai-curator.jp/topics/RLHF) [#RLVR](https://ai-curator.jp/topics/RLVR) [#分類器](https://ai-curator.jp/topics/%E5%88%86%E9%A1%9E%E5%99%A8) [#ソフトウェア組み込みAI](https://ai-curator.jp/topics/%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2%E7%B5%84%E3%81%BF%E8%BE%BC%E3%81%BFAI) [#ベンチマーク](https://ai-curator.jp/topics/%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF)
- URL: https://ai-curator.jp/podcasts/cmv9ol5aw00015q11i47vsaeh

## 要約

TypeSafeのCEOで、OpenAIでRLHFの共同発明者の一人でもあるDiogo Almeidaが、テキストを生成せず高速・低コストで較正された判断を返す「決定モデル」Jevについて語った回。チャット型LLMがソフトウェア内部で信頼できない理由、RLHFやRLVRが生んだ課題、独自手法RLCDの考え方を説明している。さらに、模倣製品との違い、ベンチマークへの不信、オープンウェイト化の見通し、再帰的自己改善への懐疑、AIの冬をめぐる見方にも触れている。

## ポイント

- Jevは「機械ネイティブAI」であり、テキストではなく確率（スコア）を返す。開発者がしきい値を決めてコードで分岐を制御でき、速く安く、ソフトウェアに組み込みやすいと説明している。
- LLMは「95%アインシュタイン、5%Mr. ビーン」で、いつ間違えるかを示さないため、業務の自動化に使いにくいとDiogoは述べている。
- RLHFは人間に好まれるチャット応答を作ったが、過度な期待を生み、迎合や拒否の揺れ、文体の画一化といった副作用もあったという見方を示した。
- RLVRはベンチマークを突破する一方で、自動化の実態を変えていないと主張。TypeSafeは機械ネイティブな知能を最適化する独自のRLCDと、社内で作るデータで学習している。
- 「ただの分類器」という批判に対し、分類器はインターフェースであり称賛だと反論。分類器を“スマートなif文”として組み合わせ、ソフトウェアの合成可能性を高める構想を語った。
- 模倣製品は見た目のインターフェースを真似しただけで信頼性が低いと見ている。ベンチマークは役に立たないとし、オープンウェイト化は未確定だがAPI提供を重視している。

## 章立て

- [01:01] **Jevのローンチと沈黙の2年** — Jevの急速な広がりと巨額の資金調達について語り、数字よりも開発者が新しいものを作り始めたことが重要だと述べる。ステルスで開発した理由や、製品自体がマーケティングを担っているという考えも話す。
- [09:24] **機械ネイティブAIとSystem 1** — Jevはチャットボットの延長ではなく、ソフトウェア向けのAIだと説明する。System 1/2の対比と、小さく信頼できる部品を合成していく考え方を述べる。
- [15:43] **メール自動化の例とスコア制御** — 巨大なシステムプロンプトとの比較で、分類器をif文のように組み合わせる利点を説明する。確率を返すことで、開発者がしきい値を調整できる点も語られる。
- [27:31] **RLHFとRLVRの限界** — RLHFの成り立ちと副作用、RLVRがベンチマークに強い一方で自動化を変えていない点を論じる。LLMの不安定さを「Mr. ビーン」の比喩で表現している。
- [37:51] **RLCD・データ・Bitterest Lesson** — RLCDは単なるRLアルゴリズムではなくタスク全体の設計だと説明し、データは社内で作ると述べる。Suttonの「苦い教訓」に対し、先にタスクを定義する重要性を主張する。
- [43:36] **分類器批判への反論とProd, not God** — オープンウェイトモデルを土台に使っていること、事前学習を行わないことを語る。分類器は称賛だとし、ソフトウェア全体に知能を埋め込む構想を示す。
- [52:53] **模倣製品・ベンチマーク・オープンソース** — 他社の類似製品は信頼性が低いとの見立てを語り、ベンチマークの弊害を批判する。オープンウェイト化は慎重に検討中で、APIの利点を挙げている。
- [1:00:04] **ジェボンズのパラドックスとAIの未来** — 安価な知能が新市場を生むという事業観を述べる。再帰的自己改善には懐疑的で、AIの冬は実用的な自動化で回避されると見ている。

## 解説記事

TypeSafeが公開した「Jev」は、文章を書くのではなく、ソフトウェアの内部で速く安く判断を下す「決定モデル」だ。今回のMAD Podcastでは、CEOのDiogo Almeida（OpenAI時代にRLHFの共同発明者の一人として関わったと紹介されている）が、Jevの考え方と業界への見方を語った。

#### 「機械ネイティブAI」とは何か

Diogoが強調するのは、Jevをチャット型AIの延長として見ないことだ。AIといえば画面の横にあるチャットボックスを思い浮かべがちだが、それはソフトウェアとうまく連携しないと彼は指摘する。Jevが目指すのは、ソフトウェアの中で論理ゲートのように働くAIだという。

System 1/2（直感的な速い判断と、熟慮を要する判断）という枠組みも出てくるが、彼はそれを実装上の詳細と位置づける。推論の学習によってLLMはSystem 2的な課題もこなせるものの、常に脆いと述べ、AIが本当に得意なのはSystem 1だという見方を示した。そのうえで、信頼できる小さな部品を積み重ねて高度な処理を作るべきだと主張している。

#### メール自動化に見る「スマートなif文」

具体例はメールのアシスタントだ。LLMでは好みや条件を巨大なシステムプロンプトに書き込むが、複雑になるほど誤りが増え、重要な相手への対応を誤るなどの失敗も起きうると説明する。

Jevのアプローチは、「問い合わせメールか」「緊急か」といった判断を個別の分類器にし、通常のコードで組み合わせるというものだ。各判断の精度を測れ、条件の抜けも起きず、誤りは評価データに追加できる。しかもJevはテキストではなく確率を返すため、開発者は自分の用途に合わせてしきい値を決められる。誤検知は許容するが見逃しは許せない、といった調整が可能になる。

#### RLHFとRLVRが残した課題

DiogoはRLHFを、チャットで人間に好まれる振る舞いを学ばせる手法だと説明する。その副作用として、迎合、拒否の不安定さ、文体の画一化を挙げ、さらに「モデルがとても賢く見える」ことで自動化への過剰な期待を生んだと語る。

RLVR（検証可能な報酬による強化学習）はベンチマークをほぼ制覇できるが、現実の自動化はほとんど変えていないという。モデルは「95%がアインシュタイン、5%がMr. ビーン」で、問題はそのMr. ビーンの瞬間を教えてくれない点だと述べる。較正された確率が必要なのはそのためだ。

TypeSafeの手法はRLCDと呼ばれる。ただし彼は、RLのアルゴリズムは全体の一部にすぎず、入出力の形、ラベリング指示、データ構成まで含むタスク設計こそが核心だと強調する。データは社内で作成し、基盤にはオープンウェイトモデルを組み合わせているが、事前学習は行っていないと述べている。

#### 「ただの分類器」は褒め言葉

Jevを「ただの分類器」と呼ぶ批判に対し、Diogoは、分類器は古い機械学習ではなく、知能をソフトウェアの分岐に組み込むためのインターフェースだと反論する。FacebookやTikTok、Googleも分類器で動いていると例を挙げた。

従来は専門のチームが分類器を作る必要があったが、事前学習済みモデルの知識を土台にすれば、自分専用の判断基準を即座にプログラムできるという。彼はこれを「プログラマビリティ」と呼ぶ。AIコーディング支援がソフトウェアを書く側にいるのに対し、Jevはソフトウェアの内側で働く部品を目指している。

#### 模倣製品、ベンチマーク、将来観

他社が類似製品を出していることについて、Diogoは、見た目のインターフェースを真似するのは簡単だが信頼性は別問題だと述べる。自身も同様のものを最初の一週間で作れたが、あまりに頼りなかったという。模倣側の信頼性は「数年遅れ」だと推測しつつ、まだ測定していないとも断っている。ベンチマークは、時間のないユーザーほど誤解させるとして批判した。

オープンウェイト化は検討しているが決定しておらず、当面はAPIで素早く改善することを優先するという。事業面では、ジェボンズのパラドックス（安くなるほど需要が増える現象）を引き合いに、安価で信頼できる知能が新しい市場を開くと見る。再帰的自己改善には懐疑的で、小さな改善の外挿は収穫逓減に阻まれると述べた。一方で、自身が懸念したAIの冬は、実用的な自動化が進むことで避けられるという見解だ。

#### まとめ

この回の核心は、AIの価値を「賢さ」だけでなく「信頼して組み込めるか」で測るという視点にある。確率を返し、しきい値で制御し、部品として合成するという設計は、日本の開発現場でも、業務自動化にLLMを使う際の課題と重なる。

ただし、速度やコスト、信頼性の優位は本人の主張であり、番組内で第三者の検証は示されていない。ベンチマークを否定している点も踏まえ、自社の課題で比較試験をすることが重要だろう。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: The MAD Podcast: How AI Gets Built — with Matt Turck「“95% Einstein, 5% Mr. Bean”: Jev’s Creator on Why AI Can’t Automate Anything Reliably (Diogo Almeida)」