# 正解を知っているAI科学者向け評価環境 - Ian Quigley（Leash Bio）

- 番組: [Latent Space: The AI Engineer Podcast](https://ai-curator.jp/podcasts/shows/cmv3z5bz700015o10zwiyz4qc)（Latent.Space）
- 元のタイトル: ⚡ An Eval for AI Scientists That Knows the Answer Key - Ian Quigley, Leash Bio
- 配信日: 2026年10月27日
- 長さ: 16分
- 要約作成日: 2026年10月27日
- トピック: [#LLMエージェント](https://ai-curator.jp/topics/LLM%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#強化学習環境](https://ai-curator.jp/topics/%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92%E7%92%B0%E5%A2%83) [#創薬](https://ai-curator.jp/topics/%E5%89%B5%E8%96%AC) [#SAR](https://ai-curator.jp/topics/SAR) [#DNAエンコード・ライブラリ](https://ai-curator.jp/topics/DNA%E3%82%A8%E3%83%B3%E3%82%B3%E3%83%BC%E3%83%89%E3%83%BB%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA) [#科学向け評価](https://ai-curator.jp/topics/%E7%A7%91%E5%AD%A6%E5%90%91%E3%81%91%E8%A9%95%E4%BE%A1)
- URL: https://ai-curator.jp/podcasts/cmvpiq85200025j11h6k1gjy8

## 要約

Leash BioのIan Quigleyが、DNAエンコード・ライブラリで事前測定した大規模データを用い、LLMエージェントを創薬の構造活性相関（SAR）課題で評価する環境について近況を語った。エージェントは100分子の予算で最良の結合分子を探し、仮説を自然言語で出力する。環境全体の正解が分かるため意思決定の質を診断でき、高性能モデルほど不毛な領域を早く見切るという意外な結果が出ている。論文・データセット・ブログの公開も予定されている。

## ポイント

- 事前測定済みの結合データを「仮想サンドボックス」とし、エージェントが100分子の予算でSAR課題に取り組む。約9万回のロールアウトを実施済みだと述べている。
- 環境全体の測定結果が分かっているため、最終スコアだけでなく早期放棄、仮説と矛盾する選択、同じ分子の再テストなど意思決定の挙動を分析できる。
- 性能の高いモデルほど、成果の出ない分子群（近傍領域）を素早く見切って別の場所へ移る。理由はまだ分かっていないとしている。
- エージェントが出す仮説は医薬品化学者から見ても妥当だと評価されているという。分子情報を取り除くと判断が悪化し、情報を実際に活用していることが示唆される。
- 約1,000種のタンパク質をスクリーニング済みで、現在は1日2環境、2026〜27年初頭に1日20環境を目指す。他の生物学的課題への展開や強化学習の転移は今後の検証課題。

## 章立て

- [00:00] **前回からの進展と環境の概要** — 事前測定した大規模スクリーニングデータにエージェントを投入する構想が、完成した評価環境へと発展した経緯を紹介する。
- [01:06] **SAR課題とエージェントの動き** — 100分子の予算で標的への最良の結合分子を探す課題の設定と、エージェントが仮説を言語化して検証する流れを説明する。
- [03:07] **プレプリントと主な発見** — モデル間の差や、正解が分かることで見える早期放棄などの挙動、高性能モデルが不毛な領域を見切る点を解説する。
- [05:16] **人間の評価とゲーム化の構想** — 医薬品化学者がエージェントの仮説を妥当と評価したこと、人間向けゲーム化のアイデアと制約を議論する。
- [07:17] **モデル比較とSMILES** — 各社モデルの成績傾向、オープンモデルの結果、SMILES表記を扱う能力の向上について語る。
- [09:31] **公開物とベイズ最適化の見方** — ベイズ最適化は地形が尖って高次元なため有効でないと見ていること、公開予定の成果物を確認する。
- [12:33] **今後の拡張と課題** — ラボ・イン・ザ・ループを償却する発想、1日20環境の目標、他分野への転移の検証、意思決定研究者との連携を述べる。

## 解説記事

Latent Spaceの科学系回で、Leash BioのIan Quigleyが、夏の前回収録に続き、創薬向けのAIエージェント評価環境の進捗を語った。DNAエンコード・ライブラリ（DNA標識付きの化合物を大量に同時スクリーニングする技術）で得た測定データを「正解付きの砂場」として使う試みだ。

#### 事前測定した世界にエージェントを放つ

Leashは数百万の化合物を数千のタンパク質に対して測定できるデータを持つ。Quigleyによれば、このデータは十分に大きく、反事実的にも密である。つまりエージェントが別の選択をした場合の結果も、すでに測定済みの範囲から引ける。

主力の課題は構造活性相関（SAR）である。医薬品化学者が、結合する分子をどう改変すればより良くなるかを考える作業だ。代謝されやすさなどの性質は今回扱わず、標的により強く結合する分子を探すことに絞っている。エージェントには標的だけを伝え、100分子の予算で最良の結合分子を探させる。エージェントはなぜ効く・効かないのかという仮説を読める言葉で出力し、限られた予算で検証する。すべて事前測定なので、約9万回のロールアウトを回せたという。

#### 答えを知っているからこそ見える挙動

通常の評価は最終スコアしか見られない。ここでは環境全体の結果が分かっているため、最良の分子の半分程度にしか届かなかった理由まで掘り下げられる。観察された例として、早々に諦める、仮説と合わない分子を選ぶ、予算が限られるのに同じ分子を再テストし続ける、探索と活用のバランスが悪い、などがある。

特に印象的なのは、高性能なモデルほど成果の出ない分子群を素早く見切って別の領域へ移る点だという。性能の低いモデルは、スコアが低いのに「良さそうだ」と小さな変更を繰り返す。単によく飛び回るのではなく、悪い領域から選択的に離れている。ただしなぜそうなるかは、まだ分かっていないと正直に述べている。

#### 仮説の質と人間の評価

出力される仮説には「この環が良い」「この窒素が問題だ」といった内容があり、医薬品化学者に見せても妥当だという反応だった。大量のトランスクリプトをLLMに読ませて失敗パターンを探す手法も勧めている。また分子情報を取り除くと判断が悪化するため、重みは更新されないものの、得た情報を実際に次の選択へ使っていると見ている。

なおSMILES（分子をグラフの走査として一次元の文字列で書く表記）については、昨年夏時点では主要モデルが正規化も満足にできず、社内で教師あり微調整を試みたという。2月頃から、化学を意味のある形で扱えるようになってきたと語る。

#### モデル比較と今後

番組内では、現時点の最上位は最新の大型モデルで、Anthropicの5.5系やDeepSeek V4 Flashなどもまずまずの成績とされた（モデル名は文字起こしの認識が不確かな部分がある）。一方でフロンティアモデルの公開が頻繁で、評価が追いつかない苦労も語られた。ベイズ最適化を基準にする案には、地形が尖っていて高次元のため有効とは考えにくいと答えている。

Leashはこれを、遅延を償却したラボ・イン・ザ・ループと位置づける。一度測定すれば事実上無限のロールアウトができる。選択肢は事前測定した範囲に限られるが、それでも数は大きいという。約1,000のタンパク質を測定済みで、現在は1日2環境、2026〜27年初頭に1日20環境を目指す。この環境で得た強化学習の成果が新しい生物学に転移するかはまだ不明で、検証していくとしている。

#### まとめ

注目点は、スコアではなく意思決定の質を診断できる評価環境という設計である。物理実験は遅くて高価だが、事前測定で即時フィードバックを得られる環境は、科学エージェントの強化学習や評価の有望な方向に見える。日本の研究者や創薬関係者にとっても、限られた実験予算の使い方をAIに学習させるという視点は参考になる。論文、データセット、トランスクリプトが公開される予定なので、実際の挙動を確認できる。ただし転移の可否や、モデルが不毛領域を見切る理由は未解明であり、今後の検証を待つ必要がある。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Latent Space: The AI Engineer Podcast「⚡ An Eval for AI Scientists That Knows the Answer Key - Ian Quigley, Leash Bio」