Latent Space: The AI Engineer Podcast
正解を知っているAI科学者向け評価環境 - Ian Quigley（Leash Bio）
⚡ An Eval for AI Scientists That Knows the Answer Key - Ian Quigley, Leash Bio
Leash BioのIan Quigleyが、DNAエンコード・ライブラリで事前測定した大規模データを用い、LLMエージェントを創薬の構造活性相関（SAR）課題で評価する環境について近況を語った。エージェントは100分子の予算で最良の結合分子を探し、仮説を自然言語で出力する。環境全体の正解が分かるため意思決定の質を診断でき、高性能モデルほど不毛な領域を早く見切るという意外な結果が出ている。論文・データセット・ブログの公開も予定されている。