AI Engineering Podcast
正解データが変わり続ける中でRAGをどう評価するか
How to Evaluate RAG Systems When Ground Truth Keeps Changing
Vectara出身のOfer Mendelevitch氏が、本番環境でRAGを運用する際の課題と評価手法をTobias Macey氏と語った回。大規模データの取り込み、ハイブリッド検索、リランキング、マルチモーダル対応といった実運用の難しさを整理し、正解データ作りが非現実的な場合の代替としてUMBRELAやAutoNuggetizerなどのLLM-as-a-judge手法、合成質問、本番トラフィックのサンプリングを紹介している。さらにエージェント型RAG、コンテキストエンジニアリング、コーディングエージェントの活用にも話が及んだ。