AI Curator
AI Engineering Podcast

AI Engineering Podcast

Tobias Macey

AI Engineering Podcastは、スケーラブルで保守しやすいAIシステムを構築するためのガイドとなる番組です。AIアプリケーションの設計方法、自身の業務へのAIの活用法、そして新しいモデルを構築またはカスタマイズする際に検討すべき点を学べます。機械学習と人工知能で実質的な成果と価値を生み出すために必要な情報を幅広く扱います。

Apple Podcasts公式サイト

エピソード

この番組内を検索・絞り込み

AI Engineering Podcast

正解データが変わり続ける中でRAGをどう評価するか

How to Evaluate RAG Systems When Ground Truth Keeps Changing

Vectara出身のOfer Mendelevitch氏が、本番環境でRAGを運用する際の課題と評価手法をTobias Macey氏と語った回。大規模データの取り込み、ハイブリッド検索、リランキング、マルチモーダル対応といった実運用の難しさを整理し、正解データ作りが非現実的な場合の代替としてUMBRELAやAutoNuggetizerなどのLLM-as-a-judge手法、合成質問、本番トラフィックのサンプリングを紹介している。さらにエージェント型RAG、コンテキストエンジニアリング、コーディングエージェントの活用にも話が及んだ。

2026年10月7日1時間2分#RAG#LLM-as-a-judge#RAG評価
すべて表示しました