「モデル評価」が話題になった海外 AI ポッドキャストのエピソードは 2 件です。主に80,000 Hours Podcast、The AI Daily Brief: Artificial Intelligence News and Analysisで取り上げられています。各回の日本語要約・ポイント・解説記事を新しい順に並べています。
キーワードや期間で絞り込む →
80,000 Hours Podcast
In 2023 Ajeya Cotra already knew what was coming (classic episode)
2023年3月収録のAjeya Cotra（Open Philanthropy、当時）との対談の再配信。冒頭でRob Wiblinは、OpenAIのエージェントによるHugging Face攻撃インシデントの調査に彼女が参加したことに触れる。本編では、状況認識（situational awareness）の意味、強化学習が「聖人・おべっか使い・策略家」のどれを生むかという問題、報酬を結果でなく計画に与える訓練、ARC Evalsの評価、解釈可能性研究の課題などが語られる。
The AI Daily Brief: Artificial Intelligence News and Analysis
A System for Testing New AI Models
The AI Daily Brief の Operator's Cut として、Nufar Gaspar が新モデルを自分の業務タスクで評価する再現可能な5ステップの手法を紹介した回。公開ベンチマークは学習データへの混入や主観性の問題で限界があると指摘し、ブラインドテストで品質・速度・コストを比較する方法を、Opus 5.5 や GPT 6.1 Sol などを使った自身の実験結果とともに示している。最後に Switch / Split / Stay の判断軸とQ&Aを扱う。