「ベンチマーク」が話題になった海外 AI ポッドキャストのエピソードは 4 件です。主にThe AI Daily Brief: Artificial Intelligence News and Analysis、Machine Learning Street Talk (MLST)、The Artificial Intelligence Showで取り上げられています。各回の日本語要約・ポイント・解説記事を新しい順に並べています。
キーワードや期間で絞り込む →
The AI Daily Brief: Artificial Intelligence News and Analysis
A System for Testing New AI Models
The AI Daily Brief の Operator's Cut として、Nufar Gaspar が新モデルを自分の業務タスクで評価する再現可能な5ステップの手法を紹介した回。公開ベンチマークは学習データへの混入や主観性の問題で限界があると指摘し、ブラインドテストで品質・速度・コストを比較する方法を、Opus 5.5 や GPT 6.1 Sol などを使った自身の実験結果とともに示している。最後に Switch / Split / Stay の判断軸とQ&Aを扱う。
The AI Daily Brief: Artificial Intelligence News and Analysis
Gemini 4 Argon, Sonnet 5.5 and What Matters with AI Models
Googleが約6か月ぶりのフロンティアモデル Gemini 4 Argon を発表した。ベンチマークでは多くの分野で最先端級だが、サイバーセキュリティを理由に一般公開はされていない。番組では Claude Sonnet 5.5 の評価や、MuseとDotsの比較から「モデル性能かUXか」という問いも論じた。冒頭ではトランプ大統領のスーパーインテリジェンス協定やFTC調査も扱った。
Machine Learning Street Talk (MLST)
How a Voice Agent Learns the Rhythm of Conversation — Shawn Wen
PolyAI の CTO Shawn Wen が、ボイスエージェントがテキストエージェントより難しい理由と、自社開発の音声ネイティブモデルの設計を語った回。ターンテイキング信号を最初に予測し、テキスト応答・引用・文字起こしの順に出力する構成で、企業向けの統制や監査を重視している。後半はハーネス設計、評価の難しさ、エージェント時代の認知負債やスロップの議論に広がる。
The Artificial Intelligence Show
#244: How Alibaba.com Is Building the Future of Agent-to-Agent Commerce
Alibaba.com社長のKuo Zhang氏が、AIエージェント基盤「Accio」と「Accio Work」の進化と狙いを語った回。AI検索から始まり、調達・交渉・店舗運営まで担うエージェントへ拡張した経緯、Model × Harness × Contextという設計式、独自ベンチマーク「Commerce Agent Bench」、社内体制の変化を紹介している。B2Bは最終的にエージェント同士が取引するA2Aに向かうという展望が示された。