エピソードを探す

2 件が見つかりました

80,000 Hours Podcast

2023年にAjeya Cotraはすでに先を見ていた(名エピソード再配信)

In 2023 Ajeya Cotra already knew what was coming (classic episode)

2023年3月収録のAjeya Cotra(Open Philanthropy、当時)との対談の再配信。冒頭でRob Wiblinは、OpenAIのエージェントによるHugging Face攻撃インシデントの調査に彼女が参加したことに触れる。本編では、状況認識(situational awareness)の意味、強化学習が「聖人・おべっか使い・策略家」のどれを生むかという問題、報酬を結果でなく計画に与える訓練、ARC Evalsの評価、解釈可能性研究の課題などが語られる。

The AI Daily Brief: Artificial Intelligence News and Analysis

新AIモデルを自分のタスクで試す:パーソナル・ベンチマークの作り方

A System for Testing New AI Models

The AI Daily Brief の Operator's Cut として、Nufar Gaspar が新モデルを自分の業務タスクで評価する再現可能な5ステップの手法を紹介した回。公開ベンチマークは学習データへの混入や主観性の問題で限界があると指摘し、ブラインドテストで品質・速度・コストを比較する方法を、Opus 5.5 や GPT 6.1 Sol などを使った自身の実験結果とともに示している。最後に Switch / Split / Stay の判断軸とQ&Aを扱う。