Interconnects
Artificial Analysis v5 とベンチマーク作成者のジレンマ
Artificial Analysis v5 and the benchmarker's dilemma
Interconnects の Nathan Lambert が、Artificial Analysis の Intelligence Index v5 への更新を題材に、独立評価機関が抱えるジレンマを論じた回。単一スコアへの集約には必ずトレードオフがあり、v5 は最前線のエージェント的能力を重視するためオープンモデルとの差が広がって見える。一方で前版はオープンモデルを過大評価していたとも述べ、非公開ベンチマークへの移行や評価機関への信頼の問題、複数の指標が必要だという考えを示した。