# Artificial Analysis v5 とベンチマーク作成者のジレンマ

- 番組: [Interconnects](https://ai-curator.jp/podcasts/shows/cmv40atyv000c5j0zix6hpi4y)（Nathan Lambert）
- 元のタイトル: Artificial Analysis v5 and the benchmarker's dilemma
- 配信日: 2026年10月28日
- 長さ: 10分
- 要約作成日: 2026年10月29日
- トピック: [#ベンチマーク](https://ai-curator.jp/topics/%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF) [#LLM評価](https://ai-curator.jp/topics/LLM%E8%A9%95%E4%BE%A1) [#オープンモデル](https://ai-curator.jp/topics/%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%83%A2%E3%83%87%E3%83%AB) [#Artificial Analysis](https://ai-curator.jp/topics/Artificial%20Analysis) [#エージェント](https://ai-curator.jp/topics/%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#RL環境](https://ai-curator.jp/topics/RL%E7%92%B0%E5%A2%83)
- URL: https://ai-curator.jp/podcasts/cmvtkh5l200005p11uinkdf94

## 要約

Interconnects の Nathan Lambert が、Artificial Analysis の Intelligence Index v5 への更新を題材に、独立評価機関が抱えるジレンマを論じた回。単一スコアへの集約には必ずトレードオフがあり、v5 は最前線のエージェント的能力を重視するためオープンモデルとの差が広がって見える。一方で前版はオープンモデルを過大評価していたとも述べ、非公開ベンチマークへの移行や評価機関への信頼の問題、複数の指標が必要だという考えを示した。

## ポイント

- AA Intelligence Index v5 は知識労働・コーディング・科学・一般の4分野を各25%で重み付けし、「実世界の利用を反映」すると説明されている。
- Lambert は、v5 が最前線のモデルが向かう先を測る方針を取るためオープンモデルとの差が拡大したと見る。ただし前版はオープンモデルを持ち上げすぎていたとも述べている。
- オープンモデルの価値は最前線での競争ではなく、推論の低コスト化と、自社データへの特化による知能の「所有」にあるとし、2〜3か月後の次世代モデルで指数が大きく伸びると予想している。
- プロンプトと環境を非公開にする方針は方向性として擁護できるが、コミュニティがバグを見つける利点を失うため、透明性を好むと述べている。
- Anthropic や OpenAI は公開ベンチマークをかなり前から重視しておらず、中小ラボにとっては指数での見え方が死活問題だという。
- 指標が一つか二つに支配される状況の解決策は、コーディング特化など偏りの異なる指標を増やすことだと主張している。

## 章立て

- [00:00] **ベンチマーク作成のパラドックス** — 最前線の指標作りは難しく、単一の数値に集約すると必ずトレードオフが生じると指摘する。評価が数兆ドル市場や開発の方向に影響する重みにも触れる。
- [02:02] **AA Intelligence Index v5 の構成** — v5 の4分野の重みと使われるベンチマークを紹介し、ランキングは妥当だが緊張の兆候もあると評する。
- [04:06] **オープン対クローズドの差** — 8つのクローズドモデルが最良のオープンモデルを上回るグラフを題材に、v5 の方針が差を広げていると分析する。前版は過大評価だったとも述べる。
- [05:07] **オープンモデルの価値と今後** — オープンモデルの強みは商品化された推論と自社特化にあるとし、次のモデル世代での伸びを予想する。差の理由として RL スタックの違いも挙げる。
- [07:09] **非公開ベンチマークへの移行** — プロンプトと環境の非公開化を、方向性は妥当だが信頼をすべて作成者に預ける点が問題と評価する。
- [08:10] **信頼と評価機関のジレンマ** — 複数指標の必要性を説き、ラボから収益を得る評価機関の構造的な問題と、非営利・学術機関への信頼を語る。

## 解説記事

AI 関連のニュースレター Interconnects の Nathan Lambert が、Artificial Analysis（AA）の Intelligence Index v5 への更新を題材に、ベンチマークを作る側が抱えるジレンマを論じた回である。単一の数値で最前線のモデルを語ることの難しさと、評価機関への信頼の問題が中心テーマとなっている。

#### 単一スコアというパラドックス

Lambert はまず、ベンチマーク作りには共通のパラドックスがあると述べる。議論やレポート、モデル比較のためには指標を一つの数値にまとめる必要があるが、スコアの集約方法にはどれも無視できないトレードオフがある。その指標は現行モデルを代表し、体感やコミュニティの評価、科学的分析とも合い、しかも3か月で陳腐化しないほど先を見ていなければならない。

AI 市場の規模を考えると、独立評価の責任も重い。評価が数兆ドル規模の市場の勝者と敗者を左右し、モデルの進化の方向にも影響すると同氏は指摘する。AA の指数は最も著名な独立指標で、Epoch AI の Capabilities Index（ECI）がやや離れて続くという。いずれも有用だが大きな欠点もあるというのが同氏の見方だ。

#### v5 の中身とオープンモデルとの差

v5 は知識労働、コーディング、科学、一般の4分野を各25%で重み付けする。AA はこれを「実世界の利用を反映」したものと説明している。Lambert は、実世界の利用は「ギザギザ（jagged）」で、モデルの能力と同様に均一ではないと指摘する。コーディングはオープンモデルが競争力を保ちやすい一方、知識労働では自信が持てないという。ランキングは一見妥当だが、GPT 6.1 Terra が Claude Fable 5.1 を上回るなど混乱の兆しもあると述べている。

AA は、汎用のエージェント的な協働者という最前線の能力を測る方向に調整していると Lambert は感じている。その結果、クローズドモデル8つが最良のオープンウェイトモデル（Kimi K3.1 Pro）を上回る図が出回り、差が拡大して見える。ただし同氏は、オープンモデルの「終わり」は誇張だとし、前版が彼らを持ち上げすぎていたとも考える。Kimi K3.1 Pro が総合4位だった点がその例だという。

#### オープンモデルの価値と今後の見通し

Lambert は、オープンモデルの価値はもともと最前線での競争ではないと述べる。需要の高い領域の推論をハードウェア価格の商品にすること、そして自社データに特化した知能を企業が所有し、社内エージェントを制御できることの二つが柱になるという。いずれも時間がかかり、ベンチマークには部分的にしか反映されないと説明する。現在は計算資源の供給が乏しいためオープンモデル提供者も高い利益を得ているが、それが縮小すれば仕組みが機能し始めた合図だと語る。

差の背景としては、最良のモデルほどベンチマーク最適化を控えめにする点、オープンモデルの対応範囲がやや狭い点を挙げる。さらに、評価に近い分布の RL（強化学習）環境から多くの性能向上が得られる今、複数分野で進歩を維持するには高度な RL スタックが要るが、すべてのオープンラボが持つとは限らないと見る。それでも GLM-6 や Kimi 3.5 などの次の世代で、オープンモデルは指数を大きく伸ばし観察者を驚かせると予想している。

#### 非公開ベンチマークと信頼の問題

AA は評価の一部を非公開にする方針も示した。オープンラボがベンチマークに最適化している兆候への対応とされる。Lambert は方向性としては擁護できるとしつつ、非公開にすると作成者への全面的な信頼が必要になり、コミュニティがバグを見つけて改善を促す利点が失われると指摘する。巨額の資金が絡むため、透明性を好むと述べている。

また、Anthropic や OpenAI は公開ベンチマークをかなり前から重視せず、社内用途や巨額を支出する顧客への対応に注力しているという。対照的に、フロンティアに追いつくことをブランドの核とする中小ラボにとって、指数の順位は死活問題だと語る。

解決策として Lambert は、コーディング特化など異なる偏りを持つ指数を増やすことを挙げる。Vals AI や intelligence.ai が伸びているが、注目度は AA に大きく偏っている。さらに、AA がラボから検証で収益を得ていることや、Arena がリリース前テストで収益を得ていることに触れ、最も信頼できるのは非営利団体、学術機関、政府機関だが、現実に最前線の評価を担うのはスタートアップだと述べる。AA への信頼は十分あるが、最大ではないという。

#### まとめ

本回の核心は、どの指数にも作成者の世界観と集約上の選択が入り込み、数値は物語に合わせて動かせるという点にある。日本の読者にとっては、リーダーボードの順位をそのまま能力の優劣と受け取らず、何を重み付けしているか、非公開か、運営主体が誰かを確認する視点が重要になる。オープンモデルを検討する場合も、最前線指数の差だけでなく、コストや自社データへの特化といった用途別の価値を見る必要がある。複数の指標を併用する姿勢が、今後ますます求められそうだ。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Interconnects「Artificial Analysis v5 and the benchmarker's dilemma」