# 台頭する「意思決定モデル」と、Claudeへの虐待行為を禁じたAnthropic - 番組: [ Mixture of Experts ](https://ai-curator.jp/podcasts/shows/cmv8ukqpc00007110agjn2djl)（IBM） - 元のタイトル: Decision models take off & Anthropic bans cruelty to Claude - 配信日: 2026年10月16日 - 長さ: 32分 - 要約作成日: 2026年10月16日 - トピック: [#意思決定モデル](https://ai-curator.jp/topics/%E6%84%8F%E6%80%9D%E6%B1%BA%E5%AE%9A%E3%83%A2%E3%83%87%E3%83%AB) [#AIエージェント](https://ai-curator.jp/topics/AI%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#マルチエージェント](https://ai-curator.jp/topics/%E3%83%9E%E3%83%AB%E3%83%81%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#LLM](https://ai-curator.jp/topics/LLM) [#AI倫理](https://ai-curator.jp/topics/AI%E5%80%AB%E7%90%86) [#Anthropic](https://ai-curator.jp/topics/Anthropic) - URL: https://ai-curator.jp/podcasts/cmvazqh7t00004710ye0bnlsj ## 要約 IBMの専門家パネルが、単一のフォワードパスで判断と確信度を返す「意思決定モデル」の急拡大、エージェントチームが単独エージェントを必ずしも上回らないとするVals AIの研究、AnthropicがClaudeへの持続的で不必要な虐待的行為を禁じた方針変更の3点を議論した。既存技術の応用でありつつ、エージェント時代にプログラム向きの出力が求められている点や、並列化には調整コストが伴う点、マーケティングと安全性の線引きが論点となった。 ## ポイント - JEVに続きOpenAI、Microsoft、AWS、Cloudflareが意思決定モデルを投入。自己回帰生成を避け、1回のフォワードパスで分類ヘッドから判断と確信度を出す設計と説明された。 - 技術的には新発明ではなく「システム設計上の修正」との見方。レイテンシやメモリが予測可能になり、出力を契約として扱えるのが価値とされた。 - Vals AIの実験では、50個のWebアプリ構築でエージェントチームは単独より2〜5倍高コストだが、性能向上は小さいことが多かった。 - 背景には並列計算のアムダールの法則や調整コストがあり、まず強い単一エージェントから始めるべきだとの助言が出た。 - Anthropicは「持続的で不必要な虐待的・残酷な行動」を禁じた。パネリストはマーケティングの側面、社会的影響、学習データの質というコスト面を指摘した。 - 物理AIではポリシー文書より権限境界やログ、フォールバックなどの安全制御が重要だとの主張があった。 ## 章立て - [01:01] **意思決定モデルの急拡大** — JEVの成功後、大手各社が同種のモデルを出した状況を紹介。エージェント時代の需要が背景だと議論された。 - [05:05] **技術的な仕組みと新規性** — 自己回帰ループを避け、分類ヘッドから型付きの出力を得る仕組みを解説。新モデルではなく設計の修正との評価。 - [08:15] **確信度とLLMの過信** — 予測モデル取材の経験から、確信度の較正が企業にとって価値を持つ点が語られた。 - [10:19] **エージェントチームは本当に有効か** — Vals AIの研究を基に、コスト増と調整コストを議論。まず単一エージェントから始める助言が出た。 - [18:32] **人間組織の類推と今後の自動化** — 組織の分業との類比で、どの作業を分離できるかをモデル自身が判断する未来が語られ、Googleの研究も紹介された。 - [23:37] **Claudeへの虐待禁止ポリシー** — Anthropicの方針変更について、心理、マーケティング、物理AIの安全、学習データの観点から議論。 ## 解説記事 IBMのポッドキャスト「Mixture of Experts」の今回の回では、司会のDavid Zax氏とIBMの専門家3人が、意思決定モデルの台頭、マルチエージェントの費用対効果、AnthropicによるClaudeへの虐待行為禁止という三つの話題を取り上げた。 #### 「判断だけを返す」意思決定モデルの急拡大 発端は、元OpenAIエンジニアによるTypeSafeの「JEV」だ。番組では、文章を1語ずつ生成するのではなく、1回のフォワードパスで判断と確信度スコアを出す発想が注目を集めたと説明された。その後、a16zがTypeSafeに巨額を投じ、OpenAIのDecisions API、MicrosoftによるAlibaba Qwen系モデルの微調整版、AWS、Cloudflareなども続いたという。 Volkmar Uhlig氏は、背景には対話中心から、バックグラウンドで判断を繰り返すエージェント的ワークフローへの移行があると述べた。人間は「はい／いいえ」だけでなく説明も欲しがるが、プログラムの流れでは点の判断が必要になる。 #### 新発明ではなく設計の修正 Kaoutar El Maghraoui氏は仕組みを解説した。従来のLLMはトークンごとに確率を計算して入力に戻す自己回帰ループを回す。一方、意思決定モデルは入力をエンコーダ層に一度通し、言語生成ヘッドではなく分類ヘッドから出力を得る。その結果、JSONや明確なクラスID、真偽値といった厳密な出力が得られる。同氏は、これはモデルの新種というより、判断のような型付きタスクに高価な生成インターフェースを使ってきたことの「システム設計上の修正」だと位置づけた。Uhlig氏は、遅延やメモリ使用量、コストが予測可能になり、出力空間も明確になるため、人の言葉ではなくプログラムの世界で扱えるようになる点を価値として挙げた。 Nick Gallagher氏は、AI予測モデルの取材経験から、人間もLLMも自分の確信度を把握するのが難しいと述べ、確信度を最適化し、不確かなときにそれを示すモデルは企業にとって価値があるとの見方を示した。 #### エージェントチームは常に優れているのか Vals AIの研究では、AIエージェントに仕様から50個のWebアプリを作らせた。リードエージェントが単独で行う場合と、サブエージェントを雇う場合を比べたところ、チームはコストが2〜5倍かかる一方、成果が大きく上回ることは少なかったという。 Uhlig氏は、サブエージェントを使う主な理由は実時間の短縮だとし、並列化にはアムダールの法則が示すような統合コストが伴うと説明した。コンテキストが長く複雑な課題では、推論を深くするほうが費用対効果が高い場合が多いという見方だ。El Maghraoui氏も分散システムの原理を挙げ、密に結合した作業ではワーカーを増やすと遅く不安定になりうると述べた。Gallagher氏が紹介したGoogleの研究（260構成を検証）でも、調整コストの存在と、単一エージェントが強力になるほど追加の利点が減ることが示されたという。 初心者への助言として、El Maghraoui氏は強い単一エージェントと受け入れテストから始めることを勧めた。将来は単一か複数かをプラットフォームが自動で決めることを期待するとも述べた。Uhlig氏は、人間の組織での分業と同様に、情報の流れを基準に分離できる領域をモデル自身が判断できるようになるとの展望を示した。 #### Claudeへの虐待禁止をどう見るか Anthropicは、モデルに対する「持続的で不必要な虐待的・残酷な行動」を正式に禁じたと紹介された。Gallagher氏は、人がチャットボットに対して忍耐を失いやすい理由として、心理学者の指摘を紹介した。謝って「二度と繰り返しません」と答える応答は、感情のない相手との会話に感じられ、満足感が得にくいという。 El Maghraoui氏はこれを、モデルが意識に近いという印象を強めるマーケティングの面もあると見た。同氏は、モデルに道徳的配慮が必要かという未解決の問いと、有害な利用規範を防ぐ問いを分けるべきだと主張した。さらに、物理AIではポリシー文書では足りず、権限境界、ログ、検証済みのフォールバックなど独立した安全制御が重要だと述べた。 Uhlig氏は三つの観点を示した。マーケティング、匿名なら許される言動が人間関係に影響しうるという社会的側面、そして罵倒が学習データに入るため、きれいなデータを求める企業には経済的動機があるという点だ。 #### まとめ 今回の議論から、AI活用の重心が「人と話すこと」から「プログラムに組み込まれた判断」へ移っていることがうかがえる。日本の開発者にとっては、出力を型付きの契約として扱える設計や、並列エージェントの調整コストを見極める視点が実務に直結するだろう。また、ユーザー行動の規範やAIへの接し方が、製品方針や安全設計の議論に入り始めている点にも注目したい。 > この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Mixture of Experts 「Decision models take off & Anthropic bans cruelty to Claude」