# 自律稼働するAIを信頼するために本当に必要なこと――CVS Health のYogesh Bhagat 氏に聞く

- 番組: [The AI in Business Podcast](https://ai-curator.jp/podcasts/shows/cmv3z5c32001o5o100ot70lmn)（Daniel Faggella）
- 元のタイトル: What It Actually Takes to Trust an AI System Running on Its Own - with Yogesh Bhagat of CVS Health
- 配信日: 2026年11月3日
- 長さ: 20分
- 要約作成日: 2026年11月3日
- トピック: [#AIエージェント](https://ai-curator.jp/topics/AI%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#ガバナンス](https://ai-curator.jp/topics/%E3%82%AC%E3%83%90%E3%83%8A%E3%83%B3%E3%82%B9) [#SLM](https://ai-curator.jp/topics/SLM) [#LLM-as-a-judge](https://ai-curator.jp/topics/LLM-as-a-judge) [#IVR](https://ai-curator.jp/topics/IVR) [#可観測性](https://ai-curator.jp/topics/%E5%8F%AF%E8%A6%B3%E6%B8%AC%E6%80%A7)
- URL: https://ai-curator.jp/podcasts/cmw0cth2c00005e11f53ac3q5

## 要約

CVS Health のVP、Yogesh Bhagat 氏が、医療分野の顧客向けAIエージェントをパイロットから自律運用へ移すための条件を語った回。ガバナンスは個々のエージェントではなくプラットフォームで担保し、小規模言語モデル（SLM）と大型の判定モデルを組み合わせてコストと遅延を抑える。自律性は「付与」ではなく、一貫した応答を示して「獲得」させるべきだと強調した。

## ポイント

- 障壁は主にガバナンスモデルと運用コストの2点で、これを事前に解かないとパイロット後に行き詰まるという。
- 「プロセスによるガバナンス」ではなく「厳格さによるガバナンス」を採り、セキュリティ・ガードレール・可観測性を標準装備した社内AI開発プラットフォームを検証する。
- エージェントは聞き方が違っても一貫した応答を示し、それを測定できて初めて自律運用に移れる。
- IVR（自動音声応答）では月数百万規模の通話に対し、25のSLMを自社データセンターで大規模モデルと併用し、コストを5〜6分の1に抑え、1秒未満の応答も満たしたと述べている。
- 判定モデルと人間（コンタクトセンターのオペレーター）による二重レビューをフィードバックとして使い、小型モデルを継続的に育てる。
- 導入は一部の顧客（例：2%）に限定しつつ完全なAI体験を提供し、まず学習と体験を優先し、封じ込め率の改善は後にする。

## 章立て

- [01:02] **導入：パイロット前に立ちはだかる壁** — 医療ではUX以上に医療アクセスや安全性が問われる。障壁としてガバナンスと運用コストの2点が挙げられる。
- [02:14] **プラットフォームで担保するガバナンス** — 個別審査の「プロセスによるガバナンス」ではなく、基盤を検証する「厳格さによるガバナンス」を採用。自律性は一貫性を示して獲得させる。
- [06:24] **SLM活用で運用コストを削減** — IVRの通話に対し25のSLMをLLMと併用し、コストを5〜6分の1に削減。1秒未満の応答も実現したという。
- [07:29] **エージェント型テストと判定モデル** — 生成されたペルソナでテストケースを作り、大型の判定モデルで小型モデルの出力を検証。成熟とともに判定モデルは不要になるとの見方。
- [10:33] **エスカレーション経路と人間の関与** — 苛立ちや質問の繰り返しを検知して大型モデル、さらに人間へ段階的に引き継ぐ。バイアスがないことも重視する。
- [12:42] **自律運用前に整えるべき条件** — 統一プラットフォーム、テスト手法、取引の再現と可観測性、顧客体験に合う応答速度、経済性の5点を挙げた。
- [15:47] **小さく始めるが体験は完全に** — 旧IVRとの併存は体験を損なうため、一部顧客に完全なAI体験を提供して学び、封じ込め率は後で改善する。
- [17:57] **まとめ** — 自律性は獲得するもの、安全層は誰も外したくならないほど安価に、という結びの言葉。

## 解説記事

米CVS HealthのデジタルおよびテクノロジーVP、Yogesh Bhagat氏が、The AI in Business Podcastで、顧客向けAIエージェントを医療現場で自律運用へ移す条件について語った。発言は個人の見解で、同社の公式見解ではないと断られている。中心にあるのは「どのエージェントも最初から自律性を持つべきではなく、自ら獲得すべきだ」という考え方だ。

#### 障壁はガバナンスと運用コスト

Bhagat氏によれば、医療における「摩擦」は使い勝手の問題にとどまらず、医療へのアクセス、費用負担、患者の安全に関わる。本番稼働前に直面する障壁として、同氏はガバナンスモデルと運用コス トの2つを挙げた。

例として挙げたのが薬局管理システムだ。処方箋の受付から編集、確認、調剤、受け渡しまでには数百のタスクがあり、それぞれ複雑さが異なる。ところがAIエージェントを作ろうとすると、セキュリティ、バイアス検証、可観測性、回答の一貫性といったガバナンスの水準はタスクの難易度にかかわらず同じように求められる。全エージェントに専門家を集めて審査する「プロセスによるガバナンス」は、速度を落とし摩擦を生むと同氏は指摘する。

#### 「厳格さによるガバナンス」とプラットフォーム

そこで同社が採ったのが「厳格さによるガバナンス」である。セキュリティ、ガードレール、可観測性を標準で備えた社内向けのAI開発プラットフォームを構築し、個々のエージェントではなくプラットフォームを検証するという方式だ。エンジニア全員が可観測性やセキュリティを学ぶ必要がなくなる。

タスクの難易度にも差がある。FAXからの処方箋読み取りは自動化しやすいが、患者の資格確認、自己負担額、用量に触れるものは健康に直結するため難しい。そこで同社は、誰にも最初から自律エージェントを起動する権利を与えないことにした。どんな聞き方をされても一貫した応答をし、それを測定できると示せたエージェントだけが自律で動ける。生年月日の確認のような処理で常に正しく動くと確認できれば、大型モデルや人間によるチェックを外すという。

#### SLMと判定モデルでコストと遅延を制御

運用コストについて、Bhagat氏は「MITの報告で95%のAIプロジェクトが失敗するとされている」と言及したうえで、安全性チェックや判定モデルによる検証まで含めたコストを最初から設計に織り込むべきだと述べた。同社のIVRは1日に100万件超の通話を扱う。そこで25のSLM（小規模言語モデル）を自社データセンターでLLMと併用し、コストを5〜6分の1に抑えつつ、IVRに必要な1秒未満の応答時間も満たしたという。フロンティアモデルだけでは本番に出せず、パイロットで終わっていたはずだとも語っている。

テストも従来型では通用しない。エージェントは確率的に動くため、失敗の仕方が毎回異なる。同社の開発プラットフォームは、たとえば「特定の持病を持つ高齢者として、IVRにどんな質問をし、いつ苛立つか」をエージェントに考えさせてテストケースを生成する。さらに、小型モデルの回答を大型の判定モデルで相互検証する。モデルが成熟すれば判定モデルは不要になるという見通しも示した。

#### エスカレーションと人間の役割

運用中は、苛立ちや同じ質問の繰り返しといったシグナルを検知すると、小型モデルから大型モデル、それでも解決しなければ人間のオペレーターへと段階的に引き継ぐ。ここで重要なのは、医療アクセスに関わるためエスカレーション経路にバイアスがないことだという。人間とは、最終的に電話を受けるコンタクトセンターの担当者であり、その通話記録がフィードバックとして使われる。エンジニアはそこから、RAGやプロンプトのどちらを直すべきかを判断する。

#### 自律化の前に整える5条件と、小さく始める方針

初めて顧客向け業務をAIに任せる経営層へ、Bhagat氏は次の条件を挙げた。(1)誰でも同じ方法でエージェントを作れる統一プラットフォーム、(2)決定論的ではない前提のテスト手法、(3)取引を再生できる可観測性（100のエージェントのうちどれが、どこで誤ったかを数秒で特定できること）、(4)IVRなら1秒未満、チャットなら2秒程度といったチャネルごとの応答要件、(5)経済性である。単一のフロンティアモデルで済ませると、パイロット後に費用面で行き詰まると警告した。

導入の進め方については、狭い用途から始めるのではなく、一部の顧客（例として2%）に完全な会話型AI体験を提供する方針だと説明する。旧来のIVRと併存させると体験が断絶し、トーンも測れないためだ。最初は封じ込め率を追わず、学習、可観測性、体験の改善を優先すれば、封じ込めと満足度は後から上がるという考えである。

#### まとめ

本回の要点は、自律性は付与するものではなく、一貫性の実証によって獲得させるものだという点にある。個々のエージェント審査ではなく基盤を検証するやり方、SLMと判定モデルを組み合わせたコスト設計、小さく始めて体験から学ぶ姿勢は、医療以外の規制業種でAIエージェントを本番化する日本企業にも参考になる。Bhagat氏は「安全層は誰も外したくならないほど安価であるべきだ」と結んでおり、経済性と安全性を両立させる設計が、パイロットから先へ進む鍵になりそうだ。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: The AI in Business Podcast「What It Actually Takes to Trust an AI System Running on Its Own - with Yogesh Bhagat of CVS Health」