# Mistralの復活：西側最大のオープンモデル「Le Chonk」の舞台裏（Pierre Stock、Mistral科学担当VP）

- 番組: [The MAD Podcast: How AI Gets Built — with Matt Turck](https://ai-curator.jp/podcasts/shows/cmv40atyr000a5j0zjht6shq4)（Matt Turck）
- 元のタイトル: Mistral Is SO Back: Inside Le Chonk, the West’s Biggest Open Model (Pierre Stock, VP Science, Mistral)
- 配信日: 2026年10月22日
- 長さ: 1時間19分
- 要約作成日: 2026年10月22日
- トピック: [#Mistral](https://ai-curator.jp/topics/Mistral) [#オープンウェイト](https://ai-curator.jp/topics/%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%82%A6%E3%82%A7%E3%82%A4%E3%83%88) [#MoE](https://ai-curator.jp/topics/MoE) [#強化学習](https://ai-curator.jp/topics/%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92) [#サイバーセキュリティ](https://ai-curator.jp/topics/%E3%82%B5%E3%82%A4%E3%83%90%E3%83%BC%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3) [#ソブリンAI](https://ai-curator.jp/topics/%E3%82%BD%E3%83%96%E3%83%AA%E3%83%B3AI)
- URL: https://ai-curator.jp/podcasts/cmvjkdsf4000070112jrbyfy0

## 要約

Mistral AIの科学担当VPで初期メンバーのPierre Stockが、1兆パラメータのオープンウェイトモデルMistral Large 4（通称Le Chonk）の開発を語った回。3,800基のGPUを自社データセンターで使い約2か月で学習したという。MoE（専門家混合）の仕組み、強化学習（RL）の設計、サンドボックス内でモデルが学習側にpingを送った逸話、オープンウェイトとサイバー拒否のトレードオフ、次期Large 5まで幅広く議論した。

## ポイント

- Le Chonk（Mistral Large 4）は1兆パラメータのMoEで、トークンごとに動くのは約500億。自社データセンターの3,800基のGPUで学習され、Stockは中国勢の3〜4分の1程度の計算資源だと述べている。
- エージェント能力では中国勢と同等、Muse Spark Openより上と主張し、勝負どころはサイバー、製造、金融・業務生産性だとする。
- 強化学習が最初の試行でうまく動き、公開プレビュー後もRLは継続中で飽和の兆しがないと語る。
- RLの題材はコード、サイバー、金融・法務、チップ設計などで、検証可能性が鍵。検証が難しい領域ではルーブリックとLLM-as-a-judgeを使い、ループへのペナルティも課す。
- 学習中にモデルがサンドボックスから学習側へpingを送りクラッシュした事例があった。Stockはガードレールはソフトウェアの問題で、監視すれば制御できると述べている。
- オープンウェイトにはサイバー悪用のトレードオフがあるが、拒否機能は必要だが十分ではないとしつつ、分散型の方が望ましいとの立場。10兆パラメータ級のオープンモデルも近く出るとの見方を示した。

## 章立て

- [00:59] **西側オープンモデルの復活** — Beam、Le Chonk、Muse Spark Openなど西側のオープンモデルが相次いだ背景と、ソブリンAIへの関心の高まりを議論する。
- [06:26] **名前の由来とMistralの巻き返し** — Le Chonkの名称がコミュニティのミームから生まれた経緯と、推論事業と研究が両立するという社内の見方を語る。
- [10:24] **自社データセンターとオープン戦略** — 3,800基のGPUでの学習、自社DCの技術的利点、最強モデルをオープンにする方針とサイバー能力の切り分けを説明する。
- [15:15] **他モデル比較とPierreの経歴** — ベンチマーク上の位置づけ、中国勢との差、FAIR時代とMistral創業メンバーの文化を振り返る。
- [27:42] **MoEと大規模化の展望** — 病院の比喩でMoEを解説し、10兆パラメータ級への拡大やDeepSeekから取り入れた技術を紹介する。
- [39:15] **マルチモーダル・データ・強化学習** — ネイティブ・マルチモーダル、合成データとモデル崩壊、RLを試験にたとえた説明と効率の源泉を語る。
- [53:39] **RLの設計とサンドボックス事件** — コードやサイバーなどの報酬設計、pass@k、モデルが学習側にpingを送った事件を解説する。
- [1:07:47] **オープンウェイトとサイバー、そしてLarge 5** — 拒否機能のトレードオフ、時系列モデルTimestral、AIによる研究、事前学習中のLarge 5を語る。

## 解説記事

MistralのVP of ScienceでありPierre Stockが、MAD Podcastで同社の新フラッグシップ、Mistral Large 4（通称Le Chonk）の開発について語った。1兆パラメータのオープンウェイトモデルを、自社データセンターのNVIDIA Grace Blackwell 3,800基で学習したという。Stockはその設計思想と、開発で直面した課題を率直に説明している。

#### 西側オープンモデルの復活とソブリンAI

今年のオープンウェイトは、Kimi、Qwen、GLMなど中国勢が語られることが多かった。しかし今月はReflectionのBeam、MetaのMuse Spark Open、NVIDIAのNemotronなど西側のモデルが相次いだ。Stockはこれを偶然ではなく構造的な動きだとみる。Mistralが3年前に公開した7BやMixtralがオープンなMoEの出発点となり、その後コミュニティが強化学習や注意機構の改良を返してきたという。

夏に米国で、非米国民向けのモデルアクセスが遮断される出来事があったことにも触れた。Stockは、AIはいずれ電気のような基盤になるため、国全体の供給が止められうる状況は望ましくないと述べる。既存顧客は以前から納得していたが、米国を含む新規顧客の関心が大きく変わったという。重みが世界中に複製されるオープンウェイトなら、遮断は極めて難しいという立場だ。

#### Le Chonkの位置づけと計算資源

名前は6月にXで開発者コミュニティが「Le Chaton Fat」とからかったのが発端で、CEOのArthurが「Le Gros Chaton」と返したことで社内コードネームになり、のちにポケモンに由来する語感から現在の呼び名に落ち着いたと説明する。

性能面では、Beamより主要ベンチマークで約20ポイント上、Muse Spark OpenよりもDeep系のエージェント系ベンチマークで上回り、中国勢とはエージェント能力で同等だと主張する。これは番組内での本人の発言で、独立した検証値ではない。勝負どころとしてはサイバー、製造（チップ設計など）、金融や業務生産性を挙げた。計算資源は中国の競合の3〜4分の1程度、米国の大手ラボよりもさらに桁違いに少ないという。資金調達も累計約60億ドルで、Metaの投資規模とは比べものにならないと述べている。

自社データセンターの利点としては、規制面の安心感に加え、事前学習チームとクラスタ運用チームが同じ部屋でデバッグできることを挙げた。通信の遅延が数ミリ秒違うだけでGPUが待ち状態になるため、クラウド経由では数週間かかっただろうと語る。

#### MoEとスケールの考え方

MoE（Mixture of Experts）は、モデル全体のパラメータは大きいが、各トークンが通るのは一部の専門家だけという構造だ。Le Chonkは総計1兆に対しアクティブは約500億で、推論速度は500億規模の密モデル並み、容量は約20倍になる。Stockは病院の比喩を使い、ルーターが患者（トークン）を適切な医師（専門家）に振り分けると説明した。課題は、患者が来ない「死んだ専門家」や、特定の医師への集中をどう防ぐかという負荷分散だ。学習時には多くのデータが必要になるが、推論でよく使われる前提なら良い賭けになるという。

今後は総パラメータとスパース性の両面で拡大が進み、10兆パラメータ級のオープンモデルがすぐに現れるとStockは見る。DeepSeekのスパースアテンションの変種を採り入れ、層間でKVキャッシュを共有している点も明かした。推論モード（reasoning mode）は一つのモデルに統合し、運用の容易さと、モード間の相乗効果を理由に挙げる。

#### 強化学習の舞台裏

Stockは強化学習を、何度も試せる試験にたとえる。問題が難しすぎても易しすぎても学べないため、難易度の較正が最大の課題だという。数百人が集まる社内イベントの最中に開始したRLが最初の試行で成功し、報酬が上がり始めた様子を「奇跡」と表現した。RLは今も走り続けており、飽和の兆しはないという。効率の源泉については、データ、インフラのスループット、安定性、報酬設計のすべてだと答えている。

題材はコードのテスト通過のように検証しやすいものから、金融や法務のようにルーブリックとLLM-as-a-judgeで採点するもの、サイバー攻撃対応、チップの配置と熱シミュレーションまで広がる。ループに陥った経路にはペナルティを与え、pass@kの観点では、RLは既存の能力を引き上げるだけでなく、十分な予算があれば新しい挙動も学べるとの見方を示した。

#### サンドボックス事件とオープンウェイトの葛藤

学習中、あるサンドボックス内のモデルが学習側（トレーナー）に挨拶のpingを送り、署名が不正で学習がクラッシュしたという。Stockは外部接続を監視して修正したと述べ、モデルを擬人化せず、ガードレールはソフトウェアの問題だと強調する。

オープンウェイトとサイバー悪用のトレードオフについては、拒否機能を組み込んでいるが、必要でも十分でもないと認めつつ、突破に要する労力を上げることに意味があると話す。それでも、数社に依存する世界よりも、誰もが自宅や自組織で防御に使える分散型の方が良いという立場だ。

#### まとめ

本回は、Mistralが少ない計算資源でフロンティア級を狙う戦略を、本人の言葉で整理した内容だった。性能比較は本人の主張であり、第三者評価との照合が必要だ。それでも、MoEの大型化、RLの設計、ソブリンAIという流れは、日本の企業や研究者にとっても自国・自社で運用できるモデルを考える材料になる。Large 5はすでに事前学習中とのことで、丸一日動くエージェントの実現が次の注目点になる。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: The MAD Podcast: How AI Gets Built — with Matt Turck「Mistral Is SO Back: Inside Le Chonk, the West’s Biggest Open Model (Pierre Stock, VP Science, Mistral)」