# なぜ FLUX 3 は画像・動画・音声を一緒に学習するのか — Black Forest Labs の Andreas Blattmann と Dustin Podell

- 番組: [Latent Space: The AI Engineer Podcast](https://ai-curator.jp/podcasts/shows/cmv3z5bz700015o10zwiyz4qc)（Latent.Space）
- 元のタイトル: Why FLUX 3 Trains on Images, Video and Sound — Andreas Blattmann & Dustin Podell, Black Forest Labs
- 配信日: 2026年11月17日
- 長さ: 1時間38分
- 要約作成日: 2026年11月17日
- トピック: [#拡散モデル](https://ai-curator.jp/topics/%E6%8B%A1%E6%95%A3%E3%83%A2%E3%83%87%E3%83%AB) [#フローマッチング](https://ai-curator.jp/topics/%E3%83%95%E3%83%AD%E3%83%BC%E3%83%9E%E3%83%83%E3%83%81%E3%83%B3%E3%82%B0) [#世界モデル](https://ai-curator.jp/topics/%E4%B8%96%E7%95%8C%E3%83%A2%E3%83%87%E3%83%AB) [#画像編集](https://ai-curator.jp/topics/%E7%94%BB%E5%83%8F%E7%B7%A8%E9%9B%86) [#ロボティクス](https://ai-curator.jp/topics/%E3%83%AD%E3%83%9C%E3%83%86%E3%82%A3%E3%82%AF%E3%82%B9) [#マルチモーダル](https://ai-curator.jp/topics/%E3%83%9E%E3%83%AB%E3%83%81%E3%83%A2%E3%83%BC%E3%83%80%E3%83%AB)
- URL: https://ai-curator.jp/podcasts/cmwjvtwe800005j110gim9gvt

## 要約

Latent Space のエピソードに、潜在拡散モデルの共同発明者 Andreas Blattmann と、SDXL や FLUX.1 Kontext を手がけた Dustin Podell が登場。Stability AI 時代から Black Forest Labs（BFL）設立、FLUX 3 までの歩みを語る。BFL は画像生成ラボではなく、動画・音声・行動までを統合した「視覚的知能」を目指すと述べ、7B の FLUX 3 Action でロボティクスにも踏み出している。2027年を製造業ロボット元年と見る展望も示された。

## ポイント

- BFL は画像生成専業ではなく、動画観察を通じて世界を理解する「視覚的知能」を当初から狙っていたと説明している。
- FLUX 3 は画像・動画・音声・行動を一つのマルチモーダルモデルで事前学習し、そこから Video、Image、Action、アップスケーラーなどを派生させている。
- Stable Video Diffusion では、2D 動画のみで事前学習したモデルを 1,000 ステップ程度の微調整で 3D モデルにでき、動画が暗黙の 3D 理解を持つことを示したという。
- FLUX.1 Kontext は Dustin の個人的な副業プロジェクトから始まり、数時間の小規模学習で汎用的な画像編集の兆しが見えた。主にデータセットの工夫が鍵だったと語る。
- 自己回帰と拡散のどちらが優位かは決着していないとし、訓練時のデータ効率は自己回帰、サンプリング速度は拡散に利点があると整理した。
- FLUX 3 Action は約4時間のデータで微調整でき、将来は一度見せるだけで行動を学ぶインコンテキスト学習を目標とする。

## 章立て

- [04:05] **ゲスト紹介とそれぞれの経歴** — Andy は物理系の背景から拡散モデルに入り、Dustin はソフトウェア開発者から Stable Diffusion 公開を機に転職したと語る。社名の由来や Latent Space の名前の由来にも触れる。
- [17:10] **視覚的知能と世界理解の考え方** — BFL を画像から動画・音声・行動へ拡張する方針と、2D 動画から暗黙の 3D 理解が得られるという立場を説明。観察と相互作用をめぐる議論もある。
- [27:31] **SDXL・動画拡散・SD3 の技術史** — SDXL の Refiner の裏話、Stable Video Diffusion でのデータ重視、SD3 でのフローマッチングと学習計算配分の工夫を振り返る。
- [46:11] **BFL 設立と FLUX.1 の立ち上げ** — 約13人で始めた設立初期、フランスでのオフサイト、3か月での FLUX.1 公開、Stability での課題意識を語る。
- [56:34] **FLUX.1 Kontext と複数参照画像** — Kontext の着想と、短時間の学習で編集能力が現れた経緯、FLUX 2 での複数参照対応、評価ベンチ作りを紹介。
- [1:13:13] **自己回帰 vs 拡散** — データ効率や推論速度の違い、離散・連続の拡散言語モデルなど、両方式の現状を議論する。
- [1:21:26] **FLUX 3 Action とロボティクスの展望** — 動画と同時に状態空間の行動を予測する世界行動モデルの仕組み、7B の理由、微調整データ量、2027年の見通しを語る。
- [1:32:41] **認知度向上と生成メディアの受け止め** — 米国と欧州の拠点、一般層への認知拡大、バイラルになる用途の予測困難さと写真修復の例を語る。

## 解説記事

Latent Space のこの回では、潜在拡散モデル（latent diffusion）の共同発明者である Andreas “Andy” Blattmann と、SDXL や FLUX.1 Kontext に携わった Dustin Podell が、Black Forest Labs（BFL）の歩みと FLUX 3 の狙いを語った。Stability AI 時代の裏話から、ロボティクス向けモデルまで話は幅広い。

#### 画像生成ラボではなく「視覚的知能」を目指す

Andy は、BFL は画像生成ラボとして作られたのではなく、FLUX.1 の成功がきっかけの寄り道だったと述べている。当初から、動画モデリングは世界の仕組みを理解する中心的な手段だという仮説を持ち、資金調達時にも動画を掲げていたという。

目指すのは、人がボールを受け止めたりボトルを掴んだりするときの直感的な知能、つまりシステム1的な知能をモデル化することだと説明する。FLUX 3 は画像・動画・音声・行動を一つのモデルで事前学習し、そこから Video、Video Edit、Action、Image、4K 動画アップスケーラーなどを派生させたという。一つの汎用モデルから多くの応用を導けることが、学習の複利効果だと語られている。

#### 2D 動画から世界を学べるのか

司会の swyx は、観察だけで学ぶモデルは世界の本質を捉えられないという批判を挙げた。これに対し Dustin は、人間も世界から濾過された信号を受け取って内部モデルを作っているという点で、本質的な違いは大きくないと反論した。Andy も、人が赤ん坊のころ観察から多くを学ぶことを引き合いに出し、次の段階は世界との相互作用を含めたループを閉じることだと見ている。

根拠として挙がったのが Stable Video Diffusion の実験だ。普通の動画だけで事前学習したモデルに、わずか約1,000ステップの 3D データ微調整を施すと 3D モデルが得られた。動画モデルがすでに多くの 3D 理解を持っていることを示す初期の例だという。

#### 技術史：Refiner、フローマッチング、データ

SDXL では、マルチアスペクト学習や複数段階の学習が初めて導入された。Dustin は Refiner の裏話も明かしている。公開されなかった別アーキテクチャの SDXL をそのまま Refiner に転用したもので、構造は弱いが高周波ディテールには強かった。「別のモデルに別の仕事をさせる」発想だ。Andy は、これがノイズ側で構造、クリーン側でテクスチャが学ばれるという軌跡の性質を利用した初期の仕事だったと補足する。

SD3 では、拡散からフローマッチング（rectified flow）への移行と Diffusion Transformer の採用が行われた。フローマッチングは両端の分布に標準正規分布を要求せず、確率微分方程式ではなく常微分方程式として扱えるため数学的に簡潔で、高速サンプリングや蒸留もしやすいという。論文の核心は、ノイズからデータへの軌跡のうち、情報量の多い部分に学習計算を集中させる点にあったと説明される。テキスト描画の向上についても、アーキテクチャよりモデリングとデータ（キャプション）の改善によるところが大きいと述べている。

データの重要性は繰り返し強調された。どんなに優れたアルゴリズムでも、ぼやけた動画ばかりを学べばその分布を学ぶ。研究コミュニティではベンチマークに注目が偏りがちだったが、データ品質と量のバランスは最重要の調整点だと語られている。

#### FLUX.1 Kontext と汎用モデルの発想

Kontext は Dustin のオフサイトでの提案から始まった。モデルはすでに空間的な関係を学んでいるはずで、適切なデータを用意すれば少ない追加学習で汎用的な編集を引き出せる、という仮説だ。数時間の小さな学習で「ロゴをシャツに載せる」といった動作の兆しが見え、その後の数か月で全社プロジェクトになった。主役はデータセット作りで、蒸留による高速化も寄与したという。

FLUX 2 では約10枚の参照画像に対応した。参照が10枚を超えると人間にも追いにくく、評価も難しいとの指摘があった。評価ではベンチを自作し、自分たちでモデルを使って遊ぶことを重視する姿勢も語られた。

#### 自己回帰と拡散の対比

Andy によれば、自己回帰モデルは全トークンを並列に学習でき、データ効率で有利である。一方、拡散モデルは推論を蒸留でたとえば50ステップから4ステップに縮められ、サンプリングが速い。どちらにも長短があり、議論はまだ決着していないという立場だ。Dustin は、離散拡散言語モデルと連続拡散言語モデルは別物だと整理した。FLUX 3 では拡散モデルに対する GRPO 系の強化学習も使い、大きな改善があったと述べている。

#### ロボティクスへの拡張

FLUX 3 Action は7B規模のモデルで、動画と同時にロボットの状態空間（各関節の並進・回転）を予測する。直近の映像と指示を条件に、9〜21フレーム程度の塊で行動を生成する。現状は高レベルのプランナーなしにループで動くという。

微調整は、ある例では約4時間のデータで産業用途の成功率に達し、オープンな Pi0.5 と比べて8分の1のデータで済んだと紹介された。次の目標は、一度見せるだけで学ぶインコンテキスト学習だ。2027年については、製造業での商用展開が進む年になるとの見通しを示し、家庭向けは2027年後半に限定的な形で現れるかもしれないという Dustin の予想も出た。

#### まとめ

BFL の主張は、画像・動画・音声・行動を一つの事前学習で束ねることで、世界理解が複数の応用へ波及するというものだ。日本の読者にとっては、拡散モデルの技術的な系譜に加え、データ設計の重要性と、生成モデルがロボティクスへつながる流れが注目点になる。ただし、ロボットの商用成果や2027年の見通しは本人たちの予測であり、実際の成果の検証はこれからだ。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Latent Space: The AI Engineer Podcast「Why FLUX 3 Trains on Images, Video and Sound — Andreas Blattmann & Dustin Podell, Black Forest Labs」
