# NVIDIAのフィジカルAI：ワールドモデルとロボット開発の最前線

- 番組: [Software Engineering Daily](https://ai-curator.jp/podcasts/shows/cmv3z5c1c000w5o10bjjhgahi)（Software Engineering Daily）
- 元のタイトル: Physical AI at NVIDIA
- 配信日: 2026年10月20日
- 長さ: 56分
- 要約作成日: 2026年10月20日
- トピック: [#フィジカルAI](https://ai-curator.jp/topics/%E3%83%95%E3%82%A3%E3%82%B8%E3%82%AB%E3%83%ABAI) [#ワールドモデル](https://ai-curator.jp/topics/%E3%83%AF%E3%83%BC%E3%83%AB%E3%83%89%E3%83%A2%E3%83%87%E3%83%AB) [#ロボティクス](https://ai-curator.jp/topics/%E3%83%AD%E3%83%9C%E3%83%86%E3%82%A3%E3%82%AF%E3%82%B9) [#NVIDIA Cosmos](https://ai-curator.jp/topics/NVIDIA%20Cosmos) [#エッジAI](https://ai-curator.jp/topics/%E3%82%A8%E3%83%83%E3%82%B8AI) [#シミュレーション](https://ai-curator.jp/topics/%E3%82%B7%E3%83%9F%E3%83%A5%E3%83%AC%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3)
- URL: https://ai-curator.jp/podcasts/cmvggxk1z00025o0zcbkbs9hf

## 要約

NVIDIAのAmit Goel氏が、フィジカルAIとデジタルAIの違い、ワールドモデルの仕組み、推論と行動の2つのタワー構成を解説した。動画学習に必要なデータパイプライン、学習・シミュレーション・デプロイの3台のコンピュータ、安全性とオープンモデルの意義にも言及。個人開発者がシミュレーションと数百ドルのロボットアームから始める道筋も紹介している。

## ポイント

- フィジカルAIはセンサーや映像など物理世界の観測を入力に、次に起こることを予測し行動を決めるAIで、大規模汎用モデルにより単一用途から汎用化へ向かうとされる。
- ワールドモデルは現在の状態と行動から未来を予測する計画や、反実仮想（もしこう動いたらどうなるか）の評価に使える。
- Cosmos 3は推論タワーと行動タワーが潜在空間で文脈を共有し、低頻度の計画と高頻度のモーター制御を両立させる。
- 物理AIは学習用、シミュレーション用、ロボット搭載用の3種類のコンピュータが必要で、動画向けにCuratorというデータ処理基盤も作ったという。
- 安全性は計画段階のガードレール、シミュレーションでの評価、外部の監視AIによる多層防御で確保し、モデルを開かれたものにすることが重要と主張している。
- Cosmos 3 Edgeは40億パラメータで、パスポート大のJetson Thor上で動作する。開発者はシミュレーションと安価なアームから始められる。

## 章立て

- [02:06] **フィジカルAIとは何か** — 原子を扱うAIとしてのフィジカルAIを、自動運転車やサーモスタットの例とともに説明。大規模汎用モデルで用途が広がると語る。
- [05:13] **ワールドモデルの入出力と計画** — ワールドモデルはマルチモーダルな観測を受け、映像などで未来を予測する。計画や行動結果の予測にも使え、デバイス上では蒸留版が必要になる。
- [11:36] **100ミリ秒の内部処理と2タワー構成** — センサー同期、トークン化、計画と行動生成の流れ、PID制御を説明。共有潜在空間を持つ2タワー設計の狙いを語る。
- [20:57] **ハードウェアとデータ基盤の違い** — 動画データ処理のCuratorや、ray tracing GPUでのシミュレーションなど、学習・シミュレーション・デプロイの3台構成の課題を解説する。
- [26:17] **汎化、real to sim、安全性** — 多様なデータ収集と推論モデルによる汎化、実世界をシミュレーション化するreal to sim、ハルシネーション対策の多層ガードレールを議論。
- [37:52] **オープンモデルとCosmos 3 Edge** — オープンなモデルが監視や調整を可能にする利点を述べ、Jetson Thorで動く40億パラメータのCosmos 3 Edgeを紹介する。
- [45:07] **始め方と5年後の展望** — シミュレーションから始め、SO101アームやHugging Faceのチェックポイントで試す方法を紹介。多機能ロボットと示して教えるプログラミングを予想する。

## 解説記事

NVIDIAでロボティクスのエコシステムとエッジAI製品を率いるAmit Goel氏が、Software Engineering DailyでフィジカルAIについて語った。聞き手はMatt Merrill氏。LLMには詳しいがロボットは初めてというソフトウェア開発者向けに、ワールドモデルの仕組みから個人での始め方までを順に解説した回である。

#### フィジカルAIとワールドモデル

Goel氏によれば、デジタルAIとの最大の違いは「原子を扱う」点にある。センサー、3D情報、映像を通じて世界の力学を理解し、次に何が起こるかを予測するのがフィジカルAIだ。自動運転車のWaymoやNestのサーモスタットも広い意味ではフィジカルAIで、従来は特定用途に絞られていた。LLMが感情分析や翻訳を一つのモデルに統合したように、物理世界でも汎用モデルが作れる段階に来ていると同氏は述べている。

ワールドモデルは、カメラ、モーター信号、音声、テキストなどを入力に取るマルチモーダルなモデルで、典型的な出力は映像である。現在の状態と行動を与えて結果を予測したり、目標状態に至る行動を計画したりできる。「この行動を取ったら何が起こるか」を事前に試せる点がロボットでは特に重要だという。

#### 推論と行動を両立する2タワー設計

ロボットが映像やIMU（慣性計測装置）などを受け取ってから動くまでの流れも説明された。まず各センサーを同期・融合し、過去フレームも含めてトークン化する。次に自己回帰モデルが計画を立て、別のモデルが30〜40個のモーターへの連続的な制御信号を高頻度で生成する。最終的には各モーターに付いた小さなコンピュータがPID制御（目標位置と現在位置から電流を調整する閉ループ制御）を行う。

計画は低頻度、行動生成は高頻度という異なる周期の2つの頭脳を連携させるため、最新のCosmos 3は推論タワーと行動タワーを持ち、潜在空間で文脈を共有する。分散して一方の出力をデコードして渡すと帯域が落ちるため、共有メモリに近い発想で高帯域な情報交換を実現しているという。Goel氏は、設計図を描く建築家と実行する施工者の関係にたとえている。

#### 3つのコンピュータとデータ基盤

動画を扱う学習では、画像、アクション、テキスト注釈を並列に取り込む必要があり、従来のテキスト用パイプラインでは貴重なGPUがデータ待ちになる。そこでNVIDIAは大量の動画を処理して供給し続ける仕組みとしてCuratorを作ったと述べた。

さらにワールドモデルの強化学習では、コード実行の代わりに物理シミュレータが検証手段になる。シミュレータはレイトレーシングコアを持つGPUが向くため、構成は異種混在になる。結果としてフィジカルAIには、学習用、シミュレーション用、ロボットに載せる小型のデプロイ用という3つのコンピュータが必要で、デプロイ前には量子化や蒸留も要るという。研究チームを率いるJim Fan氏の「LLM側の友人がうらやましい」という冗談も紹介された。

#### 汎化と安全性、オープン性

汎化のために、多様な環境での実データ収集（模倣学習）と、広く世の中のテキストや映像から学ぶ推論モデルを組み合わせるという。バックパックにカメラとLiDARを付けて街を撮影し、3Dのシミュレーション環境に変換する「real to sim」も紹介された。この環境で照明や建物を変えて拡張し、特定の場所向けのポストトレーニングに使える。

ハルシネーション対策としては、シミュレーション上で未知の環境に対する方策を評価すること、計画側にLLM同様のガードレールを置くこと、外部のAIが監視して制御に介入できる冗長性を持たせることを挙げた。自動運転の推論モデルAlpamayoは10通りの未来を予測して最も安全なものを選べるとも述べている。

モデルを開く意義について同氏は、善意の利用者が悪意の利用者を上回れば、監視や対策のツールも増えるという見方を示した。内部を調べて方向づけでき、単一障害点も避けられるうえ、地域ごとに許容される運転規範が違うため調整可能であることが重要だとしている。

#### エッジで動くモデルと始め方

Cosmos 3 Edgeは40億パラメータ版で、テキスト、アクション、映像を入力に次の行動を生成し、ロボット自身の方策として使える。パスポート大で2,000テラオプスの計算能力を持つJetson Thor上でリアルタイム動作するとのことだ。

個人開発者への助言は、まずノートPCやDGX Sparkでシミュレータとモデルを動かすこと。次に数百ドルのロボットアーム（SO101が人気）で遠隔操作によるデータ収集、Hugging Faceへの公開、方策の学習、Jetsonへのデプロイを試す。良いPCがあれば予算1,000ドル程度、数日で最初のモデルが動かせると語った。ハードウェア選びは、Hugging FaceにチェックポイントがあるGR00Tなど既存モデルが対応する機体から探すのがよいという。

#### まとめ

Goel氏は5年後、ロボットは用途別の「体」ではなく多機能な「頭脳」として捉えられ、プログラミングも一度か二度やって見せて教える形になると予想した。日本の開発者にとっては、ソフトウェアの経験を生かして、シミュレーションから物理AIに入れるという点が示唆的だ。推論・行動の分離、3台構成の計算環境、多層の安全設計は、ロボットに限らず実世界で動くAIシステムを考える際の参考になる。

> この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Software Engineering Daily「Physical AI at NVIDIA」