# Modal CEO が語る推論の未来、GPU市場の混沌、サンドボックス賭けの原点 - 番組: [Unsupervised Learning with Jacob Effron](https://ai-curator.jp/podcasts/shows/cmv40atyo00095j0z7enkoxtb)（by Redpoint Ventures） - 元のタイトル: Ep 95: Modal CEO on the Future of Inference, the Chaos of the GPU Market & Origins of the Sandbox Bet - 配信日: 2026年10月28日 - 長さ: 59分 - 要約作成日: 2026年10月28日 - トピック: [#GPU市場](https://ai-curator.jp/topics/GPU%E5%B8%82%E5%A0%B4) [#LLM推論](https://ai-curator.jp/topics/LLM%E6%8E%A8%E8%AB%96) [#サンドボックス](https://ai-curator.jp/topics/%E3%82%B5%E3%83%B3%E3%83%89%E3%83%9C%E3%83%83%E3%82%AF%E3%82%B9) [#NeoCloud](https://ai-curator.jp/topics/NeoCloud) [#コーディングエージェント](https://ai-curator.jp/topics/%E3%82%B3%E3%83%BC%E3%83%87%E3%82%A3%E3%83%B3%E3%82%B0%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88) [#インフラ](https://ai-curator.jp/topics/%E3%82%A4%E3%83%B3%E3%83%95%E3%83%A9) - URL: https://ai-curator.jp/podcasts/cmvs50y4a00005l10lweaeo0d ## 要約 Redpoint の Pat Chase が、年間売上ランレート10億ドル超となった Modal の共同創業者 Erik Bernhardsson と対談した回。GPU調達の実態、サンドボックスと LLM 推論の事業展開、低レイヤーへの投資が生んだ技術的優位を語る。NeoCloud や NeoLab の見立て、GPU価格の予測、コーディングエージェントが開発現場に与える影響にも踏み込んでいる。 ## ポイント - Modal は約25のクラウドから容量を集約し、週に2〜3件の計算資源契約を結んでいる。GPU市場は非効率で、取引所で売買できる均質な商品にはなりにくいと Erik は述べている。 - 2023年に始めたサンドボックスは2025年に急成長し、現在は売上の約3分の1を占める。LLM 推論も DeepSeek の登場を機に注力し、同じく約3分の1になったという。 - 独自のファイルシステム、コンテナランタイム、スケジューラを自作し、Kubernetes や Docker は使わない。これが高速なコールドスタートや GPU スナップショットなど、模倣しにくい強みになっていると語る。 - 推論市場の素のトークン提供はコモディティ化しやすく、持続的な差別化は推論に加えてサンドボックス、RL、バッチ処理などを含む複数製品のプラットフォームにあるというのが Erik の主張。 - NeoCloud は資本集約的で資本コストが高く差別化も乏しいが、事業モデルとしては悪くないとの見方。GPU価格は Anthropic の S-1 を読んで考えを変え、12か月後は上昇すると予想している。 - Modal のコードの約95%は何らかの形でエージェントが書いているが、インフラは信頼性のリスクがあり監督が必要。エンジニア需要は今後も増えるという見方を示した。 ## 章立て - [01:01] **GPU調達の実態と市場の非効率** — Modal は25のクラウドから容量を集約している。GPU市場は非公式なやり取りが多く、信頼性や地域差から取引所型にはなりにくいと語る。 - [05:05] **Modal の歩み：サンドボックスと推論** — サーバーレス関数から始まり、Stable Diffusion での成長、2023年のサンドボックス投入、DeepSeek を機にした LLM 推論への本格参入を振り返る。 - [10:13] **低レイヤー投資と推論の技術課題** — 独自ファイルシステムやコンテナランタイム、GPUスナップショット、RDMA などの技術を説明する。推論最適化は経験則的な科学であり、OSS とも協力していると述べる。 - [16:10] **チップ選択と推論市場の勝ち筋** — NVIDIA が最強としつつ、旧世代GPUにも需要がある点を指摘する。素のトークン提供は価格競争になり、複数製品の統合が持続的な差別化になると主張する。 - [24:46] **優先順位付けとエージェント時代の開発** — 150人規模のエンジニアでの資源配分、コードの約95%をエージェントが書く現状、エージェント向けの非推奨機能対応や最適化の工夫を語る。 - [33:10] **次の賭けとインフラ観** — サンドボックスは小さな非対称な賭けだったと語る。次の有望分野として低遅延推論、学習、各種OS対応を挙げ、エージェント時代の基盤設計にも触れる。 - [42:42] **NeoCloud・NeoLab・RL as a service** — NeoCloud は資金調達力が課題で、NeoLab の一部は GPU 転売側に回り得るとの見方。ポストトレーニング市場はサービス化の罠にも触れる。 - [51:41] **クイックファイア：GPU価格と今後** — 採用観、反省点、スウェーデンのスタートアップ事情、GPU価格が上がるとの予想、Modal の20年構想を語る。 ## 解説記事 Redpoint の GP である Pat Chase が、Modal の共同創業者兼 CEO の Erik Bernhardsson を迎えて話を聞いた回である。Modal は年間売上ランレートが10億ドルを超えたとされる。AI 計算資源の調達の裏側から、サンドボックスと LLM 推論の事業戦略、NeoCloud や GPU 価格の見通しまで、幅広く語られた。 #### GPU調達は「野放し」に近い Erik によると、Modal は計算資源が足りないわけではなく、価格や契約期間で譲歩すれば容量は確保できるという。週に2〜3件の契約を結び、約25のクラウドと取引している。多数の需要と容量を集約して効率的に運用することが、Modal の価値の一つだと説明する。 一方で市場は整っていない。NVIDIA の GTC では、ホテルのロビーで連絡先を交換しながら GPU を探す様子が「GPUの青空闇市場」のようだったと述べている。計算資源はディスクやネットワーク、地域、信頼性が異なる。そのため、取引所で売買できる均質な商品にはなりにくいというのが彼の見方である。元暗号資産マイナーの NeoCloud は障害も多く、Modal は問題のある容量をローテーションから外す役割も担う。 #### サンドボックスと推論という二つの柱 Modal は2021年末ごろにサーバーレス関数から出発した。ChatGPT と Stable Diffusion の登場で、画像生成アプリのホスティングが最初の成長になり、音声や動画へ広がった。2023年に投入したサンドボックス（LLM が生成したコードを隔離環境で実行する基盤）は、2025年にモデルのコード生成能力が上がって急成長した。現在は売上の約3分の1だという。 LLM 推論は当初、傍観に近かった。Erik は、約1年半前の DeepSeek の登場をきっかけに最適化チームを立ち上げたと語る。推論も現在は売上の約3分の1を占める。最近は専用の推論製品を出し、シングルテナントでのモデルのデプロイや、トークン課金の共有エンドポイントを提供している。サンドボックスについては、当時のプロトタイプは数日で作れた「非対称な賭け」だったと振り返った。下振れが小さく上振れが大きい投資だったという意味である。 #### 「難しいことを避けない」低レイヤー戦略 Erik は、難しいことを恐れないことが市場での大きな優位の源泉だと述べる。Modal は高速なコンテナイメージ読み込みのために独自のファイルシステムを作り、コンテナランタイムやスケジューラも自前で持つ。Kubernetes や Docker は使わず、隔離には gVisor を使い、一部では KVM も採用している。 この投資が、極めて高速なコールドスタート、CPU/GPU スナップショット、ノード間の RDMA を使ったデータコピーにつながったと説明する。大きなモデルも数秒で立ち上げられるという。他社が簡単には真似できない技術になったと自負している。 推論そのものは、分離したプリフィル、KV キャッシュ、カーネル効率化など、経験的な試行錯誤の領域だと語る。Modal には20〜30人の最適化チームがあり、vLLM と SGLang の OSS とも密接に協力している。独自性はインフラ層にあるため、エンジンは OSS を活用する方針だ。 #### 差別化はプラットフォームにある Erik は、素のトークン提供は OpenRouter のような存在もあってコモディティ化し、価格競争になると見ている。カーネルや KV キャッシュの工夫は広まりやすく、優位として長持ちしないという。持続的な差別化は、サンドボックス、強化学習、ファインチューニング、バッチ処理などを含むプラットフォーム全体にあるとする。顧客として Cognition、Ramp、Suno、Runway、Decagon、DoorDash などを挙げ、多くが複数製品を使っていると述べた。 チップについては、NVIDIA が最良で需要も圧倒的だと認めつつ、音声や生物系などでは H100 のような旧世代のほうがコスト効率が良い場合もあると語る。実際、Modal で最も多いのは今も H100 だという。将来は、1リクエストあたりのコストを保ちながらチップ種別を自動で切り替える機能を検討している。 #### エージェント時代の開発とインフラ観 Modal のマージされるコードの約95%は、何らかの形でエージェントが書いていると Erik は推定する。ただしインフラは信頼性のテールリスクがあり、人間による監督が不可欠だという。意外にも、エージェントを最も活用しているのは若手ではなく上級エンジニアだと述べる。 エージェントが Modal の利用者になる影響は、予想より小さいという。高速なフィードバックや良いエラーメッセージといった要求は人間と同じだからだ。ただし、学習データに古いコードが残るため、機能の非推奨化は難しくなった。また、Claude Code などが Modal を推薦するかを追跡する、検索エンジン最適化に似た取り組みも始めている。 #### NeoCloud と GPU価格の見方 Erik は NeoCloud を、資産のリースを行う金融ビークルに近く、成長に多額の負債を要する資本集約的なビジネスと位置づける。事業としては悪くないが差別化に乏しく、成功した3大ハイパースケーラーが低資本コストの企業に属する点を踏まえると、資本コストの高さが課題になると語る。NeoLab についても、GPU 契約の頭金が約3割で済むため、資金調達に依存する構造的リスクがあり、失敗した場合は GPU の転売や NeoCloud 化が起こり得るという見方を示した。 GPU価格は、Anthropic の S-1 を読んで考えを変えたという。同社が実質黒字で、容量の確保を絞る動機がないと判断し、12か月後の価格は上昇すると予想した。 #### まとめ 本エピソードの主題は、AI インフラで長期に残る価値を見極める視点である。Erik は、模倣されやすい推論の最適化技術より、低レイヤーの自作基盤と複数製品を束ねるプラットフォームに持続性があると考える。日本の読者にとっては、GPU調達の不透明さや NeoCloud の財務構造、エージェントを前提にした開発とドキュメント整備など、実務や投資判断に結びつく論点が多い。各見解は Erik 個人の主張であり、特に価格予想は本人も直前に変えたものだと断っている点に注意したい。 > この要約・解説記事は、元の音声の文字起こしをもとに AI（Claude）が日本語で作成したものです。出典: Unsupervised Learning with Jacob Effron「Ep 95: Modal CEO on the Future of Inference, the Chaos of the GPU Market & Origins of the Sandbox Bet」