DataFramed
AIを本番運用する秘訣：エージェントはなぜ遅く高いのか｜SambaNova チーフアーキテクト Sumti Jairath
#379 The Secrets of Deploying AI in Production | Sumti Jairath, Chief Architect at SambaNova
DataFramed に SambaNova Systems のチーフアーキテクト Sumti Jairath が出演し、AI エージェントが遅く高コストになる理由と、その解決策を語った。モデルの大型化と推論（リーズニング）によるトークン増加、GPU 系アーキテクチャのデータ移動の非効率が原因だと説明し、データフロー型アーキテクチャと多層メモリで高速化・低コスト化・省電力化を図る考えを示した。あわせてソブリン AI、推論基盤の選び方、データセンター過剰論争、AI インフラ分野のキャリアにも触れている。