SGLang Diffusionに新機能Cache-DiTを追加、画像/動画生成を20-165%高速化

SGLang Diffusionがディフュージョンモデルの推論を大幅に高速化するCache-DiTをサポートしました。環境変数を設定するだけで、FLUX、Qwen-Image、HunyuanVideoなどのモデルで46%以上の高速化が可能です。torch.compileやQuantizationなどの最適化にも対応しており、主要なオープンソースのDiTモデルに幅広く対応しています。

Like
Save
Read original
Cached
Comments
?

No comments yet

Be the first to comment

AI Curator - Daily AI News Curation

AI Curator

Your AI news assistant

Ask me anything about AI

I can help you understand AI news, trends, and technologies