Miles+FSDP2で実現するMegatronレベルの性能と柔軟性

MilesトレーニングフレームワークがFSDP2に対応し、Megatronレベルの性能を実現しつつ、ベンダーロックインを回避できるようになりました。SGLangチームが最新版をリリースし、Megatronと同等の数値性能を示しつつ、コンテキストパラレリズムなどの高度な機能をサポートしています。FSDP2は柔軟で高性能な分散トレーニングバックエンドを提供し、Milesの既存機能と連携して次世代モデルトレーニングに最適です。