A100とH100のNVMeランダムリードスループットの比較

著者は、A100(PCIe Gen4)とH100(PCIe Gen5)のクラスターを比較し、モデルロード時のボトルネックを分析しました。その結果、A100では複数GPUでモデルをロードすると、ディスクスループットが大幅に低下するのに対し、H100ではスループットが維持または向上することがわかりました。これは、PCIe Gen5バスのH100が、複数GPUからの同時ランダムリクエストを効果的に処理できるためと考えられます。一方、PCIe Gen4のA100ではこのような負荷に耐えきれず、スループットが大幅に低下したと分析しています。