1年かけてGPUを追加、ついに完成したローカルLLMシステム - 8x3090 (192GB VRAM) 64コアEPYC Milan 250GB RAM

Redditorが1年かけて8基のNVIDIA RTX 3090 GPUを組み込んだ大規模なローカルLLMシステムを完成させた。合計192GBのVRAMと64コアのEPYC Milanプロセッサを搭載し、約8万ドルをかけて構築した。GLM 4.5 AIモデルを使ってテストした結果、49 t/sの推論速度を記録した。今後は電力制限の調整やより高度なAWQモデルの検証を行う予定。