NVIDIA、DGX Spark で MoE 推論を高速化する 3 つの方法を示し、Ling-3.0 フラッシュのスループットを 42.5% 向上

NVIDIA は、3 つの積み重ねられた最適化により、単一の DGX Spark での MoE 推論がどのように高速化されるかを示しています。 Ant Group inclusionAI の 124B Ling-3.0 フラッシュでは、検出可能な精度の変化がなく、GSM8K デコード スループットが 42.5% 向上しました。 NIDの投稿…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。