NVIDIA montre comment 3 optimisations empilées accélèrent l'inférence MoE sur un seul DGX Spark. Sur le 124B Ling-3.0-flash d'Ant Group inclusionAI, le débit de décodage GSM8K a augmenté de 42,5 % sans changement de précision détectable. Le post NVIDIA…
L’approvisionnement informatique, l’énergie et la capacité du centre de données déterminent le coût de fonctionnement de l’IA. Les changements d’infrastructure apparaissent dans les coûts d’inférence des semaines plus tard.
Entreprises et modèles mentionnés dans cette histoire — ouvrez leurs pages et prix en direct
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.