NVIDIA muestra cómo tres optimizaciones apiladas aceleran la inferencia de MoE en un solo DGX Spark. En el flash 124B Ling-3.0 de Ant Group inclusionAI, el rendimiento de decodificación GSM8K aumentó un 42,5 % sin cambios detectables en la precisión. La publicación NVID…
El suministro de computación, la energía y la capacidad de los centros de datos deciden qué tan barato puede funcionar la IA. Los cambios en la infraestructura aparecen en los costos de inferencia semanas después.
Empresas y modelos mencionados en esta historia: abra sus páginas y vea los precios en vivo
Los resúmenes se agregan únicamente con fines informativos; siga el enlace fuente para ver la historia completa. Las entradas de demostración son ilustrativas.