NVIDIA mostra como três otimizações empilhadas aceleram a inferência MoE em um único DGX Spark. No flash Ling-3.0 de 124B do Ant Group, a taxa de transferência de decodificação GSM8K aumentou 42,5% sem nenhuma alteração detectável na precisão. A postagem NVID…
O fornecimento de computação, a energia e a capacidade do data center decidem o quão barato a IA pode funcionar. As mudanças na infraestrutura aparecem nos custos de inferência semanas depois.
Empresas e modelos mencionados nesta história – abra suas páginas e preços ao vivo
Os resumos são agregados apenas para fins informativos – siga o link da fonte para ver a história completa. As entradas de demonstração são ilustrativas.