NVIDIA, 3 yığılmış optimizasyonun tek bir DGX Spark üzerinde MoE çıkarımını nasıl hızlandırdığını gösteriyor. Ant Group'un dahil olduğu AI'nin 124B Ling-3.0 flaşında, GSM8K kod çözme verimi, tespit edilebilir bir doğruluk değişikliği olmadan %42,5 arttı. NVIDIA mesajı…
Bilgi işlem tedariği, enerji ve veri merkezi kapasitesi, yapay zekanın ne kadar ucuza çalışabileceğine karar verir. Altyapı değişiklikleri haftalar sonra çıkarım maliyetlerinde ortaya çıkıyor.
Bu hikayede adı geçen şirketler ve modeller — sayfalarını açın ve canlı fiyatları
Özetler yalnızca bilgi amaçlı olarak toplanmıştır; hikayenin tamamı için kaynak bağlantısını takip edin. Demo girişleri örnek niteliğindedir.