NVIDIA menunjukkan bagaimana 3 optimasi bertumpuk mempercepat inferensi MoE pada satu DGX Spark. Pada penyertaan Ant Group 124B Ling-3.0-flash AI, throughput dekode GSM8K meningkat 42,5% tanpa perubahan akurasi yang terdeteksi. Pos NVID…
Menghitung pasokan, energi, dan kapasitas pusat data menentukan seberapa murah AI dapat dijalankan. Pergeseran infrastruktur muncul dalam biaya inferensi beberapa minggu kemudian.
Perusahaan dan model yang disebutkan dalam cerita ini — buka halaman mereka dan harga langsung
Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.