UC San Diego DFlash menggantikan drafting autoregressive dengan model penyebaran blok ringan untuk dekoding spekulatif. DFlash membuat draft blok token seluruhnya dalam jalur maju tunggal dan membedakannya berdasarkan fitur tersembunyi target.
Menghitung pasokan, energi, dan kapasitas pusat data menentukan seberapa murah AI dapat dijalankan. Pergeseran infrastruktur muncul dalam biaya inferensi beberapa minggu kemudian.
Perusahaan dan model yang disebutkan dalam cerita ini — buka halaman mereka dan harga langsung
Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.