Google merilis TPU Sync, pustaka C++ sumber terbuka yang memindahkan cache dan bobot KV di seluruh TPU HBM, DRAM host, penyimpanan, dan jaringan. Google melaporkan latensi transfer KV lebih dari 90% lebih rendah pada model MoE 235B hingga 480B. Posnya…
Rilis bobot terbuka menekan harga tertutup dan memperluas akses, mengubah perhitungan build-vs-buy untuk keseluruhan ekosistem.
Perusahaan dan model yang disebutkan dalam cerita ini — buka halaman mereka dan harga langsung
Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.