Google, KV önbelleklerini ve ağırlıklarını TPU HBM, ana DRAM, depolama ve ağ genelinde taşıyan açık kaynaklı bir C++ kitaplığı olan TPU Sync'i yayınladı. Google, 235B ila 480B MoE modellerinde %90'ın üzerinde daha düşük KV aktarım gecikmesi rapor ediyor. Poz…
Açık ağırlıklar, kapalı fiyatlandırma baskısını ortadan kaldırır ve erişimi genişleterek tüm ekosistem için yap-satın al matematiğini değiştirir.
Bu hikayede adı geçen şirketler ve modeller — sayfalarını açın ve canlı fiyatları
Özetler yalnızca bilgi amaçlı olarak toplanmıştır; hikayenin tamamı için kaynak bağlantısını takip edin. Demo girişleri örnek niteliğindedir.