vLLM'nin önceden doldurma-kod çözme ayrıştırması, LLM çıkarımını motor örnekleri arasında böler ancak KV önbelleğini bunlar arasında aktarması gerekir. Bu yazı, transfer koordinasyonunu merkezin dışına taşıyan, push tabanlı bir NIXL konnektörünü tanıtıyor…
Yeni modeller kapasite ve fiyat-performans sınırını sıfırlıyor. Ekipler, bir lansman dolar başına mümkün olanı değiştirdiğinde neyin üzerine inşa edileceklerini yeniden değerlendiriyor.
Özetler yalnızca bilgi amaçlı olarak toplanmıştır; hikayenin tamamı için kaynak bağlantısını takip edin. Demo girişleri örnek niteliğindedir.