Buoyant, Kubernetes'te vLLM için Apache 2.0 çıkarım kontrol düzlemi olan Kinference'ı piyasaya sürdü. Bildirime dayalı yönlendirme politikaları, KV önbellek farkındalığına sahip yük dengeleme ve kiracı başına ölçümler ekler ve Buoya'da ortalama TTFT'yi %95 oranında azaltır…
Açık ağırlıklar, kapalı fiyatlandırma baskısını ortadan kaldırır ve erişimi genişleterek tüm ekosistem için yap-satın al matematiğini değiştirir.
Özetler yalnızca bilgi amaçlı olarak toplanmıştır; hikayenin tamamı için kaynak bağlantısını takip edin. Demo girişleri örnek niteliğindedir.