Buoyant telah merilis Kinference, sebuah bidang kendali inferensi Apache 2.0 untuk vLLM di Kubernetes. Ini menambahkan kebijakan perutean deklaratif, penyeimbangan beban KV-cache-aware dan metrik per penyewa, dan memotong median TTFT 95% di Buoya…
Rilis bobot terbuka menekan harga tertutup dan memperluas akses, mengubah perhitungan build-vs-buy untuk keseluruhan ekosistem.
Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.