Buoyant đã phát hành Kinference, mặt phẳng điều khiển suy luận Apache 2.0 cho vLLM trên Kubernetes. Nó bổ sung các chính sách định tuyến khai báo, cân bằng tải nhận biết bộ đệm KV và số liệu cho mỗi đối tượng thuê, đồng thời cắt giảm TTFT trung bình 95% trong Buoya…
Trọng lượng mở giải phóng áp lực định giá đóng và mở rộng khả năng tiếp cận, thay đổi phép toán xây dựng và mua cho toàn bộ hệ sinh thái.
Các bản tóm tắt chỉ được tổng hợp để cung cấp thông tin - hãy nhấp vào liên kết nguồn để xem toàn bộ câu chuyện. Các mục demo có tính minh họa.