Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks. The…
Trọng lượng mở giải phóng áp lực định giá đóng và mở rộng khả năng tiếp cận, thay đổi phép toán xây dựng và mua cho toàn bộ hệ sinh thái.
Các bản tóm tắt chỉ được tổng hợp để cung cấp thông tin - hãy nhấp vào liên kết nguồn để xem toàn bộ câu chuyện. Các mục demo có tính minh họa.