Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks. The…
Açık ağırlıklar, kapalı fiyatlandırma baskısını ortadan kaldırır ve erişimi genişleterek tüm ekosistem için yap-satın al matematiğini değiştirir.
Özetler yalnızca bilgi amaçlı olarak toplanmıştır; hikayenin tamamı için kaynak bağlantısını takip edin. Demo girişleri örnek niteliğindedir.