Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks. The…
Les pondérations ouvertes relâchent la pression sur les prix fermés et élargissent l'accès, modifiant ainsi le calcul de la construction par rapport à l'achat pour l'ensemble de l'écosystème.
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.