Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks. The…
Las liberaciones de pesos abiertos presionan los precios cerrados y amplían el acceso, cambiando la matemática de construcción versus compra para todo el ecosistema.
Los resúmenes se agregan únicamente con fines informativos; siga el enlace fuente para ver la historia completa. Las entradas de demostración son ilustrativas.