Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks. The…
Os lançamentos de pesos abertos pressionam os preços fechados e ampliam o acesso, mudando a matemática construção versus compra para todo o ecossistema.
Os resumos são agregados apenas para fins informativos – siga o link da fonte para ver a história completa. As entradas de demonstração são ilustrativas.