Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks. The…
Open-weights는 폐쇄된 가격 책정에 대한 압박을 풀고 액세스를 확대하여 전체 생태계에 대한 구축-구매 수학 방식을 변경합니다.
요약은 정보 제공 목적으로만 집계되었습니다. 전체 내용을 보려면 소스 링크를 따르세요. 데모 항목은 예시입니다.