Google은 TPU HBM, 호스트 DRAM, 스토리지 및 네트워크 전반에 걸쳐 KV 캐시와 가중치를 이동하는 오픈 소스 C++ 라이브러리인 TPU Sync를 출시했습니다. Google은 235B~480B MoE 모델에서 KV 전송 지연 시간이 90% 이상 낮다고 보고했습니다. 위치는…
Open-weights는 폐쇄된 가격 책정에 대한 압박을 풀고 액세스를 확대하여 전체 생태계에 대한 구축-구매 수학 방식을 변경합니다.
요약은 정보 제공 목적으로만 집계되었습니다. 전체 내용을 보려면 소스 링크를 따르세요. 데모 항목은 예시입니다.