O Google lançou o TPU Sync, uma biblioteca C++ de código aberto que move caches e pesos KV entre TPU HBM, host DRAM, armazenamento e rede. O Google relata latência de transferência de KV 90% menor em modelos MoE de 235B a 480B. A posição…
Os lançamentos de pesos abertos pressionam os preços fechados e ampliam o acesso, mudando a matemática construção versus compra para todo o ecossistema.
Empresas e modelos mencionados nesta história – abra suas páginas e preços ao vivo
Os resumos são agregados apenas para fins informativos – siga o link da fonte para ver a história completa. As entradas de demonstração são ilustrativas.