Google ha rilasciato TPU Sync, una libreria C++ open source che sposta cache e pesi KV su TPU HBM, host DRAM, storage e rete. Google segnala una latenza di trasferimento KV inferiore di oltre il 90% sui modelli MoE da 235B a 480B. La posizione…
I pesi aperti allentano la pressione sui prezzi chiusi e ampliano l’accesso, cambiando la matematica build-vs-buy per l’intero ecosistema.
Aziende e modelli menzionati in questa storia: apri le loro pagine e scopri i prezzi
I riepiloghi sono aggregati solo a scopo informativo: segui il collegamento alla fonte per la storia completa. Le voci demo sono illustrative.