Ora il cache KV supera i pesi dei modelli nel contesto lungo. Ecco come TurboQuant, OSCAR e EpiCache attaccano ciascuno questo collo di bottiglia della memoria e perché sono più complementari che competitivi. Il post La corsa alla compressione dei cache KV...
I nuovi modelli ripristinano la frontiera della capacità e del rapporto prezzo-prestazioni. I team rivalutano su cosa costruire ogni volta che un lancio cambia ciò che è possibile fare per ogni dollaro.
I riepiloghi sono aggregati solo a scopo informativo: segui il collegamento alla fonte per la storia completa. Le voci demo sono illustrative.