Stanford and UC Berkeley researchers released TokenGate, a drop-in learned token pruning module for LLMs. It cuts long-context prefill time-to-first-token by 1.4x to 11.3x and peak memory by 1.5x to 3.4x without accurac…
I nuovi modelli ripristinano la frontiera della capacità e del rapporto prezzo-prestazioni. I team rivalutano su cosa costruire ogni volta che un lancio cambia ciò che è possibile fare per ogni dollaro.
I riepiloghi sono aggregati solo a scopo informativo: segui il collegamento alla fonte per la storia completa. Le voci demo sono illustrative.