Stanford and UC Berkeley researchers released TokenGate, a drop-in learned token pruning module for LLMs. It cuts long-context prefill time-to-first-token by 1.4x to 11.3x and peak memory by 1.5x to 3.4x without accurac…
Los nuevos modelos restablecen la frontera entre capacidad y precio-rendimiento. Los equipos reevalúan sobre qué construir cada vez que un lanzamiento cambia lo que es posible por dólar.
Los resúmenes se agregan únicamente con fines informativos; siga el enlace fuente para ver la historia completa. Las entradas de demostración son ilustrativas.