La desagregación de decodificación previa al llenado de vLLM divide la inferencia de LLM entre las instancias del motor, pero debe transferir la caché KV entre ellas. Esta publicación presenta un conector NIXL basado en empuje que saca la coordinación de transferencia del cr...
Los nuevos modelos restablecen la frontera entre capacidad y precio-rendimiento. Los equipos reevalúan sobre qué construir cada vez que un lanzamiento cambia lo que es posible por dólar.
Los resúmenes se agregan únicamente con fines informativos; siga el enlace fuente para ver la historia completa. Las entradas de demostración son ilustrativas.