La disaggregazione precompilazione-decodifica di vLLM suddivide l'inferenza LLM tra le istanze del motore ma deve trasferire la cache KV tra di loro. Questo post introduce un connettore NIXL basato su push che sposta il coordinamento del trasferimento dal cr...
I nuovi modelli ripristinano la frontiera della capacità e del rapporto prezzo-prestazioni. I team rivalutano su cosa costruire ogni volta che un lancio cambia ciò che è possibile fare per ogni dollaro.
I riepiloghi sono aggregati solo a scopo informativo: segui il collegamento alla fonte per la storia completa. Le voci demo sono illustrative.