La désagrégation pré-remplissage-décodage de vLLM divise l'inférence LLM entre les instances de moteur, mais doit transférer le cache KV entre elles. Cet article présente un connecteur NIXL basé sur le push qui déplace la coordination des transferts hors du cr…
Les nouveaux modèles repoussent les limites des capacités et du rapport qualité-prix. Les équipes réévaluent les éléments sur lesquels s'appuyer chaque fois qu'un lancement modifie ce qui est possible par dollar.
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.