Buoyant a publié Kinference, un plan de contrôle d'inférence Apache 2.0 pour vLLM sur Kubernetes. Il ajoute des politiques de routage déclaratives, un équilibrage de charge prenant en charge le cache KV et des métriques par locataire, et réduit le TTFT médian de 95 % dans Buoya…
Les pondérations ouvertes relâchent la pression sur les prix fermés et élargissent l'accès, modifiant ainsi le calcul de la construction par rapport à l'achat pour l'ensemble de l'écosystème.
Les résumés sont regroupés à titre d’information uniquement – suivez le lien source pour l’histoire complète. Les entrées de démonstration sont illustratives.