Buoyant ha lanzado Kinference, un plano de control de inferencia Apache 2.0 para vLLM en Kubernetes. Agrega políticas de enrutamiento declarativas, equilibrio de carga compatible con caché KV y métricas por inquilino, y reduce el TTFT medio en un 95 % en Buoya...
Las liberaciones de pesos abiertos presionan los precios cerrados y amplían el acceso, cambiando la matemática de construcción versus compra para todo el ecosistema.
Los resúmenes se agregan únicamente con fines informativos; siga el enlace fuente para ver la historia completa. Las entradas de demostración son ilustrativas.