Google, Red Hat e IBM lanzaron llm-d 1.0, una pila nativa de Kubernetes de código abierto para inferencia LLM distribuida. Agrega control de flujo multiinquilino, actualizaciones sin tiempo de inactividad y enrutamiento con reconocimiento de agentes en vLLM, SGLang, TP...
Las liberaciones de pesos abiertos presionan los precios cerrados y amplían el acceso, cambiando la matemática de construcción versus compra para todo el ecosistema.
Empresas y modelos mencionados en esta historia: abra sus páginas y vea los precios en vivo
Los resúmenes se agregan únicamente con fines informativos; siga el enlace fuente para ver la historia completa. Las entradas de demostración son ilustrativas.