Google, Red Hat e IBM lançaram o llm-d 1.0, uma pilha nativa do Kubernetes de código aberto para inferência LLM distribuída. Ele adiciona controle de fluxo multilocatário, atualizações sem tempo de inatividade e roteamento com reconhecimento de agente em vLLM, SGLang, TP…
Os lançamentos de pesos abertos pressionam os preços fechados e ampliam o acesso, mudando a matemática construção versus compra para todo o ecossistema.
Empresas e modelos mencionados nesta história – abra suas páginas e preços ao vivo
Os resumos são agregados apenas para fins informativos – siga o link da fonte para ver a história completa. As entradas de demonstração são ilustrativas.