A Buoyant lançou o Kinference, um plano de controle de inferência Apache 2.0 para vLLM no Kubernetes. Ele adiciona políticas de roteamento declarativas, balanceamento de carga com reconhecimento de cache KV e métricas por locatário, e reduz o TTFT médio em 95% no Buoya…
Os lançamentos de pesos abertos pressionam os preços fechados e ampliam o acesso, mudando a matemática construção versus compra para todo o ecossistema.
Os resumos são agregados apenas para fins informativos – siga o link da fonte para ver a história completa. As entradas de demonstração são ilustrativas.