Компания Buoyant выпустила Kinference, плоскость управления выводами Apache 2.0 для vLLM в Kubernetes. Он добавляет декларативные политики маршрутизации, балансировку нагрузки с учетом KV-кэша и метрики для каждого арендатора, а также сокращает медианное значение TTFT на 95 % в Buoya…
Релизы с открытыми весами оказывают давление на закрытые цены и расширяют доступ, меняя математику «сборка против покупки» для всей экосистемы.
Краткое изложение собрано только для информации — перейдите по ссылке на источник, чтобы получить полную информацию. Демонстрационные записи носят иллюстративный характер.