Google, Red Hat и IBM выпустили llm-d 1.0, собственный стек Kubernetes с открытым исходным кодом для распределенного вывода LLM. Он добавляет многопользовательское управление потоками, обновления с нулевым временем простоя и маршрутизацию с учетом агентов через vLLM, SGLang, TP…
Релизы с открытыми весами оказывают давление на закрытые цены и расширяют доступ, меняя математику «сборка против покупки» для всей экосистемы.
Компании и модели, упомянутые в этой статье — откройте их страницы и узнайте цены в реальном времени.
Краткое изложение собрано только для информации — перейдите по ссылке на источник, чтобы получить полную информацию. Демонстрационные записи носят иллюстративный характер.