Google, Red Hat 및 IBM은 분산 LLM 추론을 위한 오픈 소스 Kubernetes 기반 스택인 llm-d 1.0을 출시했습니다. vLLM, SGLang, TP 전반에 걸쳐 다중 테넌트 흐름 제어, 가동 중지 시간 없는 업그레이드 및 에이전트 인식 라우팅을 추가합니다.
Open-weights는 폐쇄된 가격 책정에 대한 압박을 풀고 액세스를 확대하여 전체 생태계에 대한 구축-구매 수학 방식을 변경합니다.
요약은 정보 제공 목적으로만 집계되었습니다. 전체 내용을 보려면 소스 링크를 따르세요. 데모 항목은 예시입니다.