Buoyant는 Kubernetes의 vLLM용 Apache 2.0 추론 제어 평면인 Kinference를 출시했습니다. 선언적 라우팅 정책, KV 캐시 인식 로드 밸런싱 및 테넌트별 지표를 추가하고 Buoya에서 평균 TTFT 95%를 줄입니다.
Open-weights는 폐쇄된 가격 책정에 대한 압박을 풀고 액세스를 확대하여 전체 생태계에 대한 구축-구매 수학 방식을 변경합니다.
요약은 정보 제공 목적으로만 집계되었습니다. 전체 내용을 보려면 소스 링크를 따르세요. 데모 항목은 예시입니다.