NVIDIA는 LLM 트래픽용 Apache-2.0 Rust 프록시이자 라이브러리인 Switchyard를 출시했습니다. 요청을 공급자 중립 유형으로 디코딩하고 패스스루, 무작위, LLM 분류자 또는 스테이지 라우터 알고리즘을 사용하여 라우팅합니다.
Open-weights는 폐쇄된 가격 책정에 대한 압박을 풀고 액세스를 확대하여 전체 생태계에 대한 구축-구매 수학 방식을 변경합니다.
요약은 정보 제공 목적으로만 집계되었습니다. 전체 내용을 보려면 소스 링크를 따르세요. 데모 항목은 예시입니다.