NVIDIA đã phát hành Switchyard, proxy và thư viện Apache-2.0 Rust cho lưu lượng LLM. Nó giải mã các yêu cầu thành các loại trung lập với nhà cung cấp, định tuyến chúng bằng các thuật toán chuyển tiếp, ngẫu nhiên, phân loại LLM hoặc bộ định tuyến giai đoạn, và…
Trọng lượng mở giải phóng áp lực định giá đóng và mở rộng khả năng tiếp cận, thay đổi phép toán xây dựng và mua cho toàn bộ hệ sinh thái.
Các công ty và mô hình được đề cập trong câu chuyện này — hãy mở trang của họ và xem giá trực tiếp
Các bản tóm tắt chỉ được tổng hợp để cung cấp thông tin - hãy nhấp vào liên kết nguồn để xem toàn bộ câu chuyện. Các mục demo có tính minh họa.