NVIDIA は、LLM トラフィック用の Apache-2.0 Rust プロキシおよびライブラリである Switchyard をリリースしました。リクエストをプロバイダー中立型にデコードし、パススルー、ランダム、LLM 分類子、またはステージ ルーター アルゴリズムを使用してルーティングします。
オープンウェイトのリリースはクローズド価格に圧力をかけ、アクセスを拡大し、エコシステム全体の構築と購入の計算を変えます。
概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。