Buoyant は、Kubernetes 上の vLLM 用の Apache 2.0 推論コントロール プレーンである Kinference をリリースしました。宣言型ルーティング ポリシー、KV キャッシュ対応ロード バランシング、テナントごとのメトリクスが追加され、Buoya の TTFT 中央値 95% が削減されます。
オープンウェイトのリリースはクローズド価格に圧力をかけ、アクセスを拡大し、エコシステム全体の構築と購入の計算を変えます。
概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。