Google Cloud、TPU および GPU フリート向けのキャッシュ認識ルーティングを備えた llm-d 1.0 を出荷

Google、Red Hat、IBM は、分散 LLM 推論用のオープンソース Kubernetes ネイティブ スタックである llm-d 1.0 をリリースしました。マルチテナントのフロー制御、ダウンタイムなしのアップグレード、vLLM、SGLang、TP にわたるエージェント対応ルーティングが追加されます。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。