vLLM での分離推論のための TTFT と TPOT を改善するためのプッシュベースの KV 転送

vLLM のプリフィルとデコードの分解により、LLM 推論がエンジン インスタンス間で分割されますが、それらの間で KV キャッシュを転送する必要があります。この投稿では、転送調整を外部に移行するプッシュベースの NIXL コネクタを紹介します。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。