Google が TPU Sync をリリース: TPU 用のオープンソース KV キャッシュ転送

Google は、TPU HBM、ホスト DRAM、ストレージ、ネットワーク全体で KV キャッシュと重みを移動するオープンソース C++ ライブラリである TPU Sync をリリースしました。 Google は、235B から 480B の MoE モデルで KV 転送レイテンシが 90% 以上短縮されたと報告しています。ポジションは…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。