谷歌发布TPU Sync：用于TPU的开源KV缓存传输

Google 发布了 TPU Sync，这是一个开源 C++ 库，可在 TPU HBM、主机 DRAM、存储和网络之间移动 KV 缓存和权重。 Google 报告称，235B 至 480B MoE 型号的 KV 传输延迟降低了 90% 以上。位置…

摘要仅供参考,请点击来源链接查看全文。演示条目为示意。