Google Cloud 推出 llm-d 1.0，为 TPU 和 GPU 队列提供缓存感知路由

Google、Red Hat 和 IBM 发布了 llm-d 1.0，这是一个用于分布式 LLM 推理的开源 Kubernetes 原生堆栈。它增加了多租户流量控制、零停机升级和跨 vLLM、SGLang、TP 的代理感知路由……

摘要仅供参考,请点击来源链接查看全文。演示条目为示意。