通过 Amazon SageMaker Inference 上的前缀感知路由减少 LLM 延迟

Amazon SageMaker Inference 现在提供前缀感知路由，这是一种将共享相同提示前缀的请求发送到同一实例的路由策略，以便 KV 缓存保持温暖。在 Llama 3.1 70B 的基准测试中，它减少了……

摘要仅供参考,请点击来源链接查看全文。演示条目为示意。