使用 NVIDIA srt-slurm、SLURM Recipes、参数扫描和 Pareto 分析验证分布式 LLM 服务基准

在本教程中，我们将探索 NVIDIA 的 srt-slurm 框架，并了解如何使用 srtctl 将声明性 YAML 配置转换为可重现的 SLURM 基准工作流程，以实现分布式 LLM 服务。我们设立了专业…

摘要仅供参考,请点击来源链接查看全文。演示条目为示意。