NVIDIA srt-slurm、SLURM レシピ、パラメーター スイープ、およびパレート分析を使用した分散 LLM サービス ベンチマークの検証

このチュートリアルでは、NVIDIA の srt-slurm フレームワークを調査し、srtctl を使用して宣言型 YAML 構成を分散 LLM サービス用の再現可能な SLURM ベンチマーク ワークフローに変換する方法を学びます。プロをセットアップしました…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。