vLLM を使用した Amazon SageMaker HyperPod への Qwen3.8-2.4T-A95B のデプロイ

vLLM を使用して Amazon SageMaker HyperPod に 2.4 兆パラメータのオープンウェイト モデルである Qwen3.8-2.4T-A95B をデプロイする方法を学びます。このウォークスルーでは、クラスターのプロビジョニング、NVFP4 量子化、OpenAI 互換のエンドポイントについて説明します。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。