NVIDIA Transformer Engine、Fused Kernels、BF16、FP8、GPU ベンチマークによるトランスフォーマー トレーニングの高速化

NVIDIA Transformer Engine を使用してトランスフォーマーのワークロードを最適化する方法をご覧ください。このチュートリアルでは、融合 GPU カーネルの構成、FP8 遅延スケーリングの実装、およびモデルのパフォーマンスのベンチマークについて説明します。ラ…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。