使用 NVIDIA Transformer 引擎、融合内核、BF16、FP8 和 GPU 基准测试加速 Transformer 训练

了解如何使用 NVIDIA Transformer Engine 优化 Transformer 工作负载。本教程将指导您配置融合 GPU 内核、实现 FP8 延迟缩放以及对模型性能进行基准测试。 ……

摘要仅供参考,请点击来源链接查看全文。演示条目为示意。