AMD 发布 Instella-MoE-16B-A3B：完全开放的专家混合法学硕士，具有在 Instinct GPU 上训练的 2.8B 主动参数

AMD 发布了 Instella-MoE-16B-A3B，这是一个完全开放的 Mixture-of Experts 语言模型，在 Instinct MI300X 和 MI325X GPU 上从头开始训练。它总共拥有 16B 个参数，但每个代币仅激活 2.8B 个参数，使用门控 MLA……

摘要仅供参考,请点击来源链接查看全文。演示条目为示意。