AMD が Instella-MoE-16B-A3B をリリース: Instinct GPU でトレーニングされた 2.8B アクティブ パラメーターを備えた完全にオープンな専門家混合 LLM

AMD は、Instinct MI300X および MI325X GPU でゼロからトレーニングされた完全にオープンな Mixture-of-Experts 言語モデルである Instella-MoE-16B-A3B をリリースしました。合計 16B のパラメーターを保持しますが、ゲート付き MLA を使用してトークンあたり 2.8B のみをアクティブにします…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。