テンセント、アクティブ サイズの最大 5 倍のモデルに一致するとされる Hy3 オープンソース モデルをリリース

Tencent は、専門家混合アーキテクチャに基づいて構築された 2,950 億のパラメータを備えたオープンソース言語モデルである Hy3 をリリースしました。常に 210 億のパラメータのみがアクティブです。テンセントは、Hy3 は次の 2 つのモデルに一致すると述べています…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。