Aleph Alpha が Kolibri をリリース: わずか 3.46B のアクティブパラメータを備えた 78.1B 無重力イギリス・ドイツ MoE モデル

Aleph Alpha は、トークンごとに 346 億パラメータのみをアクティブにする 7810 億パラメータの英独専門家混合モデルである Kolibri をリリースしました。 1M トークンのコンテキストとリクエストごとの推論機能があり、Apache 2.0…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。