Tencent オープンソース AngelSpec: Hy3 モデルでの MTP およびブロック並列投機的デコーディングのための統合トレーニング フレームワーク

Tencent は、6 つのアーキテクチャにわたって投機的デコーディングのドラフト モデルをトレーニングするためのオープンソースのトーチネイティブ フレームワークである AngelSpec をリリースしました。ハイブリッド ターゲット コンディショニングを備えたブロック拡散ドラフターである DFly を紹介します。

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。