Zyphra AI が Zyphra 階層的注意 (ZHA) を導入: 真の二次二次的注意への道

Zyphra Hierarchical Attendee (ZHA) は、ツリー インデックス付きのスパース アテンション手法で、凍結 LLM を 4B の蒸留トークンで改良し、推論と 256K の検索ベンチマークに関する高密度のアテンションと一致します。投稿ジフ…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。