Zyphra ZYFA: AMD MI355X 向け FP8 FlashAttend、最大 1.76 倍高速

Zyphra は、AMD Instinct MI355X 用のオープンソース FP8 および BF16 プレフィル アテンション カーネルである ZYFA をリリースしました。実際のモデルのアクティベーションでは、その FP8 カーネルは AMD の AITER よりも 1.16 ～ 1.76 倍高速に実行され、ヘッド寸法での誤差は 62 ～ 78% 低くなります…

概要は情報提供のみを目的としてまとめられています。全文についてはソース リンクを参照してください。デモのエントリは一例です。