MiniMax Sparse Attention (MSA): sebuah Blok Attention Dua Cabang yang Ditraining di 109B Parameter MoE dengan Anggaran Token 3T

MiniMax merilis MSA, sebuah attention spars yang dibangun di atas Grouped Query Attention. Cabang Indeks memilih blok top-k key-value per query dan GQA group; cabang utama hanya mendengar blok-blok itu. Itu cocok dengan GQA…

Ringkasan dikumpulkan untuk informasi saja — ikuti tautan sumber untuk cerita selengkapnya. Entri demo bersifat ilustratif.