أطلقت MiniMax مكتبة اهتمام متفرق (MSA) مبنية على Grouped Query Attention. فروع خفيفة من Index Branch تختار أكبر k قطعة من المفاتيح والقيم لكل استعلام وGQA مجموعة؛ الفرع الرئيسي يهتم فقط بهذه القطع. يتطابق مع GQA…
تعمل النماذج الجديدة على إعادة ضبط حدود القدرة والأداء والسعر. تقوم الفرق بإعادة تقييم ما يجب البناء عليه عندما يؤدي الإطلاق إلى تغيير ما هو ممكن لكل دولار.
يتم تجميع الملخصات للحصول على معلومات فقط - اتبع رابط المصدر للحصول على القصة الكاملة. الإدخالات التجريبية توضيحية.