MiniMax M3 如何构建：稀疏注意力与原生多模态——Olive Song

MiniMax 强化学习研究员 Olive Song 介绍开放权重模型 MiniMax M3：具备前沿级编码与 Agent 能力、100 万 token 上下文和原生多模态。她讲解 MSA 稀疏注意力设计——索引分支挑选重要块、稀疏分支仅对这些块做注意力，宣称 prefill 约快 9 倍、decoding 约快 15 倍，并解释 DeepSeek 的 DSA 为何不适配分组查询注意力与 GPU 访存。她还谈到从第零步同时用文本和视觉训练、后期加视觉导致结果不稳定、注意力图表现，以及视觉 Transformer 内 3D 注意力对视觉理解的提升。

AI推荐理由 MiniMax 研究员 Olive Song 讲解 M3 的 MSA 稀疏注意力设计（索引分支选块+稀疏分支计算，宣称 prefill 约 9 倍、decoding 约 15 倍于全注意力）以及从第零步起原生多模态训练、视觉 Transformer 内 3D 注意力的做法，并说明 DeepSeek DSA 不适配 GQA 与 GPU 访存的原因。属于研究者一手技术分享，含具体机制与对比，信息密度高；但性能倍数为讲者自述、无独立验证，且为会议演讲转述，需保留不确定性。