大模型
pub.towardsai.net ·
@JAIGANESAN
Muon：用公式、直觉、代码与结果解释正交化优化器
文章梳理优化器演进：从 SGD 到 Adam 的逐坐标缩放，再到 Muon 通过五步 Newton–Schulz 迭代将梯度转化为正交更新。作者指出 Adam 长期主导大模型训练，而 Muon 正带来挑战，并称 DeepSeek-V4 大部分模块使用 Muon，Moonshot 的万亿参数 MoE 模型 Kimi K2 也采用该方案。
AI推荐理由 Towards AI 文章系统讲解 Muon 正交化优化器，从 SGD、Adam 的逐坐标缩放讲到用五步 Newton–Schulz 迭代把梯度变为正交更新，并提到 DeepSeek-V4 大部分模块使用 Muon、Moonshot Kimi K2 等生产模型采用该优化器。属于有技术细节的模型训练方法解读，对训练侧读者价值较高。
76
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。