FlashNorm：折叠权重与 CUDA Streams 优化 RMS Norm 的实践

Filip Makraduli 与 Nils Graef 提出 FlashNorm，针对 RMS norm 在单次 decode 中可被启动约 33 次、而 GPU 启动与数据搬运开销远高于算术的问题。方法包括：离线将 norm 的 gain 折叠进投影权重，使一个矩阵同时吸收两者；延迟标量除法，让矩阵单元与向量单元并行而非互相等待；对连续两次归一化的新架构删去其中一次，因为该操作具有尺度不变性。报告称 norm 加 projection 操作获得 33%–35% 加速，折叠后的 checkpoint 可与 torch compile 及量化模型配合使用。延迟除法无法用 Python 实现，讲者为此手写了 CUDA，在 tensor core 上跑 matmul、在 CUDA 上做 RMS reduction。

AI推荐理由 内容来自 AI Engineer 频道的技术演讲，讲者 Filip Makraduli 与 Nils Graef 合著论文提出 FlashNorm：通过离线把 RMS norm 的 gain 折叠进投影权重、延迟标量除法让矩阵单元与向量单元并行、以及在连续两次归一化的新架构中删去冗余的一次，报告在 norm+projection 操作上取得 33%–35% 加速，折叠后的 checkpoint 兼容 torch compile 与量化模型。具体新信息是这套两行代数改写加手写 CUDA 的实现路径，对推理优化和 kernel 开发者有实际参考价值；局限是加速数据仅针对该算子组合，且摘要未给出完整基准条件与硬件细节，需看原演讲验证。