行业动态
dev.to ·
@b1ackjack12
EMA 衰减不是旋钮:平台期、断崖与 10% 准确率坑
作者复盘此前 EMA 实验只测了 0.999 和 0.99 两个衰减值,且把 0.99 从 SGD 配方直接沿用到 Adam 配方而未重测。新实验在调优后的 Adam 配方上扫描 0.9、0.97、0.99、0.995、0.999、0.9999 六个衰减值,每个跑 10 个种子;六个影子权重在同一次训练中同步更新,一次运行得到原始模型加六个衰减版本的七组评估,实现同种子、同批次、同轨迹的配对比较。
AI推荐理由 个人博客的实验记录,方法描述具体:在同一训练轨迹内并行维护 6 个 EMA 影子权重,用 10 个随机种子做配对比较,并指出此前把 decay 0.99 从 SGD 配方直接搬到 Adam 配方时未重新测量。局限是正文片段在关键结论处被截断,未给出各 decay 的具体准确率数值,也未说明数据集与模型规模,因此“10% 准确率坑”目前只有标题层面的说法,不能当作已验证结论。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。