最新资讯
dev.to 精简 MCP server 工具数量:更少工具、更小影响面,双重收益 dev.to 为什么 git checkout 无法撤销 AI 编码 agent 的改动? wechat AI短剧门槛降降降!实测即梦短剧工作室:剧本分镜预演一条龙,伙伴计划长期护航 dev.to 让模型改写文档前,先量化事实保真度 dev.to 回放 153 个 Claude Code 与 Codex 会话,审计 Agent 的生产影响范围 dev.to 银行 77 意图分类最便宜 LLM:GPT-6.1 Terra 每次成功任务 $0.000727 theinformation.com Chesky的副业:Airbnb向CEO新设AI实验室出售IP theverge.com OpenAI 宣布数据中心项目不再与公职人员签署保密协议 dev.to NVIDIA 发布四个开放 Cosmos 3 仿真模型 dev.to 真实 MCP 客户端击穿我们服务器的五种方式 theverge.com Airbnb 正在开发 AI 旅行 agent,计划 2027 年上半年推出 wechat 这可能是美国AI最魔幻的一天。
多元动态
登录 注册
行业动态 dev.to · @b1ackjack12

EMA 衰减不是旋钮:平台期、断崖与 10% 准确率坑

原文 我的收藏

作者复盘此前 EMA 实验只测了 0.999 和 0.99 两个衰减值,且把 0.99 从 SGD 配方直接沿用到 Adam 配方而未重测。新实验在调优后的 Adam 配方上扫描 0.9、0.97、0.99、0.995、0.999、0.9999 六个衰减值,每个跑 10 个种子;六个影子权重在同一次训练中同步更新,一次运行得到原始模型加六个衰减版本的七组评估,实现同种子、同批次、同轨迹的配对比较。

AI推荐理由 个人博客的实验记录,方法描述具体:在同一训练轨迹内并行维护 6 个 EMA 影子权重,用 10 个随机种子做配对比较,并指出此前把 decay 0.99 从 SGD 配方直接搬到 Adam 配方时未重新测量。局限是正文片段在关键结论处被截断,未给出各 decay 的具体准确率数值,也未说明数据集与模型规模,因此“10% 准确率坑”目前只有标题层面的说法,不能当作已验证结论。

62

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容