权重衰减 0.05：Adam 中灾难，AdamW 中最优

作者审计从 SGD 继承到 Adam 的 weight_decay=5e-4，在 CIFAR ResNet18 上训练 10 轮，对 Adam 与 AdamW 各设四档权重衰减（跨 2.5 个数量级）加零对照，每档 5 个种子，共 45 次运行，并与各自 wd=0 基线在同种子下比较。文章指出“权重衰减”实为两种机制：Adam 将 wd*w 加入梯度并经自适应项除以梯度 RMS，AdamW 则解耦、直接从权重减去。

AI推荐理由 文章用 45 次运行（Adam 与 AdamW 各四档权重衰减加零对照，每档 5 个种子，CIFAR ResNet18 训练 10 轮）检验从 SGD 继承来的 weight_decay=5e-4 是否适用，并解释 Adam 中衰减进入梯度、AdamW 中解耦衰减的机制差异。实验设计清晰、有对照，但为个人博客、单一数据集与短训练，结论外推需谨慎。