预条件子空间中的舍入：重新设计4-bit AdamW优化器状态量化

量化AdamW优化器状态可减少持久存储，但量化误差会沿矩递推传播并扰动后续自适应更新。作者从“舍入空间”视角重新设计4-bit优化器状态量化，分析表明零附近量化单元的小均值状态误差未必意味着下一步预条件子误差小，并据此提出在预条件子空间计算随机舍入概率的ZIP-SR，以及零排除的ZE-EDEN校准方法。

AI推荐理由 从“舍入空间”视角重新设计AdamW的4-bit优化器状态量化，指出状态空间舍入与预条件子空间舍入会导致不同优化动态，并提出ZIP-SR与ZE-EDEN两种方法。属于训练效率与显存优化的具体技术贡献，对大规模模型训练有实用价值，但摘要未给出完整实验结论。