TACO：面向 LLM 微调的三值绝对最大值列一稀疏优化器

论文针对 LLM 全参数微调中优化器状态显存开销大的问题，提出 TACO（Ternary Absolute-max Column-wise One-sparse optimizer）。它沿用 Muon 的算子范数最速下降视角，在维度归一化的 1→1 算子范数下，通过选取二维权重矩阵每列最大幅值元素的符号来计算精确最速下降方向，目标是在不牺牲精度与计算效率的前提下降低优化器显存。

AI推荐理由 针对 LLM 全参数微调中优化器状态显存开销问题，提出 TACO，在 Muon 的算子范数最速下降视角下，通过选取二维权重矩阵每列最大幅值元素的符号，在维度归一化的 1→1 算子范数下计算精确最速下降方向。属于优化器与训练效率方向的具体方法创新，但摘要未给出实验数据，效果尚待验证。