面向快速稳定零阶训练的探针空间预条件

反向传播（BP）主导深度学习，但带来巨大显存开销：例如以 Adam 训练 OPT-30B 约需 600GB GPU 显存（假设批大小 8、序列长度 2048）。零阶优化（ZOO）以推理模式训练（同模型约需 60GB）：不存激活、不求梯度、无优化器状态，但其收敛一直落后于 BP。本文评估两种缩小差距的方法。首先表明，将训练算力预算从多步重分配到更大有效批大小、更多扰动（探针）但更少步数，可使 1SPSA（Spall, 1992）以更少训练算力超过 MeZO（Malladi et al., 2023）等零阶方法。其次提出 1.5-SPSA，在 1SPSA 基础上每步增加一次“干净”前向传播，在探针空间计算廉价对角预条件器，通过降低高曲率方向权重改善收敛速度与收敛性。

AI推荐理由 针对零阶优化（ZOO）训练收敛落后于反向传播的问题，评估两种缩小差距的方法：一是把训练算力从多步重分配到更大有效批大小与更多扰动但更少步数，使 1SPSA 以更少训练算力超过 MeZO；二是提出 1.5-SPSA，在每步增加一次“干净”前向传播以在探针空间计算廉价对角预条件器，通过降低高曲率方向权重改善收敛速度与收敛性。给出 OPT-30B 显存对比（Adam 约 600GB vs 推理模式约 60GB），方向明确但摘要未给完整收敛结果。