在弯曲权重空间中学习：指数线性权重重参数化优化方法

该论文提出一种指数线性权重重参数化方法，旨在应对神经网络操作中的乘法特性，改善优化收敛效果。作者指出传统自适应优化器未能充分处理权重空间的非欧几何结构，而新方法通过变换权重空间，使优化过程更加平坦和高效。

AI推荐理由 这种考虑权重空间几何结构的优化方法若被验证，可能减少大模型训练中的收敛问题与超参数调优开销。但作为预印本，其效果仍需在更多任务上验证。