STEPQuant：Delta-Rule 循环状态量化中误差何时何地重要

线性注意力用固定大小的循环状态替代不断增长的 KV 缓存，但在并发服务下这些持久状态会成为显著内存瓶颈。直接低精度量化循环状态常导致严重精度下降，因为量化误差会随状态更新逐步传播。作者发现误差影响取决于两个互补维度：时间上，长寿命记忆中的误差会持续多个解码步；空间上，不同 key 行的误差对模型输出影响不同，且状态幅度在行和列方向差异显著。据此提出 STEPQuant，一种面向 Delta-rule 循环状态的时空训练后量化框架，按误差幅度和记忆寿命分配精度，并基于状态分布与 key 行对输出误差的影响联合拟合 key 行和 value 列 scale。

AI推荐理由 针对 Delta-rule 循环状态量化提出 STEPQuant，指出量化误差在时间（长寿命记忆跨多步解码）和空间（不同 key 行对输出影响不同、状态幅度行列差异大）两个维度影响不同，据此分配精度并联合拟合 key 行与 value 列 scale。属于线性注意力推理内存瓶颈的具体方法创新，但摘要未给出完整实验数据，效果需看正文。