LeapQuant：面向线性注意力的精确循环状态量化

近期 LLM 越来越多采用以线性注意力替代标准注意力的混合设计，如 Gated DeltaNet（GDN）和 Kimi Delta Attention（KDA）。它们将上下文压缩为固定大小的循环状态，大幅降低长上下文处理成本，但反复读写该状态仍是主要推理瓶颈。量化是降低该成本的天然手段，却会因舍入误差累积和状态中离群行列的存在而显著损害模型质量。为此作者提出 LeapQuant，一种免训练方法，在 8-bit 循环状态量化下实现接近无损的性能：为缓解误差累积，提出 per-window 量化，跳过一段 token 窗口、仅在窗口末端量化一次状态，窗口内输出由固定低比特状态与高精度缓冲更新共同计算。

AI推荐理由 面向 Gated DeltaNet、Kimi Delta Attention 等混合线性注意力架构，提出免训练 LeapQuant，在 8-bit 循环状态量化下接近无损。核心是 per-window 量化：跳过一段 token 窗口、仅在窗口末端量化一次状态，窗口内用固定低比特状态加高精度缓冲更新计算输出，以缓解舍入误差累积和状态中的离群行列问题。方法具体、面向实际推理瓶颈，但摘要未展示完整评测结果。