SparseDecoding：面向解码感知的剪枝，实现精准高效的 LLM 推理

该论文关注 LLM 推理解码阶段的内存瓶颈延迟问题。现有基于 Hessian 的免训练逐层剪枝方法通常使用预先采集的自然序列计算 Hessian，而解码时模型输入的是自生成 token，二者存在分布偏移，导致剪枝所用激活分布与生成时不一致，损害剪枝模型性能。作者提出 SparseDecoding，针对解码场景进行剪枝优化，并指出多数现有 LLM 剪枝方法主要面向稀疏矩阵乘（SpMM），对解码阶段的实际加速支持有限。

AI推荐理由 针对 LLM 解码阶段内存受限问题提出解码感知剪枝，指出传统 Hessian 剪枝用自然序列计算 Hessian 与解码时自生成 token 存在分布偏移，并据此改进；属于推理加速方向的具体方法创新，但摘要未给出完整实验数据与加速比，效果仍需验证。