SGD-KV：基于摘要引导的KV缓存压缩方法

大型语言模型在处理长上下文时，键值缓存大小线性增长导致内存瓶颈。现有压缩方法常依赖简单启发式规则，未充分考虑信息的不同作用。该论文提出SGD-KV方法，利用摘要来指导KV缓存压缩，从而在减少内存使用的同时保留关键信息。

AI推荐理由 该研究针对长上下文推理中KV缓存内存瓶颈，提出用摘要引导压缩，在降低内存占用时保留关键信息。对AI工程实践而言，这有助于降低长上下文部署的硬件成本，提升推理吞吐，尤其适用于超长文档处理和多轮对话场景。