研究提出VestigeKV：无位置编码MLA缓存可自带淘汰信号

该论文发现，在无位置编码的MLA模型中，KV缓存压缩若依赖观测到的注意力会失效，因为token重要性在查询到来前尚未体现。为此，研究者提出VestigeKV方法，利用缓存中一个残留分支的信号来指导淘汰，从而在长上下文场景下提升检索准确率。

AI推荐理由 随着DeepSeek等使用MLA（多头潜在注意力）的长上下文模型普及，现有基于注意力历史的KV缓存压缩策略将失效；VestigeKV利用缓存中的残余分支信号来淘汰无用token，可在不损失检索精度的前提下降低显存占用，对长上下文服务降本有直接价值。