随机注意力：重新思考KV缓存驱逐以提高推理效率

该论文提出了一种名为随机注意力的方法，用于优化KV缓存的驱逐策略，以解决大语言模型在长推理过程中的内存瓶颈问题。该方法打破了现有基于评分的缓存压缩模式，为高效推理提供了新的思路。

AI推荐理由 该研究针对大语言模型长推理中KV缓存的内存瓶颈，提出随机注意力这一新范式，若有效可降低推理成本、扩展上下文长度。目前仍在初步验证阶段，对推理系统的效率优化有潜在意义。