面向 Agent 的缓存工程

LLM Agent 轨迹变长后，KV cache 的 I/O 与存储成为主要开销，且轨迹可能超出上下文长度。已有上下文工程通过裁剪或摘要历史来缩小缓存，但会破坏前缀缓存并触发昂贵的重新预填充。论文提出 cache engineering：Agent 可直接用 drop 将选定缓存排除出未来注意力、用 repos 调整保留键的位置编码，在不修改轨迹、不重新预填充的前提下控制活跃 KV cache。

AI推荐理由 针对 LLM Agent 长轨迹中 KV cache I/O 与存储成为主要成本的问题，提出 cache engineering：用 drop 将选定缓存排除出后续注意力、用 repos 调整保留键的位置编码，从而在不修改轨迹前缀、不重新预填充的情况下控制活跃缓存。思路具体且对 Agent 推理成本有实际意义；摘要未给出精度与延迟的量化结果。