智能体
arxiv.org ·
@Xiangyang Yin
SpecCompact:基于槽位并行语义推测验证的LLM Agent上下文压缩加速
SpecCompact通过微调小型drafter并行生成结构化摘要槽位,由目标模型逐行验证并修复被拒内容,配合系统优化减少重复上下文处理。在AppWorld和τ³基准、两种目标模型上较Hermes式摘要实现2.04–5.63倍压缩加速,下游评估显示性能权衡依模型与任务而异。
AI推荐理由 针对Agent上下文压缩延迟问题,用小型drafter并行生成结构化摘要槽位并由目标模型逐行校验修复;在AppWorld与τ³上报告2.04–5.63倍压缩加速,属可验证的系统优化,但下游效果存在模型与任务相关权衡。
70
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。