智能体
arxiv.org ·
@Benjamin Van Durme
FOCUS:面向长程语言模型 Agent 的主动 critic 学习
针对稀疏结果奖励下长程 agent 难以对早期动作做信用分配的问题,FOCUS 通过 rollout 控制器从预期最能降低 critic 估计误差的状态采样续写,实现 critic 的主动学习;精化后的价值估计以 TD(λ) 优势为相邻状态间片段打分,采样证据同时作为 critic 训练目标,并通过模块化上下文管理接口将上下文管理与 rollout 分配解耦。
AI推荐理由 针对长程语言模型 agent 的稀疏奖励与信用分配问题,FOCUS 用选择性分支让 critic 主动采样高信息量状态续写,降低中间价值估计成本,并以 TD(λ) 优势为片段打分。方法思路清晰,但摘要未给出基准与提升幅度,效果待正文验证。
74
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。