智能体
arxiv.org ·
@Zeyuan Chen
CLIFT:面向 Web Agent 训练与测试时扩展的保形自验证
论文指出,开源 Web Agent 已能执行真实浏览器任务,但用强化学习训练仍依赖弱监督:二元任务成功信号过于稀疏、难以做信用分配,而前沿语言模型评判器每步调用成本过高且无法假定部署时可用。作者提出 CLIFT,围绕保形自验证构建训练与测试时扩展方法:训练时 Agent 对自身 rollout 回答自然语言验证问题,Compositional Conformal Certifier 只保留 URL 条件证据与训练时评判器一致的信号,通过极性感知提升分配带符号信任权重,并将验证器分数融入每步奖励且不削减评判器基线;测试时冻结同一认证问题库,作为结构化证据用于 Conformal Trajectory Selection。
AI推荐理由 针对 Web Agent 强化学习依赖弱监督(二元任务成功过稀疏、前沿模型评判器每步调用过贵且部署时不可用)的问题,提出基于保形自验证的 CLIFT 训练与测试时扩展方法,包含 Compositional Conformal Certifier 与 Conformal Trajectory Selection。方法设计具体,但摘要未给出基准结果。
73
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。