智能体
arxiv.org ·
@Tan Yu
能干的教师、短视的打分器:面向 Agent 在线策略蒸馏的无奖励教师修复
论文指出 agentic on-policy distillation 的失败不能仅用复合误差解释:在学生偏离教师最多的状态上,教师接管仍能完成任务,但学生按 token 分数训练后仍耗尽轮次。作者将其归因于下一 token 打分的短视性——教师看不到回合终点,因而放行结果型 RL 会以零奖励惩罚的拖延动作,并提出无奖励的教师修复思路。
AI推荐理由 对 agentic on-policy distillation 的失败原因提出新解释:教师逐 token 打分存在短视,会放过结果型 RL 会惩罚的拖延动作,而不仅是复合误差。属于对现有方法假设的修正,对 Agent 训练有参考价值;但摘要未给出完整实验数据与量化结论,结论仍需正文验证。
70
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。