智能体
arxiv.org ·
@Wenxi Gan
用任务进度学习行动:从紧凑教师监督中蒸馏小型 Agent
论文提出 Task-Progress Distillation(TPD),一种离线蒸馏方法:将教师演示中的每个动作与描述当前任务阶段的简短标签配对,学生模型学习这些紧凑目标,并通过联合评分可接受的阶段-动作对来选择动作,由确定性执行器在环境中执行。在 ALFWorld 上,使用 404 条演示训练的 1.7B 学生模型在 TPD 或仅动作监督下达到 72.4% 的平均未见任务成功率,而采用约束动作选择的推理训练学生为 48.3%。在 200 条演示时,显式阶段标签带来额外收益,成功率从仅动作监督的 48.0% 提升至 67.7%。
AI推荐理由 提出 Task-Progress Distillation(TPD)离线蒸馏方法,将教师轨迹中的动作与简短任务阶段标签配对,学生通过联合评分阶段-动作对来选择动作。在 ALFWorld 上,1.7B 学生模型用 404 条演示达到 72.4% 未见任务成功率,与仅动作监督持平,而推理训练的约束动作选择学生为 48.3%;在 200 条演示时显式阶段标签将成功率从 48.0% 提升到 67.7%。新信息在于用紧凑阶段标签替代冗长推理链的蒸馏设计及其在低数据量下的增益,局限是仅在 ALFWorld 单一环境验证,摘要未给出更多任务或模型规模结果。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。