智能体
arxiv.org ·
@Yongliang Shen
ViSkill:以演化式视觉原生技能强化VLM智能体
现有技能增强agent多偏文本化,将空间布局与动作-状态对应线性化为语言,丢失关键几何结构。作者提出ViSkill,一种视觉原生技能学习框架,将成功交互编码为VLM agent可直接访问的复合视觉技能卡;检索到的技能同时指导推理与奖励塑形,成功轨迹再蒸馏回技能库,形成技能积累与策略改进相互强化的闭环,并提供可选冷启动机制加速早期学习。在Sokoban、FrozenLake和PrimitiveSkill上评测。
AI推荐理由 提出ViSkill视觉原生技能学习框架,将成功交互编码为复合视觉技能卡供VLM agent使用,检索技能同时指导推理与奖励塑形,成功轨迹再蒸馏回技能库形成闭环。在Sokoban、FrozenLake和PrimitiveSkill上评测,对agent技能学习与策略优化结合有方法价值,但摘要中性能提升数值被截断。
75
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。