智能体
arxiv.org ·
@Yuzhang Shang
RV-ICL:面向机器人 Agent 的递归视频上下文学习
论文指出,编排冻结视觉-语言-动作(VLA)策略的 LLM Agent 通过文本记忆跨回合改进,但文本只记录做了什么、不记录怎么做;完整演示视频会拖慢每轮推理,固定关键帧又丢失决定抓取成败的接触细节。作者提出免训练的 Recursive Video In-Context Learning(RV-ICL),把演示视频转为由子事件(如抓取、释放)构成的层级结构,层级从全任务关键帧细化到阶段、时刻和短片段,并通过只读工具暴露给 Agent:规划前读取粗粒度层级,执行中在需要更多细节时重新进入层级。
AI推荐理由 提出免训练的 RV-ICL 方法,将演示视频组织为可导航的层级结构(关键帧、阶段、时刻、短片段),通过只读工具供 LLM Agent 在规划与执行时按需读取,解决完整视频拖慢每轮、固定关键帧丢失接触细节的问题。思路具体且针对 VLA 策略编排的实际痛点,但摘要未给出实验数据与效果验证。
74
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。