智能体
arxiv.org ·
@Nils Lukas
AdvSim2Real:在 Web 世界模型中训练抵御自适应提示注入的 Web Agent
论文关注 Web Agent 读取第三方页面时可能被植入指令劫持目标的问题,指出现有防御在训练前固定注入样本,难以抵御自适应攻击者。作者提出 AdvSim2Real,在冻结的 Web 世界模型内协同演化任务课程、注入攻击者与 Agent:课程奖励 Agent 约一半成功率的任务,攻击者仅在把判定成功翻转为失败时获奖励。摘要称模拟器训练使 4B Agent 在有无攻击下完成率均提升并保持鲁棒(摘要截断)。
AI推荐理由 针对 Web Agent 面临的页面注入攻击,提出 AdvSim2Real:在冻结的 Web 世界模型中协同演化任务课程、注入攻击者和 Agent,课程奖励约半数成功率任务,攻击者仅在成功翻转为失败时获奖励。摘要称在模拟器中训练使 4B Agent 在有无攻击下完成率均提升并保持鲁棒(摘要截断)。新信息是把自适应攻击者与任务课程共同演化,弥补固定注入微调和固定任务对抗训练的不足;局限是结果来自模拟器,真实网页迁移效果未在摘要中给出。
80
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。