智能体
arxiv.org ·
@Jens Ernstberger
语言是Agent护栏的安全面
步级护栏在每次工具调用前判断智能体下一步动作是否安全,但用户请求语言多样,而护栏提示及其训练评测基准均为英文。论文研究护栏判定是否依赖请求语言:基于TS-Bench AgentDojo-Traj的1220条标注步骤构建LinguaGuardBench,仅将用户指令翻译为德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,工具调用、观测与标签保持逐字节一致,使判定变化可归因于语言;另设六种英文改写与空白占位对照,并对托管护栏重复运行三次以测量噪声。在19个护栏(从前沿API到4B开源模型及四个专用agent护栏)上,多数开源、小型与专用护栏在翻译下的判定变化超出自身噪声下限。
AI推荐理由 提出agent安全护栏的语言敏感性这一被忽视的安全面:用户请求语言多样,而护栏提示与训练评测基准均为英文。基于TS-Bench AgentDojo-Traj的1220条标注步骤构建LinguaGuardBench,仅翻译用户指令为德、法、土、斯瓦希里和阿姆哈拉语,保持工具调用、观测与标签逐字节一致,从而将判定变化归因于语言。测试19个护栏(含前沿API、4B开源模型与四个专用agent护栏),发现多数开源、小型与专用护栏在翻译下判定变化超出自身噪声下限。方法设计严谨,对agent安全部署有直接警示意义。
75
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。