最新资讯
nytimes.com 美众议院共和党领袖要求 Nvidia 黄仁勋闭门简报 pub.towardsai.net 忘掉我:为记忆而设计的系统中的删除难题 unite.ai Airbnb 计划推出覆盖规划、预订与客服的 AI 旅行 agent techcrunch.com Airbnb 称将于 2027 年上半年推出 AI 旅行代理 theverge.com Perplexity 推出面向工作的 AI 代理 Teammates unite.ai Five9 拟以约3.25亿美元收购 Level AI,扩展客服AI分销渠道 unite.ai Serve Robotics 向物理AI公司开放车队软件与数据 wired.com 聊天机器人广告时代到来:哪些做法有效、哪些无效 techmeme.com METR:Anthropic 删减了评估报告中最具信息量的证据 unite.ai 微软借助 AI 修复更多 Windows 漏洞,但补丁部署仍滞后 bloomberg.com Cloudflare 上调年度利润预期,AI 推动网络需求 theinformation.com Anthropic 为 Claude 推出个人理财功能
多元动态
登录 注册
智能体 arxiv.org · @Jens Ernstberger

语言是Agent护栏的安全面

原文 我的收藏

步级护栏在每次工具调用前判断智能体下一步动作是否安全,但用户请求语言多样,而护栏提示及其训练评测基准均为英文。论文研究护栏判定是否依赖请求语言:基于TS-Bench AgentDojo-Traj的1220条标注步骤构建LinguaGuardBench,仅将用户指令翻译为德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,工具调用、观测与标签保持逐字节一致,使判定变化可归因于语言;另设六种英文改写与空白占位对照,并对托管护栏重复运行三次以测量噪声。在19个护栏(从前沿API到4B开源模型及四个专用agent护栏)上,多数开源、小型与专用护栏在翻译下的判定变化超出自身噪声下限。

AI推荐理由 提出agent安全护栏的语言敏感性这一被忽视的安全面:用户请求语言多样,而护栏提示与训练评测基准均为英文。基于TS-Bench AgentDojo-Traj的1220条标注步骤构建LinguaGuardBench,仅翻译用户指令为德、法、土、斯瓦希里和阿姆哈拉语,保持工具调用、观测与标签逐字节一致,从而将判定变化归因于语言。测试19个护栏(含前沿API、4B开源模型与四个专用agent护栏),发现多数开源、小型与专用护栏在翻译下判定变化超出自身噪声下限。方法设计严谨,对agent安全部署有直接警示意义。

75

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

Jens Ernstberger 语言是Agent护栏的安全面 10-16 · 原文发布
← 返回精选动态 原文

更多内容