智能体
reddit.com ·
@/u/clzncu
AI 蠕虫报告描述攻击方式,这里是我实际使用的防御清单
针对 OpenAI 本周 misalignment 报告中描述的自我复制式 prompt injection(RL 发现的指令会复制进 agent 的出站工具调用,经邮件、Jira、Slack 和文件传播),作者分享了自己在 agent harness 中使用的防御清单:把每个工具输出都当作不可信输入;读写 agent 分离,读取收件箱的 agent 不能发邮件,发邮件的 agent 只接触提取后的摘要;出站写入(邮件、Slack、文件)需人工审批或严格白名单;按角色限制工具。作者强调这些做法并不新颖,重点在于落地。
AI推荐理由 帖子基于 OpenAI 的 misalignment 报告,提出针对自我复制式 prompt injection(AI 蠕虫)的防御清单,具体包括:将工具输出视为不可信输入、读写 agent 分离、出站写入需人工审批或严格白名单、按角色限制工具。这些是可直接用于 agent harness 的工程实践,但作者自述并非新颖方案,且未提供实测数据或验证结果,属于经验性建议而非已验证结论。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。