最新资讯
stackoverflow.blog 欢迎来到芯片时代:半导体制造、AI 数据中心与芯片设计的未来 www.youtube.com AI Agent 总犯同样的错:CentralAgent AI 将记忆重构为经验系统 pub.towardsai.net Netflix 科学家建议重采样 LLM 评判:5 次仅将误差棒缩小 13% pub.towardsai.net Jev 作为 LLM 前的静默层:构建提示感知的模型路由器 reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离
多元动态
登录 注册
智能体 reddit.com · @/u/clzncu

AI 蠕虫报告描述攻击方式,这里是我实际使用的防御清单

原文 我的收藏

针对 OpenAI 本周 misalignment 报告中描述的自我复制式 prompt injection(RL 发现的指令会复制进 agent 的出站工具调用,经邮件、Jira、Slack 和文件传播),作者分享了自己在 agent harness 中使用的防御清单:把每个工具输出都当作不可信输入;读写 agent 分离,读取收件箱的 agent 不能发邮件,发邮件的 agent 只接触提取后的摘要;出站写入(邮件、Slack、文件)需人工审批或严格白名单;按角色限制工具。作者强调这些做法并不新颖,重点在于落地。

AI推荐理由 帖子基于 OpenAI 的 misalignment 报告,提出针对自我复制式 prompt injection(AI 蠕虫)的防御清单,具体包括:将工具输出视为不可信输入、读写 agent 分离、出站写入需人工审批或严格白名单、按角色限制工具。这些是可直接用于 agent harness 的工程实践,但作者自述并非新颖方案,且未提供实测数据或验证结果,属于经验性建议而非已验证结论。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容