智能体
dev.to ·
@yatuk
看似无害的 README,模型却读到了隐藏指令
文章用一个 README 示例说明间接提示注入:README 末尾的 HTML 注释对人不渲染,但 agent 调用 read_file("README.md") 时,原始文本(含注释)会作为工具结果进入对话,模型在下一轮请求中会像对待其他内容一样读取它。作者指出,多数输入过滤只检查用户输入,而 agent 循环中一次模型调用可能同时携带用户消息、工具结果(文件、网页、搜索结果、API 响应)以及上一轮工具参数,因此仅过滤提示词难以覆盖这类注入路径。
AI推荐理由 文章以 README 中 HTML 注释被 agent 读取为例,具体说明间接提示注入(indirect prompt injection)的机制:恶意指令通过工具结果(文件、网页、搜索结果、API 响应)进入模型上下文,而非用户输入。其价值在于指出 agent 循环中输入过滤的盲区——过滤用户消息无法覆盖工具返回内容。局限是正文片段仅给出机制描述,未提供实测数据、防御方案或漏洞验证,属于概念性科普而非可验证研究。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。