最新资讯
dev.to 在信任 AI 生成的测试用例前,如何逐条复核 unite.ai Franklin Templeton 构建 AI 研究工作流以揭示风险 techxplore.com AI 助力寻找更优的钛合金 3D 打印工艺参数 engadget.com Perplexity 推出“teammates”日常工作任务 AI agent computerworld.com 别提数据中心:OpenAI 改称“compute campuses” theguardian.com 俄美试图阻止就自主武器制定具有约束力的规则 bloomberg.com Nvidia 加强东南亚芯片追踪以打击走私 thestack.technology 模型路由需求升温,Agent Router 推出开源替代方案 www.youtube.com Google DeepMind 的 Philipp Schmid:AI 同事需要具备的七个要素 unite.ai Cashfree 为 AI Agent 的托管结账加入 WebMCP 工具 dev.to 我们在 DolphinBench 上测试记忆检索:纯关键词搜索暴露了自身回归 dev.to 别再把 Agent 写成 while 循环,把它建模为状态机
多元动态
登录 注册
智能体 www.youtube.com · @AI Engineer

AI 安全工程师基础与认证:Snyk 的 Micah Silverman 谈 agent 安全

原文 我的收藏

Micah Silverman 用一个 CTF 练习说明 AI 风险与传统应用安全控制的联系:学生 chatbot 拒绝透露成绩,但这一拒绝本身暴露了它能访问成绩;仅在 system prompt 中要求保密并不能真正隔离数据,而受限的数据库视图才能把数据移出模型可访问的上下文。六模块课程覆盖 OWASP 风险、shadow AI、威胁建模、MCP 安全、安全 agent 开发和红队测试,直接与间接 prompt injection、被投毒的工具和过度代理最终都回到同一问题:系统实际能访问和执行什么。现场 EVO 演示盘点模型、数据集、MCP server 和 skill,并添加策略立即标记项目中已存在的被禁模型;Silverman 还将其扩展为构建门禁,并讨论当 prompt、检索内容和生成输出跨越信任边界时威胁建模的变化。

AI推荐理由 以学生 chatbot 拒绝透露成绩却暴露其可访问成绩的 CTF 练习切入,把 prompt injection、MCP 安全、过度代理等 AI 风险映射到应用安全控制,并演示 EVO 对模型、数据集、MCP server 和 skill 的清单与策略告警,对 agent 安全落地有参考价值。局限是课程与产品演示性质较强,未给出漏洞利用细节或独立验证结果。

70

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容