大模型
x.com ·
@simonw
Simon Willison 推测 Anthropic 的提示注入防御可能基于 CaMeL 论文
Simon Willison 引用 David Singleton 关于分层防御提示注入的言论，包括模型训练抵抗、标记不可信来源、确定性代码检查结果以及集成分类器。Willison 推测这可能是在实现 DeepMind CaMeL 论文的变体，但未提供具体实现细节。
AI推荐理由 Simon Willison 引用 David Singleton 关于分层防御提示注入的言论，并推测其可能实现 DeepMind CaMeL 论文的变体。内容涉及 Agent 安全防护的具体技术思路，对开发者有参考价值，但仅为推测，缺乏细节验证。
70
浏览 21,328
点赞 68
评论 44
转发 5
正文
"确定性代码检查结果"听起来他们可能正在实现 DeepMind CaMeL 论文的一个变体
simonwillison.net/2025/Apr/11/ca…
David Singleton
@dps
我们特别关注的一个威胁是提示注入，我们分层处理它。模型经过训练以识别并抵抗它。框架标记任何来自不可信来源的内容。确定性代码检查结果。并且一组分类器在代理无法触及的地方运行。
🔗 查看引用的推文
查看原文（中文正文为 AI 翻译）
"Deterministic code checks the result" sounds like they might be implementing a variant of the DeepMind CaMeL paper
simonwillison.net/2025/Apr/11/ca…
David Singleton
@dps
One threat we’re particularly focused on is prompt injection, and we handle it in layers. The model is trained to recognize and resist it. The harness marks anything coming from an untrusted source. Deterministic code checks the result. And an ensemble of classifiers runs where the agent can't reach them.
🔗 View Quoted Tweet