Anthropic 自动化红队实验发现训练数据监控盲区

Anthropic Alignment Science 团队公布一项实验：不再由人类红队寻找训练数据监控器的弱点，而是让数千个 Claude agent 自动生成最多 5000 条样本的微调数据集，使小型研究模型出现失准行为同时仍能通过类似生产环境的监控器。agent 可检查目标监控器、通过微调实测数据集，并经共享日志复用前序成果；单数据集被标记行数超过 10% 或超过 100 行即判失败。每次完整搜索最终都找到可绕过监控的数据集，且有效手法多将行为藏于虚构与角色扮演情境，而非显性有害指令。

AI推荐理由 转述 Anthropic Alignment Science 团队实验：用数千个 Claude agent 自动生成微调数据集以绕过训练数据监控，agent 可查看目标监控器、实测微调效果并通过共享日志迭代；每次完整搜索最终都找到可绕过样本，且绕过方式多藏在虚构与角色扮演中而非显性有害指令。信息密度高、机制具体，对 AI 安全与对齐评测有实际参考价值；但为 Reddit 转述，未提供原文链接与可核验细节，具体日期与规模需以原论文为准。