论文研究
x.com ·
@Gary Marcus (@GaryMarcus)
Gary Marcus 警告：OpenAI 新技术或削弱思维链可监控性，增加 AI 安全风险
Gary Marcus 针对 The Information 关于 OpenAI 新技术的报道发出紧急提醒，指出该技术可能降低思维链（CoT）的可监控性，并引用 2025 年论文《Chain of Thought Monitorability》强调 CoT 监控的脆弱性，呼吁前沿模型开发者考虑开发决策对可监控性的影响。
AI推荐理由 Gary Marcus 引用 The Information 报道，讨论 OpenAI 新技术降低思维链可监控性，并引用 2025 年论文，涉及 AI 安全重要议题，但为评论性内容，非一手信息。
80
浏览 53,626
点赞 642
评论 36
转发 128
正文
紧急：鉴于 @theinformation 关于 OpenAI 新技术减少思维链可监控性的突发新闻，我敦促大家立即（重新）阅读（或至少了解）这篇 2025 年的论文：“思维链可监控性：AI 安全的一个新的且脆弱的机会”（作者包括 @Yoshua_Bengio @BethMayBarnes @ancadianadragan @NeelNanda5 等），https://arxiv.org/abs/2507.11473
摘要说，我同意，“与所有其他已知的 AI 监督方法一样，CoT 监控并不完美，并且允许一些不当行为不被注意到。尽管如此，它显示出前景，我们建议进一步研究 CoT 可监控性，并投资于 CoT 监控以及现有的安全方法。由于 CoT 可监控性可能是脆弱的，我们建议前沿模型开发者考虑开发决策对 CoT 可监控性的影响。”
为了性能提升而牺牲这种可监控性可能会严重加剧未来更危险事件的风险。
查看原文（中文正文为 AI 翻译）
URGENT: In light of the breaking news from @theinformation about OpenAI’s new techniques that reduce Chain of Thought monitorability, I urge everybody to (re)read (or at least be aware of) this 2025 paper, right now: “Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety” (authors include @Yoshua_Bengio @BethMayBarnes @ancadianadragan @NeelNanda5 and many more) , https://arxiv.org/abs/2507.11473
The abstract says, and I concur, “Like all other known AI oversight methods, CoT monitoring is imperfect and allows some misbehavior to go unnoticed. Nevertheless, it shows promise and we recommend further research into CoT monitorability and investment in CoT monitoring alongside existing safety methods. Because CoT monitorability may be fragile, we recommend that frontier model developers consider the impact of development decisions on CoT monitorability.”
Sacrificing that monitorability for performance gains could seriously escalate the risk of future, more dangerous incidents.