编码 Agent 能写功能、跑测试并报告成功，然后功能并不工作

文章讨论编码 Agent 的验证问题：测试通过只说明代码通过了所运行的检查，不代表解决了用户问题、没有改动无关代码或没有引入测试未覆盖的失败。作者引用 FixedBench 研究，该基准包含 200 个人工验证的“问题已修复”任务，正确做法是确认问题不存在并保持代码不变，但在五种模型和四种 harness 上，Agent 仍有 35–65% 的任务做出不必要改动。作者主张把验证作为编码 Agent harness 的一等部分。

AI推荐理由 文章聚焦编码 Agent 的验证缺口：测试全绿不等于解决了用户问题。它引用 FixedBench 研究，称在 200 个人工验证的“问题已修复”任务上，五种模型和四种 harness 仍有 35–65% 的任务做出不必要改动。这是对 Agent 可靠性有具体数据支撑的讨论，对开发 Agent 工具的人有参考价值，但正文片段未展开完整方法论。