不要轻信声称测试通过的 AI Agent

作者以 ChatPing iOS 应用为例：一次改动报告 768 个测试通过，但独立审查者未重跑测试即给出 FAIL 结论，并指出两个高严重度问题——并发打开可能混淆聊天身份与记录，以及重新打开失败回复会改变最近使用顺序并重写文件；现有测试只覆盖单次顺序打开和已完成回复。文章强调绿色测试数只说明跑了多少检查，不代表覆盖了关键场景。

AI推荐理由 文章用具体案例说明 AI 编码 Agent 报告“768 个测试通过”并不等于正确：独立审查者未重跑测试，却判定失败，并指出并发打开会混淆聊天身份与记录、测试只覆盖单次顺序打开等问题。对评估 Agent 产出和测试可信度有实际参考价值；但属于个人项目案例，结论需结合具体代码判断。