同一基准 62% 对 58%：跑多少任务差距才有意义？

两个团队在同一模型和脚手架上分别跑 100 和 250 个任务，得到 62% 与 58%。文章引用 Wei-Jung Huang 的论文（arXiv:2607.12338，KDD 2026 Agentic AI 评测研讨会），通过重排三个公开代理基准的任务顺序，检验在 15%、25%、50% 等节点做出的判断是否与全量一致，涉及 SWE-bench Lite、SWE-bench Verified、AppWorld 和 tau-bench。

AI推荐理由 文章讨论代理基准测试中 62% 与 58% 的差距是否可信，引用 KDD 2026 研讨会论文对 SWE-bench Lite、SWE-bench Verified、AppWorld、tau-bench 的任务顺序重排分析，方法具体、可验证，对评测实践有直接参考价值。