别轻信你的 AI Agent：像科学家一样测试它们——Omni Analytics 的 Stephanie Jarmak

Stephanie Jarmak 曾在 Sourcegraph 构建大型编码基准，现于 Omni Analytics 负责 evals。她指出多数 Agent 评测容易被误读：仅更换 harness 就能让结果变动 30%；公开基准适合用于初筛而非决策；应像设计实验一样构建自建评测，包括真实任务、重复运行、完整 trace 和与目标匹配的度量。她还讨论能真正阻断工作的质量门禁、人工评审瓶颈、不可信的 Agent 记录，以及为何生产环境才是最终检验。

AI推荐理由 前天文学家、现 Omni Analytics 评测负责人 Stephanie Jarmak 分享 Agent 评测方法论：仅更换 harness 就使结果变化 30%，公开基准只适合初筛，应像做实验一样设计自建评测（真实任务、重复运行、完整 trace、匹配目标的度量），并讨论质量门禁、人工评审瓶颈和不可信的 Agent 记录。对构建 Agent 评测体系的团队有直接参考价值；具体数字来自演讲者自述，摘要未提供可复核的实验细节。