Fryday #8：10 个 Agent Harness 如何改变同一模型的表现

文章指出在模型固定的前提下，改变外围软件（工具、状态、工作流与执行控制）可显著影响最终得分。文中引用一次 SWE-bench Pro 评测：10 个编码 harness 对同一批 250 个留出任务、两个固定模型共产生 5000 次 rollout，GLM-5.2 的 Pass@1 随 harness 不同从 23.2% 变化到 52.4%，Gemma 4 26B-A4B 从 15.2% 变化到 36.0%，并称排名相关性也出现变化。

AI推荐理由 给出可核对的实验设置与数字：固定两个模型、10 个编码 harness、250 个留出任务、5000 次 rollout，GLM-5.2 的 Pass@1 随 harness 从 23.2% 升至 52.4%，Gemma 4 26B-A4B 从 15.2% 升至 36.0%，说明 harness 对同一模型表现影响显著，对 Agent 与评测领域有较高参考价值；但为个人 newsletter 转述，需以原始评测为准。