面向测试时 AI4AI 的 Agent Harness 设计元技能学习

Agent 性能既取决于推理能力，也取决于其行动环境。本文研究测试时 AI-for-AI：在 Builder 与 Target 两者权重均固定的条件下，Builder 如何学会为 Target 构建更好的执行环境。为使 Builder 的经验可复用，作者引入 Meta-Skill，即规定何时需要支持、应提供何种资源的原则。Builder 从开发集上 Target 的执行反馈中学习这些原则，再用冻结的技能库为未见任务构建 harness。在 Harness-Bench 和 NewtonBench 上，完整技能库的元技能相比无技能构建将宏平均性能提升 8.95 个百分点，相比直接把同一技能库交给 Target 提升 12.02 个百分点。当同一模型同时担任两个角色时仍有增益，提示可通过学习构建更好环境实现系统级自改进。

AI推荐理由 研究测试时 AI-for-AI：在 Builder 与 Target 权重均冻结的前提下，Builder 如何为 Target 构建更好的执行环境。提出 Meta-Skill——规定何时需要支持、提供何种资源的原则，Builder 从开发集上 Target 的执行反馈中学习这些原则，再用冻结的技能库为未见任务构建 harness。在 Harness-Bench 和 NewtonBench 上，完整技能库相比无技能构建提升宏平均 8.95 个百分点，相比直接把同一技能库交给 Target 提升 12.02 个百分点。属于 Agent 环境设计与自改进方向的具体实证，但结论限于所测基准。