智能体
x.com ·
@elvis (@omarsar0)
HarnessDev：让LLM自我进化Agent框架
ByteDance Seed的论文提出HarnessDev方法，通过评分模型构建的harness而非任务完成度来进化，实验显示在写作和ML实验领域可媲美人类，但代码和搜索领域仍有差距，且进化不稳定。
AI推荐理由 介绍ByteDance Seed的HarnessDev论文，提出新方法，包含实验细节和结果，信息密度高，对Agent研究有重要价值。
80
浏览 62,364
点赞 467
评论 19
转发 71
正文
来自字节跳动Seed的精彩论文。
如果你对自我进化的智能体框架感到好奇，这篇论文值得一读。
（收藏它）
提出的方法HarnessDev，不再根据模型完成的任务来评分，而是根据它构建的框架来评分。
智能体从一个弱小但可运行的种子以及少量案例开始，然后构建一个完整的执行系统。
第二阶段将该框架交回，并要求根据下游反馈进行改进。
两个阶段都根据能力和执行令牌成本进行评分，因此对效率和花费有意识。
实验包括六个创作者LLM、四个领域、2207个保留的下游实例。
结果按领域划分。
生成的框架在代码、搜索和研究方面仍远落后于成熟的人工工程参考，但在写作和机器学习实验方面则匹配或超越它们。
进化带来了收益，但这些收益不稳定，且仅部分转移到保留任务上，并且它们高度依赖于运行该框架的模型。
论文：https://arxiv.org/abs/2609.01437
与论文聊天：https://academy.dair.ai/papers/harnessdev-can-llms-create-and-evolve-their-own-agent-harness-2609.01437
查看原文（中文正文为 AI 翻译）
Banger paper from ByteDance Seed.
If you are curious about self-evolving agent harnesses, this one is worth your time.
(bookmark it)
The proposes method, HarnessDev, stops scoring a model on the tasks it completes and scores it on the harness it builds.
The agent starts from a weak but runnable seed plus a handful of cases, then builds a full execution system.
A second stage hands that harness back and asks it to improve on downstream feedback.
Both stages are scored on capability and on execution-token cost, so there is awareness of efficiency and spend.
The experiments include six creator LLMs, four domains, 2,207 held-out downstream instances.
The result splits by domain.
Generated harnesses stay well behind mature human-engineered references on code and on search and research, while matching or beating them on writing and machine-learning experimentation.
Evolution produces gains, but they are unstable and transfer only partially to held-out tasks, and they depend heavily on which model runs the harness.
Paper: https://arxiv.org/abs/2609.01437
Chat with Paper: https://academy.dair.ai/papers/harnessdev-can-llms-create-and-evolve-their-own-agent-harness-2609.01437