我们如何构建一个能自我改进的 Agent——Zubin Aysola，Weights & Biases

Weights & Biases 的 ARIA Agent 现在参与构建自身。Weave 团队高级软件工程师 Zubin Aysola 现场演示 ARIA 如何从生产 trace 生成离线 eval 任务、定位缺陷（一次缺失的 SDK 调用）、编写修复，并将新版本与生产版本做基准对比。他指出核心挑战在于基准、eval 与 Agent 配置会同步变化，因此测量必须严密：团队让生产与研究 Agent 保持逐字节一致，用 YAML 定义 Agent 变体以便并行运行，提供无约束沙箱，并采用通过/失败与相对比较两种评分方式。他们运行 886 个包含模拟多轮用户的任务，并把每次生产失败与成功都转化为新任务，从而把人力从手写基准转向系统改进。

AI推荐理由 来自 AI Engineer 频道的技术演讲，讲者为 Weights & Biases 的 Zubin Aysola，具体描述了 ARIA Agent 自我改进的闭环：从生产 trace 生成离线 eval 任务、定位缺失 SDK 调用、编写修复并与生产版本对比基准。新信息包括：生产与研究 Agent 保持逐字节一致、用 YAML 定义 Agent 变体并行运行、提供无约束沙箱、采用通过/失败与相对比较两种评分、运行 886 个含模拟多轮用户的任务，并把每次生产失败与成功都转为新任务。局限是摘要未给出改进幅度或可靠性数据。