用 Harbor 在真实任务上测试 Agent——Arize AI 的 Xander Song

Arize AI 工程师 Xander Song 介绍开源 Agent 评测框架 Harbor：在隔离沙箱中用真实数据运行任务，包含 Docker 环境、验证器与奖励、trial/job 编排、在消耗 token 前校验配置的 oracle，以及 ATIF 轨迹。他演示了团队如何在 Daytona 上并行扩展、结合 Phoenix 运行，并用真实任务测试一次引导 Agent 改用新 SQL 工具的 prompt 改动，称工具调用减少且正确性未受影响。

AI推荐理由 Arize AI 工程师 Xander Song 介绍开源 Agent 评测框架 Harbor，涵盖任务、Docker 环境、验证器与奖励、oracle 预检和 ATIF 轨迹，并展示在 Daytona 沙箱与 Phoenix 上规模化运行、用真实任务验证 prompt 改动减少工具调用的案例。属于开发者工具的一手讲解，有具体架构与用例，但效果数据来自演讲方自述，未提供独立验证。