你的 Agent 修复可能弄坏别处：Arize AI 谈基于生产 trace 的回归闭环

Arize AI 前线部署工程师 Sofia Jakovcevic 讲解 Agent 为何在运行时而非代码中失败，并介绍基于生产 trace 的五步回归闭环：整理数据集、用评估器打分、跑基线实验、对比变更、在 CI 中门禁合并。她举例称一行 prompt 改动让支持 Agent 安全性提升 17 分、任务完成度下降 17 分，并演示如何用编码 Agent 读取 trace 自我修复，以 Agent 速度闭合循环。

AI推荐理由 Arize AI 前线部署工程师分享的 Agent 运行时回归治理方法，核心是来自生产 trace 的五步回归闭环（构建数据集、评估器打分、基线实验、对比变更、CI 门禁合并），并给出一个具体案例：一行 prompt 改动使支持 Agent 安全性提升 17 分、任务完成度下降 17 分。属于可操作的工程实践，对 Agent 开发与评测有参考价值；但内容为会议演讲，效果数据仅来自演讲者自述，缺少可复现细节与独立验证，且未提供完整演示数据。