从感觉驱动到生产：评估并交付可用的 AI Agent 201——Laurie Voss, Arize AI

Laurie Voss 用一个玩具店 agent 的失败案例展开：用户请求 6 美元以下的玩具，但搜索工具没有价格过滤。他把这个缺失功能变成改进闭环的现场演示——加入可观测性、检查发生了什么、找到问题，再让编码 agent 修复。Wonder Toys 应用起初没有 trace 流入 Arize AX，工作坊仓库中安装的技能帮助编码 agent 添加 tracing 并查询产生的数据。诊断范围超出异常和 HTTP 错误，延伸到搜索质量，包括空结果和过窄过滤。加入价格过滤后，Voss 重放购物请求并在 trace 视图中检查新的输入输出。他进一步指出，当应用产生数百万条 trace 时逐条阅读不再可行；evals 把行为压缩为分数和解释，但人工解读每个失败仍可能成为瓶颈，并介绍 Signal 作为另一层手段。

AI推荐理由 用玩具店 agent 因搜索工具缺少价格过滤而失败的案例，演示从可观测性、查看 trace、定位问题到让编码 agent 修复的改进闭环，并指出诊断需超越异常和 HTTP 错误，覆盖空结果和过窄过滤等搜索质量问题。同时提出当应用产生数百万条 trace 时逐条阅读不再可行，evals 将行为压缩为分数和解释，但人工解读每个失败仍可能成为瓶颈。对 agent 生产化与评测实践有参考价值，属经验分享，缺少量化结果。