如何判断 AI Agent 是否靠谱：用 Phoenix 与 Claude 搭建 Evals 工作坊
Arize AI 开发者关系负责人 Laurie Voss 演示为 Claude 驱动的金融分析 Agent 建立完整评测闭环：用 Arize Phoenix 追踪 Agent 执行、阅读 trace、编写代码 eval 与 LLM-as-judge 评测、检验 judge 本身是否可信、通过实验验证 prompt 修复，并基于证据从 Claude Haiku 4.5 升级到 5.5，最后用 npm test 在 CI 中设置门禁。案例中 Agent 曾输出“116% 分析师认同”的自信错误结论而未被检查发现。
AI推荐理由 Arize AI 开发者关系负责人 Laurie Voss 的实操工作坊，围绕 Claude 驱动的金融分析 Agent 搭建完整 evals 闭环：用 Phoenix 做 tracing、读 trace、写代码 eval 与 LLM-as-judge、检验 judge 可信度、用实验证明 prompt 修复、以证据驱动模型升级并在 CI 中设门禁。具体案例（Agent 输出“116% 分析师认同”）直观说明 Agent 自信错误的检测缺口，对做 Agent 评测与上线门禁的开发者有直接参考价值。局限是内容为会议演讲录像，摘要未给出评测指标或可复现实验数据，效果需自行验证。