从感觉驱动到生产可用：Laurie Voss 谈 AI Agent 的评测与上线

Arize AI 的 Laurie Voss 以金融分析 agent 为例说明评测方法：LLM 正确性评判器拒绝了全部 13 份报告，原因是 agent 使用实时网络研究而评判器仅凭自身知识打分；把收集到的来源提供给忠实度评估器后，得到 6 份忠实、7 份不忠实的更有用划分。演示用 Claude Agent SDK 构建 agent，并通过 OpenTelemetry 和 OpenInference 将 trace 发送到 Arize AX，从 trace 中发现文件写入失败、报告内容缺失和过度网络搜索；确定性的股票代码检查提供廉价的第一层评估，另构建带明确标准、标注输入、示例和二元标签的可执行性评分表，每个评估器只检查一个维度，便于定位问题。

AI推荐理由 Arize AI 的 Laurie Voss 给出可操作的 agent 评测方法：LLM 正确性评判器误判 13 份报告的原因（agent 用实时网络研究，评判器仅凭自身知识打分），把检索来源交给忠实度评估器后得到 6 忠实/7 不忠实的更有用划分；用 Claude Agent SDK 构建 agent，通过 OpenTelemetry 与 OpenInference 把 trace 送入 Arize AX，从 trace 中发现文件写入失败、报告内容缺失和过度网络搜索，并加入确定性的股票代码检查作为廉价第一层评估，以及带明确标准、标注输入、示例和二元标签的可执行性评分表。方法具体，但为演讲内容，效果未独立验证。