进阶工作坊：用 Braintrust 掌握 AI 可观测性

Doug Guthrie 以 968 条客服 trace 为例，展示如何将 Braintrust 可观测性用于 Agent 改进：从基于 OpenAI Agents SDK 的 Python 客服 Agent 出发，加入 tracing、建立离线评估基线并发布自定义 scorer；在线自动化对流入 trace 打分，Topics 按任务、情绪和工作流问题聚类，自定义 facet 捕捉默认分类遗漏的失败。随后用内置 Loop 助手以 SQL 查询 trace 数据，把代表性失败样本回灌评估数据集以验证后续改动。

AI推荐理由 Braintrust 的实操工作坊，用 968 条客服 trace 演示如何为基于 OpenAI Agents SDK 的 Python Agent 接入 tracing、建立离线评估基线、发布自定义 scorer，并用在线自动化与 Topics 聚类定位订单查询失败和升级调用中断等问题，再把代表性失败样本回灌评估数据集。对做 Agent 可观测性与评估的开发者有具体方法参考，但为演讲摘要，未给出量化改进结果。