用 Langfuse 持续改进 Agent：从生产 trace 到可用的评估

Lotte Verheyden 和 Annabell Schäfer 展示如何用 Langfuse 为示例客服 Agent（Specs）搭建监控与评估工作流：把用户“全大写抱怨答案无效”这类交互从聊天记录中的轶事变成生产 trace 里可发现的信号。动手环节将基于 OpenAI Agents SDK 的 TypeScript 应用接入 Langfuse，并添加三类评估器——针对用户不认同的 judge evaluator、针对全大写输入的 code evaluator，以及比对用户请求与 system prompt 的 scope check；每个评估器通过显式变量映射定位相关消息，使分数回答一个明确定义的问题。随后用预置的生产 trace 为编码 Agent 提供证据。

AI推荐理由 ClickHouse 的 Lotte Verheyden 与 Annabell Schäfer 以 Langfuse 和示例客服 Agent（Specs）演示生产 trace 驱动的持续评估：用 OpenAI Agents SDK 构建 TypeScript 应用，加入针对用户不满的 judge evaluator、针对全大写输入的 code evaluator 以及比对用户请求与 system prompt 的 scope check，并通过显式变量映射让评分对应明确问题。对 Agent 可观测性与评估落地有实操价值，但为工作坊转述，未提供评估效果数据。