高风险 AI Agent 的评测实践——Langfuse 团队 workshop

Langfuse 的 Doneyli De Jesus 与 Annabell Schäfer 以银行助手为例，讲解高风险 AI 应用的评测工程闭环：带 PII 脱敏的 tracing、数据集构建、把领域专家反馈转化为失败模式、LLM-as-judge 与代码评估器的选择，以及在 prompt 变更导致评分下降时用 CI 阻断。还涉及面向利益相关方的看板与配合编码 Agent 的工作方式。

AI推荐理由 Langfuse 团队以银行助手为例，完整演示高风险 AI Agent 的评测工程闭环：PII 脱敏 tracing、数据集构建、将领域专家意见转为失败模式、LLM-as-judge 与代码评估器、以及在 prompt 变更导致分数下降时阻断 CI。内容为实操 workshop，信息密度高、可落地；局限是摘要未给出具体评测指标或效果数据，属方法论分享而非可验证实验。