别只审批 AI 模型，要审批应用——Langfuse 的 Doneyli De Jesus

Langfuse（ClickHouse 旗下）AI 工程解决方案负责人 Doneyli De Jesus 介绍团队如何帮助一家前五银行对 AI Agent 设置部署门控。银行不认证模型而认证应用，要求本地部署、门控和空气隔离。流程包括构建黄金数据集、对 trace 做多维度评分；一个 grounded 达 97% 但数字准确率仅 60% 的小模型在接入计算器工具后通过银行 85% 的门槛。领域专家设定阈值并复核失败案例，将评估周期从数周缩短到数分钟。

AI推荐理由 Langfuse 的 Doneyli De Jesus 分享了为一家前五银行部署 AI Agent 的实践：银行认证的是应用而非模型，要求本地化、门控和空气隔离；用黄金数据集和多维 trace 评分，一个 97% grounded 但数字准确率仅 60% 的小模型在接入计算器工具后通过 85% 门槛，领域专家设定阈值并复核失败案例。具体的新信息是应用级门控流程和评分维度，局限是单场演讲、无公开数据或可复现细节，效果数字来自讲者转述。