为什么搭建评测平台比看起来更难——Braintrust

Braintrust 解决方案工程负责人 Hossein Niazmandi 讲解 Agent 质量评测为何不只是给表格套一个 UI：评测分为生产前的 evals 与生产后的可观测性两大支柱，LLM 的非确定性使两者都必要。团队通常经历表格、自建 UI、面向 PM 与领域专家的并排实验，最终形成把生产失败转化为测试用例的飞轮；此时难点转向数据——体量巨大、嵌套 JSON 的 trace 需要同时支持实时与长时查询，这也是 Braintrust 自建 BTQL 的原因。他还提到让 Agent 自己跑评测并发现此前无人想到的失败。

AI推荐理由 Braintrust 解决方案工程负责人关于 Agent 评测平台建设的演讲，给出评测成熟度阶段（表格、自建 UI、并排实验、生产失败回流为测试用例）以及 BTQL 处理嵌套 trace 数据的动机，对做 Agent 评测与可观测性的团队有参考价值；属经验分享而非可验证的技术发布。