智能体
x.com ·
@meng shao(@shao__meng)
AI Agent 评估实战 FAQ：先做错误分析，再谈评估体系
该帖转述 Hamel Husain 与 Shreya Shankar 的 Agent 评估方法论：反对先搭评估基础设施、接 LLM-as-a-Judge、看仪表盘分数的常规路径，主张先手动阅读约 100 条真实 trace 找出失败模式，评估指标应从真实失败案例中生长而非预先设计。作者称该结论基于对 700+ 工程师的教学与实践经验。
AI推荐理由 内容转述 Hamel Husain 与 Shreya Shankar 关于 AI Agent 评估的方法论观点：主张先手动阅读约 100 条真实 trace 做错误分析，再让评估指标从失败案例中生长出来，而非先搭评估平台、接 LLM-as-a-Judge。该观点对 Agent 评估实践有参考价值，但属于二手转述，未提供原始文章细节、可验证数据或具体案例，'700+ 工程师'为教学规模而非效果证据，需保留其主张性质。
72
正文
AI Agent Evals 实战 FAQ：先发现失败、再谈评估，700+ 工程师踩坑后的完整方法论
当前行业的主流叙事是：搭评估基础设施、接 LLM-as-a-Judge、看仪表盘分数。两位作者 [@HamelHusain](https://x.com/HamelHusain)[@sh\_reya](https://x.com/sh_reya) 基于大量一线教学与实践，认为这条路径恰恰是错的，或者说是本末倒置的。
他们的核心方法论可以压缩成一句话：
先做错误分析，再谈评估体系。 评估指标是从真实失败案例中“生长”出来的，不应该是预先设计出来的。
meng shao@shao\_\_meng
AI Agent 评估，多数团队从搭平台、接 LLM judge、看分数开始
[@HamelHusain](https://x.com/HamelHusain) 与 [@sh\_reya](https://x.com/sh_reya) 在教了 700+ 工程师之后给出的答案是反的：先手动读 100 条真实 trace，找到失败模式，评估器才会长出来
评估的本质是理解系统在哪里影响了用户，这一步没有自动化捷径 [x.com/i/article/2101…](https://x.com/i/article/2101142707628568576)
[🔗 View Quoted Tweet](https://x.com/shao__meng/status/2101146387736142138)
💬1🔄0❤️0👀588📊2