没有基准时如何测试 AI Agent——Air Canada 的 Nathanael Weill

Air Canada 的 AI Agent 团队面对任务高度定制、无公开基准且专家评分时间有限的问题，采用“先写答案、再由答案生成输入”的反向方法构造测试。讲者称某电信 RAG 项目由此从每周一次专家评测变为每天数十个自动化测试，并将该方法用于供应商合同审查 Agent，给出历史决策、植入规则违规、删除条款、无关变更和填空模板五种测试集构建方式，同时说明能用代码校验时不用 LLM 评委。

AI推荐理由 针对无公开基准、领域专家无暇评分的场景，提出“先写答案再生成输入”的反向构造测试集方法，并给出供应商合同审查 Agent 的五种测试集构建方式（历史决策、植入规则违规、删除条款、不应有影响的变更、填空模板）；还提到某电信 RAG 项目从每周 1 次专家评测提升到每天数十个自动化测试，以及能用代码校验时避免 LLM 评委。方法具体可复用，但效果数字来自讲者自述，缺少独立验证。