你的 LLM Judge 是个自信的骗子：构建更好的验证器——Browserbase

Browserbase agent 平台技术负责人 Miguel González Fernández 与微软研究院研究员 Corby Rosset 介绍面向 computer-use 和 web agent 的验证器研究。官方 judge 称 agent 成功率为 74%，而更好的 verifier 给出 38%；随着 agent 进步，确定性评测不再可扩展，流行 web benchmark 自带的 LLM judge 被证明会自信地出错，据此训练只会得到更自信的骗子。他们解释 Universal Verifier 的工作方式：任务专属 rubric、为每条标准排序最相关截图作为证据、隔离错误、捕捉幻觉并区分可控与不可控失败。该方法将假阳性从约一半降至接近零，与人类的一致率接近人类彼此之间的一致率。他们还测试了 autoresearch 循环能否重建该验证器。

AI推荐理由 指出官方 LLM judge 报告 agent 成功率 74%、而更好的 verifier 仅 38%，说明流行 web benchmark 自带的 LLM judge 会自信地出错，据此训练只会得到更自信的骗子。提出 Universal Verifier：任务专属 rubric、按标准排序最相关截图作为证据、隔离错误、识别幻觉并区分可控与不可控失败，将假阳性从约一半降至接近零，与人类一致率接近人类彼此一致率。对 agent 评测与验证器设计有直接参考价值，但数据来自演讲转述，未提供可复现细节。