两个评测评分器因答案提及正确词而放行了错误回答

作者在为一个“给定评分标准与含缺陷材料、判断标准能否区分好坏”的工具添加第三个外部评分标准时发现：目标答案为 Yes，而模型回答为“No. The passage does not support Yes.”，Inspect AI 自带的三个确定性评分器中有两个将其判为正确。文章给出 10 条真实 BoolQ 验证集数据、每行 7 次补全（5 次意图正确、2 次错误）的完整表格，说明评分器在检测误报与区分度上的模式。作者称此前在 promptfoo 和 OpenAI evals 中也各发现一处问题，原打算把 Inspect 作为对照。

AI推荐理由 作者用真实 BoolQ 验证集数据展示 Inspect AI 自带确定性评分器会把“No. The passage does not support Yes.”这类含正确关键词的错误答案判为正确，属于对 LLM 评测工具可靠性的具体、可复现发现，对做评测与 Agent 质量保障的开发者有实际参考价值。局限是样本量小（10 行、7 次补全），结论需更大规模验证。