LLM-as-a-Judge 可靠性：用人工标签校验你的评分器

文章讨论 LLM-as-a-Judge 的可靠性问题：评分器的一致率分数只衡量它在已收集标签的样本上与人工标注的匹配程度，不能说明未标注输出、未采样的失败类型，或更换生成模型后的表现。作者以自身 X 增长 Agent 为例，其 Skip 按钮数月来静默失效，导致被跳过的条目被记为超时，说明“指标坏了但报告看起来正常”。文中建议用人工标签校验评分器。

AI推荐理由 讨论 LLM-as-a-Judge 评估可靠性，指出一致率分数只反映在已标注样本上与人工标签的匹配程度，无法说明未标注输出、未采样失败或更换生成模型后的表现。作者以自身 X 增长 Agent 中 Skip 按钮长期失效导致统计失真的经历作为类比，属于实践性反思，对做模型评估的开发者有参考价值。