预注册研究：黑盒LLM评测器在共享端点上可靠性失败

该论文指出，语言模型评测器被广泛应用于数据筛选、评分和排行榜，但隐含假设同一请求在不同时间会有相同输出。研究发现，在共享端点上，这种评测器的测量结果不稳定，预注册实验证实了可靠性问题。

AI推荐理由 这项发现直接影响依赖LLM自动评测的团队：若同一请求在不同时间的输出不稳定，那么用于数据筛选、模型排名和基准测试的评测器就可能产生不可复现的结果，导致研发决策和排行榜失真。开发者需对评测调用增加时序验证或改用本地/自托管模型，避免因共享端点波动而误判。