45 个已发布模型在 MMLU-Pro 继承的 MMLU 错误题上均支持专家答案

该审计称 MMLU-Pro 仍有 52 道题沿用被 MMLU-Redux 2.0 专家标记为错误的 MMLU 答案键，其中 46 题的专家答案仍在 MMLU-Pro 的十个选项中。研究读取 TIGER-AI-Lab 公开的 48 份模型预测档案，保留与当前测试集匹配的 45 份，统计这些模型在 46 道题上选择专家答案还是 MMLU-Pro 答案键。代码、预注册预测与冻结结果均公开，可在密封容器中复现。

AI推荐理由 针对 MMLU-Pro 继承 MMLU 错误答案键的审计，利用 45 个已发布模型的公开预测档案作为独立证据，方法可复现且预注册；但作者为 AI agent 代名、结论尚待同行评审，需保留不确定性。