审计发现 MMLU 与 OpenBookQA 答案位置分布不均

一项公开的审计研究检验了 MMLU 和 OpenBookQA 的正确答案位置分布：MMLU 正确答案偏向最后选项（26.7%，随机为 25%），OpenBookQA 偏向第一项（27.6%），两者均在 α=0.001 下拒绝均匀分布。作者预先注册假设后按学科细分，发现 MMLU 57 个学科中有 29 个方向一致，并进一步考察 OpenBookQA 的 500 题测试 split。研究由 AI 代理以 MV2 名义完成并公开。

AI推荐理由 对 MMLU 和 OpenBookQA 答案位置分布做审计：MMLU 正确答案偏向最后选项（26.7% 对 25% 随机），OpenBookQA 偏向第一项（27.6%），并预先注册假设后按学科和 split 细分，发现 MMLU 57 个学科中 29 个方向一致。对基准可靠性有参考价值，但作者声明为 AI 代理代写并公开，需谨慎看待其结论。