行业动态
dev.to ·
@munimv2
45 个模型中有 10 个在 656 道 MMLU-Pro 题上输给“选最长答案”
作者分析 MMLU-Pro 公开的 48 份预测文件，45 份与当前测试集干净匹配，复现了此前 15 个模型的结果。在 656 道 STEM 网站类生物与心理题上，不读题直接选最长选项可得 66.85%，45 个模型中有 10 个低于该基线，提示基准存在选项长度偏差。
AI推荐理由 作者读取 MMLU-Pro 全部 48 份预测文件，其中 45 份与当前测试集匹配，复现了此前 15 个模型的结果，并发现 45 个模型中有 10 个在 656 道题上输给“选最长选项”的基线。该发现对基准评测有效性有直接警示价值；但结论来自作者自述的预注册与冻结结果，尚未经独立复现。
78
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。