行业动态
dev.to ·
@Vidraft_lab
Hugging Face 44 个基准榜单实测:自报 11 个第一的领先幅度有多薄
作者从 Hugging Face 公开 API 下载 44 个已填充的官方基准榜单共 1108 行数据,发现 verified 字段为 true 的行数为 0。其自报的 11 个第一中,4 个与第二名差距不足 0.5 分(MDPBench 0.05、MMMU-Pro 0.08、MMLU-Pro 0.12、ExtractBench 0.41),MMLU-Pro 的 0.12 分小于约 0.42 分的标准误。文章提醒榜单排名是事实,但不能直接作为更优的证据,并披露自身为利益相关方。
AI推荐理由 作者通过 Hugging Face 公开 API 抓取 44 个官方基准榜单共 1108 行数据,发现 verified 字段为 true 的行数为 0,并量化自报 11 个第一中 4 个领先不足 0.5 分、MMLU-Pro 的 0.12 分差距小于抽样误差,指出榜单排名不等于更优的证据;作者自述为利益相关方审计,非第三方验证,但数据可复现。
70
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。