最新资讯
reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离 wechat 这波杀疯了!旗舰级模型不限量、1个月视频额度免费领 bloomberg.com AI 抛售蔓延至信用市场,软银领跌亚洲美元债 dev.to 如何在专用 GPU 服务器上用 OpenAI 兼容 API 部署 LLM dev.to 审计 153 份 Claude Code 与 Codex 会话记录:User-Agent 与 URL 中的邮箱泄露
多元动态
登录 注册
行业动态 dev.to · @Vidraft_lab

Hugging Face 44 个基准榜单实测:自报 11 个第一的领先幅度有多薄

原文 我的收藏

作者从 Hugging Face 公开 API 下载 44 个已填充的官方基准榜单共 1108 行数据,发现 verified 字段为 true 的行数为 0。其自报的 11 个第一中,4 个与第二名差距不足 0.5 分(MDPBench 0.05、MMMU-Pro 0.08、MMLU-Pro 0.12、ExtractBench 0.41),MMLU-Pro 的 0.12 分小于约 0.42 分的标准误。文章提醒榜单排名是事实,但不能直接作为更优的证据,并披露自身为利益相关方。

AI推荐理由 作者通过 Hugging Face 公开 API 抓取 44 个官方基准榜单共 1108 行数据,发现 verified 字段为 true 的行数为 0,并量化自报 11 个第一中 4 个领先不足 0.5 分、MMLU-Pro 的 0.12 分差距小于抽样误差,指出榜单排名不等于更优的证据;作者自述为利益相关方审计,非第三方验证,但数据可复现。

70

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容