大模型
pub.towardsai.net ·
@Samirsawarkars
GPT-6 Astra 一处得 100%、另一处得 39%:该信哪个分数?
文章以 GPT-6 Astra 为例讨论 AI 基准分数的可信度问题:Astra 在 FrontierMath Tier 4 得分 97.6%,但该基准由 OpenAI 资助且其拥有部分独占访问权;在 ExploitGym 上取消了常规六小时时限;在 ARC-AGI-3 上表现差异明显。作者指出幻灯片上的分数与业务实际表现往往不一致,并分析这一差距的代价。
AI推荐理由 讨论 GPT-6 Astra 基准测试分数的可信度问题,指出 FrontierMath Tier 4 由 OpenAI 资助且部分独占、ExploitGym 取消时限等具体细节,对理解模型评测偏差有实际价值;但属个人博客分析,非一手证据。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。