大模型
dev.to ·
@ToolPilot Pro
家务任务 80.6%、真实工作 12%:AI 基准测试的一周
文章对比同日发布的两个基准:OpenAI 的 LifeVal 测试日常生活任务,其 GPT-6 Astra 得分 80.6%;SemiAnalysis 的 GDPx 测试芯片设计、法律分析、量化交易等专业任务,最佳模型 Claude Opus 5.5 通过率仅 12.0%。作者指出两个数字的评测方、任务难度与评分方式不同,80.6% 是 OpenAI 自建自评的平均奖励,12.0% 是研究机构设计的严苛任务通过率,差距本身比单一数字更值得关注。
AI推荐理由 文章对比了同日发布的两个基准:OpenAI 自建自评的 LifeVal(GPT-6 Astra 得 80.6%)与 SemiAnalysis 的 GDPx 专业任务测试(Claude Opus 5.5 仅 12.0%),并指出两个数字的评测方、任务难度和评分口径不同,不能直接当作能力结论。其价值在于提示基准自评偏差与任务分布差异;但内容为博客转述,未提供原始基准细节,且涉及的具体模型与日期无法在片段中独立核实。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。