最新资讯
bloomberg.com Google 接手 Crusoe 曾推介的怀俄明州数据中心 techxplore.com 三种新技术针对隐藏 AI 后门且不显著损失性能 unite.ai OpenAI CFO 称中期选举后数据中心建设仍将继续 techcrunch.com 数百个 Artex AI 黑客工具服务器暴露在公网 techcrunch.com Meta 推出 Spaces,为 Muse 智能体提供新协作方式 wired.com Wired:免费中国 AI 模型的黑客能力快速提升 unite.ai OpenAI 与 Hacktron 合作测试第三方服务连接安全 dev.to 如何将 PostgreSQL 接入 AI agent 并对写入操作设置审批 unite.ai AWS 在 SageMaker 推理端点加入 NVIDIA GPU 分区支持 unite.ai BMO 在信用卡客服引入 agentic AI 案件准备 theverge.com Meta 的 Muse AI 可创建自定义 spaces,按需生成应用式体验 thenewstack.io Meta 用最强 AI 模型训练多数用户实际使用的模型
多元动态
登录 注册
大模型 dev.to · @ToolPilot Pro

家务任务 80.6%、真实工作 12%:AI 基准测试的一周

原文 我的收藏

文章对比同日发布的两个基准:OpenAI 的 LifeVal 测试日常生活任务,其 GPT-6 Astra 得分 80.6%;SemiAnalysis 的 GDPx 测试芯片设计、法律分析、量化交易等专业任务,最佳模型 Claude Opus 5.5 通过率仅 12.0%。作者指出两个数字的评测方、任务难度与评分方式不同,80.6% 是 OpenAI 自建自评的平均奖励,12.0% 是研究机构设计的严苛任务通过率,差距本身比单一数字更值得关注。

AI推荐理由 文章对比了同日发布的两个基准:OpenAI 自建自评的 LifeVal(GPT-6 Astra 得 80.6%)与 SemiAnalysis 的 GDPx 专业任务测试(Claude Opus 5.5 仅 12.0%),并指出两个数字的评测方、任务难度和评分口径不同,不能直接当作能力结论。其价值在于提示基准自评偏差与任务分布差异;但内容为博客转述,未提供原始基准细节,且涉及的具体模型与日期无法在片段中独立核实。

62

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容