最新资讯
dev.to 腾讯 Hy4 对比 Mistral Large 4:Mistral 在开放权重上占优 dev.to 14 天内 499 次自称 AI bot 的请求,仅 105 次可验证 dev.to llama.cpp 长对话重启后变慢的原因与修复思路 dev.to AI Agent 上下文压缩:在长任务遗忘前保存状态 dev.to 神经解码器输出的句子是估计,而非已验证的意图 unite.ai 当前 Muse 在 Meta 个人超级智能指数上得分 47% techmeme.com Meta 推出用 Muse Wonder 训练的现有模型专用版本,为 Muse 与 Meta AI 用户带来 Active Memory 和 Active Focus theinformation.com Meta 战略主管 Dave Wehner 将出任 Fireworks CFO dev.to 让 Agent 的 Shell 受治理:apexe 实践 techcrunch.com Crusoe 将陷入困境的怀俄明数据中心项目出售给 Google dev.to 编码 Agent 任务中途触及用量上限:下一步由谁负责? dev.to AI 搜索常能识别品牌品类,却说不清客户适配
多元动态
登录 注册
智能体 wechat · 历史资料 · 发布时间未核实 @AI洛兹克

Claude Fable 5.1发布:8项基准第一,科研能力大幅提升

原文 我的收藏

Anthropic发布Claude Fable 5.1及受限版Mythos 5.1,在8项基准上取得第一,其中科研智能体Terminal-Bench-Science得分52.6%,较前代翻倍。价格方面,输入输出价格不变,但缓存读取降价75%,典型负载总成本降25%。官方展示三个科研案例:金星地图重建、蛋白设计(结合亲和力为竞赛最佳10倍)、手写GPU Kernel提速2.5倍。模型在长任务和自主闭环上显著进步,但实际成本可能因输出token增加而上升。

AI推荐理由 Claude新模型发布,信息量大,包含基准测试、价格变动和科研案例,对AI从业者高价值,但部分数据未经独立验证。

85

正文

一觉醒来,AI 圈又炸了。 Anthropic 昨晚发布了新一代模型: Claude Fable 5.1 同时登场的,还有一个只对审核过的团队开放的 Mythos 5.1 说实话,看到消息的第一反应是两个问题: 它到底强了多少? 我现有的预算,还够不够它折腾。 这篇文章先不做模型实测,我来把这次发布拆给大家看。 这次的东西不少:两个模型、8 项第一、价格变动、三个科研案例、提示词泄露,还有一堆玩家实测。 图源:Anthropic 两个名字,一个底座 这次发布,一次给了两个名字。 Fable 5.1 全平台上线,Claude、AWS、谷歌云、Azure 都能调,API 模型名叫 claude-fable-5-1。 Mythos 5.1 和它共用同一个底座,差别只在安全护栏。 它只对审核过的团队开放,网络安全走 CVP 验证计划,生命科学走 LSVP 验证计划。 普通开发者,暂时摸不到。 一个模型拆两半卖,是这代操作的重点。 能力是同一个能力,区别只在于它被允许干什么。 Fable 5 发布还没多久,5.1 就来了,而且一来就是双响炮,哈哈哈哈 这种拆法对行业挺有意思。 同一个底座,一个放开护栏给审核过的研究团队用,一个带完整护栏给所有人用,企业的接入成本和合规评估能省一大截。 先看成绩单 Anthropic 官方宣布,8 项基准全部第一! 差距最大的是科研智能体这一项。 Terminal-Bench-Science 拿到 52.6%,对比 Fable 5 的 24.7%、Opus 5 的 29.0%、GPT-5.6 Sol 的 22.4%,是翻倍级的差距呢! 编程和知识工作也全线拉满。 Terminal-Bench 测的是模型在真实终端里干活的能力,4.0 到 55.8%,放开护栏的 Mythos 5.1 到 60.9%。 知识工作 GDPval-AA v2 拿到 1853 分,OSWorld 77.9% 的 partial 分、41.7% 的 strict 分。 人类最后的考试 HLE 是一套跨学科终极考题,人类专家都觉得难,它无工具 60.0%,带工具 65.0%。 带工具比无工具高出 5 分,说明工具它是真会用。 CursorBench 3.2.0 73.4%。 自动化评测 AutomationBench 31.4%。 第三方也有验证。 ARC Prize 复核了 ARC-AGI-1,97.5%,单任务成本 1.40 美元。 ARC-AGI-2 是 90.0%,3.12 美元。 这个成本档位,控制得相当漂亮。 Artificial Analysis 的 AI 指数给了 66 分,排第一。 体感上,这代主攻的方向,是长任务干到底。 以前模型像短跑选手,100 米冲刺很快,跑 5000 米就乱,这次它开始练马拉松。 跑分高的模型年年有,emmm翻倍的差距不常有 这一刀,切得确实有点深! 标价没动,账单动了 欧克,咱们先看标价哈。 输入 10 美元每百万 token,输出 50 美元每百万 token,和上一代一样,没涨(点赞!!) 图源:Anthropic 缓存写入也有两档,5 分钟 12.50 美元、1 小时 20.00 美元每百万 token。 但缓存读取从 1 美元降到了 0.25 美元,降幅 75%。 官方口径是,典型负载总成本降 25%,重度 Agent 任务最高省 45%。 对做 Agent 的人来说,缓存读取这一刀,才是真降价。 这类任务翻来覆去读同一批上下文,缓存命中率高,这一刀正好砍在刀刃上。 内部也有风声。 有 Anthropic 的开发者透露,低推理档位能达到 Fable 5 高档位的性能,成本只有三分之一。 这个说法我还没法验证,先放这儿,当个参考。 对比一下隔壁。GPT-5.6 Sol 目前短上下文是促销价,输入 2、输出 10、缓存 0.2 美元。 注意,是促销价,随时会变。 不过也得说点实在话。 Artificial Analysis 测算,单任务的实际成本,Fable 5.1 还是比 Fable 5 高 20% 左右,根源是输出 token 消耗约 1.7 倍。 还有付费用户反馈,Pro/Max 订阅没降价也没提上限,自动继续功能有 bug。 so 标价没涨,但你花的钱,可能没少! AI 开始自己上手做科研 这一节是全文最重的部分。 这代真正变了的不是跑分,是它开始对长任务和科研结果负责。 Anthropic 放了三个科研案例,一个比一个狠。 三个案例横跨遥感、生物、高性能计算,三种完全不同的科研活。 第一个,金星地图 图源:Anthropic NASA 麦哲伦号 30 多年前绕着金星扫地表,雷达数据的分辨率只有 10 到 20 公里,过去只完成了约五分之一面积的地图。 剩下的大半个金星,一直没有精细的地形数据。 数据存了这么多年,一直没人系统性地重新处理过。 Fable 5.1 拿这些老数据训练神经网络,把细节推到了 2 到 3 公里,覆盖金星约三分之一面积,测高精度最高提升 25%。 第二个,蛋白设计 图源:Anthropic Mythos 5.1 调用开源设计工具做蛋白设计,设计稿送外部机构做真实湿实验。 Adaptyv Bio 是第三方蛋白设计竞赛,各家方案同台比结合亲和力。 EGFR、Nipah G 等 3 个靶点的结合亲和力,是 Adaptyv Bio 竞赛最佳方案的 10 倍。 结合亲和力是蛋白和靶点结合得紧不紧的指标,越紧越有做成药的潜力。 12 个靶点总体命中率接近 50%,而行业常态是 10% 到 15%,意味着这套流程有一半左右的概率一次成功。 湿实验是蛋白设计的终审,不少 AI 设计在电脑里很漂亮,一进实验室就翻车。 它敢把设计稿送去做湿实验,本身就说明对结果有把握。 第三个,手写 GPU Kernel 这个案例最牛叉 图源:Anthropic 只给公开源码,它几天手写 7 个开源生物模型的 GPU Kernel,最高提速 2.5 倍,结果与原版完全一致。 Evo 2 是开源的基因组大模型,它跑 300 万变异分析,成本从 1.8 万美元降到 0.8 万美元。 给深度学习模型手写 GPU Kernel,以前是顶尖性能工程师几周的活,学术实验室往往请不起这种人。 现在这个门槛,被模型自己踩平了。 以前 AI 帮科学家查资料,现在 AI 自己拿起了仪器 从修 Bug 到破密码 官方强调了一个动作闭环: 读取仓库文档、拆解任务、执行修改、运行测试、检查结果、定位失败、继续下一轮。 以前的模型是问答式,问一句答一句。 这套闭环的意思是,它能自己把一件事从头盯到尾。 这套闭环看起来普通,难在每一步都要自己判断。 测试失败要能看出是哪一步错了,改坏了要能退回去,模型做到这些,才算真的在干活。 它在遇到障碍时会明确说出卡在哪里,很少再走那种看起来完成、实际留下隐患的捷径。 两个真实案例,一个在工业界,一个在学术界。 第一个是对冲基金 Millennium。 内部系统出现一个极罕见的崩溃,内部工程师和其他模型找了几年,没找到诱因。 Fable 5.1 一路追到外部,反汇编第三方库,定位了病根。 第二个是密码。 1653 年,苏格兰学者托马斯·厄克特在《Logopandecteision》末尾留下 64 个数字的密码,被列入全球 50 大未解加密信息。 这串数字躺了三百七十多年。 图源:历史文献(经 Vals AI 转发) Fable 5.1 用了 44 分钟、17.6 万 token、无人干预 ! 破解思路是,先读上下文。 这个思路看起来简单,真做起来要跨语言、跨文献地联想,把 32 篇短文和数字一一对上。 密码前有 32 篇短文,作者反复强调,没有什么数字能比 32 更好。 第 i 个数字对应第 i 篇短文,取单词首字母,解出的是一段祈求查理二世复辟的诗句。 随后它用同一逻辑,破了另一个 285 个数字的 Octastich。 它先读完上下文才动手,像侦探。 这一点,比算术本身有意思多了。 这串数字人类解了三百七十多年,它花了 44 分钟。 它赢在动手之前,先读了书。 27 万字的底牌 发布几小时后,破解圈知名人士 Pliny the Liberator 放出了 Fable 5.1 的完整系统提示词,27.5 万字符,据 Pliny 的推文。 这个速度本身也说明,圈子里有多少人盯着它(奸笑哈哈哈哈) 图源:Pliny the Liberator 他把它整理进了自己的仓库,传阅度很高。 官方只公开了约 2.7 万字的修订记录。 Pliny 的说法是,官方公布的只是一角,约 10% 核心行为逻辑、记忆体系、检索与版权规范、产物构件与计算机使用指引、插件路由,以及全部 46 项工具的 JSON 架构 泄露出来的是运行时组装指令。 核心行为逻辑、记忆系统、搜索与版权规则、Artifacts 与计算机使用指南、插件路由,全都写得明明白白。 工具从 7 月的 30 个涨到 46 个,每个都配一份 JSON 架构。 新增的工具里,有 chart_display 图表、carousel_display 轮播、places_list_display 地点列表、link_preview_display 链接预览,还有 read_conversation,可以翻阅历史对话。 这个能力放进底层指令,意味着它能在长对话里自己翻旧账,不用每次都从头理解。 工具变多,是让它在更多场景里能自己动手。 比较有意思的是它的形象与版权红线。 不让重现受版权保护的歌曲、诗歌、书籍片段,1929 年前公版除外。 视觉上不让画已知角色、Logo、专辑封面,指令里明确写了,不准画刺猬索尼克、不准画《好饿的毛毛虫》。 心理和d品也有红线:不对心理状态或动机做断言,不披露未经确诊的判断。 也不放大负面情绪。 d品相关只讲危险和急救,不给剂量与配方。 记忆系统还有一份永远不存储清单: 未成年人的身份信息种姓、移民状态犯罪记录心理与精神推断性史与自残倾向 对企业来说,这份泄露反而能当参考资料。 模型的权限边界、哪些东西会被拦,都写在里面了。 提示词工程的玩法,可能要重新卷一遍。 安全的一松一紧 这代安全有松有紧。 松的是护栏! 识别代码漏洞的误报下降 60%,但底线保留: 只找漏洞、不写攻击代码,渗透测试这类高危操作,还是由 Opus 管。 紧的是反蒸馏! API 底层核查上下文,提交的提示词与生成的思维块不一致,就报错或整个思维输出撤回。 思维块可以理解为模型答题前的草稿纸,反蒸馏就是防止有人连草稿一起抄走。 先对 8 月 31 日后注册的新账号生效,官方放话,未来所有新模型全员执行。 对做蒸馏、做微调的人来说,这条要留意。 以后想拿大模型的思维过程当训练数据,路子更窄了。 顺带两组官方动作:欧盟 AI 法案要求的水印,8 月 2 日后发布的模型生效; 企业 EFS 零数据留存体系,设备由客户云掌控,秋末分阶段开放。 这张是官方整理的 9 件事信息图,信息密度很高,值得存下来慢慢看。 它对外更宽容了,对自己却更严了。 实测与玩家反应 先说公开资料的编辑实测,黑洞视频 提示词是:用代码生成一段 5 秒的、进入黑洞的视频,要有科学依据。 Fable 5.1 基于广义相对论写了光线追踪渲染器:史瓦西时空零测地线积分、相对论多普勒效应、引力红移、自由下落相机光行差,后端用 ffmpeg 合成。 翻译成人话,就是它自己从零写了个物理渲染器,把光在黑洞附近怎么拐弯都算清楚了。 中间反复修了 3 轮:过曝与数值溢出、最后 40 帧构图浪费、HUD 可读性与 tone mapping。 最后 6 进程并行跑了 26 分钟,输出 960×540、24fps、120 帧、5 秒整。 跑 26 分钟只为一段 5 秒的视频,这已经超出提示词的范畴,是一个完整的小工程。 结尾它自己承认,没建模黑洞自转、盘厚度、光行时延迟。 这个坦白,比生成结果本身更说明问题。 沃顿商学院教授 Ethan Mollick 也下场,做了个复古宇宙飞船游戏。BridgeMind 那边,马里奥赛车一次性搞定。 有人对比 3D 直升机,5.1 比 5 提升一大截。还有人拿自画像做 6 连对比,5.1 的视觉能力明显更强。 成本争议也得说。 有评测显示,同一提示词一次性输出,Fable 5.1 花了 5.69 美元,GPT-5.6 Sol 只花 0.88 美元。 做游戏对比,Kimi K3 花 11 美元,Fable 5.1 花 18 美元。 提示词和输出长度不完全一致,别当精确对比。 取舍上也明显:Fable 5.1 追求写实,Sol 是简洁风,五场风格统一不崩。 能跑通是本事,跑通之后知道自己算错了什么,才是这一代真正牛的地方 最后想说的话 以前我总觉得,模型和模型之间,比的是谁更聪明、谁跑分更高。 后来慢慢发现,这一代拼的根本不是聪明。 所以,我现在越来越觉得,AI 真正变强的地方,是它开始对结果负责。 科学发现的门槛正在肉眼可见地往下塌,这可能才是这代模型最值得记住的位置。 AI 时代真好呀。 连我这种普通的小白玩家,都能亲眼看到这类东西一周一个变化。 发布当天,Sam Altman 就在 X 上预告了 OpenAI 的下一步。 Astra 会走到哪一步,可以期待一波。 想体验的直接上官网和 API,不过先把预算看住,输出 50 美元每百万 token。 如果你是很多年前就关注过我。 谢谢你,还在。 如果你是最近才来到这里的新朋友,也欢迎你。 新的故事,从这里开始。 我是洛兹克。 这一次,我们一起走进AI时代。

来源报道 · 1 篇 · 以下链接均前往原始媒体

AI洛兹克 Claude Fable 5.1发布:8项基准第一,科研能力大幅提升 历史资料 · 发布时间未核实
← 返回精选动态 原文

更多内容