智能体
wechat · 历史资料 · 发布时间未核实
@AI洛兹克
Claude Fable 5.1发布:8项基准第一,科研能力大幅提升
Anthropic发布Claude Fable 5.1及受限版Mythos 5.1,在8项基准上取得第一,其中科研智能体Terminal-Bench-Science得分52.6%,较前代翻倍。价格方面,输入输出价格不变,但缓存读取降价75%,典型负载总成本降25%。官方展示三个科研案例:金星地图重建、蛋白设计(结合亲和力为竞赛最佳10倍)、手写GPU Kernel提速2.5倍。模型在长任务和自主闭环上显著进步,但实际成本可能因输出token增加而上升。
AI推荐理由 Claude新模型发布,信息量大,包含基准测试、价格变动和科研案例,对AI从业者高价值,但部分数据未经独立验证。
85
正文
一觉醒来,AI 圈又炸了。
Anthropic 昨晚发布了新一代模型:
Claude Fable 5.1
同时登场的,还有一个只对审核过的团队开放的 Mythos 5.1
说实话,看到消息的第一反应是两个问题:
它到底强了多少?
我现有的预算,还够不够它折腾。
这篇文章先不做模型实测,我来把这次发布拆给大家看。
这次的东西不少:两个模型、8 项第一、价格变动、三个科研案例、提示词泄露,还有一堆玩家实测。
图源:Anthropic
两个名字,一个底座
这次发布,一次给了两个名字。
Fable 5.1 全平台上线,Claude、AWS、谷歌云、Azure 都能调,API 模型名叫 claude-fable-5-1。
Mythos 5.1 和它共用同一个底座,差别只在安全护栏。
它只对审核过的团队开放,网络安全走 CVP 验证计划,生命科学走 LSVP 验证计划。
普通开发者,暂时摸不到。
一个模型拆两半卖,是这代操作的重点。
能力是同一个能力,区别只在于它被允许干什么。
Fable 5 发布还没多久,5.1 就来了,而且一来就是双响炮,哈哈哈哈
这种拆法对行业挺有意思。
同一个底座,一个放开护栏给审核过的研究团队用,一个带完整护栏给所有人用,企业的接入成本和合规评估能省一大截。
先看成绩单
Anthropic 官方宣布,8 项基准全部第一!
差距最大的是科研智能体这一项。
Terminal-Bench-Science 拿到 52.6%,对比 Fable 5 的 24.7%、Opus 5 的 29.0%、GPT-5.6 Sol 的 22.4%,是翻倍级的差距呢!
编程和知识工作也全线拉满。
Terminal-Bench 测的是模型在真实终端里干活的能力,4.0 到 55.8%,放开护栏的 Mythos 5.1 到 60.9%。
知识工作 GDPval-AA v2 拿到 1853 分,OSWorld 77.9% 的 partial 分、41.7% 的 strict 分。
人类最后的考试 HLE 是一套跨学科终极考题,人类专家都觉得难,它无工具 60.0%,带工具 65.0%。
带工具比无工具高出 5 分,说明工具它是真会用。
CursorBench 3.2.0 73.4%。
自动化评测 AutomationBench 31.4%。
第三方也有验证。
ARC Prize 复核了 ARC-AGI-1,97.5%,单任务成本 1.40 美元。
ARC-AGI-2 是 90.0%,3.12 美元。
这个成本档位,控制得相当漂亮。
Artificial Analysis 的 AI 指数给了 66 分,排第一。
体感上,这代主攻的方向,是长任务干到底。
以前模型像短跑选手,100 米冲刺很快,跑 5000 米就乱,这次它开始练马拉松。
跑分高的模型年年有,emmm翻倍的差距不常有
这一刀,切得确实有点深!
标价没动,账单动了
欧克,咱们先看标价哈。
输入 10 美元每百万 token,输出 50 美元每百万 token,和上一代一样,没涨(点赞!!)
图源:Anthropic
缓存写入也有两档,5 分钟 12.50 美元、1 小时 20.00 美元每百万 token。
但缓存读取从 1 美元降到了 0.25 美元,降幅 75%。
官方口径是,典型负载总成本降 25%,重度 Agent 任务最高省 45%。
对做 Agent 的人来说,缓存读取这一刀,才是真降价。
这类任务翻来覆去读同一批上下文,缓存命中率高,这一刀正好砍在刀刃上。
内部也有风声。
有 Anthropic 的开发者透露,低推理档位能达到 Fable 5 高档位的性能,成本只有三分之一。
这个说法我还没法验证,先放这儿,当个参考。
对比一下隔壁。GPT-5.6 Sol 目前短上下文是促销价,输入 2、输出 10、缓存 0.2 美元。
注意,是促销价,随时会变。
不过也得说点实在话。
Artificial Analysis 测算,单任务的实际成本,Fable 5.1 还是比 Fable 5 高 20% 左右,根源是输出 token 消耗约 1.7 倍。
还有付费用户反馈,Pro/Max 订阅没降价也没提上限,自动继续功能有 bug。
so 标价没涨,但你花的钱,可能没少!
AI 开始自己上手做科研
这一节是全文最重的部分。
这代真正变了的不是跑分,是它开始对长任务和科研结果负责。
Anthropic 放了三个科研案例,一个比一个狠。
三个案例横跨遥感、生物、高性能计算,三种完全不同的科研活。
第一个,金星地图
图源:Anthropic
NASA 麦哲伦号 30 多年前绕着金星扫地表,雷达数据的分辨率只有 10 到 20 公里,过去只完成了约五分之一面积的地图。
剩下的大半个金星,一直没有精细的地形数据。
数据存了这么多年,一直没人系统性地重新处理过。
Fable 5.1 拿这些老数据训练神经网络,把细节推到了 2 到 3 公里,覆盖金星约三分之一面积,测高精度最高提升 25%。
第二个,蛋白设计
图源:Anthropic
Mythos 5.1 调用开源设计工具做蛋白设计,设计稿送外部机构做真实湿实验。
Adaptyv Bio 是第三方蛋白设计竞赛,各家方案同台比结合亲和力。
EGFR、Nipah G 等 3 个靶点的结合亲和力,是 Adaptyv Bio 竞赛最佳方案的 10 倍。
结合亲和力是蛋白和靶点结合得紧不紧的指标,越紧越有做成药的潜力。
12 个靶点总体命中率接近 50%,而行业常态是 10% 到 15%,意味着这套流程有一半左右的概率一次成功。
湿实验是蛋白设计的终审,不少 AI 设计在电脑里很漂亮,一进实验室就翻车。
它敢把设计稿送去做湿实验,本身就说明对结果有把握。
第三个,手写 GPU Kernel 这个案例最牛叉
图源:Anthropic
只给公开源码,它几天手写 7 个开源生物模型的 GPU Kernel,最高提速 2.5 倍,结果与原版完全一致。
Evo 2 是开源的基因组大模型,它跑 300 万变异分析,成本从 1.8 万美元降到 0.8 万美元。
给深度学习模型手写 GPU Kernel,以前是顶尖性能工程师几周的活,学术实验室往往请不起这种人。
现在这个门槛,被模型自己踩平了。
以前 AI 帮科学家查资料,现在 AI 自己拿起了仪器
从修 Bug 到破密码
官方强调了一个动作闭环:
读取仓库文档、拆解任务、执行修改、运行测试、检查结果、定位失败、继续下一轮。
以前的模型是问答式,问一句答一句。
这套闭环的意思是,它能自己把一件事从头盯到尾。
这套闭环看起来普通,难在每一步都要自己判断。
测试失败要能看出是哪一步错了,改坏了要能退回去,模型做到这些,才算真的在干活。
它在遇到障碍时会明确说出卡在哪里,很少再走那种看起来完成、实际留下隐患的捷径。
两个真实案例,一个在工业界,一个在学术界。
第一个是对冲基金 Millennium。
内部系统出现一个极罕见的崩溃,内部工程师和其他模型找了几年,没找到诱因。
Fable 5.1 一路追到外部,反汇编第三方库,定位了病根。
第二个是密码。
1653 年,苏格兰学者托马斯·厄克特在《Logopandecteision》末尾留下 64 个数字的密码,被列入全球 50 大未解加密信息。
这串数字躺了三百七十多年。
图源:历史文献(经 Vals AI 转发)
Fable 5.1 用了 44 分钟、17.6 万 token、无人干预 !
破解思路是,先读上下文。
这个思路看起来简单,真做起来要跨语言、跨文献地联想,把 32 篇短文和数字一一对上。
密码前有 32 篇短文,作者反复强调,没有什么数字能比 32 更好。
第 i 个数字对应第 i 篇短文,取单词首字母,解出的是一段祈求查理二世复辟的诗句。
随后它用同一逻辑,破了另一个 285 个数字的 Octastich。
它先读完上下文才动手,像侦探。
这一点,比算术本身有意思多了。
这串数字人类解了三百七十多年,它花了 44 分钟。
它赢在动手之前,先读了书。
27 万字的底牌
发布几小时后,破解圈知名人士 Pliny the Liberator 放出了 Fable 5.1 的完整系统提示词,27.5 万字符,据 Pliny 的推文。
这个速度本身也说明,圈子里有多少人盯着它(奸笑哈哈哈哈)
图源:Pliny the Liberator
他把它整理进了自己的仓库,传阅度很高。
官方只公开了约 2.7 万字的修订记录。
Pliny 的说法是,官方公布的只是一角,约 10%
核心行为逻辑、记忆体系、检索与版权规范、产物构件与计算机使用指引、插件路由,以及全部 46 项工具的 JSON 架构
泄露出来的是运行时组装指令。
核心行为逻辑、记忆系统、搜索与版权规则、Artifacts 与计算机使用指南、插件路由,全都写得明明白白。
工具从 7 月的 30 个涨到 46 个,每个都配一份 JSON 架构。
新增的工具里,有 chart_display 图表、carousel_display 轮播、places_list_display 地点列表、link_preview_display 链接预览,还有 read_conversation,可以翻阅历史对话。
这个能力放进底层指令,意味着它能在长对话里自己翻旧账,不用每次都从头理解。
工具变多,是让它在更多场景里能自己动手。
比较有意思的是它的形象与版权红线。
不让重现受版权保护的歌曲、诗歌、书籍片段,1929 年前公版除外。
视觉上不让画已知角色、Logo、专辑封面,指令里明确写了,不准画刺猬索尼克、不准画《好饿的毛毛虫》。
心理和d品也有红线:不对心理状态或动机做断言,不披露未经确诊的判断。
也不放大负面情绪。
d品相关只讲危险和急救,不给剂量与配方。
记忆系统还有一份永远不存储清单:
未成年人的身份信息种姓、移民状态犯罪记录心理与精神推断性史与自残倾向
对企业来说,这份泄露反而能当参考资料。
模型的权限边界、哪些东西会被拦,都写在里面了。
提示词工程的玩法,可能要重新卷一遍。
安全的一松一紧
这代安全有松有紧。
松的是护栏!
识别代码漏洞的误报下降 60%,但底线保留:
只找漏洞、不写攻击代码,渗透测试这类高危操作,还是由 Opus 管。
紧的是反蒸馏!
API 底层核查上下文,提交的提示词与生成的思维块不一致,就报错或整个思维输出撤回。
思维块可以理解为模型答题前的草稿纸,反蒸馏就是防止有人连草稿一起抄走。
先对 8 月 31 日后注册的新账号生效,官方放话,未来所有新模型全员执行。
对做蒸馏、做微调的人来说,这条要留意。
以后想拿大模型的思维过程当训练数据,路子更窄了。
顺带两组官方动作:欧盟 AI 法案要求的水印,8 月 2 日后发布的模型生效;
企业 EFS 零数据留存体系,设备由客户云掌控,秋末分阶段开放。
这张是官方整理的 9 件事信息图,信息密度很高,值得存下来慢慢看。
它对外更宽容了,对自己却更严了。
实测与玩家反应
先说公开资料的编辑实测,黑洞视频
提示词是:用代码生成一段 5 秒的、进入黑洞的视频,要有科学依据。
Fable 5.1 基于广义相对论写了光线追踪渲染器:史瓦西时空零测地线积分、相对论多普勒效应、引力红移、自由下落相机光行差,后端用 ffmpeg 合成。
翻译成人话,就是它自己从零写了个物理渲染器,把光在黑洞附近怎么拐弯都算清楚了。
中间反复修了 3 轮:过曝与数值溢出、最后 40 帧构图浪费、HUD 可读性与 tone mapping。
最后 6 进程并行跑了 26 分钟,输出 960×540、24fps、120 帧、5 秒整。
跑 26 分钟只为一段 5 秒的视频,这已经超出提示词的范畴,是一个完整的小工程。
结尾它自己承认,没建模黑洞自转、盘厚度、光行时延迟。
这个坦白,比生成结果本身更说明问题。
沃顿商学院教授 Ethan Mollick 也下场,做了个复古宇宙飞船游戏。BridgeMind 那边,马里奥赛车一次性搞定。
有人对比 3D 直升机,5.1 比 5 提升一大截。还有人拿自画像做 6 连对比,5.1 的视觉能力明显更强。
成本争议也得说。
有评测显示,同一提示词一次性输出,Fable 5.1 花了 5.69 美元,GPT-5.6 Sol 只花 0.88 美元。
做游戏对比,Kimi K3 花 11 美元,Fable 5.1 花 18 美元。
提示词和输出长度不完全一致,别当精确对比。
取舍上也明显:Fable 5.1 追求写实,Sol 是简洁风,五场风格统一不崩。
能跑通是本事,跑通之后知道自己算错了什么,才是这一代真正牛的地方
最后想说的话
以前我总觉得,模型和模型之间,比的是谁更聪明、谁跑分更高。
后来慢慢发现,这一代拼的根本不是聪明。
所以,我现在越来越觉得,AI 真正变强的地方,是它开始对结果负责。
科学发现的门槛正在肉眼可见地往下塌,这可能才是这代模型最值得记住的位置。
AI 时代真好呀。
连我这种普通的小白玩家,都能亲眼看到这类东西一周一个变化。
发布当天,Sam Altman 就在 X 上预告了 OpenAI 的下一步。
Astra 会走到哪一步,可以期待一波。
想体验的直接上官网和 API,不过先把预算看住,输出 50 美元每百万 token。
如果你是很多年前就关注过我。
谢谢你,还在。
如果你是最近才来到这里的新朋友,也欢迎你。
新的故事,从这里开始。
我是洛兹克。
这一次,我们一起走进AI时代。