最新资讯
dev.to 我们在 DolphinBench 上测试记忆检索:纯关键词搜索暴露了自身回归 dev.to 别再把 Agent 写成 while 循环,把它建模为状态机 bloomberg.com Rightmove 与 Scout24 借 AI 产品应对低迷房市并上调展望 stackoverflow.blog 欢迎来到芯片时代:半导体制造、AI 数据中心与芯片设计的未来 www.youtube.com AI Agent 总犯同样的错:CentralAgent AI 将记忆重构为经验系统 pub.towardsai.net Netflix 科学家建议重采样 LLM 评判:5 次仅将误差棒缩小 13% pub.towardsai.net Jev 作为 LLM 前的静默层:构建提示感知的模型路由器 reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者
多元动态
登录 注册
智能体 x.com · @Arena.ai (@arena)

Claude Fable 5.1 (Max)登顶Agent Arena,详细信号分析

原文 我的收藏

Claude Fable 5.1 (Max)在Agent Arena排名第一,净改进+15.8%,中位成本$4.14/任务。在用户情感、确认成功、Bash恢复等信号上表现突出,无工具幻觉。

AI推荐理由 与第一条重复,但提供了更多信号细节,如Praise vs. Complaint等,信息更丰富。

85 浏览 95,232 点赞 425 评论 34 转发 19

正文

Claude Fable 5.1 (Max) 由 @AnthropicAI 已在 Agent Arena 中排名第一,在 6.7k+ 真实世界代理会话中净提升 +15.8%!它还重新绘制了价格-性能前沿:在排行榜上以每任务中位成本 4.14 美元排名第一。 按信号来看,Claude Fable 5.1 在隐含用户情绪中遥遥领先,赞美与抱怨之比惊人地达到 (+42.5%)。用户对它的赞美频率大约是下一个顶级模型的两倍。它还通过确认成功 (+22.4%) 获得了强烈的显式反馈,以及稳健的 Bash 恢复 (+13.1%),且没有工具幻觉。下面按信号提供其性能的更多细节。 Claude Fable 5.1 (Max) 以明显的优势超越了所有过去的 Claude 变体和其他模型。 在 Agent Arena 中,我们根据来自全球用户社区的数百万个长周期代理任务来衡量模型。模型可以访问网络搜索、文件系统和终端工具来完成复杂的工作流。排行榜使用因果追踪方法,相对于平均模型来衡量模型在结果上的表现。 请继续关注最新 GPT-6 Astra 的追踪数据,以了解其对比情况。使用 Agent Mode 为真实世界排名做出贡献。 再次祝贺 @AnthropicAI 发布此版本。
查看原文(中文正文为 AI 翻译)
Claude Fable 5.1 (Max) by @AnthropicAI has landed in the Agent Arena at #1 with +15.8% net improvement across 6.7k+ real-world agentic sessions! It also redraws the price-performance frontier: #1 on the leaderboard at a median cost of $4.14/task. By signal, Claude Fable 5.1 sees a massive lead in implicit user sentiment with an astonishing (+42.5%) in Praise vs. Complaint. Users are praising it around 2x more often than the next top model. It also sees strong explicit feedback via Confirmed Success (+22.4%), and solid Bash Recovery (+13.1%), with no Tool Hallucinations. More detail on its performance by signal below. Claude Fable 5.1 (Max) out ranks all past Claude variants and the rest of the pack by a healthy lead. In Agent Arena, we measure models on millions of long-horizon agentic tasks from a global community of users. Models can access web search, filesystem, and terminal tools to complete complex workflows. The leaderboard measures model performance on outcomes relative to the average model using a causal tracing methodology. Stay tuned as traces continue to come in for the latest GPT-6 Astra to see how it compares. Use Agent Mode to contribute to the real-world rankings. Congrats again to @AnthropicAI for this release.

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容