最新资讯
bloomberg.com 台积电据报考虑生产先进 AI 存储芯片 www.infoq.com Yelp 为 AI Assistant 融合原生与服务器驱动 UI computerworld.com 英国监管机构:企业须为自家 AI 代理的错误负责 siliconangle.com Atomicwork 推出面向企业 IT 与安全的认证 AI 同事市场 computerworld.com OpenAI 收购小型软件公司以改进 Codex bdtechtalks.com Next-Concept Modeling 如何重新思考 AI 文本生成 computerworld.com Box 发布 Architect:用自然语言构建业务流程工作流 techrepublic.com Perplexity 推出 Teammates:每月 200 美元的 AI Agent 如何工作 the-decoder.com METR 称 Anthropic 或已在 7 月越过自身 AI 加速预警阈值 towardsdatascience.com 用 Ollama 和 Python 构建你的第一个多工具 AI Agent the-decoder.com Thinking Machines 的 Inkling 2 Small 称霸西方开放权重模型 dev.to 为 CI/CD 构建 AI 质量门禁
多元动态
登录 注册
智能体 dev.to · @Michael Lip

为何相似的 LLM Agent 得分需要不同的修复方式

原文 我的收藏

文章介绍 AgentHop 基准:在七工具沙箱中用 19 个模型回答 1011 道计算机科学多选题,单次运行以种子论文和问题开始,限 20 轮、20 万 token、30 点工具预算。作者称 Opus 4.6 检索更多证据,Sonnet 4.6 综合更好,但最终准确率相近,说明“找到证据”与“用好证据”应分开度量。文中后续工作流为作者提出的适配方案,非论文结论。

AI推荐理由 文章转述 AgentHop 基准的评测设计:19 个模型、1011 道计算机科学多选题、七工具沙箱、20 轮与 20 万 token 限制,并区分“检索到证据”与“正确使用证据”两个指标,指出 Opus 4.6 检索更强、Sonnet 4.6 综合更好但最终准确率相近。这些是论文中的定义与发现,对 Agent 评测方法有参考价值;但正文后半部分为作者自述的适配方案,非论文结论,需注意区分。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容