智能体
dev.to ·
@Michael Lip
为何相似的 LLM Agent 得分需要不同的修复方式
文章介绍 AgentHop 基准:在七工具沙箱中用 19 个模型回答 1011 道计算机科学多选题,单次运行以种子论文和问题开始,限 20 轮、20 万 token、30 点工具预算。作者称 Opus 4.6 检索更多证据,Sonnet 4.6 综合更好,但最终准确率相近,说明“找到证据”与“用好证据”应分开度量。文中后续工作流为作者提出的适配方案,非论文结论。
AI推荐理由 文章转述 AgentHop 基准的评测设计:19 个模型、1011 道计算机科学多选题、七工具沙箱、20 轮与 20 万 token 限制,并区分“检索到证据”与“正确使用证据”两个指标,指出 Opus 4.6 检索更强、Sonnet 4.6 综合更好但最终准确率相近。这些是论文中的定义与发现,对 Agent 评测方法有参考价值;但正文后半部分为作者自述的适配方案,非论文结论,需注意区分。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。