最新资讯
dev.to 在信任 AI 生成的测试用例前,如何逐条复核 unite.ai Franklin Templeton 构建 AI 研究工作流以揭示风险 techxplore.com AI 助力寻找更优的钛合金 3D 打印工艺参数 engadget.com Perplexity 推出“teammates”日常工作任务 AI agent computerworld.com 别提数据中心:OpenAI 改称“compute campuses” theguardian.com 俄美试图阻止就自主武器制定具有约束力的规则 bloomberg.com Nvidia 加强东南亚芯片追踪以打击走私 thestack.technology 模型路由需求升温,Agent Router 推出开源替代方案 www.youtube.com Google DeepMind 的 Philipp Schmid:AI 同事需要具备的七个要素 unite.ai Cashfree 为 AI Agent 的托管结账加入 WebMCP 工具 dev.to 我们在 DolphinBench 上测试记忆检索:纯关键词搜索暴露了自身回归 dev.to 别再把 Agent 写成 while 循环,把它建模为状态机
多元动态
登录 注册
智能体 dev.to · @Ashish sinha

schemagate 在 BIRD dev 以每题一次模型调用取得 77.1% 执行准确率

原文 我的收藏

作者称在 BIRD dev 全部 1,534 题上用 Claude Opus 5.5 取得 77.12% 执行准确率(simple 80.97、moderate 71.34、challenging 71.03),并已提交隐藏测试集。方法为反射数据库后仅向模型提供所需表的 DDL 与列注释,每题一次模型调用、约 2,100 prompt token,SQLite 报错时仅修复一次(1,534 题中出现 1 次),无候选生成、投票或 agent 循环;榜单头部系统通常每题 5–20 次调用。

AI推荐理由 给出 BIRD dev 全量 1,534 题上 77.12% 执行准确率的分项数据,并说明方法:先反射数据库选表、仅暴露相关 DDL、每题一次模型调用、出错仅一次修复,约 2,100 prompt token,无候选生成与投票。相比榜单头部每题 5–20 次调用,成本优势明确;但为作者自述、测试集结果尚未公布,且所用模型名称需核实。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容