最新资讯
dev.to 让模型改写文档前,先量化事实保真度 dev.to 回放 153 个 Claude Code 与 Codex 会话,审计 Agent 的生产影响范围 dev.to 银行 77 意图分类最便宜 LLM:GPT-6.1 Terra 每次成功任务 $0.000727 theinformation.com Chesky的副业:Airbnb向CEO新设AI实验室出售IP theverge.com OpenAI 宣布数据中心项目不再与公职人员签署保密协议 dev.to NVIDIA 发布四个开放 Cosmos 3 仿真模型 dev.to 真实 MCP 客户端击穿我们服务器的五种方式 theverge.com Airbnb 正在开发 AI 旅行 agent,计划 2027 年上半年推出 wechat 这可能是美国AI最魔幻的一天。 nytimes.com 美众议院共和党领袖要求 Nvidia 黄仁勋闭门简报 pub.towardsai.net 忘掉我:为记忆而设计的系统中的删除难题 marktechpost.com Google 发布 Gemini Omni 1.2 Flash:15 秒视频,每秒 0.07 美元
多元动态
登录 注册
智能体 arxiv.org · @Joseph J Ma

Argo-Bench:面向企业级工作流的数据 Agent 评测

原文 我的收藏

现有 text-to-SQL 基准只评估查询生成,且审计发现其答案键常出错;真实企业仓库又因敏感难以公开,导致基准多建立在单表公开数据上。Argo-Bench 提出包含 210 个数据科学与分析任务的评测框架:基于公开数据、同行评审行业文献和监管文件,模拟纽约市外卖平台在 2024 年的真实规模(8,100 万订单),并带有经济、欺诈模式与市场激励设定;该世界被导出为 235 张表、75 亿行的 ERP 仓库,参照 Oracle E-Business Suite schema。模拟器的真值状态对 Agent 所见的仓库隐藏。

AI推荐理由 Argo-Bench 针对企业级数据分析 Agent 评测,指出既有 text-to-SQL 基准只评查询生成且答案键常被审计发现错误,并因真实企业仓库敏感而多基于单表公开数据。该工作构建 210 个数据科学与分析任务,模拟纽约市外卖平台 2024 年 8,100 万订单,导出为 235 张表、75 亿行的 ERP 仓库(参照 Oracle E-Business Suite schema),且模拟器真值状态对 Agent 不可见。规模与任务设计对 Agent 评测有实际价值;局限是仍为模拟环境,与真实企业仓库存在差距,且摘要未给出评测结果。

80

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容