最新资讯
dev.to 精简 MCP server 工具数量:更少工具、更小影响面,双重收益 dev.to 为什么 git checkout 无法撤销 AI 编码 agent 的改动? wechat AI短剧门槛降降降!实测即梦短剧工作室:剧本分镜预演一条龙,伙伴计划长期护航 dev.to 让模型改写文档前,先量化事实保真度 dev.to 回放 153 个 Claude Code 与 Codex 会话,审计 Agent 的生产影响范围 dev.to 银行 77 意图分类最便宜 LLM:GPT-6.1 Terra 每次成功任务 $0.000727 theinformation.com Chesky的副业:Airbnb向CEO新设AI实验室出售IP theverge.com OpenAI 宣布数据中心项目不再与公职人员签署保密协议 dev.to NVIDIA 发布四个开放 Cosmos 3 仿真模型 dev.to 真实 MCP 客户端击穿我们服务器的五种方式 theverge.com Airbnb 正在开发 AI 旅行 agent,计划 2027 年上半年推出 wechat 这可能是美国AI最魔幻的一天。
多元动态
登录 注册
智能体 arxiv.org · @Xinhua Wang

FDE-Gym:AI 交付的最后一公里基准

原文 我的收藏

论文提出 FDE-Gym,一个面向前向部署工程师(FDE)真实交付场景的智能体基准,包含来自 20 个客户场景、18 个行业的 95 个端到端交付任务,均由行业专家从真实交付项目改编。在带脚本化利益相关方和可修改客户系统的模拟环境中,智能体需与利益相关方交互并在类生产系统上交付可用方案。评分依据客户自身成功指标的提升幅度,在 0(系统未变)到 1(参考方案)之间归一化,并对消息、试运行和等待时间等交互成本施加惩罚。

AI推荐理由 FDE-Gym 针对真实客户交付场景构建 95 个端到端交付任务,覆盖 20 个客户场景、18 个行业,由行业专家从真实项目改编,要求智能体在模拟客户环境中与脚本化利益相关方交互并操作类生产系统。评分以客户自身成功指标的提升为准,并惩罚交互成本。相比既有按 issue 或规格定义任务的基准,更贴近前向部署工程师的模糊需求场景。

74

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

Xinhua Wang FDE-Gym:AI 交付的最后一公里基准 10-16 · 原文发布
← 返回精选动态 原文

更多内容