智能体
arxiv.org ·
@Xinhua Wang
FDE-Gym:AI 交付的最后一公里基准
论文提出 FDE-Gym,一个面向前向部署工程师(FDE)真实交付场景的智能体基准,包含来自 20 个客户场景、18 个行业的 95 个端到端交付任务,均由行业专家从真实交付项目改编。在带脚本化利益相关方和可修改客户系统的模拟环境中,智能体需与利益相关方交互并在类生产系统上交付可用方案。评分依据客户自身成功指标的提升幅度,在 0(系统未变)到 1(参考方案)之间归一化,并对消息、试运行和等待时间等交互成本施加惩罚。
AI推荐理由 FDE-Gym 针对真实客户交付场景构建 95 个端到端交付任务,覆盖 20 个客户场景、18 个行业,由行业专家从真实项目改编,要求智能体在模拟客户环境中与脚本化利益相关方交互并操作类生产系统。评分以客户自身成功指标的提升为准,并惩罚交互成本。相比既有按 issue 或规格定义任务的基准,更贴近前向部署工程师的模糊需求场景。
74
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。