最新资讯
wechat AI短剧门槛降降降!实测即梦短剧工作室:剧本分镜预演一条龙,伙伴计划长期护航 dev.to 让模型改写文档前,先量化事实保真度 dev.to 回放 153 个 Claude Code 与 Codex 会话,审计 Agent 的生产影响范围 dev.to 银行 77 意图分类最便宜 LLM:GPT-6.1 Terra 每次成功任务 $0.000727 theinformation.com Chesky的副业:Airbnb向CEO新设AI实验室出售IP theverge.com OpenAI 宣布数据中心项目不再与公职人员签署保密协议 dev.to NVIDIA 发布四个开放 Cosmos 3 仿真模型 dev.to 真实 MCP 客户端击穿我们服务器的五种方式 theverge.com Airbnb 正在开发 AI 旅行 agent,计划 2027 年上半年推出 wechat 这可能是美国AI最魔幻的一天。 nytimes.com 美众议院共和党领袖要求 Nvidia 黄仁勋闭门简报 pub.towardsai.net 忘掉我:为记忆而设计的系统中的删除难题
多元动态
登录 注册
大模型 arxiv.org · @Kyuseong Lim

韩国开放API多步工具调用基准与数据合成方法

原文 我的收藏

介绍KOPA-Bench基准,包含145个真实任务,评估开源LLM代理在韩国政府API上的多步工具调用能力。提出EDGE方法,通过动态图合成可执行轨迹,微调后的9B模型性能接近未调优的27B模型,并在BFCL上也有提升。

AI推荐理由 提出KOPA-Bench基准和EDGE数据合成方法,针对韩国公共API的多步工具调用,开源模型性能提升显著,对Agent工具调用研究有实际价值。

88

正文

计算机科学 > 人工智能 arXiv:2609.05395v1 (cs) [提交于2026年9月4日] 标题:韩国开放公共API上的多步骤工具调用:基准测试与数据合成方法 作者:Dain Kim, Eungi Cho, Kyumin Kim, Shinyeong Noh, Kyuseong Lim 查看论文PDF,标题为“韩国开放公共API上的多步骤工具调用:基准测试与数据合成方法”,作者:Dain Kim等4人 查看PDF HTML(实验性) 摘要:数据主权法规日益要求公共机构部署开源、本地化的大语言模型代理,这些代理需要在实时政府API之间链式调用多个工具。然而,开源模型在多步骤场景中始终表现不佳,且现有基准测试无法衡量这一差距。我们引入了韩国开放公共API基准测试(KOPA-Bench),包含145个真实世界任务。为缩小这一差距,我们提出了EDGE,一种基于执行验证的动态图,用于工具调用数据合成,由实时执行驱动。EDGE构建了一个图,展示每个工具的输出如何作为另一个工具的输入,仅保留在实时API上实际调用成功的链接,并遍历这些已验证的链接以合成可执行的多步骤轨迹。通过GRPO在生成的数据集上进行微调,我们的9B模型几乎与同系列未微调的27B模型性能相当,不仅在KOPA-Bench上显著提升,在BFCL基准测试上也有大幅改进。 评论: 主题: 人工智能(cs.AI);计算与语言(cs.CL) ACM分类: I.2.7; I.2.6 引用格式: arXiv:2609.05395 [cs.AI] (或 arXiv:2609.05395v1 [cs.AI] 用于此版本) https://doi.org/10.48550/arXiv.2609.05395 了解更多 arXiv通过DataCite发布的DOI(待注册) 提交历史 来自:Eungi Cho [查看电子邮件] [v1] 2026年9月4日星期五 17:44:52 UTC(489 KB) 全文链接: 访问论文: 查看论文PDF,标题为“韩国开放公共API上的多步骤工具调用:基准测试与数据合成方法”,作者:Dain Kim等4人 查看PDF HTML(实验性) TeX源文件 查看许可证 当前浏览上下文: cs.AI 新 | 近期 | 2026-09 更改浏览方式: cs cs.CL 参考文献与引用 NASA ADS Google Scholar Semantic Scholar 导出BibTeX引用 加载中... BibTeX格式引用 × 加载中... 数据提供: 书签 书目工具 书目与引用工具 书目浏览器切换 书目浏览器(什么是书目浏览器?) 关联论文切换 关联论文(什么是关联论文?) Litmaps切换 Litmaps(什么是Litmaps?) scite.ai切换 scite智能引用(什么是智能引用?) 代码、数据、媒体 与本文相关的代码、数据和媒体 alphaXiv切换 alphaXiv(什么是alphaXiv?) 代码链接切换 CatalyzeX论文代码查找器(什么是CatalyzeX?) DagsHub切换 DagsHub(什么是DagsHub?) GotitPub切换 Gotit.pub(什么是GotitPub?) Huggingface切换 Hugging Face(什么是Huggingface?) ScienceCast切换 ScienceCast(什么是ScienceCast?) 演示 演示 Replicate切换 Replicate(什么是Replicate?) Spaces切换 Hugging Face Spaces(什么是Spaces?) Spaces切换 TXYZ.AI(什么是TXYZ.AI?) 相关论文 推荐与搜索工具 链接到Influence Flower Influence Flower(什么是Influence Flowers?) 核心推荐器切换 CORE推荐器(什么是CORE?) 作者 会议/期刊 机构 主题 关于arXivLabs arXivLabs:与社区合作者的实验项目 arXivLabs是一个框架,允许合作者直接在我们的网站上开发和分享新的arXiv功能。 与arXivLabs合作的个人和组织都接受并认可我们开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观,并且只与遵守这些价值观的合作伙伴合作。 有想法为arXiv社区增加价值的项目吗?了解更多关于arXivLabs的信息。 哪些作者是本文的认可者?| 禁用MathJax(什么是MathJax?)
查看原文(中文正文为 AI 翻译)
Computer Science > Artificial Intelligence arXiv:2609.05395v1 (cs) [Submitted on 4 Sep 2026] Title:Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe Authors:Dain Kim, Eungi Cho, Kyumin Kim, Shinyeong Noh, Kyuseong Lim View a PDF of the paper titled Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe, by Dain Kim and 4 other authors View PDF HTML (experimental) Abstract:Data-sovereignty regulations increasingly require public institutions to deploy open-source, on-premise LLM agents that chain multiple tool-calls across live government APIs. However, open-source models consistently underperform in this multi-step setting, and no existing benchmark measures the gap. We introduce the Korean Open Public API Benchmark (KOPA-Bench), comprising 145 real-world tasks. To close this gap, we present EDGE, an Execution-grounded Dynamic Graph for tool-calling data synthEsis driven by live execution. EDGE builds a graph of how each tool's output can feed another's input, keeps only the links that succeed when actually called against the live APIs, and traverses these verified links to synthesize executable multi-step trajectories. Fine-tuned via GRPO on the resulting dataset, our 9B model nearly matches the untuned 27B model from the same family, improving substantially not only on KOPA-Bench but also on the BFCL benchmark. Comments: Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL) ACM classes: I.2.7; I.2.6 Cite as: arXiv:2609.05395 [cs.AI] (or arXiv:2609.05395v1 [cs.AI] for this version) https://doi.org/10.48550/arXiv.2609.05395 Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Eungi Cho [view email] [v1] Fri, 4 Sep 2026 17:44:52 UTC (489 KB) Full-text links: Access Paper: View a PDF of the paper titled Multi-Step Tool-Calling over Korean Open Public APIs: A Benchmark and a Data-Synthesis Recipe, by Dain Kim and 4 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.AI new | recent | 2026-09 Change to browse by: cs cs.CL References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer (What is the Explorer?) Connected Papers Toggle Connected Papers (What is Connected Papers?) Litmaps Toggle Litmaps (What is Litmaps?) scite.ai Toggle scite Smart Citations (What are Smart Citations?) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv (What is alphaXiv?) Links to Code Toggle CatalyzeX Code Finder for Papers (What is CatalyzeX?) DagsHub Toggle DagsHub (What is DagsHub?) GotitPub Toggle Gotit.pub (What is GotitPub?) Huggingface Toggle Hugging Face (What is Huggingface?) ScienceCast Toggle ScienceCast (What is ScienceCast?) Demos Demos Replicate Toggle Replicate (What is Replicate?) Spaces Toggle Hugging Face Spaces (What is Spaces?) Spaces Toggle TXYZ.AI (What is TXYZ.AI?) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower (What are Influence Flowers?) Core recommender toggle CORE Recommender (What is CORE?) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs. Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容