行业动态
dev.to ·
@Cole Halton
同一模型、15 家服务商:工具调用准确率从 84.63% 到 100%
文章引用 Moonshot 在 K2 Vendor Verifier 仓库公布的数据:同一模型、同一 4000 请求测试集下,不同服务商的工具调用 schema 准确率从 84.63% 到 100% 不等,说明部署差异可能被误判为模型缺陷。文章还区分了衡量是否调用工具的 tool_call_f1 与衡量参数结构的 schema_accuracy。
AI推荐理由 引用 Moonshot K2 Vendor Verifier 仓库数据,指出同一模型在不同服务商下工具调用准确率从 84.63% 到 100% 不等,并区分 tool_call_f1 与 schema_accuracy 两类指标。对模型部署质量与 Agent 工具调用可靠性有实际参考价值;但数据来自单一厂商自建测试集,需注意其立场与测试范围。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。