最新资讯
dev.to 你的 Agent Harness 应具备的 17 项能力 dev.to 离线 AI 记忆中 0.8 余弦阈值为何失效 dev.to Kimi K3.1 Pro 开放权重:自托管 2.8T 模型前的开发者清单 dev.to 如何通过工具调用引导模型以提升 Harness 质量 dev.to AI Agent 审计轨迹不等于对话记录 dev.to 精简 MCP server 工具数量:更少工具、更小影响面,双重收益 dev.to 为什么 git checkout 无法撤销 AI 编码 agent 的改动? wechat AI短剧门槛降降降!实测即梦短剧工作室:剧本分镜预演一条龙,伙伴计划长期护航 dev.to 让模型改写文档前,先量化事实保真度 dev.to 回放 153 个 Claude Code 与 Codex 会话,审计 Agent 的生产影响范围 dev.to 银行 77 意图分类最便宜 LLM:GPT-6.1 Terra 每次成功任务 $0.000727 theinformation.com Chesky的副业:Airbnb向CEO新设AI实验室出售IP
多元动态
登录 注册
大模型 arxiv.org · @Saksorn Ruangtanusak

SCB:评估语音到语音模型多轮推理的 SpeechConversationBench

原文 我的收藏

论文提出 SpeechConversationBench(SCB),用 103 个分片 GSM8K 问题评测语音到语音模型的语音数学推理,比较一次性给出原题(full)、拼接分片(concat)与逐轮语音披露(sharded)三种条件。摘要报告四款商用语音系统在 sharded 下准确率较 concat 下降 5.0–25.3 个百分点;内部专有语音流水线 LEGO 在三种条件下均达 77.5%,GPT-4o Realtime 的 sharded 准确率为 76.6%。

AI推荐理由 提出面向语音到语音模型多轮推理的评测基准 SCB,用 103 个分片 GSM8K 问题对比一次性给出、拼接给出与逐轮披露三种条件,并报告四款商用语音系统在分片条件下准确率下降 5.0–25.3 个百分点,内部系统 LEGO 在三种条件下均为 77.5%。提供了可量化的多轮语音推理退化证据,但摘要未说明四款商用系统的具体名称与评测细节,且 LEGO 为内部专有系统,可比性有限。

70

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容