大模型
arxiv.org ·
@Saksorn Ruangtanusak
SCB:评估语音到语音模型多轮推理的 SpeechConversationBench
论文提出 SpeechConversationBench(SCB),用 103 个分片 GSM8K 问题评测语音到语音模型的语音数学推理,比较一次性给出原题(full)、拼接分片(concat)与逐轮语音披露(sharded)三种条件。摘要报告四款商用语音系统在 sharded 下准确率较 concat 下降 5.0–25.3 个百分点;内部专有语音流水线 LEGO 在三种条件下均达 77.5%,GPT-4o Realtime 的 sharded 准确率为 76.6%。
AI推荐理由 提出面向语音到语音模型多轮推理的评测基准 SCB,用 103 个分片 GSM8K 问题对比一次性给出、拼接给出与逐轮披露三种条件,并报告四款商用语音系统在分片条件下准确率下降 5.0–25.3 个百分点,内部系统 LEGO 在三种条件下均为 77.5%。提供了可量化的多轮语音推理退化证据,但摘要未说明四款商用系统的具体名称与评测细节,且 LEGO 为内部专有系统,可比性有限。
70
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。