LiveKit 工程师谈如何构建打断后不崩的语音 Agent

LiveKit 的 Jesse Hall 分享实时语音 Agent 的构建经验：模型排行榜只衡量组件而非最终对话体验，应改用 time to first audio 和 time to first sentence 作为指标；通过异步工具调用在慢速后端处理时保持对话流畅；采用音频感知的轮次检测；延迟预算约 1.5 秒，500-600ms 才接近真人体验；并建议用模拟呼叫者基准测试自有技术栈。

AI推荐理由 LiveKit 的 Jesse Hall 给出语音 Agent 工程化的具体经验：模型排行榜只评组件而非整段对话，应关注 time to first audio 和 time to first sentence 而非首字节/首 token；用异步工具调用掩盖后端延迟；音频感知的轮次检测；约 1.5 秒延迟预算（500-600ms 才接近真人）；并用模拟呼叫者压测自有技术栈。内容对构建实时语音 Agent 有明确方法论价值，但为会议演讲转述，缺少可复现的量化数据。