延迟是预算，拟人才是目标——LiveKit 的 Jesse Hall 谈语音 Agent

LiveKit 的 Jesse Hall 讲解如何构建“像人”的语音 Agent。他指出排行榜无法替你选模型，因为分数只衡量单个模型，而实际交付的是从语音识别到 LLM 再到语音合成的流水线，误差会逐级累积；实测延迟也不等于用户实际听到的延迟。他介绍了在工具运行期间像人一样“争取时间”的做法，演示了能处理打断和来电者改变主意的酒店前台场景，并说明 LiveKit 基于音频的轮次检测打断率为 4.5%，而最佳替代方案为 9.9%。他给出关键窗口：端到端 1.5 秒仍可用，约 600 毫秒开始接近拟人。最后介绍了可对自有 Agent 运行的开源基准、LiveKit Inference 上语音调优 Gemma 模型的预告以及一份检查清单。

AI推荐理由 LiveKit 开发者倡导者 Jesse Hall 的演讲，聚焦语音 Agent 的端到端延迟与拟人化体验。具体新信息包括：排行榜分数只衡量单个模型而实际部署是 STT→LLM→TTS 的流水线、误差会逐级累积；实测延迟不等于用户感知延迟；基于音频的轮次检测在打断率上为 4.5%，对比最佳替代方案的 9.9%；给出 1.5 秒端到端可用、约 600 毫秒开始接近拟人的经验窗口；并提到可对自有 Agent 运行的开源基准，以及 LiveKit Inference 上语音调优 Gemma 模型的预告。局限是这些数字来自演讲者自述，未提供独立验证，且语音调优模型仅为预告而非已发布。