EliseAI 的 Bohan Li 谈用前沿智能模型构建实时语音 Agent

EliseAI 语音 harness 开发者 Bohan Li 分享在慢速但更智能的模型上运行实时语音 Agent 的三种技巧。他把级联语音栈对应到自动驾驶：转写是感知、语言模型是规划、语音合成是控制，各层分别优化。转写层并行运行快速流式引擎与带更多上下文的慢速引擎，慢速引擎的迟到修正若已有更新音频到达即被丢弃，并能依据问题判断答案中哪部分是姓名、哪部分是出生日期。合成层使用 prefix cache 监听模型输出流。此外，后台 agent 会静默完成工具调用，再把结果放入主模型上下文，使模型以为调用由自己发起，从而掩盖等待。

AI推荐理由 来自 AI Engineer 频道的技术演讲，讲者 Bohan Li 在 EliseAI 做语音 harness，内容具体：把级联语音栈映射为感知/规划/控制三层，转写层同时跑快速流式引擎和带更多上下文的慢速引擎，慢速引擎的迟到修正若已有更新音频到达就丢弃，并能根据问题判断答案中哪部分是姓名、哪部分是出生日期；合成层用 prefix cache 监听模型输出流。还提到用后台 agent 静默发起工具调用、再把结果塞回主模型上下文，让模型以为是自己调用的，以在慢模型上掩盖等待。这些是可直接借鉴的工程技巧，对实时语音 Agent 有实际价值。局限：输入只有摘要片段，合成部分被截断，未给出延迟、准确率等量化结果，也未说明是否已上线或开源，因此不能断言实际效果。