Stefano Ermon：自回归推理是串行且受内存带宽限制，扩散模型天然适配 GPU

帖子称 Augment Code 在 9 月把生产编码 Agent 后端从更大模型换成更小的扩散模型 Mercury 2.5，声称延迟下降 82%、成本下降 90%，并称 Artificial Analysis 独立测得 770 tokens/s（厂商自称为 1,107）。核心论点是自回归推理串行且受内存带宽限制，扩散模型可并行生成一个 token 块，更契合 GPU。上述数据来自 Reddit 转述，未经输入中的原始来源核实。

AI推荐理由 帖子称 Augment Code 于 9 月将生产编码 Agent 后端换成更小的扩散模型 Mercury 2.5，并给出延迟降 82%、成本降 90% 的数字，同时提到 Artificial Analysis 独立测得 770 tokens/s。若属实，是扩散式推理在真实产品中落地的强信号；但内容来自 Reddit 转述，含大量营销式表述，核心数据未在输入中提供原始出处，需保留不确定性。