扩散 LLM 如何在 A100 上一次生成 64 个词

文章记录在 NVIDIA A100-SXM4-40GB 上运行开源扩散语言模型 GSAI-ML/LLaDA-8B-Instruct（bfloat16，16 步）的实验，并与 Qwen2.5-7B-Instruct、roberta-large 对照。作者报告 64 token 并行去噪画布、左到右结晶的 0.7593 Spearman 秩相关、13.49% 乱序结构锚点跳变，以及朴素双向注意力因缺少 KV cache 而慢 2.75 倍。

AI推荐理由 作者在 A100-40GB 上实测开源扩散语言模型 LLaDA-8B-Instruct，与 Qwen2.5-7B-Instruct 等自回归模型对照，给出 64 token 并行去噪、乱序解码统计（0.7593 的 Spearman 左到右秩相关、13.49% 结构锚点跳变）以及无 KV cache 时双向注意力慢 2.75 倍等具体观察。属个人实验，非同行评审，但方法、硬件与数字明确，对扩散 LLM 推理研究有参考价值。