大模型
developer.nvidia.com ·
@Michelle Horton
ReplaySSM：重构状态存储以加速混合模型解码
NVIDIA 开发者博客提出 ReplaySSM，讨论混合模型解码中的状态存储问题。此类模型将状态空间模型（SSM）层与少量注意力层交错，NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 均采用该结构，SSM 层使用 Mamba-2、Gated DeltaNet (GDN) 或 Kimi Delta Attention (KDA)。SSM 层用固定大小状态替代随序列增长的 KV cache 以加速解码。提供的正文片段在关键处截断，未包含 ReplaySSM 的具体机制与性能数据。
AI推荐理由 NVIDIA 开发者博客介绍 ReplaySSM，针对 SSM 与注意力层混合模型（如 Nemotron 3、Qwen3.5–3.8、Kimi-K3、GLM-5.3-Flash，SSM 层为 Mamba-2、GDN、KDA）解码时固定大小状态存储的优化思路，属于推理效率方向的技术内容；但提供的正文片段在关键处截断，缺少方法细节与实测加速数据，无法确认效果。
74
正文
Hybrid models interleave state-space model (SSM) layers with a few attention layers. NVIDIA Nemotron 3, Qwen3.5 through Qwen3.8, Kimi-K3, and GLM-5.3-Flash are...
Hybrid models interleave state-space model (SSM) layers with a few attention layers. NVIDIA Nemotron 3, Qwen3.5 through Qwen3.8, Kimi-K3, and GLM-5.3-Flash are all built this way, with Mamba-2, Gated DeltaNet (GDN), or Kimi Delta Attention (KDA) as the SSM layer. SSM layers are designed to make decoding fast: they use a fixed-size state in place of a key-value (KV) cache that grows with…
Source