Decode 阶段受限于内存带宽约 300 倍，批处理可缓解但长上下文会失效

作者计算：batch size 1 的稠密模型每生成一个 token 需读全部权重、做 2 次乘加，BF16 下算术强度约 1 FLOP/byte；而 H100 SXM 的 ridge point 约 295 FLOP/byte、B200 更高，故 decode 受 HBM 带宽约束。批处理可提升利用率，但 KV cache 随上下文长度增长会重新压低吞吐，文中附有按模型配置计算上限的脚本。

AI推荐理由 用算术说明 decode 阶段算术强度约 1 FLOP/byte，而 H100、B200 的 ridge point 达数百 FLOP/byte，因此受显存带宽限制；并指出 KV cache 随上下文增长会改变吞吐上限，附读取模型配置的脚本。对推理部署有参考价值，但为个人博客推导，未经基准实测。