为什么“35GB”量化模型仍会撑爆 80GB 显卡：KV Cache、GQA 与 DeepSeek MLA 的真实显存账

文章解释为何 70B 模型 4-bit 量化后约 35GB，在 80GB A100/H100 上以 64K 上下文运行 vLLM 或 llama.cpp 仍会 OOM：模型权重只是显存下限，还需计入量化 scale-block 开销、prefill 激活缓冲、CUDA/PyTorch 工作区预留，以及体量最大的 KV Cache，实际占用可能翻倍甚至三倍。文中给出生产环境 LLM 显存分配的字节级计算，并说明 Grouped-Query Attention（GQA）与 DeepSeek Multi-Head Latent Attention（MLA）如何改变显存扩展曲线，用于在购买云实例前估算 GPU 规格。

AI推荐理由 针对部署开源权重模型时的常见困惑给出字节级显存计算：量化块开销、prefill 激活缓冲、CUDA/PyTorch 工作区以及 KV Cache，并对比 GQA 与 DeepSeek MLA 对显存扩展曲线的影响。对做推理部署和 GPU 选型的工程师有直接实用价值，但为个人技术博客，结论需自行验证。