本地 LLM 的 KV Cache 显存估算：别再凭感觉设上下文长度

文章给出标准 Transformer 全注意力下 KV cache 的逐层、逐 token、逐 KV head 字节数计算方式，说明 7B 模型在 32K 上下文下缓存占用达 GB 级，并介绍 llama.cpp 与 Ollama 中控制分配的参数；作者还指出“量化后显存减半”的说法并不准确，并建议验证低精度缓存是否损害模型召回。

AI推荐理由 面向本地 LLM 部署的实操文章，解释 KV cache 随上下文线性增长、GQA 对显存占用的影响，以及 llama.cpp/Ollama 中控制分配的参数，并质疑“量化即减半”的常见说法。对开发者有直接用途，但为个人博客经验总结，未提供基准测试数据。