本地 LLM 的 VRAM：为什么内存带宽决定你的每秒 token 数

文章指出“需要多少 VRAM”是错误的第一问题，真正决定本地模型生成速度的是内存带宽，因为 batch size 为 1 时每生成一个 token 都要从内存读取全部权重。粗略上限为带宽除以内存中的模型大小：10GB 模型在 936 GB/s 的 RTX 3090 上约 90 token/秒。当模型或上下文放不下时，层会经 PCIe 4.0（31.5 GB/s）溢出到 DDR5（约 50 GB/s），带宽下降约 20 倍，基准中 42.5 tok/s 降至 3.8。4-bit 量化下权重约需 8B 5GB、14B 10GB、32B 20GB、70B 40GB，尚未计入 KV 缓存。

AI推荐理由 从内存带宽而非显存容量出发解释本地 LLM 推理速度，给出带宽除以模型大小的粗略上限估算，并量化模型溢出到 DDR5 后约 20 倍带宽下降导致 token 速度骤降。对本地部署和硬件选型有直接参考价值，属于有具体算术依据的技术分析。