微调 7B 模型需要 112 GB 显存，而模型本身只占 14 GB

文章引用 ZeRO 论文的显存核算公式：混合精度训练配合 Adam 时，每个参数需 2 字节 fp16 权重、2 字节 fp16 梯度，以及 12 字节的 fp32 主权重副本加两个 Adam 动量缓冲（各 4 字节），合计 16Ψ 字节。因此 7B 模型微调约需 112 GB，而 fp16 权重本身仅约 14 GB。作者据此说明 LoRA 与 QLoRA 为何是显存受限下的自然选择。

AI推荐理由 文章用 ZeRO 论文的 16Ψ 字节公式拆解 7B 模型微调显存占用（fp16 权重 2B、梯度 2B、fp32 主副本与 Adam 动量 12B），指出模型本身仅占 14GB 中的一小部分，其余约 98GB 来自优化器状态等。这是对 LoRA/QLoRA 动机的量化解释，对开发者理解显存瓶颈有实际参考价值；但内容属对已有论文的复述，无新实验数据。