在消费级硬件上微调 LLM：LoRA 指南 2024

该教程介绍如何用 LoRA 和 QLoRA 在单张消费级 GPU 上微调 7B-70B 模型，无需云端算力。文中给出显存需求对照表：7B 用 fp16 LoRA 约需 16GB（RTX 3090/4090），7B 用 4-bit QLoRA 约需 8GB（RTX 3060 12GB），13B 约 12GB，33B 约 20GB，70B 约 40GB（双卡）。同时列出 conda 环境创建等基础步骤，并说明 LoRA 冻结基座模型、仅训练小型适配器矩阵，可训练参数减少 100-1000 倍、检查点仅数 MB 且可合并回基座模型。

AI推荐理由 面向消费级 GPU 的 LoRA/QLoRA 微调教程，给出 7B-70B 模型在不同量化方式下的显存需求表和环境搭建步骤，对想本地微调的开发者有直接参考价值；但内容属常见知识整理，标题标注 2024 而发布时间为 2026，时效性存疑，且未提供实测数据或效果验证。