大模型
pub.towardsai.net ·
@Latent AI Labs
实测 Qwen3-4B：反向传播、AdamW 与 Rank-8 LoRA 的显存与耗时
作者在 NVIDIA RTX PRO 6000 Blackwell 上实测 Qwen3-4B-Instruct：16 字节混合精度全量微调需 68.87 GB 显存，而 Rank-8 LoRA 仅训练 1652 万个适配器权重（占 40.2 亿参数基座的 0.41%），单次更新耗时 21.92 秒，合并后不增加推理延迟。
AI推荐理由 在 Qwen3-4B 上实测全量微调与 Rank-8 LoRA 的显存占用和训练耗时（68.87 GB 对比 21.92 秒、0.41% 可训练参数），对开发者有直接参考价值；属个人实测博客，数据未经独立复现，且含较多推广性内容。
78
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。