智能体
pub.towardsai.net ·
@Cameron Jagoe
我的 RTX 5090 从 77 降到 7 tokens/s,元凶是 VRAM 压力
作者在自用 Windows 11 桌面(RTX 5090 32GB、WSL2 中 vLLM、NVFP4 量化的 Qwen3.8 27B,服务多小时代码会话的 DSH agent)上发现,每次视频通话都会使推理速度下降最多 10 倍,而 vLLM 从未报错或崩溃。文章给出决定性测试、VRAM 计算以及止住该问题的配置改动。
AI推荐理由 作者在 Windows 11 桌面(RTX 5090 32GB、WSL2 中运行 vLLM、服务 NVFP4 量化的 Qwen3.8 27B)上观察到视频通话期间推理速度从 77 降至 7 tokens/s,且 vLLM 未报 OOM 或崩溃。属于本地 LLM 部署中 VRAM 争用的具体实测案例,对本地推理与开发工具有实用参考;但为个人经验,缺少完整配置与可复现数据。
74
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。