最新资讯
dev.to 用 Switch 构建 AI 投资委员会:多空研究员 Agent 协作 bloomberg.com 微软正结束向甲骨文租用 AI 云算力的协议 the-decoder.com Perplexity 推出常驻 AI Agent“Teammates” dev.to osFoundry的Loop和Graph是什么,何时该用哪个? dev.to 限制上下文而非限制评审:面向开源补丁的字节预算证据包 dev.to 约束自主智能体:用 GKE Agent Sandbox 实现亚秒级零信任执行 dev.to 实测:给 Claude Code 十个翻译工具,三次运行中有一次完全不用 unite.ai Ramp 数据:企业 AI token 用量增速超过支出增速 pub.towardsai.net AI 生成的 ICLR 评审对被拒论文更宽松:如何压力测试你的 rebuttal blogs.nvidia.com NVIDIA 开源工具如何助力研究者构建下一代 6G 网络 wired.com AI 公司正积极收购企业工作文件与邮件用于模型训练 wechat 网友用AI搓出来的“App”,可以直接在小红书玩起来了?
多元动态
登录 注册
智能体 pub.towardsai.net · @Cameron Jagoe

我的 RTX 5090 从 77 降到 7 tokens/s,元凶是 VRAM 压力

原文 我的收藏

作者在自用 Windows 11 桌面(RTX 5090 32GB、WSL2 中 vLLM、NVFP4 量化的 Qwen3.8 27B,服务多小时代码会话的 DSH agent)上发现,每次视频通话都会使推理速度下降最多 10 倍,而 vLLM 从未报错或崩溃。文章给出决定性测试、VRAM 计算以及止住该问题的配置改动。

AI推荐理由 作者在 Windows 11 桌面(RTX 5090 32GB、WSL2 中运行 vLLM、服务 NVFP4 量化的 Qwen3.8 27B)上观察到视频通话期间推理速度从 77 降至 7 tokens/s,且 vLLM 未报 OOM 或崩溃。属于本地 LLM 部署中 VRAM 争用的具体实测案例,对本地推理与开发工具有实用参考;但为个人经验,缺少完整配置与可复现数据。

74

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容