Strata 如何让只有 12 GB 显存的电脑跑大模型

📝 本期播客简介 本期我们克隆了：Local Explained · Local AI Is Now 6x Faster on Your PC 原内容更新时间：2026-10-04 用一台只有 12 GB 显存的电脑跑大模型，最让人意外的提升，可能不是生成文字，而是读完一大段提示词、开始回答的速度。 Local Explained 从 Strata 这个专为 Qwen 3.8 Flash Next 和特定电脑配置打造的免费引擎讲起，拆解专家缓存、CPU 与显卡并行计算等提速方式，也核对了标题里的“六倍”究竟怎么比较。接着，这一集还谈到电脑需要多少内存、量化版本如何选择，以及自己买内存和使用云端 API，哪种更划算。 👤 本期嘉宾 本集由 Local Explained 主持并讲解。节目作者查阅了 Strata 的说明文档、论文、版本记录和用户讨论，逐项核对模型结构、速度对比与硬件要求；没有其他出场嘉宾。 ⏱️ 时间戳 00:00 Strata如何提速 13:59 配置、花费与局限 🌟 精彩内容 💡 代码助手最久的等待，可能在第一个字之前 一台笔记本用 llama.cpp 读取 32000 个 token 的提示词，要等五分多钟；Strata 的实测速度下，这段等待约为 21 秒。对把指令和代码一起交给模型的 coding agent 来说，读输入的提速比生成文字更能改变日常体验。 "真正能改变你日常体验的是这个数字。" 💡 “六倍”不是同版本对比 标题中的 94 对 15，比较的是不同量化版本。换成同一个版本，开发者电脑上的生成速度约为原来的四倍，其他有对照数据的电脑约为两倍；提示词读取速度则约为原来的十五倍。 "如果同版本对比，IQ3_XXS 是从每秒 15 个 token 提高到 62 个，大约是原来的 4 倍" 💡 专家缓存让显存小也能装下大模型 模型总共有 24576 个专家，但每个 token 只会用到其中一小部分。Strata 把常用专家留在显存里，并根据使用情况调整；论文在 4000 个 token 的上下文中测到 72% 的缓存命中率。 "可论文在上下文长度为 4000 个 token 时，测出了 72% 的命中率。" 💡 内存不够，模型可能根本启动不了 Strata 会把显卡放不下的部分交给内存和 CPU 处理，因此内存是能否启动的关键：说明文档称 64 GB 内存可跑所有版本，48 GB 只能装下部分版本。升级时，先考虑扩充内存，再考虑更大的显存。 "所以我会先花钱扩充食品柜，再扩充操作台。" 💡 买内存还是付 API 费，要看你已有的配置 如果已经有足够内存，Strata 免费，下载模型后就能尝试；如果需要专门买内存，节目按当时的价格估算，云端 API 多年下来会便宜得多。 "如果你得专门为这个买内存，那用 API，也就是按 token 付钱给 Qwen、用云端的模型，好几年下来都会便宜得多。" 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的 使用 AI 进行翻译，因此可能会有一些地方不通顺