在单张 RTX 4090 上运行 100B+ MoE 模型：llama.cpp 专家卸载实操指南

文章介绍如何借助 Mixture of Experts 架构与 expert offloading 技术，在仅 24GB 显存的 RTX 4090 上运行 125B 参数 MoE 模型。作者指出 4-bit 量化下 125B 参数约需 70–75GB 显存，而 MoE 每层路由器仅激活少量专家（如 128 或 256 个中的 8 个），因此可将未激活专家卸载到 CPU 内存，从而维持可接受的 token 生成速度，并附上可复制的命令。

AI推荐理由 面向本地推理的实操指南，解释 MoE 路由机制与 expert offloading 如何绕开 24GB VRAM 限制，并称提供可直接复制的命令，对开发者在消费级显卡上跑大模型有直接参考价值；但正文为个人经验总结，未给出完整基准数据，且引用 Hacker News 600 分帖属传播信号而非技术验证。