利用引用局部性，94GB Qwen3.8-Flash-Next 在单张 RTX 5090 上达到 68 tok/s

作者梳理 llama.cpp 已合并 PR #29887（移植 Tether 的 qvac-fabric 工作），说明 Qwen3.8-Flash-Next 的 MoE 路由具有局部性：相邻 token 多复用相同专家，少量专家为热点。该特性被用于优化专家权重换入换出，使 93.7GiB 的 Q4_0 模型在单张 RTX 5090 上达到 68 tok/s。文中给出 125B 总参数、6B 激活、每层 512 专家选 10 等结构细节，但性能数据为作者自测，尚待独立验证。

AI推荐理由 帖子基于 llama.cpp 已合并的 PR #29887 和基准测试，解释 Qwen3.8-Flash-Next 的 MoE 专家路由局部性如何让 93.7GiB 的 Q4_0 模型在单张 RTX 5090 上达到 68 tok/s，并给出每 token 约 1.3GB 权重访问的量化细节。信息密度高、对本地推理有实际参考价值；但性能数字来自作者自述，未经独立复现，且 Reddit 帖子本身不是官方发布。