在单张 RTX 5090 上用 Project Maya 与 EXL3 本地运行 GLM-5.3-Flash（321B）

作者介绍如何在单张 RTX 5090 加 128GB 内存的工作站上本地运行 GLM-5.3-Flash：该模型为 zai-org 开源的 321B MoE 模型（MIT 许可），每 token 约 18B 激活参数，支持最长 1M 上下文，采用混合注意力与 MTP 草稿层。其 3.05 bpw 的 EXL3 量化权重为 125GB，无法与操作系统同时放入 128GB 内存，作者通过 Project Maya 实现 512K token 上下文下约 25 tokens/s 的推理。文中数字均称于 2026 年 10 月 15 日在本机测得，并注明外部数据来源。

AI推荐理由 给出在单张 RTX 5090 加 128GB 内存上运行 321B MoE 模型 GLM-5.3-Flash 的具体量化方案（EXL3 3.05 bpw、125GB 权重）、512K 上下文与约 25 tokens/s 的实测数字，并说明测量时间与数据来源，对本地大模型部署有直接参考价值；但为个人博客实测，未提供完整复现脚本与第三方验证。