大模型
dev.to ·
@Seppe Gadeyne
用 Project Maya 在单张 RTX 5090 上本地运行 DeepSeek-V4.1-Flash（748B）
作者称在单张 RTX 5090、128GB 内存的工作站上，通过 Project Maya 的 2-3 bit 量化（含 Engram 表约 340GB）运行 748B 参数的 DeepSeek-V4.1-Flash-1017，262K 上下文下约 21 tokens/s，并说明慢速环节。文中数字为作者 2026 年 10 月 19-21 日自测，模型为 MIT 许可开源权重，模型卡标注上下文最高 1M tokens。
AI推荐理由 作者给出在单张 RTX 5090、128GB 内存条件下运行 748B 参数 DeepSeek-V4.1-Flash 的实测记录（2-3 bit 量化约 340GB、262K 上下文、约 21 tokens/s），并说明测量时间与数据来源；属一手实测，但为个人博客、未独立复现。
72
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。