大模型
x.com ·
@oran_ge
本地推理性能一周内提升近十倍？转述 Qwen Flash 与 Strata 的部署变化
一条转述推文称，过去一周多本地推理部署出现明显变化：作者在双 5070ti 上运行 Qwen Flash，从约 200 prefill/10 decode 提升到 2200/67，且只需一张卡，并将提升归因于 Strata 架构与自制 PR 的流水线化设计。文中还提到 4090/5090 等消费卡性能提升、32G 英特尔 B70 显卡断货涨价，并认为该速度已接近多数 API 水平。相关数据与'十倍产量'结论均为个人观察，缺少可复现基准与模型版本细节。
AI推荐理由 转述一条关于本地推理性能提升的推文：作者称在双 5070ti 上从 200 prefill/10 decode 提升到 2200/67，并归因于 Strata 架构与自制 PR，同时提到消费级显卡涨价。信息涉及本地推理部署与消费级硬件算力，对 AI 应用和算力话题有参考价值；但内容为个人转述，缺少可验证的基准、模型版本和复现细节，'十倍'与'全球家用电脑带来十倍 AI 产量'属推断性表述，需保留不确定性。
62
浏览 385
点赞 0
评论 0
转发 0
正文
所以，我们的 token 价格能下降10倍吗？
seekinganythingbutalpha@ivanalog\_com
过去一周多，可能以后被证明是AI推理部署史上天翻地覆的一周。
上个周末，我的本地机双5070ti试跑Qwen Flash，只能做到200 prefill，10decode。
今天，在Strata和我自制的PR的支持下，目前可以跑到2200/67，而且只需要一张卡。
即读写速度都提高了近十倍。
更好的消费卡比如4090/5090，当然也有幅度相当大的升级（目前5090在流式处理的支持下，速度已经开始逼近RTX6000，当然显存还是不足）。
这当然带来了消费级硬件的新一轮大涨价。如今，就连曾经无人问津的 32G B70英特尔显卡都卖断货涨价了。
2200/67的速度是什么意思？
今天除了deepseek，muse等少数模型，大部分API达不到这个速度。
而一个普通的家用游戏电脑就可以达到这个水平。
而这个水平，一周以前，只有5090，DGX spark，M3U这样的机器可以达到。
也就是说，在过去的一周多，全球的普通家用电脑带来了十倍于上周的AI产量。
这个增量，得益于deepseek- Qwen flash这种特殊设计，把智力分成了注意力，专家，和查表，
也得益于Strata这样优秀的架构，把整个处理流水线化，让不同的智力，存储在不同速度的存储设备中，在需要用时刚好抵达。
这对所有愿意拥有本地智力的人，当然是极大的利好。
也许模型层的设计，正在快速收敛到一个目前硬件条件下的最优解？
然而这对依赖出卖模型算力的生意，尤其是平庸的智力的商业来说，也可能是催命符。
[🔗 View Quoted Tweet](https://x.com/ivanalog_com/status/2105869490718232989)