大模型
dev.to ·
@Aleksei Romanov
跨推理服务商实测 Qwen 3.8 27B:Together、Fireworks、Doubleword 与 g factor
作者称在自有研究平台 gft-studio 上对 27B 级推理模型 Qwen 3.8 27B 在专用基础设施及 Together AI、Fireworks AI、Nebius、Doubleword 等推理服务商上进行了多周实测。文章指出厂商宣传页的吞吐与首 token 延迟数据与真实多轮流量下的表现存在差距:单流延迟与高并发批处理吞吐行为差异明显,硬件互联决定张量并行是否可行,网关对 reasoning token 的计费解释会悄然抬高生成成本。
AI推荐理由 作者称在自有研究平台上对 Qwen 3.8 27B 在 Together、Fireworks、Nebius、Doubleword 等推理服务商间做了多周实测,并指出单流延迟与高并发吞吐表现不同、张量并行受互联带宽制约、网关对 reasoning token 的计费口径会推高生成预算。这些是部署选型中可复用的具体观察,但正文未给出完整数据表,结论需自行验证。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。