最新资讯
bloomberg.com Nvidia 加强东南亚芯片追踪以打击走私 thestack.technology 模型路由需求升温,Agent Router 推出开源替代方案 unite.ai Cashfree 为 AI Agent 的托管结账加入 WebMCP 工具 dev.to 我们在 DolphinBench 上测试记忆检索:纯关键词搜索暴露了自身回归 dev.to 别再把 Agent 写成 while 循环,把它建模为状态机 analyticsindiamag.com 小语言模型可能重塑企业 AI 部署方式 bloomberg.com Rightmove 与 Scout24 借 AI 产品应对低迷房市并上调展望 stackoverflow.blog 欢迎来到芯片时代:半导体制造、AI 数据中心与芯片设计的未来 www.youtube.com AI Agent 总犯同样的错:CentralAgent AI 将记忆重构为经验系统 pub.towardsai.net Netflix 科学家建议重采样 LLM 评判:5 次仅将误差棒缩小 13% pub.towardsai.net Jev 作为 LLM 前的静默层:构建提示感知的模型路由器 reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准
多元动态
登录 注册
大模型 dev.to · @Aleksei Romanov

跨推理服务商实测 Qwen 3.8 27B:Together、Fireworks、Doubleword 与 g factor

原文 我的收藏

作者称在自有研究平台 gft-studio 上对 27B 级推理模型 Qwen 3.8 27B 在专用基础设施及 Together AI、Fireworks AI、Nebius、Doubleword 等推理服务商上进行了多周实测。文章指出厂商宣传页的吞吐与首 token 延迟数据与真实多轮流量下的表现存在差距:单流延迟与高并发批处理吞吐行为差异明显,硬件互联决定张量并行是否可行,网关对 reasoning token 的计费解释会悄然抬高生成成本。

AI推荐理由 作者称在自有研究平台上对 Qwen 3.8 27B 在 Together、Fireworks、Nebius、Doubleword 等推理服务商间做了多周实测,并指出单流延迟与高并发吞吐表现不同、张量并行受互联带宽制约、网关对 reasoning token 的计费口径会推高生成预算。这些是部署选型中可复用的具体观察,但正文未给出完整数据表,结论需自行验证。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容