行业动态
x.com ·
@FireworksAI_HQ
Fireworks AI:18 个模型跑 113 个真实编码任务,路由后解决率 97.6%
Fireworks AI 称在 DeepSWE 上让 18 个模型跑 113 个真实编码任务,并测算若每个任务都路由到最合适的模型,解决率可达 97.6%、每任务成本 1.88 美元,而最佳单模型为 74.1%、6.52 美元,结论是下一前沿在于路由器。数据为厂商自测,评测细节需查原文。
AI推荐理由 Fireworks AI 官方账号给出具体实验数据:18 个模型、113 个真实编码任务,声称按任务路由后解决率 97.6%、每任务 1.88 美元,对比最佳单模型 74.1%、6.52 美元。这是关于模型路由(router)价值的可验证方向性信号,对 Agent 与推理成本优化有参考价值;但数据来自厂商自测,未提供任务集、评测方法与统计口径,需以博客原文核实,不能视为独立验证。
72
浏览 201
点赞 1
评论 0
转发 1
正文
We ran 18 models across 113 real coding tasks on DeepSWE, then went back and asked a simple question: what if every task had routed to the model that handled it best?
Answer: 97.6% solve rate at $1.88 per task, versus the best model at 74.1% at $6.52.
The next frontier is a router.
Full analysis: [fireworks.ai/blog/the-front…](https://fireworks.ai/blog/the-frontier-isnt-a-model-its-a-router)