同一模型不同速度：推理提供商为何重要——FriendliAI

FriendliAI 创始工程师 Yunmo Koo 认为开放权重模型已具备竞争力，并以 GLM 5.2 与 Claude Opus 4.8 从同一提示构建相似塔防游戏为例，称 GLM 5.2 成本低逾 5.6 倍。他让同一模型与同一编码 agent 在两个提供商上运行：FriendliAI 约两分钟完成 Candy Crush 风格游戏，另一家超过三分钟。差距来源包括前缀缓存与缓存感知路由、面向长重复 agent 输入的 GPU/CPU/NVMe 缓存层级，以及适应实时流量的混合投机解码；他还强调 agent 场景下可靠性重要，并引用 Kilo Code 最高 7 倍更快响应、更少错误的结果。

AI推荐理由 FriendliAI 创始工程师 Yunmo Koo 讨论开放权重模型的推理服务差异，给出具体对比：GLM 5.2 与 Claude Opus 4.8 从同一提示构建相似塔防游戏，GLM 5.2 成本低逾 5.6 倍；同一模型与编码 agent 在两个提供商上分别约两分钟和超过三分钟完成 Candy Crush 风格游戏。技术解释涉及前缀缓存与缓存感知路由、GPU/CPU/NVMe 缓存层级和自适应实时流量的混合投机解码，并引用 Kilo Code 最高 7 倍更快响应、更少错误的结果。局限是数据来自厂商演讲，缺少独立复现。