面向 Agent 的前沿 AI 推理云——FriendliAI 的 Byung-Gon Chun

FriendliAI 的 Byung-Gon Chun 在演讲中对比了同一 coding agent 完成同一 tower defense 游戏任务时，闭源前沿模型与开放权重模型的表现：两者均达到可用水平，开放权重方案成本约为前者的 1/5.5。他进一步指出，agentic inference 与 chat 的计费/优化单位不同——chat 以请求为单位，agent 以任务为单位，是 plan、act、observe 的循环，可能运行数分钟到数小时，子 agent 并行展开，上下文持续增长；内部 trace 显示连续步骤共享巨大前缀。这为推理云在 KV cache 复用、前缀缓存和 serving 架构上的优化提供了方向。

AI推荐理由 FriendliAI 的 Byung-Gon Chun 是 continuous batching 的发明者之一，其团队工作也启发了主流开源 serving 框架，因此该演讲在推理系统层面具有可信的技术视角。输入中给出的具体新信息是：同一 coding agent 完成同一 tower defense 游戏任务，闭源前沿模型与开放权重模型均达到可用水平，开放权重方案成本约为前者的 1/5.5；同时指出 agentic inference 与 chat 不同，任务单位是 plan-act-observe 循环，可能持续数分钟到数小时，子 agent 并行展开，上下文只增不减，内部 trace 显示连续步骤共享巨大前缀。这些对推理云、KV cache 复用和 serving 架构有实际参考价值。局限在于：成本对比来自演讲者演示，输入未提供模型名称、任务评测细节、硬件配置和可复现数据，不能视为独立验证；5.5 倍成本优势也不能直接外推到所有 agent 场景。