智能体
x.com ·
@shao__meng
Browserbase 复盘浏览器 Agent 三代路线:从像素点击转向 Code Mode
Browserbase 与 LangChain 团队联合复盘浏览器 Agent 的三代技术路线:纯视觉 CUA、视觉加文本混合、代码模式,并宣布放弃「给模型预设工具」,转向让模型直接写代码控制浏览器。文中给出工程洞见:旧版 Stagehand 的 Act/Extract/Observe 工具设计被承认有误;接入 MCP 后因模型未见过 Stagehand 而失败,最终改为让模型写 Playwright 代码再实时转译;Stagehand v4 做成 Chrome 扩展,宣称比 Playwright 快 2 倍、省 80% token,MCP server 仅保留 run、snapshot、screenshot 三个工具。团队还判断做好 Agent 是 Harness 问题而非模型研究问题。上述性能数据为团队自述,需进一步验证。
AI推荐理由 该帖系统复盘 Browserbase 与 LangChain 团队对浏览器 Agent 三代技术路线的演进,包含放弃预设工具、转向代码模式、Stagehand v4 性能宣称与 MCP 工具设计等具体工程洞见,信息密度高、来源为团队联合复盘,对 Agent 与开发工具方向有较高参考价值;但部分性能数据为团队自述,需谨慎对待。
82
浏览 774
点赞 2
评论 1
转发 2
正文
从像素点击到 Code Mode:Browserbase 对 Computer Use 三年演进路线的完整复盘
[@browserbase](https://x.com/browserbase) 团队 [@kylejeong](https://x.com/kylejeong)[@miguel\_gonzf](https://x.com/miguel_gonzf) 联合 [@LangChain](https://x.com/LangChain) 团队 [@sydneyrunkle](https://x.com/sydneyrunkle)[@huntlovell](https://x.com/huntlovell) 一起复盘了浏览器 Agent 的三代技术路线,宣布放弃「给模型预设工具」的思路,全面转向「让模型直接写代码控制浏览器」,并给出行业判断:做好 Agent 是 Harness 问题,不是模型研究问题;最好的 Agent 本质上都是换了外衣的 Coding Agent。
# 三代技术路线的演进逻辑
1. 纯视觉 CUA(以 OpenAI Operator 为代表)
方案:视觉模型识别屏幕像素,返回坐标点击
问题:只在特定视口尺寸下训练,窗口一变「Agent 基本失明」;截图看不到不可见组件
2. 视觉 + 文本混合
方案:截图 + DOM/无障碍树快照
问题:基准测试有提升,但长任务迅速撑爆上下文窗口,精度达不到企业生产标准
3. 代码模式
方案:模型直接写代码表达操作意图
问题:团队认为无根本缺陷,成为终局方案
用 Sutton 的「bitter lesson」解释这一演进:每一代新模型出来,他们都发现之前精心设计的护栏式抽象反而成了瓶颈,于是不断做减法、缩小工具表面积。
# 最值得注意的三个工程洞见
1. 承认早期设计是错的。 旧版 Stagehand 提供 Act / Extract / Observe 三个严格工具,出发点是「模型不可信,需要护栏」。团队直言 "we were so wrong",代码是模型最有效的意图表达方式,模型甚至会写出设计者没想到的组合策略。专用工具输给通用接口。
2. 「Stagehand 不在模型权重里」。 接入 MCP 后 Agent 反而稳定失败,原因很朴素:所有前沿模型都在 Playwright 语法上做过后训练,没人见过 Stagehand。他们试过写教学 skill、强化 system prompt、加护栏,全部失败;后训练专用模型又违背用户「自带模型」的诉求。最终方案是彻底顺从模型:让模型写 Playwright 代码,在发送到浏览器前实时转译为更快的 Stagehand 方法。原则一句话:"让模型做它擅长的事,然后让开"。这是对「模型能力分布决定接口设计」的教科书式示范。
3. Demo 与生产的分界是安全边界。 域名白名单、网络层防护、沙箱化 runtime 加策略治理。比喻很直白:没有极好的刹车和防滚架,你不会把赛车开上公共道路。技术上 Stagehand v4 做成 Chrome 扩展,runtime 直接跑在浏览器内,run 工具天然不需要额外沙箱;性能宣称比 Playwright 快 2 倍、省 80% token。MCP server 只保留三个工具:run(执行代码)、snapshot(剪枝后的 DOM + 无障碍树)、screenshot(补充视觉上下文,覆盖 canvas、OS 层内容)。
# 生态卡位与行业判断
与 LangChain Deep Agents(模型无关的通用 Harness,提供上下文自动卸载、子 Agent 委派、规划等编码 Agent 原语)合作:Browserbase 做浏览器 SDK,LangChain 做通用 harness。这本质是一次开源生态的双向借力,文中也提到 Cloudflare 的 [@threepointone](https://x.com/threepointone) 与 [@KentonVarda](https://x.com/KentonVarda) 是代码模式思路的早期实践者。


Kyle Jeong@kylejeong
[x.com/i/article/2097…](https://x.com/i/article/2097757367811375104)
[🔗 View Quoted Tweet](https://x.com/kylejeong/status/2097793443452100903)