最新资讯
reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离 wechat 这波杀疯了!旗舰级模型不限量、1个月视频额度免费领 bloomberg.com AI 抛售蔓延至信用市场,软银领跌亚洲美元债 dev.to 如何在专用 GPU 服务器上用 OpenAI 兼容 API 部署 LLM dev.to 审计 153 份 Claude Code 与 Codex 会话记录:User-Agent 与 URL 中的邮箱泄露
多元动态
登录 注册
智能体 x.com · @shao__meng

Browserbase 复盘浏览器 Agent 三代路线:从像素点击转向 Code Mode

原文 我的收藏

Browserbase 与 LangChain 团队联合复盘浏览器 Agent 的三代技术路线:纯视觉 CUA、视觉加文本混合、代码模式,并宣布放弃「给模型预设工具」,转向让模型直接写代码控制浏览器。文中给出工程洞见:旧版 Stagehand 的 Act/Extract/Observe 工具设计被承认有误;接入 MCP 后因模型未见过 Stagehand 而失败,最终改为让模型写 Playwright 代码再实时转译;Stagehand v4 做成 Chrome 扩展,宣称比 Playwright 快 2 倍、省 80% token,MCP server 仅保留 run、snapshot、screenshot 三个工具。团队还判断做好 Agent 是 Harness 问题而非模型研究问题。上述性能数据为团队自述,需进一步验证。

AI推荐理由 该帖系统复盘 Browserbase 与 LangChain 团队对浏览器 Agent 三代技术路线的演进,包含放弃预设工具、转向代码模式、Stagehand v4 性能宣称与 MCP 工具设计等具体工程洞见,信息密度高、来源为团队联合复盘,对 Agent 与开发工具方向有较高参考价值;但部分性能数据为团队自述,需谨慎对待。

82 浏览 774 点赞 2 评论 1 转发 2

正文

从像素点击到 Code Mode:Browserbase 对 Computer Use 三年演进路线的完整复盘 [@browserbase](https://x.com/browserbase) 团队 [@kylejeong](https://x.com/kylejeong)[@miguel\_gonzf](https://x.com/miguel_gonzf) 联合 [@LangChain](https://x.com/LangChain) 团队 [@sydneyrunkle](https://x.com/sydneyrunkle)[@huntlovell](https://x.com/huntlovell) 一起复盘了浏览器 Agent 的三代技术路线,宣布放弃「给模型预设工具」的思路,全面转向「让模型直接写代码控制浏览器」,并给出行业判断:做好 Agent 是 Harness 问题,不是模型研究问题;最好的 Agent 本质上都是换了外衣的 Coding Agent。 # 三代技术路线的演进逻辑 1. 纯视觉 CUA(以 OpenAI Operator 为代表) 方案:视觉模型识别屏幕像素,返回坐标点击 问题:只在特定视口尺寸下训练,窗口一变「Agent 基本失明」;截图看不到不可见组件 2. 视觉 + 文本混合 方案:截图 + DOM/无障碍树快照 问题:基准测试有提升,但长任务迅速撑爆上下文窗口,精度达不到企业生产标准 3. 代码模式 方案:模型直接写代码表达操作意图 问题:团队认为无根本缺陷,成为终局方案 用 Sutton 的「bitter lesson」解释这一演进:每一代新模型出来,他们都发现之前精心设计的护栏式抽象反而成了瓶颈,于是不断做减法、缩小工具表面积。 # 最值得注意的三个工程洞见 1. 承认早期设计是错的。 旧版 Stagehand 提供 Act / Extract / Observe 三个严格工具,出发点是「模型不可信,需要护栏」。团队直言 "we were so wrong",代码是模型最有效的意图表达方式,模型甚至会写出设计者没想到的组合策略。专用工具输给通用接口。 2. 「Stagehand 不在模型权重里」。 接入 MCP 后 Agent 反而稳定失败,原因很朴素:所有前沿模型都在 Playwright 语法上做过后训练,没人见过 Stagehand。他们试过写教学 skill、强化 system prompt、加护栏,全部失败;后训练专用模型又违背用户「自带模型」的诉求。最终方案是彻底顺从模型:让模型写 Playwright 代码,在发送到浏览器前实时转译为更快的 Stagehand 方法。原则一句话:"让模型做它擅长的事,然后让开"。这是对「模型能力分布决定接口设计」的教科书式示范。 3. Demo 与生产的分界是安全边界。 域名白名单、网络层防护、沙箱化 runtime 加策略治理。比喻很直白:没有极好的刹车和防滚架,你不会把赛车开上公共道路。技术上 Stagehand v4 做成 Chrome 扩展,runtime 直接跑在浏览器内,run 工具天然不需要额外沙箱;性能宣称比 Playwright 快 2 倍、省 80% token。MCP server 只保留三个工具:run(执行代码)、snapshot(剪枝后的 DOM + 无障碍树)、screenshot(补充视觉上下文,覆盖 canvas、OS 层内容)。 # 生态卡位与行业判断 与 LangChain Deep Agents(模型无关的通用 Harness,提供上下文自动卸载、子 Agent 委派、规划等编码 Agent 原语)合作:Browserbase 做浏览器 SDK,LangChain 做通用 harness。这本质是一次开源生态的双向借力,文中也提到 Cloudflare 的 [@threepointone](https://x.com/threepointone) 与 [@KentonVarda](https://x.com/KentonVarda) 是代码模式思路的早期实践者。 ![Tweet Image](https://pbs.twimg.com/media/HR0EidyaAAARVBi.jpg) ![Kyle Jeong](https://pbs.twimg.com/profile_images/2059342964816809984/YvJ9VY7X_normal.jpg) Kyle Jeong@kylejeong [x.com/i/article/2097…](https://x.com/i/article/2097757367811375104) [🔗 View Quoted Tweet](https://x.com/kylejeong/status/2097793443452100903)

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容