我们如何解决 Agent 构建问题——Vercel 的 Andrew Qu

Vercel 软件负责人 Andrew Qu 回顾内部数据科学 agent 的构建过程：最初交给内部可信用户时反馈是“很糟”，当时它只通过约 30% 的 eval。项目起点是询问市场、销售、财务和法务最讨厌工作中的什么，数据团队的回答最好——每当有人问客户或产品问题，数据科学家就得放下手头工作写查询并回报。此后经历多轮重写：把 Snowflake schema 粘进一个巨型 prompt 并手动跑 SQL；拆成规划、执行、报告等窄域 agent 链；再到单个 agent 自行管理状态。转折点是看到 Claude Code 用普通文件系统（list、read、bash）就能不假思索地回答同类问题，优势不在精巧工具集。

AI推荐理由 Vercel 软件负责人 Andrew Qu 讲述内部数据科学 agent 的迭代：首版在内部可信用户处被评为“很糟”，尽管当时 eval 通过率约 30%；随后经历单一大 prompt 加 Snowflake schema、按规划/执行/报告拆分的窄域 agent 链、再到单 agent 自管状态。关键新信息是转折点来自观察 Claude Code 用普通文件系统（list、read、bash）就能稳定回答同类问题，而非更精巧的工具集。局限是演讲叙事，未给出 eval 细节、数据规模或可复现证据，效果不能当作已验证结论。