能替你跑实验的 AI 研究 Agent——Weights & Biases 的 Tim Sweeney

Weights & Biases（CoreWeave 旗下）首席工程师 Tim Sweeney 现场演示新 agent ARIA：它在真实 GPU 上批量启动 Karpathy autoresearch 项目的实验，并在演讲结束前接近刷新自身最佳结果。ARIA 可在 W&B 内启动和监控训练任务、汇总最佳 run、在 200 多个实验中寻找模式、生成报告和仪表盘，并已登陆 W&B iOS app。Sweeney 还介绍了团队如何构建 ARIA：将 100% trace 记录到 Weave，对线上流量运行 LLM judge 以捕捉用户挫败等信号，把任务写成 YAML“单元测试”，用夜间评测套件（最新候选 73% vs 72%）驱动 go/no-go 决策。他的建议包括：投入面向 agent 的可观测性以捕捉行为 bug、把评测当作新的 CI、保留人工审查 trace、先通过上下文和工具创造价值再过度设计 harness。

AI推荐理由 Weights & Biases（CoreWeave 旗下）首席工程师 Tim Sweeney 现场演示其新 agent ARIA，在真实 GPU 上批量运行 Karpathy autoresearch 项目的实验，并在演讲结束前接近刷新自身最佳结果。内容包含具体工程细节：ARIA 在 W&B 内启动和监控训练任务、汇总最佳 run、在 200+ 实验中找模式、生成报告与仪表盘，并已上线 W&B iOS app；团队将 100% trace 记录到 Weave、对线上流量跑 LLM judge 捕捉用户挫败等信号、把任务写成 YAML 单元测试、用夜间评测套件（73% vs 72%）做 go/no-go 决策。局限是现场演示的“接近刷新最佳结果”缺乏可验证的独立复现，评测分数差异很小。