从零到排行榜：Agent 评测——Wolfram Ravenwolf，Weights & Biases

演讲者用一个 agent 修复损坏 git 仓库并拿到满分的案例说明：单任务满分不会进入默认排行榜，因为评测条件不完整。据此构建可追溯的评测流水线 WolfBench，对比平均、最佳与最差运行，区分“至少解出一次”和“每次都解出”的任务，以暴露偶然成功与稳定行为之间的差距。配置被拆为六层：benchmark、runner、sandbox、agent、model service 和 settings，版本、provider 路由、系统提示、资源限制与超时都会影响结果实际衡量的内容。现场流程通过 Harbor 启动 Terminal Bench 任务，收集结果，在 Marimo 仪表盘中过滤不完整运行，再把有效运行转成交互式排行榜，并用 Weave 保留柱状图背后的轨迹以便审查命令与消息。

AI推荐理由 来自 AI Engineer 频道的技术演讲，聚焦 agent 评测的可追溯性：提出 WolfBench 对比平均/最佳/最差运行、至少解出一次与每次都解出的任务，并强调配置六层（benchmark、runner、sandbox、agent、model service、settings）都会影响结果含义。给出了具体方法（Harbor 启动 Terminal Bench、Marimo 过滤不完整运行、Weave 保留轨迹），对做 agent 评测的开发者有直接参考价值；局限是仅为演讲摘要，未提供可复现数据或开源链接。