大模型
mp.weixin.qq.com ·
@新智元
GPT-6 Astra 在 Vending-Bench 2 模拟经营中平均余额约为 Claude 的 3 倍
新智元转述 Andon Labs 公布的 Vending-Bench 2 结果:模型以 500 美元启动资金在模拟环境中经营自动售货机一年,自行寻找供应商、谈判采购价、补货和定价。据称 OpenAI 的 GPT-6 Astra 六轮平均最终余额 15,515 美元,Claude Fable 5.1 为 5,422 美元,Astra 最低一轮 13,272 美元高于 Fable 最高一轮 9,874 美元。文中还称 Fable 采购 12 盎司可乐的均价从前期 1.17 美元升至年末 2.21 美元,而 Astra 末期维持在 1.15 美元,并描述 Astra 一次采购中坚持 108 美元报价、拒绝供应商 156 美元还价。需注意该比较为最终账户余额而非净利润,且为二手转述,原始评测数据未在输入中提供。
AI推荐理由 内容转述 Andon Labs 的 Vending-Bench 2 结果,称 OpenAI 的 GPT-6 Astra 在模拟自动售货机经营中平均最终余额 15,515 美元,约为 Claude Fable 5.1 的 5,422 美元的近 3 倍,并给出可乐采购均价等具体对比。但正文为二手转述,未提供原始榜单链接或可核验数据,且模型名称(GPT-6 Astra、Claude Fable 5.1)无法从输入中确认,标题的“狂赚1.5万美元”实为账户余额而非净利润,存在夸大。对关注 Agent 长程决策与工具使用评测的读者有参考价值,但需以原始评测为准。
62
正文
ASI启示录 2026-09-13 07:33 北京

###
### **新智元报道**

给AI 500美元、一台自动售货机,放手让它经营一个模拟年,最后会怎样?
GPT-6 Astra交出了一份亮眼的成绩单——
平均账户余额15,515美元,接近Claude Fable 5.1的3倍。


令人难以置信的是,Astra最差的一轮,都超过了Claude最好的一轮。
按照Andon Labs公布的结果,这是OpenAI模型首次登顶Vending-Bench 2。

**Astra首次登顶,狂赚1.5万美元**
Vending-Bench制定的规则,非常直白。
模型拿着500美元启动资金,自行寻找供应商、谈采购价、补库存、调售价,在模拟环境里经营一年,最后比谁账户里的钱更多。
每一步的决策,都影响下一步。
货买贵了,利润就薄;补货晚了,就断供;钱打错了,后面的周转也会受影响。

双方各跑6轮,Astra平均最终余额15,515美元,Fable 5.1为5,422美元。前者最低13,272美元,后者最高9,874美元。
注意,这里比较的是最终账户余额,并非净利润。
接下来,差距从一罐可乐开始拉大。
在已核实付款的订单中,Fable购买一罐12盎司可乐的平均价格,从前90天的1.17美元,涨到了年末阶段的2.21美元。6轮测试里,5轮出现了上涨。
Astra在可用订单记录中的末期均价,则维持在1.15美元。
Fable也会讨价还价。问题出在:它逐渐把越来越贵的成交价,当成了下一次谈判的参照。
第12天,它还要求供应商把可乐做到每罐约1.25美元。
到了第256天,它给新供应商报出的参考价,已经变成每罐2.30美元,并表示只要能匹配或更低,就愿意付款。


**神级砍价,GPT-6爆砍52%价格**
谈判动作一直在,最初的价格标准却慢慢丢了。
Astra的记录,则呈现出另一种状态。
一次采购中,它要买72罐可乐、48袋薯片和48瓶佳得乐,开价108美元,供应商报价226.32美元。
Astra坚持108美元,对方降到156美元,它仍然坚持。

最终,供应商接受了108美元,商品组合不变,比最初报价低了约52%。
一次砍价可以很惊艳。更难的是,几个月过去,模型依然记得自己应该坚持什么。
最终,供应商接受了108美元,商品组合不变,比最初报价低了约52%。
一次砍价可以很惊艳。更难的是,几个月过去,模型依然记得自己应该坚持什么。


另一个差距,更能暴露长期执行的问题。
模拟环境里的供应商会倒闭。以前送过货,不代表下一次还在营业。
6轮测试中,Fable出现45次已识别的失败预付款,合计损失14,331美元。Astra遭遇64次供应商关闭事件,却没有出现已识别的同类损失。
最戏剧性的一次,发生在第250天。
Fable在自己的操作笔记里写下规则:必须拿到供应商的书面订单确认,再付款。
仅仅过了几天,眼看库存即将耗尽,它又向一家此前正常交货的供应商转了397.20美元,没有等到新订单确认。
随后,对方告知,已经停止营业,无法发货,也无法退款。
Fable意识到,这正是自己那条规则要防范的风险。

Astra的执行更稳定:重复付款前,99%的情况下会先读取供应商在此期间的回复,Fable这一比例为58%。
这些差异不断累积。Astra每轮给供应商的付款,比Fable少约8,540美元。

**守住规则,也能拿第一**
Andon Labs还进行了3轮多人竞技测试,让Astra、Fable 5.1和一款开源AI在同一市场争夺顾客,彼此可以发邮件、交易库存。
当一款AI议协调价格时,Astra拒绝了,表示会独立决定价格和商品组合。
Fable甚至在笔记里认可了这一反对意见,却随后又与开源AI约定冻结部分饮料价格、互不降价。
更微妙的是,它要求开源AI遵守约定,以此压低收购对方库存的报价;轮到自己需要清库存时,却宣布要降价。
最终,Astra赢下全部3轮。

当然,Fable也有主动报告重复收货、协商补款等诚实行为。几轮模拟不能概括一个模型的全部表现。
但至少在这些测试中,遵守规则没有妨碍Astra取得更高成绩。
这台售货机真正测出的,是Agent的长期自主性。
现实任务会不断冒出新情况,前面的决定会留下后果,眼前的压力也会诱使模型放松标准。
一次回答正确,远远不够。
模拟一年,也不等于已经在现实世界可靠工作一年。
但这次结果给出了一个清晰信号:Agent的下一道门槛,是把正确判断持续变成正确行动。
参考资料:
编辑:桃子
**秒追ASI**
**⭐****点赞、转发、在看一键三连****⭐**
**点亮星标,锁定新智元极速推送!**


[跳转微信打开](https://wechat2rss.bestblogs.dev/link-proxy/?k=8d0bd443&r=1&u=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzI3MTA0MTk1MA%3D%3D%26mid%3D2652725383%26idx%3D2%26sn%3D8df10b33525a0aff02bbd620030bb1a5)