为什么 80% 的可靠性还不够——Amazon AGI Lab 的 Felipe Blanes

Amazon AGI Lab 的 Felipe Blanes 分享其直接服务 Nova Act（Amazon 的浏览器 Agent 构建服务）客户的经验，从研究预览到在 AWS 正式可用。他把核心问题称为“benchmark illusion”：静态评测表现优异，但客户会做出意料之外的操作，此时只剩“希望”。他的解法是围绕客户构建 eval flywheel：按客户标准定义成功、采集信号（包括与客户直接沟通）、诊断模型/框架/产品的缺口并反馈到决策中。他还谈到“trust cliff”——80% 可靠性让人觉得更麻烦，约 92% 才感觉可信；坦诚说明局限比堆高 benchmark 更能建立信任；以及 Amazon Leo、Hertz、Sola 等意外用例和保持评测新鲜的四个原则。

AI推荐理由 来自 Amazon AGI Lab 工程师 Felipe Blanes 的一手经验分享，围绕 Nova Act 浏览器 Agent 从研究预览到 AWS 正式可用过程中遇到的评测问题。具体新信息包括：静态 benchmark 与真实客户行为脱节的“benchmark illusion”、以客户为中心的 eval flywheel 闭环方法、80% 可靠性像负担而约 92% 才被信任的“trust cliff”经验阈值，以及 Amazon Leo、Hertz、Sola 等用例。局限是这些数字与结论来自演讲者个人经验陈述，未提供可复现数据或第三方验证，且为会议演讲转述而非官方基准报告。