从 1,368 起 AI 事故看评估该测什么——New York Life 的 Vishal Srivastava 与 Tanmay Sah

演讲者分析公开 AI 事故数据库中的 1,368 起事件，按技术能力、部署控制和业务影响三个维度及 13 个子类归类，称覆盖约 98% 的事故；发现人工审核、监控等部署控制薄弱与危害关联最紧。内容还涉及按风险高低排序用例、评估器自身也需校验，以及用“证伪”思路的 build-break-fix 循环测试系统，并以某航空公司聊天机器人给出错误退款政策为例。

AI推荐理由 基于公开 AI 事故数据库的 1,368 起事件做分类统计，提出三维度、13 子类覆盖约 98% 事故，并指出部署控制（人工审核、监控）缺失与危害关联最强；还给出按风险排序用例、检查评估器本身、以“证伪”为导向的 build-break-fix 循环，并用航空公司退款政策错误案例说明。属于有具体方法与数据来源的工程实践分享，但摘要未提供统计口径、样本偏差和因果性证据，结论应视为经验性归纳而非已验证规律。