AI 评测拿满分说明评测本身有问题——Ramakrishnan Lokanathan 谈高利害场景的评测构建

AI 安全研究者、前创业者 Ramakrishnan Lokanathan 讲解如何为高利害 AI 应用构建评测：先定义最雄心版本的成功，测试工作流每一步而非只看最终答案，自动检查与人工复核、对抗测试结合，持续回归测试旧能力以防升级破坏，并把真实用户失败转化为新测试。他还介绍开源包 eSlams，让 AI 模型在象棋、围棋、扑克中互相对弈，作为观察其推理方式的补充手段。

AI推荐理由 来自 AI Engineer 频道的技术演讲，作者为 AI 安全研究者，内容为高利害 AI 应用的评测方法论：定义最雄心目标、测试全流程而非仅终答、自动检查结合人工与对抗测试、回归测试旧能力、将真实失败转为测试用例，并介绍开源包 eSlams 用棋牌对弈观察模型推理。方法论具体可操作，对 Agent 与 AI 应用开发有参考价值；但为演讲转述，无量化结果或独立验证，eSlams 的实际效果未提供证据。