AI 评测深度解析 — IBM 的 Tejas Kumar

Tejas Kumar 现场构建一个评测失败案例：客服回答因包含“cannot”一词而通过测试，实际却批准了违反店铺政策的退货，以此说明普通断言和模糊匹配的局限。案例逐步扩展为 LLM judge，以及包含客户场景、Agent 回答和人工裁决的数据集。过程中 judge 开始偏向自家模型族生成的答案；加入真实退货政策后判断改善，但缺失细节和忠实客户的申诉仍暴露缺口。Kumar 持续检查分歧、补充上下文，最终选择更换模型，而非把绿色测试当作系统可用的证明。工作坊将实验连接到可支撑生产的评测流程：测试用例、预期行为、judge 与聚合构成基本结构，并指出位置偏差、谄媚、自我偏好和冗长会扭曲结果。

AI推荐理由 来自 AI Engineer 频道的技术演讲，内容具体：用“cannot”关键词误判退货合规的案例，展示普通断言与模糊匹配的失效，并延伸到 LLM judge、客户场景数据集与人工裁决；还指出 judge 偏好自家模型族、加入真实退货政策后改善但仍有缺口，并列举位置偏差、谄媚、自我偏好、冗长等评测失真因素。属于可复用的评测方法论，但为会议演讲转述，缺少可验证的量化结果。