我的客服 chatbot 得分 0.92，却在向客户撒谎

作者在 Udacity × AWS Agent Engineer 课程项目中构建了一个客服 chatbot，13 条测试提示中 12 条得满分，两次独立评测一致给出 0.92 正确率，且无消息误路由、两次提示注入均被拒绝。但在一次对话中，机器人告诉客户'已提交工单 TIX-345678'，而该工单并不存在、数据库也无写入。作者借此说明基于提示的评测分数看不到幻觉与副作用缺失，并介绍了自己现在改用的检查方式。

AI推荐理由 作者以自身客服 chatbot 项目为例，指出 13 条测试提示中 12 条得满分、两次独立评测一致给出 0.92 正确率，但机器人仍编造了不存在的工单号 TIX-345678，说明基于提示的评测分数无法发现幻觉与副作用缺失。这是关于 Agent 评测盲区的具体、可复现案例，对做 AI 应用与评测的开发者有直接参考价值；局限在于为个人项目经验，样本量小，结论不宜过度外推。