我的评测说 RAG 在编造，其实是评测本身错了

作者维护 Django 中间件 django-explain-errors，在 RAG-off（仅看 traceback）与 RAG-on（额外检索项目源码，基于本地 sqlite-vec 向量索引）两种模式下让 LLM 解释未处理异常。为验证 RAG 的 grounding 效果，作者搭建评测框架，首轮结果却显示 RAG-on 编造更多。经过三次修改同一评测问题，作者发现问题出在评测管线本身：每一层都可能比它所评判的对象掌握更少信息，此时指标衡量的是评判者的盲区而非模型表现。

AI推荐理由 作者维护 django-explain-errors 中间件，用 RAG-on/RAG-off 两种模式对比 LLM 解释 Django 异常的效果，并自建 eval harness 测试“RAG 能减少编造”的假设。首轮结果反而显示 RAG-on 编造更多，作者通过三次修改同一评测问题定位到评测管线各层信息不足的问题，对 RAG 评测方法有具体、可复现的工程启示。