超越下游问答：重新思考Agent记忆的评测方式

现有agent记忆基准以问答准确率作为记忆质量的代理，论文指出该范式不完整：它把记忆正确性与检索、生成质量混为一谈，既会产生正确回答掩盖记忆损坏的假阳性，也会产生错误回答归咎于正确记忆的假阴性。作者提出FEB-30，包含30条事实演化轨迹，覆盖6个诊断类别与3个难度层级，通过“范式反转”由已知事实轨迹生成文档，从而获得无需人工标注的确定性真值。每条轨迹定义事实如何在多作者产物（文档、邮件、对话）间演化，支持在每次摄入步骤后直接检查记忆存储。作者将其应用于一个代表性记忆系统，展示内在评测的差异。

AI推荐理由 指出以问答准确率作为agent记忆质量代理的评测范式不完整，会混淆记忆正确性与检索、生成质量，产生假阳性与假阴性。提出FEB-30基准，含30条事实演化轨迹、6个诊断类别与3个难度层级，通过范式反转由已知事实轨迹生成文档，得到无需人工标注的确定性真值，可在每次摄入后直接检查记忆存储。对agent记忆评测方法学有实质贡献，但摘要仅展示对单一代表性记忆系统的应用。