一个 17 维度、无单一总分的记忆基准草案：值得跑吗？

一位记忆基础设施从业者（自述存在利益相关）发布长期记忆基准 glasshouse 草案，包含 2,847 道题、单会话 197 万 token、10 种语言和 50 张图片，按 17 个维度分别报告、不设单一总分。作者以 Zep 在 LoCoMo 上报 84%、Mem0 复算得 58.44%、Zep 再报 75.14% 为例，指出记忆系统自报数据不一致、LongMemEval 与 BEAM 缺少统一提交入口的问题，并询问是否值得在他人系统上运行。

AI推荐理由 作者自述来自记忆基础设施公司并承认存在利益相关，提出名为 glasshouse 的长期记忆基准草案：2,847 题、单会话 197 万 token、10 种语言、17 个维度且不设单一总分。文中引用 Zep 与 Mem0 在 LoCoMo 上 84%、58.44%、75.14% 三个不一致结果，说明记忆评测缺乏统一提交口径，对 Agent 记忆评测有参考价值，但基准尚未被第三方验证。