智能体
dev.to ·
@Harshdip Saha
我的 RAG 流水线答 1,真实答案是 20
作者以 TigerGraph Agentic GraphRAG Hackathon 基准中的一道题为例:2004 年夏季奥运会中有多少田径项目参赛人数超过 41 人。普通 RAG 检索 4 个 chunk 后答 1,GraphRAG 一跳扩展后看到 12 个 chunk 答 2,而图中真实答案为 20(共 43 个匹配事件)。作者指出两条流水线语气同样自信,却都无法判断自身答案的完整性;在 100 道公开基准题上,RAG 与 GraphRAG 在聚合与最高级问题上得分为 0/31。核心结论是相似度检索无法解决计数类问题,因为合适的 k 取决于尚未计算出的答案。
AI推荐理由 作者用 TigerGraph Agentic GraphRAG Hackathon 基准中的一道计数题做对比:普通 RAG 检索 4 个 chunk 答 1,GraphRAG 一跳扩展看到 12 个 chunk 答 2,而真实答案为 20(43 个匹配事件中)。并指出在 100 道公开基准题上,RAG 与 GraphRAG 在聚合与最高级问题上得分为 0/31。这是对 RAG 在计数/聚合类问题上系统性缺陷的具体、可复现的实证,对 RAG 与 GraphRAG 选型有直接参考价值。
78
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。