最新资讯
stackoverflow.blog 欢迎来到芯片时代:半导体制造、AI 数据中心与芯片设计的未来 www.youtube.com AI Agent 总犯同样的错:CentralAgent AI 将记忆重构为经验系统 pub.towardsai.net Netflix 科学家建议重采样 LLM 评判:5 次仅将误差棒缩小 13% pub.towardsai.net Jev 作为 LLM 前的静默层:构建提示感知的模型路由器 reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离
多元动态
登录 注册
智能体 dev.to · @Harshdip Saha

我的 RAG 流水线答 1,真实答案是 20

原文 我的收藏

作者以 TigerGraph Agentic GraphRAG Hackathon 基准中的一道题为例:2004 年夏季奥运会中有多少田径项目参赛人数超过 41 人。普通 RAG 检索 4 个 chunk 后答 1,GraphRAG 一跳扩展后看到 12 个 chunk 答 2,而图中真实答案为 20(共 43 个匹配事件)。作者指出两条流水线语气同样自信,却都无法判断自身答案的完整性;在 100 道公开基准题上,RAG 与 GraphRAG 在聚合与最高级问题上得分为 0/31。核心结论是相似度检索无法解决计数类问题,因为合适的 k 取决于尚未计算出的答案。

AI推荐理由 作者用 TigerGraph Agentic GraphRAG Hackathon 基准中的一道计数题做对比:普通 RAG 检索 4 个 chunk 答 1,GraphRAG 一跳扩展看到 12 个 chunk 答 2,而真实答案为 20(43 个匹配事件中)。并指出在 100 道公开基准题上,RAG 与 GraphRAG 在聚合与最高级问题上得分为 0/31。这是对 RAG 在计数/聚合类问题上系统性缺陷的具体、可复现的实证,对 RAG 与 GraphRAG 选型有直接参考价值。

78

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

Harshdip Saha 我的 RAG 流水线答 1,真实答案是 20 10-02 · 原文发布
← 返回精选动态 原文

更多内容