最新资讯
theverge.com OpenAI 宣布数据中心项目不再与公职人员签署保密协议 dev.to NVIDIA 发布四个开放 Cosmos 3 仿真模型 dev.to 真实 MCP 客户端击穿我们服务器的五种方式 theverge.com Airbnb 正在开发 AI 旅行 agent,计划 2027 年上半年推出 wechat 这可能是美国AI最魔幻的一天。 nytimes.com 美众议院共和党领袖要求 Nvidia 黄仁勋闭门简报 pub.towardsai.net 忘掉我:为记忆而设计的系统中的删除难题 marktechpost.com Google 发布 Gemini Omni 1.2 Flash:15 秒视频,每秒 0.07 美元 unite.ai Airbnb 计划推出覆盖规划、预订与客服的 AI 旅行 agent techcrunch.com Airbnb 称将于 2027 年上半年推出 AI 旅行代理 theverge.com Perplexity 推出面向工作的 AI 代理 Teammates unite.ai Five9 拟以约3.25亿美元收购 Level AI,扩展客服AI分销渠道
多元动态
登录 注册
大模型 arxiv.org · @Barufaldi

真实标注如何影响检索分数:乳腺病变 RAG 系统的证据感知评估

原文 我的收藏

该研究提出一套面向乳腺病变管理文献的临床 RAG 证据感知检索评估协议,针对检索分数依赖标注覆盖度的问题,构建18篇文档语料与18条查询的开发基准,每篇文档对应一个是/否或 WH 问题。检索结合稠密嵌入、BM25 与交叉编码器重排,评估128至1024 token 分块、0至20%重叠及四种检索器配置,相关性以映射到所有包含块的证据跨度定义,重叠块若含等价证据视为相关,指标包括 R-Precision、Recall@K、MRR 和 nDCG@K;生成侧在512 token 索引、K=1至5下用 DeepEval 声明级指标(deepseek-v4-pro 作裁判)及 BLEU/ROUGE 评估。摘要显示选定的混合检索器采用384 token 分块与20%重叠,后续结果被截断。

AI推荐理由 该论文提出面向乳腺病变管理文献的临床 RAG 证据感知检索评估协议,指出检索分数依赖标注覆盖度,并给出18文档/18查询的小规模基准及分块大小、重叠率与检索器配置的对比结果。新信息在于把证据跨度映射到所有包含块来定义相关性,对 RAG 评估方法有参考价值;局限是语料和查询规模很小、摘要结果被截断,且生成评估依赖 LLM 裁判,结论外推需谨慎。

62

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容