大模型
arxiv.org ·
@Barufaldi
真实标注如何影响检索分数:乳腺病变 RAG 系统的证据感知评估
该研究提出一套面向乳腺病变管理文献的临床 RAG 证据感知检索评估协议,针对检索分数依赖标注覆盖度的问题,构建18篇文档语料与18条查询的开发基准,每篇文档对应一个是/否或 WH 问题。检索结合稠密嵌入、BM25 与交叉编码器重排,评估128至1024 token 分块、0至20%重叠及四种检索器配置,相关性以映射到所有包含块的证据跨度定义,重叠块若含等价证据视为相关,指标包括 R-Precision、Recall@K、MRR 和 nDCG@K;生成侧在512 token 索引、K=1至5下用 DeepEval 声明级指标(deepseek-v4-pro 作裁判)及 BLEU/ROUGE 评估。摘要显示选定的混合检索器采用384 token 分块与20%重叠,后续结果被截断。
AI推荐理由 该论文提出面向乳腺病变管理文献的临床 RAG 证据感知检索评估协议,指出检索分数依赖标注覆盖度,并给出18文档/18查询的小规模基准及分块大小、重叠率与检索器配置的对比结果。新信息在于把证据跨度映射到所有包含块来定义相关性,对 RAG 评估方法有参考价值;局限是语料和查询规模很小、摘要结果被截断,且生成评估依赖 LLM 裁判,结论外推需谨慎。
62
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。