智能体
arxiv.org ·
@Chelsea Finn
ScholarCatalyst:面向“启发新研究”的论文检索基准
论文提出 ScholarCatalyst 基准,通过可扩展的自动流程让 207 篇近期计算机科学论文的 184 位第一作者标注哪些候选论文推动或可能推动了其项目,并附详细理由。基于此构建带作者判断的检索任务:给定初始研究问题,仅从项目开始时的文献中检索相关论文。结果显示,agentic search 的 Recall@20 为 0.42,低于 embedding 检索的 0.48,尽管前者调用了同一检索器。
AI推荐理由 提出 ScholarCatalyst 基准,由 184 位作者对 207 篇近期 CS 论文标注哪些先前工作推动了其项目,并给出理由,构建了带作者判断的检索任务。摘要指出 agentic search 的 Recall@20 为 0.42,低于 embedding 检索的 0.48,即使 agent 调用了同一检索器。这是对 AI 科研辅助与检索评测的具体新证据,但摘要被截断,Claude Fable 5.1 部分结论不完整,需谨慎对待。
78
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。