智能体
arxiv.org ·
@Patrick Ruch
BITEM 在 NTCIR-19 R2C2 任务:从 Agentic RAG 流水线信号预测置信度
BITEM 团队以单一 agentic 流水线参加 NTCIR-19 R2C2 两个子任务:模型在电影语料上检索、阅读并记录证据,orchestrator 持有记录并裁定可提交内容;claim 须经 entailment cascade 对照所引段落校验后才被接纳,答案须有足够已校验证据支撑才发布。每个问题运行三到四次,后续 pass 从已剔除前序所见内容的语料中检索。置信度由 orchestrator 依据运行残留信号计算,不向模型索取自评。两次检索运行在 22 支队伍中列第 4、第 5,合并多 pass 带来 0.0709 nDCG@20 增益,在多跳和后处理密集问题上增益最大,组织方将合并运行列为该领域第一。
AI推荐理由 NTCIR-19 R2C2 任务的系统描述论文,提出用单一 agentic RAG 流水线同时完成两个子任务:模型负责检索、阅读并记录证据,orchestrator 持有记录并裁定可提交内容,claim 需通过 entailment cascade 对照所引段落校验后才被接纳,答案需有足够已校验证据支撑才发布。每个问题运行三到四次,后续 pass 从已剔除前序所见内容的语料中检索;置信度由 orchestrator 依据运行残留信号计算,不向模型索取自评。文中给出具体结果:两次检索运行在 22 支队伍中列第 4、第 5,合并多 pass 带来 0.0709 nDCG@20 增益,在多跳和后处理密集问题上增益最大,组织方将合并运行列为该领域第一。局限是摘要未给出完整方法细节与消融,且为任务报告而非通用结论。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。