量化 LLM 研究 Agent 的论断平滑现象

研究发现 LLM 生成的长篇研究报告读起来像自信的综合，却未能准确反映原始文档，作者称之为“smoothing”：模型把多样且可能冲突的来源压缩为单一叙事，给出超出引用支撑的结论。为此提出 claim 级评分流程 SmoothScore，抽取报告中的关键结论性论断，检索相关证据并按高层方面聚类，再对每条论断打分以量化平滑程度，并在 7 个系统和 4 个数据集上进行了评估。

AI推荐理由 指出 LLM 深度研究报告存在“claim smoothing”：把多样甚至冲突的来源压成单一自信叙事，丢弃证据的参差性。提出 SmoothScore 在 claim 级别抽取结论、检索证据并按高层方面聚类打分，覆盖 7 个系统、4 个数据集。问题定义与评测方法具体，对研究型 agent 的可信度评估有直接用途。