智能体
arxiv.org ·
@Daniel Khashabi
准确但不谦逊:评估知识冲突下LLM智能体的认知谦逊
当检索证据与agent先验信念矛盾时,agent会修正答案、承认不确定性,还是坚持错误结论?现有agent评测多关注任务成功率,对冲突处理洞察有限。作者提出评估“认知谦逊”(EH),即agent在任务执行中识别、处理并传达不确定性的意愿,通过Identify、Solve、Escalate三个轨迹级行为维度,在受控冲突与多步agent执行中的自然冲突两种设置下(各配无冲突对照)评测四个agent,发现更高任务准确率未必意味着更好的认知谦逊。
AI推荐理由 提出以“认知谦逊”(EH)评估LLM agent在知识冲突下的行为,通过Identify、Solve、Escalate三个轨迹级维度,在受控冲突与多步执行中的自然冲突两种设置下评测四个agent,发现更高任务准确率未必对应更好的冲突处理。对agent可靠性与不确定性表达评估有参考意义,但摘要未给出完整结论。
73
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。