最新资讯
dev.to 精简 MCP server 工具数量:更少工具、更小影响面,双重收益 dev.to 为什么 git checkout 无法撤销 AI 编码 agent 的改动? wechat AI短剧门槛降降降!实测即梦短剧工作室:剧本分镜预演一条龙,伙伴计划长期护航 dev.to 让模型改写文档前,先量化事实保真度 dev.to 回放 153 个 Claude Code 与 Codex 会话,审计 Agent 的生产影响范围 dev.to 银行 77 意图分类最便宜 LLM:GPT-6.1 Terra 每次成功任务 $0.000727 theinformation.com Chesky的副业:Airbnb向CEO新设AI实验室出售IP theverge.com OpenAI 宣布数据中心项目不再与公职人员签署保密协议 dev.to NVIDIA 发布四个开放 Cosmos 3 仿真模型 dev.to 真实 MCP 客户端击穿我们服务器的五种方式 theverge.com Airbnb 正在开发 AI 旅行 agent,计划 2027 年上半年推出 wechat 这可能是美国AI最魔幻的一天。
多元动态
登录 注册
智能体 arxiv.org · @Daniel Khashabi

准确但不谦逊:评估知识冲突下LLM智能体的认知谦逊

原文 我的收藏

当检索证据与agent先验信念矛盾时,agent会修正答案、承认不确定性,还是坚持错误结论?现有agent评测多关注任务成功率,对冲突处理洞察有限。作者提出评估“认知谦逊”(EH),即agent在任务执行中识别、处理并传达不确定性的意愿,通过Identify、Solve、Escalate三个轨迹级行为维度,在受控冲突与多步agent执行中的自然冲突两种设置下(各配无冲突对照)评测四个agent,发现更高任务准确率未必意味着更好的认知谦逊。

AI推荐理由 提出以“认知谦逊”(EH)评估LLM agent在知识冲突下的行为,通过Identify、Solve、Escalate三个轨迹级维度,在受控冲突与多步执行中的自然冲突两种设置下评测四个agent,发现更高任务准确率未必对应更好的冲突处理。对agent可靠性与不确定性表达评估有参考意义,但摘要未给出完整结论。

73

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容