大模型
arxiv.org ·
@Shilong Liu
OptionWorld:诊断 LLM 作为长期个人助理失败原因的基准
论文提出 OptionWorld 基准,在模拟日常任务中追踪信息获取、判断、行动与结果,以定位 LLM 长期个人助理的短板。在归档决策输入的运行中,35.5% 的失败实例在截止前最后一次输入里仍含关键事实;最常见问题为信息未获取或未整合、可用行动机会未被利用、以及强加任务未要求的限制。后续实验显示补充缺失事实可部分恢复成功,行动提醒能重启工作但仍可能错过截止时间。
AI推荐理由 提出 OptionWorld 基准,在模拟日常任务中追踪信息获取、判断、行动与结果,用于诊断 LLM 长期个人助理的失败环节。摘要给出具体发现:35.5% 的失败实例中关键事实仍在截止前最后一次输入中,并归纳三类高频问题,另有补充事实、行动提醒等干预实验。对 Agent 长期任务评测有参考价值;结论基于模拟环境,外推需谨慎。
71
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。