大模型
arxiv.org ·
@Jennifer Neville
兼顾任务遵循与自然表达的用户模拟器
针对用户日益依赖 AI 系统完成长时多轮任务、而 LLM 系统性能随交互延长而下降的问题,论文指出现有用户模拟器存在权衡:提示式助手能遵循复杂用户意图但行为保真度不足,专用模拟器对话行为更接近真人却难以忠实执行复杂意图。作者提出一种强化学习方案,联合奖励任务意图遵循与行为自然性,其关键是用与用户模拟器交替对抗循环训练的轻量判别器来操作化自然性,并发布所得模型 UserLM-2.0,称其能生成有效的模拟对话。摘要未提供具体量化评估结果。
AI推荐理由 论文针对多轮长任务中 LLM 助手性能退化问题,提出同时奖励任务意图遵循与行为自然性的强化学习方案,并用与用户模拟器交替对抗训练的轻量判别器来操作化自然性,发布 UserLM-2.0。新信息是这一联合奖励与对抗式自然性度量的组合,对 Agent 评测和用户模拟器构建有实用价值;局限是摘要未给出量化结果,模型有效性尚待验证。
60
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。