用户感知与代理LLM评判者在隐私敏感场景中的对比研究

该研究探讨了在隐私敏感场景下，用户对大型语言模型回答的隐私性和有用性感知，与代理LLM评判者的评估之间的差异。研究发现两者存在不一致，提示自动评估方法可能无法完全反映用户的真实关切。

AI推荐理由 这项研究表明，在隐私敏感场景中，LLM评判者作为自动评估工具可能与真实用户感知不一致。对开发隐私相关应用的团队而言，若仅依赖代理指标优化模型，可能偏离用户实际需求，需结合用户测试或设计更贴近真实关切的评估流程，以规避信任与合规风险。