大模型
arxiv.org ·
@Ricardo Rei
MindEval2:面向心理健康支持评测的临床依据患者与评分标准
论文提出 MindEval2,一个用于评估语言模型心理健康支持能力的框架,包含两部分:用于评测的心理健康质量评分标准(MHQR)和用于患者模拟的 MindSim。作者指出,现有基准用合成患者模拟多轮交互并以 LLM-as-a-judge 评判,但合成患者往往过于主动和自省,评判又常依赖不透明的 Likert 量表,实用性有限。MHQR 与博士级心理学家合作制定,把回复质量拆解为更可解释、可操作的显式标准;MindSim 则是一个结合精心设计的 LLM 装置。
AI推荐理由 MindEval2 针对心理健康支持场景的模型评测,指出合成患者过于主动自省、LLM-as-a-judge 使用不透明 Likert 量表等局限,提出与博士级心理学家合作制定的心理健康质量评分标准(MHQR),把回复质量拆解为可操作、可解释的显式标准,并配套患者模拟框架 MindSim。属于评测方法改进,摘要未给出具体评测结果。
70
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。