大模型
arxiv.org ·
@Dmitry V. Dylov
AI Consilium:LLM 临床多学科二次意见基准
该研究构建了一个多维基准,使用 300 例已确诊的 NEJM-MedQA 病例(110 例用于医生参考评分与 Judge 校准,190 例用于留出评估),由 8 条单模型流水线在自由形式与结构化临床推理条件下生成角色化意见和交互式会诊报告,并由医生校准的 LLM Judge 评估 3040 份最终报告。结果显示模型身份对报告质量的影响强于回答格式,结构化最终报告在 8 条流水线中 7 条平均分更高,管理维度提升最明显(2.740 vs 2.436)。
AI推荐理由 提出面向临床多学科二次意见的多维 LLM 基准,基于 300 例 NEJM-MedQA 已确诊案例(110 例用于医生参考评分与 Judge 校准,190 例留出评估),用医生校准的 LLM Judge 评估 3040 份报告。核心发现是模型身份对报告质量的影响强于回答格式,结构化最终报告在 8 条流水线中 7 条平均分更高,管理维度优势最明显(2.740 vs 2.436)。局限在于评估依赖 LLM Judge 而非全部人工复核,且为预印本,尚未见同行评审或真实临床部署验证。
72
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。