最新资讯
stackoverflow.blog 欢迎来到芯片时代:半导体制造、AI 数据中心与芯片设计的未来 www.youtube.com AI Agent 总犯同样的错:CentralAgent AI 将记忆重构为经验系统 pub.towardsai.net Netflix 科学家建议重采样 LLM 评判:5 次仅将误差棒缩小 13% pub.towardsai.net Jev 作为 LLM 前的静默层:构建提示感知的模型路由器 reddit.com OpenAI 称 Astra 仅满足 10% 安全任务标准 dev.to FreeToken:在自有 GPU 上运行前沿 MoE 模型及其内存需求 dev.to 当 AI Agent 说“完成”时,究竟完成了什么? dev.to 部署 Underdog Bark 3.0 Pro:逐字转写、自定义后端与分块设置 dev.to 为艰难对话构建 AI:五个 Agent、一条安全正则与一位盲评监督者 techcrunch.com Palo Alto Networks 洽谈以 5 亿美元收购 AI Agent 安全初创公司 Clutch theinformation.com 黄仁勋被要求就涉华间谍指控向国会作简报 www.infoq.com Edera 推出 Object Capability Bounded Authority,试图将凭证与 AI Agent 工作负载隔离
多元动态
登录 注册
大模型 arxiv.org · @Dmitry V. Dylov

AI Consilium:LLM 临床多学科二次意见基准

原文 我的收藏

该研究构建了一个多维基准,使用 300 例已确诊的 NEJM-MedQA 病例(110 例用于医生参考评分与 Judge 校准,190 例用于留出评估),由 8 条单模型流水线在自由形式与结构化临床推理条件下生成角色化意见和交互式会诊报告,并由医生校准的 LLM Judge 评估 3040 份最终报告。结果显示模型身份对报告质量的影响强于回答格式,结构化最终报告在 8 条流水线中 7 条平均分更高,管理维度提升最明显(2.740 vs 2.436)。

AI推荐理由 提出面向临床多学科二次意见的多维 LLM 基准,基于 300 例 NEJM-MedQA 已确诊案例(110 例用于医生参考评分与 Judge 校准,190 例留出评估),用医生校准的 LLM Judge 评估 3040 份报告。核心发现是模型身份对报告质量的影响强于回答格式,结构化最终报告在 8 条流水线中 7 条平均分更高,管理维度优势最明显(2.740 vs 2.436)。局限在于评估依赖 LLM Judge 而非全部人工复核,且为预印本,尚未见同行评审或真实临床部署验证。

72

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

Dmitry V. Dylov AI Consilium:LLM 临床多学科二次意见基准 10-16 · 原文发布
← 返回精选动态 原文

更多内容