大模型
reddit.com ·
@/u/radeon2000
13 个 AI 模型模拟全科医生接诊五个病例:公开结果、逐字记录与评分代码
一位澳大利亚全科医生受训者发布基准,让 13 个模型通过工具调用完成 5 个病例的问诊、检查、开药与转诊,共 195 次会诊,由代码按病例键评分;结果显示 191/195 次会诊给出正确诊断,模型间诊断能力差异不明显,基准、记录与代码免费公开,患者由 LLM 扮演且作者开发相关商业游戏。
AI推荐理由 作者自述为澳洲全科医生受训者,公开 13 个模型×5 个病例×3 次运行的基准、逐字记录与代码,按病例键由代码评分;关键发现是诊断环节几乎无差异(191/195 正确),区分度可能来自其他指标,但摘要截断且患者由 LLM 扮演,存在自建基准与商业游戏关联的局限。
68
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。