开放权重模型用于放射报告实体抽取的微调技术比较

论文研究能否用微调开放权重模型（Gemma-3-12B）在非增强头颅 CT 报告的多标签颅内出血（ICH）严重度抽取上匹配 GPT-4o，并分析哪些因素关键。采用 2×2 设计，交叉两种适配策略（判别式分类头 CH、生成式指令微调 IFT）与两种训练数据来源（GPT-4o 标注真实报告的蒸馏数据、由真实样例生成的合成报告），覆盖五种训练规模，在 100 份专家裁定报告上对比 GPT-4o 与未调优的开放权重基座。结果显示蒸馏+指令微调模型（DIFT）与 GPT-4o 相当（macro-F1 0.845 对 0.850，p=1.000）。

AI推荐理由 arXiv 论文，用 2×2 设计系统比较开放权重模型（Gemma-3-12B）在放射报告实体抽取上的微调方案，交叉适配策略（分类头 vs 指令微调）与训练数据来源（GPT-4o 蒸馏标签 vs 合成报告），并在 100 份专家裁定报告上评测。结论具体：蒸馏+指令微调模型 macro-F1 0.845，与 GPT-4o 的 0.850 相当（p=1.000），对隐私、成本与可复现性有实际意义；局限是单一临床任务与数据集。