大模型
arxiv.org ·
@Sachin Kumar
看起来完整不等于有据可依:LLM 态势报告与人工报告的对比评估
研究以 LLM 辅助、作者确认的内容分析,从专业人道主义态势报告中提炼出 15 槽位信息模式,并据此评估 5 类灾害、3 种灾害类型下的 121 份人工报告与 261 份 LLM 生成报告。在 Cyclone Idai 上,gemini-3.7-flash 的最佳机器结果名义上略高于人类经验上限(0.827 对 0.821),但差异与零不可区分(95% bootstrap CI [-.049,.059],置换检验 p=.852),且该排序在 gpt-5.6-luna 下未能复现。盲测 100 条 Idai 样本中,作者与 Gemini 评判一致率为 0.910,未加权 Cohen's κ=.799。
AI推荐理由 通过 LLM 辅助的内容分析从人道主义态势报告中提炼 15 槽位信息模式,并对 121 份人工报告与 261 份 LLM 生成报告做对比评估,发现机器报告在部分指标上名义接近甚至略高于人类上限但差异不显著,且排序在不同模型间不可复现,对 LLM 评估方法学有参考价值;结论受限于特定灾害与模型组合。
66
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。