大模型
arxiv.org ·
@Tahereh Jeirani
异构认知与生物医学知识图谱上的 LLM 基准:图接地在多跳推理与幻觉缓解中的作用
该研究在 DrugBank、NeuroSynth、Cognitive Atlas、Brain Map 和 GDPKG 五个知识图谱上评测 GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen 和 BioGPT 五个模型,构建分层查询数据集,比较图接地与无接地条件下的推理深度与事实准确性。标注一致性较高(Cohen's kappa 0.781,Fleiss' kappa 0.77)。结果显示通用模型在多跳与高层推理上总体优于领域专用模型,但随查询复杂度上升性能下降;图接地降低了所有模型的幻觉率,领域模型并未如假设般稳定占优。
AI推荐理由 在五个异构知识图谱上基准测试五个 LLM 的多跳推理与幻觉表现,引入分层查询数据集并对比图接地与无接地条件,报告标注者一致性(Cohen's kappa 0.781、Fleiss' kappa 0.77)。发现通用模型在多跳与高层推理上普遍优于领域模型,图接地可降低所有模型的幻觉率,且领域专用模型并未稳定占优,结论具参考价值;但摘要未给出具体数值幅度。
74
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。