多语言 LLM 非参数记忆推理：关系知识的认知式分析

研究在提示中直接给出事实、而非依赖检索的条件下，考察语言模型对上下文关系的推理能力。作者构建 Rel-Bloom 受控多语言诊断集：基于 30 个 Wikidata 关系生成 450 道多选题，按 Bloom 五层级（记忆、理解、应用、分析、评价）和三种真实性条件（事实、反事实、中性化）实例化。在 43 个模型、6 种语言、两种多语言设置下共 226,800 次预测中，所有受评开源权重模型系列从 Apply 到 Analyze 准确率大幅下降（Large Granite 组达 47.2 个百分点），而两个 Gemini 模型未出现该下降；Evaluate 项仍是瓶颈。

AI推荐理由 该论文提出 Rel-Bloom 受控多语言诊断基准（450 道多选题、30 个 Wikidata 关系、5 个 Bloom 层级、3 种真实性条件），在 43 个模型、6 种语言、226,800 次预测上评估上下文关系推理。具体新信息是：所有受评开源权重模型系列从 Apply 到 Analyze 准确率骤降（Large Granite 达 47.2 个百分点），而 Gemini 模型未出现该现象；Evaluate 项仍是瓶颈。这为 RAG 依赖的“证据条件关系推理”提供了可验证的量化证据，对模型评测与 Agent 落地有参考价值。局限：仅摘要片段，Evaluate 结论被截断，未给出完整方法与误差分析；基准为多选题诊断，不能直接外推真实 RAG 场景。