大模型
arxiv.org ·
@M. Mikail Demir
Commit or Abstain?System One 决策模型、LLM 与缺失法律依据
研究测试决策模型在正确法律依据缺失时能否弃权:将 CaseHOLD 扩展出弃权条件,在 5314 项中替换 1670 项正确答案,对比 4 个决策模型与 6 个生成式 LLM。无正确选项时生成式 LLM 仍有 38%-86% 强行作答,最谨慎决策模型为 30%;标准 CaseHOLD 上决策模型以约 1/55 成本达到 88.1% 准确率,接近最佳生成模型的 88.2%。
AI推荐理由 在 CaseHOLD 上扩展弃权条件(5314 项中替换 1670 项正确答案),比较 4 个决策模型与 6 个生成式 LLM:无正确选项时生成式模型仍有 38%-86% 强行选择,最谨慎决策模型为 30%;标准任务上决策模型以约 1/55 成本达到与最佳生成模型相当准确率(88.1% vs 88.2%)。有具体量化证据,对法律 AI 可靠性有实际参考价值。
74
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。