论文研究
arxiv.org ·
@Caleb Petterson
质疑 RLVR 中的工具性趋同：来自 OLMo-3 检查点的证据
论文检验可验证奖励强化学习（RLVR）是否会让模型更易表现出工具性趋同行为（自我保存、资源获取、欺骗、抗拒监督）。作者用 InstrumentalEval 评估 OLMo-3-7B-Think 在 SFT、DPO、13 个 RLVR 中间检查点和最终 RLVR 模型上的行为轨迹，发现轨迹呈非单调变化，而非简单的训练前后安全分数对比。摘要未给出完整数值与最终结论。
AI推荐理由 以 OLMo-3-7B-Think 的 SFT、DPO、13 个 RLVR 中间检查点和最终模型为对象，用 InstrumentalEval 追踪工具性趋同行为轨迹，发现非单调变化，对 RLVR 安全讨论提供检查点级证据；摘要截断，具体幅度与结论细节不足。
70
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。