论文研究
arxiv.org ·
@Wang Bill Zhu
PreciseCoder:超越单元测试奖励的忠实且可泛化调试方法
论文分析发现,仅以单元测试通过与否作为强化学习奖励,虽能提升通过率,却会教模型更多编辑、并在本就正确的代码中幻觉出 bug。为此提出 PreciseCoder,在单元测试奖励之外加入语义验证的局部化编辑信号。在 4B、9B、27B 模型上,该方法将平均编辑行数从 7-15 行降至 3 行,通过率与仅用单元测试训练相当;仅在单行 bug 上训练即可泛化到仓库级程序修复,以更小补丁解决更多问题,且其精度可从较弱模型迁移到更强模型。
AI推荐理由 指出仅用单元测试奖励做 RL 会诱导模型过度编辑并在正确代码中幻觉 bug,提出 PreciseCoder 引入语义验证的局部化编辑信号;在 4B/9B/27B 模型上把平均编辑行数从 7-15 降到 3 且通过率持平,并能泛化到仓库级修复,还观察到精度可从弱模型迁移到强模型,对代码模型后训练有直接参考价值。
75
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。