大模型
arxiv.org ·
@Parivesh Choudhary
面向通用偏好的语言模型对齐：Direct Nash Optimization实证研究
论文独立复现DNO-Prct（在线采样、LLM评分、大间隔偏好对筛选与DPO式对比更新），在Llama 3.1 8B Instruct和Mistral 7B Instruct v0.1上测试。以GPT-4o为评审时，三轮迭代将AlpacaEval 2.0长度控制胜率从31.7%提升至45.3%（Llama）、从6.8%提升至18.4%（Mistral），调优后的8B模型在所有报告胜率上超过Llama 3.1 70B；改用同族开源标注模型时分别保留62%和82%的增益。
AI推荐理由 对Direct Nash Optimization（DNO-Prct）做独立复现，在Llama 3.1 8B与Mistral 7B上给出AlpacaEval 2.0长度控制胜率的具体提升，并测试同族开源标注模型替代GPT-4o时的增益保留比例，属可验证的对齐方法实证。
74
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。