F-GRPO：防止策略学习明显而遗忘稀有

F-GRPO提出了一种新的强化学习奖励训练方法，旨在解决有限组采样下策略偏向常见样本而忽视稀有样本的问题。该方法通过调整优势估计，使策略更新更加平衡。实验表明，F-GRPO在多个基准上优于现有方法。

AI推荐理由 这项研究直击RLVR训练中稀有样本被边缘化的通病，通过调整优势估计来平衡策略更新，能让推理模型在长尾难题上更稳健。对AI工程实践而言，这意味着可能以更低采样成本获得更全面的能力提升，尤其对数学、代码等需要覆盖罕见边界的场景具有实际价值。