免训练的在策略蒸馏

在策略蒸馏通常需要为每个教师付出rollout、教师前向与梯度步的代价。论文表明这种能力整合无需训练：仅靠前向传播，即可把分别微调的多个专家模型能力聚合为一个模型，平均准确率高于任一单独专家。当专家共享同一基座模型时，蒸馏存在精确的逐层解——融合模型的每个线性层必须在该专家所接收的输入上复现其输出，这是一个最小二乘问题，其解只需这些输入的二阶矩，数百条rollout的一次前向即可提供。作者强调rollout的内容比求解器更重要，例如数学专家rollout中因重复循环被截断的答案数量虽少，却占据其token的很大比例。

AI推荐理由 提出无需训练的在策略蒸馏：仅用前向传播即可将多个分别微调的专家模型能力聚合为一个学生模型，平均准确率高于任一单独专家。当专家共享基座模型时，蒸馏存在精确的逐层解——融合模型每个线性层需在该专家接收的输入上复现其输出，这是最小二乘问题，只需这些输入的二阶矩，数百条rollout的一次前向即可获得。作者还指出rollout内容比求解器更关键。方法简洁且降低蒸馏成本，但摘要未给出完整实验对比。