AdviSD：通过定向多轮自蒸馏学习指导前沿 LLM

一个小型可训练 advisor 可以用自然语言建议引导冻结的语言模型 executor。除从任务奖励学习外，advisor 还可利用已完成交互的反馈改进建议。然而，看似合理的修正未必改变执行结果，而从这类修正中学习仍会影响 advisor 在其他情境下的未来决策。作者在共享参数模型中证明，若某些修正的目标对有用建议的偏好弱于其他修正，则从这些修正中学习会限制学习效果；相比学习全部修正，降低这类修正的保留频率可提升模型最终性能。据此提出 Advisor Self-Distillation（AdviSD），将基于结果的强化学习与来自反馈条件化 advisor 副本的选择性自蒸馏相结合：反思提出修正，advisor 对同一记录的 executor 响应在有无其建议两种条件下打分。

AI推荐理由 提出 AdviSD，用小型可训练 advisor 以自然语言建议引导冻结的 LLM executor，将基于结果的强化学习与选择性自蒸馏结合。理论部分证明：在共享参数模型中，若某些修正的目标对有用建议的偏好弱于其他修正，则从这些修正中学习会限制学习效果，因此有选择地保留修正优于学习全部修正。方法有理论动机和机制设计，但摘要未给出具体任务与量化收益。