大模型
dev.to ·
@Akshat Raj
LLM 零遗忘？在 SmolLM 上评测零空间投影并撞上可塑性墙
文章讨论自回归 Transformer 顺序微调中的灾难性遗忘，以及 LoRA 等 PEFT 适配器合并时的干扰问题；作者在 SmolLM 上评测零空间投影方法，报告约 62% 的下游可塑性惩罚，并给出正交投影消除遗忘的数学解释。
AI推荐理由 针对 LLM 持续学习中的灾难性遗忘，作者在 SmolLM 上评测零空间投影方法，并报告约 62% 的下游可塑性损失，触及顺序微调与适配器合并的实际瓶颈。主题对模型训练有参考价值，但为个人博客的初步基准，实验规模、数据集和复现细节在摘要中未充分披露。
70
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。