论文研究
arxiv.org ·
@Vinay Kumar Sankarapu
每次消融都是一个剂量:反权重与“自修复”的表象
论文针对语言模型中被反复观察到的“自修复”现象提出统一解释:消融前已存在增益,任何对因果重要组件的干预都可视为坐标轴 λ 上的一个点,传统消融方法只是未校准的点。作者表明细粒度单元 r 的因果修复响应服从仿射律 E_r(λ)=own_r+γ_rλ,斜率 γ_r 是固定系数,其符号决定该单元是抵消还是强化被移除的信号。
AI推荐理由 对语言模型“自修复”现象提出统一解释:消融前已存在增益,任何对因果重要组件的干预可视为坐标轴上的点,细粒度单元的因果修复响应服从仿射律 E_r(λ)=own_r+γ_rλ,斜率符号决定该单元抵消还是强化被移除信号。属于可解释性与因果分析方向的具体机制假设,但摘要未给出完整实验规模与结论。
66
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。