论文研究
arxiv.org ·
@Yoel Zeldes
弥合上下文差距:面向表格上下文学习的激活对齐
表格基础模型通过将带标签训练样本作为上下文进行 in-context learning,但每次前向都需处理全部样本,成本高;限制样本数虽降本却显著损害性能。论文提出 activation alignment:不丢弃上下文,而是用合成无标注数据训练轻量线性变换,将使用部分上下文的 student 中间激活映射向使用全部数据的 teacher 激活。该对齐器训练无需 GPU,在通用硬件上数秒至数分钟收敛,并在 TabArena 的 38 个分类数据集上评估。
AI推荐理由 针对表格基础模型 ICL 每次前向都需处理全部训练样本、限制样本数又显著掉点的问题,提出 activation alignment:用合成无标注数据训练轻量线性变换,把部分上下文 student 的中间激活对齐到全上下文 teacher。训练无需 GPU、数秒至数分钟收敛,在 TabArena 的 38 个分类数据集上评估,属于方法明确、成本友好的效率改进,但摘要未给出具体性能数字。
70
正文
当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。