最新资讯
bloomberg.com 科技股抛售后,Anthropic IPO 估值承压 dev.to 当“按设计工作”成为问题:Claude Code 与 .NET 用户机密 dev.to 用代理修复 3500 个 Sonar 问题花 44 美元,让结果可信花 520 美元 dev.to 底层陷阱:为何企业 AI 使用率跑赢其 EBIT 影响 thenewstack.io Cursor 推出全托管应用部署,对标 Lovable 与 Replit techrepublic.com METR 评估显示 Anthropic 模型进展近乎翻倍,IT 采购方需关注什么 bloomberg.com Nvidia AI 芯片出口成为民主党国会关注目标 computerworld.com Meta 撤回争议性企业 AI 条款 bloomberg.com 台积电据报考虑生产先进 AI 存储芯片 www.infoq.com Yelp 为 AI Assistant 融合原生与服务器驱动 UI computerworld.com 英国监管机构:企业须为自家 AI 代理的错误负责 siliconangle.com Atomicwork 推出面向企业 IT 与安全的认证 AI 同事市场
多元动态
登录 注册
论文研究 arxiv.org · @Yoel Zeldes

弥合上下文差距:面向表格上下文学习的激活对齐

原文 我的收藏

表格基础模型通过将带标签训练样本作为上下文进行 in-context learning,但每次前向都需处理全部样本,成本高;限制样本数虽降本却显著损害性能。论文提出 activation alignment:不丢弃上下文,而是用合成无标注数据训练轻量线性变换,将使用部分上下文的 student 中间激活映射向使用全部数据的 teacher 激活。该对齐器训练无需 GPU,在通用硬件上数秒至数分钟收敛,并在 TabArena 的 38 个分类数据集上评估。

AI推荐理由 针对表格基础模型 ICL 每次前向都需处理全部训练样本、限制样本数又显著掉点的问题,提出 activation alignment:用合成无标注数据训练轻量线性变换,把部分上下文 student 的中间激活对齐到全上下文 teacher。训练无需 GPU、数秒至数分钟收敛,在 TabArena 的 38 个分类数据集上评估,属于方法明确、成本友好的效率改进,但摘要未给出具体性能数字。

70

正文

当前仅保存了标题或简介;并非所有来源都提供正文,可通过下方原文链接查看。

来源报道 · 1 篇 · 以下链接均前往原始媒体

← 返回精选动态 原文

更多内容