开源工具
arxiv.org ·
@Nuojin Cheng
脉动线性注意力：面向TPU的Tile分组门控Delta注意力协同设计
现有GDN、KDA等门控delta线性注意力针对GPU小tile设计，直接移植到TPU会浪费矩阵单元并受向量单元瓶颈。SLA通过将key扩展至256并分组value头、把衰减门分为四个64通道tile、以块矩阵乘在单一融合内核中完成chunk求解。在TPU v7x上SLA-R4层较开源Tokamax KDA内核快1.6–2.5倍（精确chunk求逆下1.4–2.4倍）。
AI推荐理由 针对TPU宽256×256脉动阵列特性重构门控delta线性注意力，给出具体加速数据（TPU v7x上较Tokamax KDA快1.6–2.5倍）；属硬件协同设计的可验证工程贡献，但仅限TPU平台且为单层内核结果。
71
正文
当前仅保存了标题或简介；并非所有来源都提供正文，可通过下方原文链接查看。