GTFormer：以无句法图网络替代 Transformer，实现线性时间 8192 倍长度外推

论文针对自注意力 O(N²) 计算与内存开销及长序列 softmax 注意力稀释问题，提出 GTFormer：一种无句法的分层图神经网络，用有界度层级结构替代扁平自注意力，包含平衡二叉归约树、水平边界桥接位移边、随机扩展捷径、多通道凸高速门控与自顶向下广播。作者称其可在线性时间内支持 8192 倍长度外推，并在长上下文代码、日志与多跳检索基准上训练评测；摘要未给出完整结果。

AI推荐理由 提出 GTFormer，用无句法的分层图神经网络替代扁平自注意力做长上下文建模，组合二叉归约树、边界桥接边、随机扩展捷径与多通道门控，声称线性时间并支持 8192 倍长度外推。新信息是具体图结构设计与长上下文代码、日志、多跳检索基准上的实验设置；局限是摘要被截断，未给出完整结果与相对 Transformer 的实际性能对比，外推能力需原文数据支撑。