MC-Sparse：弥合扩散 Transformer 中稠密与稀疏注意力的差距

论文指出，稀疏注意力是降低扩散 Transformer 在视频和高分辨率 3D 资产生成等长序列任务中延迟的主要手段，但现有方法在高稀疏度下会损害生成质量与保真度。作者通过受控 oracle 对比将退化归因于三点：token 分组带来的约束、交互选择不准确，以及丢弃 token 时损失的注意力贡献。据此提出免训练的 Meta-Cached Sparse Attention（MC-Sparse），在按 tile 对齐分组相似查询的同时选择单个 KV token 以适配 GPU 执行，并缓存查询分组、用精确注意力概率选出的 KV 索引以及稠密与稀疏注意力输出之间的残差，在后续去噪步中复用。

AI推荐理由 通过受控 oracle 对比定位扩散 Transformer 稀疏注意力在高稀疏度下质量下降的三个来源（token 分组约束、交互选择不准、丢弃 token 的注意力贡献损失），提出免训练的 MC-Sparse，按单个 KV token 选择并将相似查询组织为 tile 对齐分组，缓存查询分组、基于精确注意力概率选出的 KV 索引及稠密-稀疏输出残差并在后续去噪步复用。面向视频与 3D 生成的长序列延迟问题，分析具体，但摘要未给出完整加速与质量数据。