BitSparse：面向ReLU前馈网络的紧凑激活存储

降低LLM训练显存是持续挑战：激活检查点靠重算省显存，有损压缩会改变存储的激活值。稀疏ReLU与ReLU²激活的重新流行带来第三种机会——对激活缓存本身做无损压缩。论文提出BitSparse，一种GPU常驻的稀疏激活无损压缩格式，压缩与重建由融合进autograd函数的定制Triton内核完成，可在反向传播时精确恢复，支持BF16与FP8，可选符号位打包进一步提升压缩率至接近理论上限。作者分析其压缩比并与理论最优对比，报告在Modded-NanoGPT和Nemotron-H上每token显存分别降低31%和30%，实际序列长度下开销不超过1%。

AI推荐理由 针对稀疏ReLU/ReLU²激活重新出现的机会，提出GPU常驻的无损激活压缩格式BitSparse，以融合进autograd的Triton内核实现压缩与精确重建，支持BF16与FP8，可选符号位打包接近理论上限。给出Modded-NanoGPT与Nemotron-H上每token显存降低31%和30%、实际序列长度下开销不超过1%的具体数据，属于有量化证据的训练系统优化工作。