打破 Ternary LLM 的 1.58-bit 壁垒

Intel 研究者提交的 arXiv 论文测量了 29 个 ternary LLM 的权重符号分布，发现零权重占比最高达 51.5%，据此提出分布自适应的 BITCOS 存储布局（存在位图加压缩符号向量），每权重成本为 2-z bit（z 为零密度）。在 29 个测试模型中 26 个比现行五 trit 打包更紧凑，最稀疏模型达 1.485 bit/权重。论文给出 AVX-512、AVX2 与 Intel Xe2 GPU 的优化解包序列，实测 ternary 矩阵向量乘最高 1.28 倍加速，5 个平台端到端解码吞吐 CPU 最高 1.18 倍、GPU 最高 1.27 倍。

AI推荐理由 arXiv 论文，作者为 Intel 的 Evangelos Georganas、Alexander Heinecke、Pradeep Dubey，摘要给出具体测量与实验数据：测量 29 个 ternary LLM 的符号分布，发现零权重占比最高达 51.5%，提出 BITCOS 布局（存在位图+压缩符号向量），在 29 个模型中 26 个比五 trit 打包更紧凑，最稀疏模型达 1.485 bit/权重，并给出 AVX-512、AVX2、Intel Xe2 GPU 的解包序列，实测 ternary 矩阵向量乘最高 1.28 倍加速，5 个平台端到端解码吞吐 CPU 最高 1.18 倍、GPU 最高 1.27 倍。信息密度高、有可验证方法，但为预印本，尚未经同行评审，实际部署收益依赖具体模型零密度。