面向语言模型的低比特 N-Gram 嵌入

论文研究能否在保留性能收益的前提下降低 n-gram 嵌入表的内存成本，并以 DeepSeek-V4.1-Flash 的 196B 参数 Engram 记忆为例说明开销规模。作者系统比较不同量化方法与各表比特分配，在从零训练的 nanochat、Llama 和 GPT-2 系列模型上发现 4-bit 表可节省约 75% 表内存，同时保留超过 99% 的验证损失改善；更低比特性能下降更明显，但短时微调可部分恢复。

AI推荐理由 针对 n-gram 嵌入表内存开销（举例 DeepSeek-V4.1-Flash 的 196B 参数 Engram 表）系统研究低比特量化，报告 4-bit 节省约 75% 表内存并保留 99% 以上验证损失改善，结论具体且对开源模型部署有直接参考价值；实验限于 nanochat、Llama、GPT-2 系列从零训练模型。