LeanStream：面向设备端LLM推理的高效推测与细化流式框架

该论文提出LeanStream，一种推测与细化（speculate-and-refine）的流式推理框架，旨在提升设备端大语言模型（LLM）的推理效率。该方法利用激活稀疏性并将模型权重卸载到SSD或闪存，以解决模型权重超出设备DRAM容量的问题。LeanStream可能在移动和嵌入式设备上实现更快速、更隐私的LLM推理。

AI推荐理由 该研究为内存受限设备上的大语言模型推理提供了新的技术思路，有助于降低端侧部署的存储成本并提升隐私保护能力；若实验结果可靠，将推动更多AI应用在无网环境下实现低延迟交互，为端侧AI生态带来实际价值。