Mira：用自适应缓存与专家预测预取实现内存高效的 MoE 推理

针对 MoE 模型专家参数占用显存大、token 级路由动态且偏斜的问题，论文提出 Mira，一种算法与系统协同设计，目标是在单 GPU 上实现高容量 MoE 推理。其核心是引入轻量级逐层预测器，提前两层预测专家使用情况以主动预取，并配合定制量化格式，从而摆脱以往 offloading 与缓存方案必须等待 router 输出才搬运专家的被动模式，改善显存紧张下的缓存利用率与传输-计算重叠。摘要未给出实测性能与精度结果。

AI推荐理由 提出 Mira，一种面向单 GPU 的 MoE 推理算法-系统协同设计：用轻量级逐层预测器提前两层预测专家使用，实现主动预取，并配合定制量化格式，试图把现有 offloading/缓存方案从被动等待 router 输出转为主动预取。摘要只给出思路与动机，未提供实测吞吐、显存占用或精度数据，效果尚待验证；但针对 MoE 显存瓶颈与动态路由偏斜这一具体工程问题，方向明确，对单卡部署 MoE 有参考价值。