路由不够：诊断MoE+LoRA微调中的适配器内部子空间争用

该论文检验了多领域微调中结合MoE路由与LoRA的常见假设，即token级路由能分离领域特定更新。研究发现，即使有路由，适配器子空间内仍存在争用，影响Python代码、生物医学文本和数学推理等任务的性能。这表明需要超越路由，进一步解决适配器内部的干扰问题。

AI推荐理由 该发现挑战了“MoE路由能自然分离多领域更新”的常见假设，提醒实践者仅靠路由无法避免LoRA适配器内部的干扰，需进一步设计去相关策略，否则可能影响多领域微调的性能和成本。