MIMFlow 入选 ECCV 2026 Long Oral，统一掩码建模与流模型生成

大模型智能 2026-09-06 00:00 吉林   大模型智能｜分享 来源 | 南京大学 编辑 | 极市平台  图 1：MIM 在三类范式中的位置。MIMFlow 不再把 MIM 只用于自监督预训练或独立 tokenizer，而是把表示学习、重建和生成放进同一个端到端目标。图片来自原论文。 ***01*** **一句话概括** MIMFlow 要解决的核心矛盾是： Normalizing Flow 擅长精确建模分布，却会因为严格可逆而把大量建模容量分配给低层细节；Masked Image Modeling 擅长逼出高层语义，却往往与真正的生成模型分阶段训练。 MIMFlow 把两者接到同一条端到端训练链路中： * **Masked ViT Encoder**从被随机遮挡的图像中提取全局信息； * **Learnable Token Bottleneck**用固定数量的查询 token 汇聚语义，形成稳定、紧凑的连续 latent； * **Latent Normalizing Flow**对该 latent 做精确密度估计与反向采样； * **Generative ViT Decoder**负责像素重建和高频纹理合成。 它不是简单地给现有生成模型增加一个 MIM 辅助损失，而是重新划分生成任务中的职责：**传统 Flow 被要求同时处理两项性质不同的任务：一是建模对象、轮廓和布局等全局结构，二是保留毛发、边缘和噪声等局部细节。MIMFlow 重新分工：Encoder 提取全局语义，Flow 建模语义 latent 的概率分布，Decoder 合成高频细节。** 论文的主要结果包括： 1. 在 ImageNet 256×256 类别条件生成上，MIMFlow-L 达到**FID 2.50**； 2. 相比参数规模接近的 SimFlow-L，FID 从 3.72 降至 2.50，下降**32.8%** ； 3. latent 只使用**128 个 token**，比常见的 256-token latent 减少 50%； 4. latent 的 ImageNet 线性探测准确率达到**71.3%** ，说明它不只是便于重建，也确实包含更强的类别语义； 5. 在相同 8×H800 设置下，相比 SimFlow-L，训练显存下降**28%**，吞吐提升约**10%** ，单图采样时间接近减半。 ***2*** **什么 Normalizing Flow 会被像素细节“拖住”？** 归一化流（Normalizing Flow，NF）的吸引力来自一套非常干净的数学机制：模型学习一个可逆映射，把复杂的数据分布变换成简单的高斯分布。由于变换可逆，它既能对所建模空间中的样本计算精确密度，也能从高斯噪声反向得到样本。在 MIMFlow 中，这种精确密度估计发生在 latent 空间。 设可逆变换为  ，图像 latent 为  ，则： 问题也恰佮来自＂可逆＂二字。 判别模型可以主动丢掉背景纹理、传感器噪声等与语义无关的信息；而 NF 为了维持双射，原则上必须解释输入空间中的每个维度。当 latent 混合了物体类别、轮廓、布局、毛发、草地纹理和随机噪声时，Flow 无法只选择自己最关心的部分。大量容量因此消耗在高频局部统计上，真正决定全局结构的语义反而得不到足够建模。 这也是为什么“把 NF 做得更深、更大”并不一定是最高效的答案：如果输入流形本身复杂而冗余，增加容量可能只是在更认真地拟合冗余。 ### MIM 提供了一个反直觉的突破口 Masked Image Modeling（MIM）会先遮住图像的大量 patch，再要求模型恢复缺失内容。由于局部像素已经不可见，编码器不能只复制纹理，只能依据剩余区域推断物体、结构和上下文。换句话说，遮挡天然形成了一个信息瓶颈： * 看不全，模型就必须做全局推断； * 不能依赖局部复制，latent 就更偏向语义； * latent 更紧凑，后续密度模型面对的分布也更简单。 但把 MIM 直接接到 NF 上并不容易。经典 MAE 只编码可见 patch，不同 mask 会产生不同长度、不同位置结构的序列；这对需要稳定输入维度的 NF 很不友好。SimMIM 虽然保留固定长度，但被遮挡 token 与可见 token 的信息密度差异很大，随机 mask 会让 latent 分布持续抖动。 此外，已有不少“生成式 tokenizer”方法先用 MIM 训练 tokenizer，再冻结 latent、单独训练生成模型。这样虽然改善了表示，但 tokenizer 与生成模型仍然是两个阶段，重建最优的 latent 未必就是密度建模最容易的 latent。 MIMFlow 的关键变化是：**不再把 MIM 当作生成之前的预训练工具，而是让它直接参与语义潜空间与生成分布的共同塑形。** ***03*** **MIMFlow：用遮挡把“语义建模”和“纹理合成”拆开**  图 2：MIMFlow 整体架构。Masked ViT Encoder 产生固定长度 latent；NF 学习 latent 到高斯先验的可逆映射；Generative ViT Decoder 从 latent 恢复完整图像。图片来自原论文。 MIMFlow 由三个核心模块组成：Masked Encoder  、Latent Normalizing Flow  和 Generative Decoder  。整个过程可以概括为： Masked Image ［加噪］（密度估计与采样） 同时 （图像重建） ### 1. Learnable Token Bottleneck：给 NF 一个固定、紧凑的建模对象 对于 256×256 图像，MIMFlow 使用 16×16 patch，一共得到 N=256 个图像 token。训练时随机遮挡其中 40%–60%，再额外拼接  个可学习查询 token。 所有 token 一起进入双向 Transformer，但编码结束后，模型只保留这  个查询 token，形成： 论文默认设置为 、。 这些查询 token 类似一组主动的信息“收集器”：它们通过 self-attention 从可见 patch 和上下文中汇聚信息，却不需要与某个固定图像位置一一对应。这一设计同时解决了三个问题： * **长度稳定**：无论随机遮住哪些 patch，NF 始终接收固定的 128 个 token； * **物理压缩**：K **与其让 Normalizing Flow 费力拟合一个充满像素冗余的 latent，不如先通过掩码和信息瓶颈重塑潜空间，让 Flow 专注建模更稳定的全局语义。** 随机遮挡迫使 Encoder 抓住全局结构，learnable token 将这些结构压缩成稳定的连续表示，NF 在语义流形上完成精确密度估计，Decoder 再负责恢复高频纹理。三个模块各做自己更擅长的事，又通过端到端目标共同决定 latent。 从更广的视角看，MIMFlow 也说明表示学习与生成建模并不一定要分成两个阶段。MIM 不只是一个预训练技巧，也可以成为生成系统内部的结构约束；而高质量生成的关键，有时并不是让 Flow 承担更多信息，而是先把 latent 塑造成更适合它建模的全局语义空间。 ### Links * Paper: * Project / Code: ### Citation ``` @misc{chen2026mimflow,   title={MIMFlow: Integrating Masked Image Modeling with Normalizing Flows for End-to-End Image Generation},   author={Yang Chen and Xiaowei Xu and Shuai Wang and Xinwen Zhang and Qiushi Guo and Tiezheng Ge and Limin Wang},   year={2026},   eprint={2606.26016},   archivePrefix={arXiv},   primaryClass={cs.CV},   url={https://arxiv.org/abs/2606.26016}   } ``` 说明：本文依据 arXiv v3 论文、论文附录与官方代码仓库撰写；论文已被 ECCV 2026 接收，官方仓库标注为 Oral。文中指标如无特殊说明均来自原论文，不同表格可能采用不同样本数、guidance、硬件或训练设置，已在相关段落中分别说明。  技术交流群邀请函     △长按添加小助手 扫描二维码添加小助手微信 请备注：姓名-学校/公司-研究方向-城市 （如：小夏-浙大-大模型-杭州） 即可申请加入深度学习/机器学习等技术交流群 ``` —完— ``` ``` 为您推荐 《跨语言大模型》最新综述 深度学习领域，你心目中 idea 最惊艳的论文是哪篇？ 思考丨到底什么叫算法工程师的落地能力？ Transformer模型有多少种变体？看看这篇全面综述 从SGD到NadaMax，十种优化算法原理及实现 各种注意力机制的PyTorch实现 ```  ``` ``` [跳转微信打开](https://wechat2rss.bestblogs.dev/link-proxy/?k=c4796fc4&r=1&u=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3NjE4NjQ4MA%3D%3D%26mid%3D2247557209%26idx%3D1%26sn%3D768fb6996ddaf78d8dcb9ce9996ec730)