SmartPhotoCrafter：先思考后修图的统一图像优化框架

BlueImage Lab 2026-09-09 20:00 广东  一种全新的统一理解—生成—优化框架，为自动图像优化提供了新的技术范式。 作者： vivo  BlueImage Lab 本文提出 SmartPhotoCrafter，一种全新的统一理解—生成—优化框架，为自动图像优化提供了新的技术范式。该方法将图像优化建模为“先分析、再决策、后优化”的 Reasoning-to-Generation 流程：模型首先通过Image Critic对画面质量、光影、色彩和构图进行链式推理；随后由Photographic Artist执行高保真修复与美学增强。SmartPhotoCrafter能够统一完成去雾、去模糊等图像修复任务以及专业调色与风格优化，同时支持用户指令驱动的主动编辑。该方法在保留原始场景的内容结构与细节的同时提升图像质量，实现兼具真实性与美感的自动图像优化。 论文链接： [](https://arxiv.org/abs/2604.19587) 论文主页： [](https://vivocameraresearch.github.io/smartphotocrafterweb) 论文代码： [](https://github.com/vivoCameraResearch/SmartPhotoCrafter) 在日常摄影中，后期处理往往是决定照片最终观感的重要一步。同样的场景和构图，经过适当的曝光调整、色彩优化、细节增强后，照片的质感和视觉吸引力能够得到显著提升。然而，对于绝大多数普通用户来说，面对繁杂参数往往不知道应该如何调整，或是难以准确描述自己期望的效果。很多时候，人们只是觉得照片“差点意思”，却说不清究竟哪里出了问题。 如果把 AI 修图比作请摄影师帮忙处理照片，那么现有大多数图像编辑方法更像是一个“听指令的修图助手”——用户需要明确告诉模型“把天空调蓝一点”、“增加一些对比度”、“去掉雾气”，模型再根据指令完成修改。但现实中，真正困难的往往不是执行修图，而是发现问题并制定合理的优化方案。 我们提出了 SmartPhotoCrafter，实现“从理解到生成”的自动摄影图像优化，在无需人工指令的情况下，实现低质量图像修复与摄影级调色，维持内容一致性的同时提升图像美学质量。 ***01*** 研究背景：让模型先思考、后修图 近年来，基于生成式模型的自动摄影图像编辑（Automatic Photographic Image Editing）逐渐从“指令驱动的局部修图”发展为“无需明确指令的智能美学增强”范式。针对摄影图像优化任务，其对模型的要求不仅包括低层视觉退化的修复（如去雾、去模糊、低照度增强），还希望模型能够自动完成摄影级调色与美学优化，实现从图像理解到审美增强的端到端自动化编辑。然而，现有方法在复杂场景中仍然面临挑战： 第一个问题是审美缺陷感知与结构化推理缺失：现有图像编辑模型大多依赖端到端的条件生成或基于指令的局部调整，非专业用户难以准确提供图像优化指令。同时，若缺乏图像质量进行显式建模的能力，无法系统性回答“图像哪里存在问题、问题来源是什么、应如何修复与优化”。因此模型往往只能学习统计意义上的映射关系，而难以形成类似摄影师的诊断式理解。 第二个问题是图像优化中修复与调色任务的割裂：调色类方法虽然能够在色彩与风格维度进行细粒度控制，但往往缺乏对严重退化图像的修复能力；而以生成式模型能较好实现图像修复，却通常忽视美学一致性与摄影风格表达。现有模型在复杂场景下缺乏同时实现内容保真、结构恢复与美学优化的能力。 针对这些问题，我们提出SmartPhotoCrafter，一个面向摄影图像的全自动增强框架，用户只需输入一张照片，无需提供任何修图指令，模型便能先自主分析图像质量，再推理出相应的优化策略，并最终完成针对性的图像编辑。从图像理解、问题诊断、编辑决策到结果生成，整个过程无需人工干预，实现了从“你说我改”到“模型先思考、再修图”的全新范式。如图所示，SmartPhotoCrafter支持以下能力： * 自动摄影图像优化： 仅需提供输入图像，模型自动完成图像质量分析、优化方案决策与质量打分，并输出优化后的高质量图像。 * 基于指令的主动编辑： 输入图像与编辑指令，完成相应地图像编辑任务，包括去雾、去模糊、光照增强等restoration任务，以及调整曝光、对比度、虚化等retouching任务。  ***02*** 核心技术：SmartPhotoCrafter框架 **2.1 整体框架** SmartPhotoCrafter框架主要包含两个高度协同的模块：Image Critic（图像评论家）和 Photo- graphic Artist（摄影艺术家）。前者负责分析和决策，后者负责执行和生成，两者共同构成了一条完整的“审美诊断→编辑决策→图像优化”链路。 * Image Critic：负责思考和判断的“审美大脑”。给定一张输入照片后，Image Critic首先对图像进行全面的质量分析，这一过程以Chain-of-Thought（思维链）的形式展开，最终输出三部分内容：一段详细的质量分析推理过程、一组结构化的编辑建议，以及一个0～100的图像质量评分。其底层采用的是视觉语言模型 Qwen2.5-VL-7B，并在图像质量评估（IQA）和摄影编辑相关数据上进行了监督微调，使其具备较强的摄影审美理解能力。 * Photographic Artist：负责实施图像优化生成。它以 Qwen-Image-Edit-2509 为基础构建，采用 DiT（Diffusion Transformer）架构，并通过 Flow Matching 目标进行训练。两个模块采用了一种更加紧密的耦合方式，Artist接收两部分输入：原始图像以及来自Critic的推理潜在表征。基于这两类信息，它能够理解图像当前存在哪些问题、应该朝什么方向优化，并最终生成增强后的结果。整个过程不再依赖显式文字指令，而是建立在更高层次的语义理解之上。 **2.2 三步训练法：逐步成为“修图大师”** SmartPhotoCrafter的核心能力采用一个由浅入深、逐步对齐的三阶段训练策略。 * Stage I Foundation Pre-training: Image Critic 和 Photographic Artist 完全独立训练，各自学习基础能力。Image Critic的训练目标是“学会看图并给出审美判断”，Photographic Artist则专注于在修复和调色数据对上学习基础的“修图能力”。 * Stage II Reasoning-Conditioned Adaptation:  第二阶段的核心目标是让 Photographic Artist 学会理解 Image Critic 的“思考过程”，不使用自然语言作为中间桥梁，而是直接使用 Critic的推理潜在表征（reasoning latent），两个模块的实现表征层对齐。 * Stage III Coordinated Reasoning-to- Generation RL: 从监督学习走向联合强化优化，让两个模块协同优化审美能力。Image Critic使用GRPO进行优化，学会输出更稳定、更有指导性的审美判断；Photographic Artist则采用 DiffusionNFT，一种将 GRPO 思想扩展到扩散模型连续空间的方法。 **2.3 多层奖励机制促进协同优化** 第三阶段强化学习对Image Critic 和 Photographic Artist进行端到端优化，奖励设计充分考虑从语义理解到属性级精细控制的优化，实现更稳定、更精确的图像增强效果。其中，奖励函数重点强化了属性级别的参数敏感性，将原本难以精确建模的整体图像质量评价，分解为曝光、对比度、饱和度、色温等细粒度可解释属性维度，使模型能够对细微色调变化做出更稳定且可控的响应。这种属性解耦的设计显著增强了优化过程对微小调色差异的感知能力。完整设计如下图所示。  **2.4 多任务数据集构建** 为支撑 SmartPhotoCrafter 从图像理解到可控生成再到跨模块协同的逐步学习，我们构建了分阶段多任务数据，用以逐步强化模型的理解能力、细粒度可控生成能力以及 Critic–Artist 的对齐协同能力。 * Image Critic的训练数据主要源于IQA（Image Quality Assessment）数据集以及图像修复数据集，分析过程的CoT标注（图像质量分析、优化编辑建议、图像质量分数）由Qwen2.5-VL-72B生成，IQA数据集的图像质量分数替换为原始GT分值。 * Photographic Artist的训练数据主要包括修复（去模糊/去雾/阴影去除）和调色（曝光/对比度/饱和度/色温/景深）数据对，以及在低质量图像上随机叠加多种调色操作构建的复合编辑数据对。 * 统一理解与生成的对齐阶段除沿用前述修复与调色数据外，进一步引入MIT-Adobe FiveK以及基于 AVA 数据集筛选得到的高质量子集。其中，AVA 子集通过合成扰动（如曝光偏移、对比度压缩、饱和度失真以及色温变化）构造“退化图—高质量图”对，从而增强模型对低质量图像的优化能力。  ***03*** 性能表现：多种场景下的图像优化能力 SmartPhotoCrafter在多种图像优化场景下进行测试，充分验证其自动摄影图像优化能力。 不同方法在自动摄影增强任务上的对比： SmartPhotoCrafter相比于其他方法，在维持真实性与内容一致性的基础上，取得优秀的图像修复效果和调色能力。  多属性组合编辑： SmartPhotoCrafter在多属性指令编辑任务中，能够实现对图像修复、曝光、饱和度等多个属性的联合控制，在不同场景下保持结构与风格稳定性。  更多结果展示：  ***04*** 总结 SmartPhotoCrafter把“看图理解 + 修图”合在一起，通过把语义理解和图像生成打通，实现涵盖图像修复和调色任务的自动摄影图像优化，在多种增强场景下都能稳定输出自然好看的修图结果。该模型目前主要集中于修复和色彩类的低层调整，未覆盖复杂的构图级编辑。未来可以在现有基础上，进一步往“理解构图并整体优化”的方向扩展，实现更全面的图像后期优化。 ***END*** 猜你喜欢 * [TinySR：面向真实世界图像超分辨率的轻量级扩散模型](https://mp.weixin.qq.com/s?__biz=MzI4NjY4MTU5Nw==&mid=2247506822&idx=2&sn=4de04035df4c51bebc81b536060fa4c1&scene=21#wechat_redirect) * [VINS-120K: 基于大规模4K数据集的超高清图像编辑](https://mp.weixin.qq.com/s?__biz=MzI4NjY4MTU5Nw==&mid=2247506784&idx=2&sn=ab7b91c7e4a6552b4954f0ff868c1ee5&scene=21#wechat_redirect) * [Octopus：基于无历史数据的梯度正交化的学习框架](https://mp.weixin.qq.com/s?__biz=MzI4NjY4MTU5Nw==&mid=2247506772&idx=2&sn=29903b03b0abca929fe5853199daabfc&scene=21#wechat_redirect) [跳转微信打开](https://wechat2rss.bestblogs.dev/link-proxy/?k=15fed7ad&r=1&u=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzI4NjY4MTU5Nw%3D%3D%26mid%3D2247506853%26idx%3D2%26sn%3D6c27bfd2b1f95dae4a7f093306d1c49f)