斯坦福吴佳俊在ECCV 2026：用物理属性统一视觉、声音与触觉的多模态融合

原创 陈淑瑜 2026-09-12 09:30 广东   视觉、听觉、触觉三种数据，其实是同一组物理属性在不同感官通道上的投影。     作者丨陈淑瑜     编辑丨岑   峰 ******** 2026年9月8日，欧洲计算机视觉会议 ECCV 在瑞典马尔默召开。在 9 月 9 日的“ Embodied Multimodal Reasoning in Physical Environments（物理环境中的具身多模态推理）”专题分场上，斯坦福大学计算机科学助理教授吴佳俊发表了一场横跨视觉、声音与触觉的演讲。 这已经是吴佳俊两个月内的第三场重要演讲，而每一场的切入口都不同。 8月20日，他在德国不来梅领取了 IJCAI 2026“计算机与思想奖”，发表获奖演讲[《Building Visual and Physical Intelligence Through Code》](https://mp.weixin.qq.com/s?__biz=MzA5ODEzMjIyMA==&mid=2247742665&idx=1&sn=ae455fb5581049c59aaab914229b29ec&scene=21#wechat_redirect)， 彼时他系统性阐述了如何将经典符号 AI 的几何、物理先验定义为“物理代码”，并与现代基础模型深度缝合，铺就了一条从“看懂画面”到“具身动作交互（4D）”的全新物理智能范式。 9月8日，他在 ECCV 期间的“Robotic Manipulation Research”Workshop 上转向了操作与规划：让基础模型自动发现“原子技能”及其前置与后置条件，构成可组合的抽象，使机器人能从极少演示泛化到长程任务，并配套一系列评测基准。 而9月9日这场，他换了一个方向。前两次的路径都是“从视觉出发，往下游延伸”——先理解世界，再去规划与操作；这一次则是在感知端横向拉平： **将视觉、听觉、触觉视为同一组物理属性在不同观测通道上的投影。**举例来说，一个塑料物体，看起来像塑料，摸起来像塑料，敲起来也像塑料。 他要回答的是一个更前置、也更难的问题：**当我们几乎没有任何数据时，怎样把这三种模态融在一起？** 在这场多模态感知的演讲中，吴佳俊没有沿用“把视觉、音频、触觉拼起来喂给 Transformer”的常规做法，也没有退回“先估计状态、再跑物理仿真”的经典路径，而是给出了一个更前置的答案：用同一组物理属性，为三种感官建立共同的坐标系。 吴佳俊直击当前多模态融合的痛点：进入新领域、面对从未见过的物体时，声音与触觉的数据几乎为零，真正稀缺的不是架构而是原则。 他系统性阐述了如何把几何、材质与刚度这类物理属性，既作为从视频扩散模型中蒸馏出的学习目标（PhysDreamer），又作为条件化生成模型的中间接口（WonderPlay），并进一步延伸到声音的可微分渲染（DiffImpact、RealImpact）与柔性电子皮肤（DexSkin），铺就了一条从“看懂画面”到“听出材质、摸出力度”的跨模态物理智能范式。  以下是吴佳俊在 ECCV 2026 期间发表的演讲精编稿，AI 科技评论基于其演讲内容进行了不改原意的翻译编辑： **▎《Physics-Grounded Multimodal Perception：从视觉、声音到触觉的统一物理底座》** 主讲人：吴佳俊（Jiajun Wu），斯坦福大学  **01** ## ******当数据极少时，模态该怎么融****** 这部分讲的是多模态感知，所以我想还是讲点跟多模态相关的内容。于是我回去翻了翻我们自己的工作，几年前做过的一些声音研究现在回看依然很有意思，我自己还想再往前推一推，所以也打算一并讲讲。 视觉是一部分，我们也会讲到触觉，另外还有听觉。问题在于，**怎么把这些多感官信息融合起来，构建出更好的表示，从而帮我们做感知和操作？** 要把这些信息融合起来，你总得有某种原则。视觉和听觉该怎么配？听觉和触觉又该怎么配？当然，你可以直接上 Transformer，这也是现在大家普遍的做法，某种意义上效果也确实不错。 但有时候我们会想，能不能做得更好一点，尤其是当手上数据非常少的时候。如果我们进入一个全新的领域，面对从没见过的物体，关于它们的声音、它们的触觉响应，我们几乎没有数据。这是我们一部分工作的出发点。 所以正像标题里写的，我们想的是：能不能把这件事做得更有物理根基一些，让底层的物理规律来指导多模态感知模型的设计，哪怕最后我们还是用 Transformer 之类的结构把它们融合起来。  **02** ## ******同一组物理属性，支配着所有感官****** 先说图像。我们会依次讲图像、听觉和触觉，但从图片开始。你看到一张图片，就知道这里面一定有底层规律在起作用。 我们看到这头狮子，是因为它有几何、有材质、有运动。这里重要的是，我们要关心的其实是同一组物理属性，可能是几何，也可能是材质；而支配其他类型观测的，也正是这同一组属性。 你可以有触觉观测，也可以有听觉观测，它们全都源自同一套底层物理。举个例子，如果一个物体是瓷做的或者塑料做的，那它看起来像塑料，摸起来像塑料，敲起来也像塑料。所以同一组底层属性，其实在帮我们引导不同感官模态的感知过程。  **03** ## ******视觉即逆图形学，****** ## ******但今天有了更好的工具****** 这里是 ECCV，所以我们本质上还是在解决计算机视觉的感知问题。历史上人们常说，视觉就是逆图形学，也就是把图形学的渲染过程反过来，从感官观测中恢复出那组物理属性。我们先花点时间聊聊视觉。 在推进这条线的过程中，我们尝试过几种不同的范式，来把物理和感官观测结合起来。我们特别在思考的是，**怎么借助这些基础模型？** 它们正变得越来越强，每天都在变强。既然它们能做的事越来越多，我们自然要问：**我们关心的那些物理属性，能不能从中拿到？** 现在人们说基础模型，越来越多指的是语言模型。但此前也有别的基础模型，比如视频扩散模型，还有大量视觉语言模型。具体到我们关心的这类底层特征，比如物体几何和物理属性，我们花了不少精力研究一个问题：到底能从视频扩散模型里蒸馏出多少东西？ 既然它这么擅长生成漂亮的图像和视频，那它一定捕获了某些关于物体几何和物理属性的知识，我们能不能把它挖出来？   **04** ## ******PhysDreamer：****** ## ******从视频扩散模型里“掏”出杨氏模量****** 我先举几个例子，说说这类工作是怎么做的。我们最早的尝试之一，是从视频扩散模型中提取物理属性，用来对动态物体建模。 这项工作发表在 ECCV 2024，也就是两年前。问题是这样的：你想做动作条件下的三维物体动力学预测，从一个静态的 3D 场景出发，比如一朵花，然后推理它的物理属性，让它变得可动、可交互。 这是 ECCV 2024 的口头报告。你要做的是动作条件预测，输入不同的动作，下面这些结果全都是我们方法的输出，输入和场景完全一样。但只要你估计出了物体的物理属性，就应该能预判物体会如何响应你施加的不同动作。 这里的挑战在于，我们真的能感知到物体的物理属性吗？几何、材质当然都算物理属性，但在动作条件预测这个场景下，你真正关心的是更狭义的那一类，也就是密度、刚度这类传统的物理量。其中最关键的是，我们要怎么估计杨氏模量，也就是物体的刚度？  实际上这个问题可能比你想象的更难。即便只是一朵花，花有不同的部分，它是非均质的，不同部分的物理属性并不一样。所以如果你基于启发式规则随便赋予物理属性，再跑仿真，得到的就是明显不真实、而且带有很大随机性的物理行为。 这其实是一个高维空间，哪怕只是一个杨氏模量场，要估计的也是一个高维场，就算多次采样，结果也不太好看。而且我们显然没有这类真值数据。 很多东西你都能收集到大量数据，比如用 Blender 这类软件可以拿到大量专家轨迹。但底层物理属性的估计不一样，我们没有密集标注：花瓣的杨氏模量到底是多少？这种数据根本不存在。那怎么才能得到好的估计？我们的想法是，**从预训练的视频扩散模型里蒸馏。** 两年前做这项工作的，一位是 Tianyuan，他是 MIT 的博士生，刚毕业去了 Meta；另一位是 Koven，我在斯坦福的博士生。  我们具体做了什么呢？即便用当时还不够好、远不如今天的视频扩散模型，我们依然拿到了一些有意思的结果。 思路是这样的：用 3D 高斯表示场景，把它渲染成图像，再送进视频生成模型做图生视频，得到一段参考视频；同时有一个待估计的杨氏模量场。把外观场和物理属性场拼在一起，送进一条可微分的 3D 表示管线。当时我们用的是可微分物质点法，也就是 differentiable MPM，它最初来自计算机图形学社区，非常容易和 3D 高斯结合。让它们通过可微分仿真，就能得到物体的仿真轨迹，再渲染成视频。 刚才说了，如果物理属性的初始猜测不准，渲染出来的视频也不会真实。但现在你有了一段参考视频可以对比，就能得到一个损失。 有意思的是，即使你只是在像素空间上算损失，它也能给你很多有用的信息，因为这里一切都是可微的。这些信息可以反向传播回去，让你把物理属性的估计更新成“为了让仿真视频和生成视频匹配，它应该是什么样”。 这个范式非常简单，虽然已经是两年前的事了。这两年很多东西都进步了，我们也做了后续工作，不再在像素空间算损失，因为那样比较脆弱。我们开发了一些方法，有点像 SDS，也就是分数蒸馏采样，在视频上做同样的操作，就得到估计的 4D 表示。 这条线我们其实没有继续往下做，但第一个工作我觉得依然很有意思，因为它用一个非常简单的范式说明了一件事：**你可以通过推动基础模型，从中取出物理属性的估计。随着模型越来越强、蒸馏方法越来越好，你会拿到更好的结果。** 因此，我们不仅能给花估出不错的物理属性，对别的可变形物体也行，因为 MPM 这种仿真方法特别适合软体。 还有一件有意思的事：因为这里的场景非常简单，我们其实可以拿到真值，拿真实采集的花朵运动跟我们方法估计出的运动对比，我们方法的输出比基线要真实得多。  **05** ## ******物理现象的通用建模****** 从那以后，我们做了一系列后续工作，比如改用其他类型的优化、用更好的扩散模型、扩展到更通用的场景。 我特别想讲其中一个延伸点：我们一直在努力把建模对象从“只有可变形物体”，扩展到更通用、更多样的物理现象。现实世界里，或者说虚拟厨房里，并不只有物体，还有不同状态的物质：颗粒、流体、刚体、软体、关节物体。这些不同类型的东西，怎么用一个统一的系统全建模起来？ 这就是我要讲的第二项工作的目标：**从单张输入图像出发，重建出****3D****场景，并且让它可动、可仿真，也就是你可以通过施加动作让它具备交互性。** 比如这个场景里有一个刚体，就是这只橡皮鸭。那么你能对它施加什么动作，让它跟下面的流体发生交互？  这是去年的工作，叫 WonderPlay，它能让你从单张图像得到可动、可交互的 3D 场景。 这些动作是在 3D 空间里定义的，比如你可以设一个力场，把那根棍子往左往右拖，就能看到蜂蜜和蛋糕之间的交互；也可以设一个从左边吹来的风场，能看到帽子、头发还有烟的运动。 这里的思路是这样的。传统做法是做状态估计，再做物理仿真，但这显然不够。因为即便估计完美，仍然有很多东西我们根本不知道怎么又快又准地仿真，流体和刚体的交互极其复杂，你不得不做大量近似。 更麻烦的是，它还假设我们有完整的状态估计，而状态估计本身就非常难。我们前面刚花时间讨论怎么估计杨氏模量这一个物理属性，而这里你却需要完整的物理状态和几何，从单张图像里怎么拿到这些？观测实在太有限了。  **06** ## ******视频模型吃不下细粒度动作****** 那么，我们能不能处理这种不完整的信息？有一个仿真器的好处是，它天生支持动作条件预测：我有一个状态，我有一个动作，不管这个动作怎么指定，我都能预测会发生什么。 相比之下，视频模型恰好是互补的：它们有大量视觉先验，所以能从信息严重缺失的输入出发，把场景补全，给你一个它们从没见过的场景。 但这类生成式方法也有局限。尽管进展很多，比如 World Labs 刚发布的 Atlas，号称极其通用，输入图像、语言、多视角图像，生成视频，什么都能做，但有一件事人们至今仍然做不到：不管是 Genie 还是 Atlas，不管什么模型，它们依然真的没法接受各种细粒度的动作作为输入。 这从根本上跟数据类型有关。不管你训练的是多视角扩散、自回归扩散 Transformer，还是什么别的架构，你手上的数据大量是视频，而对应的“动作”也只能是配得上这些视频的动作，其中很多是导航指令，因为你可以从无人机或者游戏里采集到。所以这些模型能接受导航指令，也能接受语言作为输入。 语言在某种意义上确实能指定某些动作，但要指定到很细的粒度，你是真的很难说清楚。举个例子，假如我现在握着这支麦克风，在做灵巧操作。假设我用的是一只灵巧手，我的手和这个物体之间有多个接触点，只要我手的位置稍微变一点，某个接触点稍有变化，麦克风可能就掉了。我当然不想让它掉下去。  可以看到，动作空间本身是高维的，而这类数据极难采集。现在机器人领域大家采集了多得多的第一人称数据，但这也正是为什么人们要花这么大力气从第一人称视频里估计手部姿态，因为存在大量遮挡，接触点非常难估计；而人实际施加的具体动作，尤其是这种低层级动作，也很难明确指定。 所以问题又回到数据：**谁手里有这些数据？**视频模型能接受语言和导航指令，却很难接受细粒度动作。但反过来说，如果你真有细粒度动作输入，这类模型是可以免费吃下去的。 不过你可以看到，这两者在某种程度上是互补的。既然互补，我们就想，能不能把它们结合起来，构建一种混合式的、视觉与物理并重的生成模型？ 思路是：基础模型可以帮你蒸馏出物理属性，但你不必只把它们当作输出，还可以把它们当成一个接口，用来更好地条件化和控制这些生成模型。 这有点像现在我能用 Blender 生成各种场景，你可以把 Blender 看成一个仿真器，只不过是用大语言模型来输出你需要的几何、相机位姿之类的参数，去控制它。 而现在我们想让生成模型也能接受细粒度动作作为输入，动作可以用物体几何来指定，比如以深度图或者光流的形式。怎么才能让基础模型接受这些更细粒度的动作？这就是目标。所以你仍然要估计物理属性，但反过来把它们当作条件，用来更好地控制基础模型。   **07** ## ******WonderPlay：把仿真器的输出，****** ## ******塞进生成模型当条件****** 在去年发表的 WonderPlay 里，我们的目标就是构建这样一个混合式生成仿真器。举个具体的例子：假设我们有一张单图，想把它变成 3D 并让它可动，靠的就是这个思路，把物理仿真方法和视频生成方法结合起来。 做法是，先对这张单图做一些 3D 重建。3D 重建本身就很难，你不可能拿到完整的状态估计，因为遮挡和信息缺失都很严重。但即便重建得不完美，你仍然可以把它作为物理仿真方法的输入，得到一个粗略的仿真结果。  你会看到很多物理上的瑕疵，看起来不真实，也会有视觉上的瑕疵。但它们给了你一个大致的直觉：物体之间大概应该怎么交互。于是你可以把它们当作条件。 也就是说，现在我知道物体之间大致该怎么交互了，那我就把深度图或者光流作为条件喂给视频生成模型，对它做后训练，让它以这些为条件，输出却真实得多的视频。你甚至可以对多个视角都这么做，因为仿真结果是 3D 的，可以渲染到不同视角。 但它毕竟只是一段视频，没有底层的物理表示。所以如果需要，你还可以进一步拿这些生成的视频去重新优化底层的物理表示。优化之后，它既仍然是一个 3D 的物理表示，从不同视角看都成立，也能接受风这样的动作作为输入，同时又因为这些视频提供了监督信号而看起来真实得多。 这就是核心思路：把物理仿真器和视频生成器放在一起，支持刚体、软体、颗粒物体、刚体与流体等多种多样的物理交互。而且因为它是动作条件的，你可以从同一张图像出发转成 3D，再施加不同的 3D 动作，看它如何响应。 我们也一直在思考怎么把它用到机器人上。如果你能做动作条件生成，你就会得到 3D 物体流，也就是物体随时间的稠密跟踪，这可以直接作为机器人的模仿目标。我们还在设法让这套系统更加实时，以便集成进真实的操作工作流。   **08** ## ******声音：****** ## ******为听觉也建一条可微分渲染管线****** 怎么把这种基于物理的建模表示从基础模型里取出来，又用它们反过来更好地控制基础模型。但刚才说的都是同一组物理属性。而这同一组属性，其实也支配着你可能观测到的其他感官数据，不只是视觉，还有听觉和触觉。 它不只告诉你物体从不同视角、不同光照下看起来什么样，告诉你戳一下会怎样、它会怎么表现，还告诉你它会发出什么样的声音。因为说到底，决定“我戳这个东西会发生什么”的，是那组物理属性；在你和它交互时产生声音、给你触觉反馈的，也是同一组属性。 所以很长时间以来我们都在思考一个问题，虽然声音的工作是几年前做的，但我们想把它们重新捡起来：同一组物理属性，如何帮助我们理解来自不同模态的感官数据。 举个例子，如果你有几何、有物理属性，你就会意识到，物体之所以发声，是因为它会振动；而它之所以那样振动，是因为它有一套固有的振动模态。也就是说，几何和刚度实际上支配着物体底层的振动模态，这就是你在 3D 里可视化它的方式。而物体发出的声音，基本可以写成这些不同模态的线性组合，各自带上相应的权重。  这项工作是我们在四五年前做的，叫 DiffImpact。我们搭建了一条可微分的渲染管线，只不过是为听觉做的，基于底层的振动频率模态，以及对应的阻尼系数和增益。所以你可以看到，这是一条可微分渲染管线，就像 NeRF 和高斯在视觉数据上做的那样。  那么有了这条可微分渲染管线，你能做什么？在视觉上，如果你有一条可微分渲染管线，就可以对着视觉观测做优化，反推出底层的物理属性。同样的道理，面向听觉也可以这么做，从而从声音中推断出物理属性。 举个例子，这里有一只陶瓷马克杯，还有一段真值频谱，也就是实际录到的声音。我们知道这个声音可以写成冲击力和冲激响应的卷积，于是基于你对力和振幅的估计，就能合成出一段波形，再拿它和观测到的频谱做优化。 整个流程是可微的，所以反向传播之后你能得到估计出的冲击力，也就是撞击发生在哪里，以及冲激响应。  **09** ## ******RealImpact：****** ## ******录制一个物体的“声场”****** 我们还做了大量更系统的研究，把这套东西延伸到更严谨的实验设置里。 比如几年前我们在想：在一个消声室里，没有混响，我们能不能不只建模物体的振动模态，还进一步思考声音如何传播，去建模物体的声场？ 作为早期工作的后续，我们额外尝试录制单个物体的声场：用冲击锤敲击物体，同时用装在机器人龙门架上的麦克风阵列，从房间里不同的位置持续录制。 如果你们去我们的项目网站看看（网站是 Samuel 做的，他已经毕业，在特斯拉），会发现其实能听出非常细微的差别：同一个物体在房间不同位置发出的声音略有不同，因为不同的振动频率模态传播到房间不同部位的方式也不一样。 这个数据集我们叫 RealImpact，取的就是“真实撞击”的意思。我认为它可以作为一个基准，让你思考：拿听觉这类感官模态去做优化，到底能拿到多少信息、能推断出多少物体的物理属性。  后来我们还做了一些延伸，基于这些信息，假设你面对的不是物体而是一个扬声器，那么只要声场建模得足够好，一旦房间里有一个人，声场就会改变。我们已经证明，神经网络确实有可能从录到的声音里推断出房间里有没有人，因为人的存在会扰动声音的传播，让声场发生细微变化。 所以，如果你有一个很响的扬声器在放音乐，同时有一个麦克风在录音，那么房间里有没有人，其实可以根据样本里这些细微差异反推出来。这可能有好的用途，也可能有坏的用途，但本身是个挺有意思的发现。  **10** ## ******DexSkin：10 美元的电子皮肤****** 最后，同一组物理属性，让你能做视频生成、动画、声场传播建模，也会给你触觉响应。所以我们也在思考，**能不能在触觉感知上做更多事情，尤其是面向机器人操作。** 我们过去在这个方向上做过大量工作，主要是基于 GelSight，也就是 MIT 的 Ted Adelson 组开发的触觉传感器。不过这些我都不打算讲，我要讲我们最新的工作，去年刚发表的，也可能是今年。  传感器有不同类型。GelSight 分辨率挺高，但不够耐用，用上一两百次就会看到凝胶明显漂移，只能再订一个新的；而且它有点贵，要好几百美元。磁传感器成本倒是低，但很难做成不同的几何形状，尤其是现在很多人又开始关注灵巧操作，而你希望装在手上的触觉传感器是按需定制的。所以我们在思考：能不能造出另一类传感器，覆盖面积更大、贴合性更好、跨实例一致，更耐用，还能给出可解释的信号用于奖励设定？ 为此我们和斯坦福的鲍哲南教授合作，她来自化学工程系，长期在做这些材料。 这些我称之为 DexSkin，也就是柔性皮肤，最初只是为了新材料，也许用于医疗用途。但我们想，有没有可能把它们用在触觉感知和灵巧操作上？这里是一个演示，展示它怎么装到手指上，当然你也可以把它装到灵巧手上。 里面是一个刚性的 PLA 内核，外面套一个柔软的 TPU 套筒，最上面是电子皮肤，中间是内电极层、介电层和外电极层。你们看这些电极，它们非