MirroS S-Space：揭示多模态模型内部空间地图与视角变换瓶颈

原创 Z Potentials 2026-09-09 10:33 北京  多模态模型脑中有张地图，但它还不会稳定使用   ## 01 多模态模型脑中有张地图，但还不会稳定用它 多模态模型的空间推理，有一种很反直觉的现象：它能看懂图里有什么，也能回答简单的左右上下，却会在换视角、判断方位、推理前后关系时突然失灵。 过去我们常把这类失败归因于“模型空间能力不够”。但MirroS最近发布的**S-Space**工作给出了一个更细的解释：模型内部可能已经形成了相当准确的空间地图，真正薄弱的是如何**稳定读取、变换和使用这张地图。** 这篇工作的价值，不在于又刷了一个空间问答分数，而在于它**把研究推到了机制层**。物体的位置是否被写进隐藏状态？这些位置能不能读出来？能不能被人为改写？模型答错时，是地图画错了，还是拿着地图不会转方向？ MirroS把这个内部空间工作区称为**S-Space**。在这个空间里，物体位置沿水平、垂直、距离三个方向连续编码。研究者可以从模型中间层读出物体坐标，也可以改写这些坐标，并观察到模型的空间判断随之改变。  *图注：S-Space是模型隐藏状态中的三维空间工作区，物体位置沿水平、垂直、距离三个方向编码。* 这让“空间智能”不再只是输出层的行为表现，而**变成一个可以被观测、诊断和接入外部计算系统的内部结构**。对世界模型、具身智能和机器人来说，这比单纯让模型多答对几道空间题更重要。 ## 02 空间感知不是全部瓶颈，视角变换才是关键难点 S-Space最重要的发现，是把**空间推理拆成了两层：一层是感知空间，一层是操作空间。** 在简单空间关系任务里，研究者从模型隐藏状态中读出两个物体的坐标，再比较它们在某个轴上的差值，就能回答“谁在左边”“谁更近”“谁在上方”。这套方法不依赖模型生成完整答案，只使用中间层的空间坐标。MirroS的文章显示，这种读出方式在CV-Bench、EmbSpatial-Bench和SpatialTunnel等评测中表现稳定。  **这说明模型内部存的不是几个离散标签，而是一套连续坐标。它更像一张压缩过的内部地图。** 真正拉开差距的是**视角转换任务**。SpinBench要求模型看到一个正面场景后，想象从左侧、右侧或背面观察时，两个物体的相对位置会如何变化。以Qwen3.6-27B为例，模型直接回答的准确率为60.96%；加入思维链推理后，准确率提升到83.56%；而如果先从S-Space读出坐标，再由外部程序执行固定视角旋转，并用确定性规则作答，准确率可以达到95.21%。  *图注：从S-Space读出坐标并执行显式旋转后，视角转换准确率显著高于模型直接生成。* 思维链的作用因此也变得更清楚：它不是完全无效，但也不是空间推理的万能解。MirroS追踪了Qwen在推理过程中反复出现的物体token，发现随着思维链展开，这些物体在S-Space中的相对坐标会逐渐向目标视角旋转。也就是说，模型确实在尝试“转动”内部地图；只是这种转动不够稳定、不够精确，因此仍然会在视角转换中出错。 这个差距很能说明问题。**模型不是完全没有空间感。它在很多时候已经“看见了”正确位置，只是在后续推理中没能稳定完成坐标变换。** 由此我们得出：**多模态模型脑中有地图，但还不会可靠地转动这张地图。** 对产业界来说，这个判断很关键。**空间智能的下一步，不一定是让一个大模型在语言里硬想所有几何问题，而是把模型内部的空间表征接入更可靠的计算、规划和行动模块。模型负责感知世界，工具负责精确变换，Agent负责组织流程。这比“继续让模型多想几步”更接近工程现实。** ## 03 黑盒里的坐标系：S-Space如何被读出和改写 **S-Space的直觉并不复杂。**多模态模型处理图像和文本时，会把输入变成一串token；每个token在每一层都有一个高维向量。MirroS要找的，就是这些高维向量里有没有稳定的空间方向。 具体做法是从空间问答入手。比如问模型“苹果在杯子的左边还是右边”，再把left/right的logit差异反向传播到“苹果”和“杯子”的隐藏状态上。为了排除物体身份和提示模板等干扰，研究者交换查询物体和参照物体，做角色反对称处理。经过大量样本平均后，水平、垂直、距离三个轴就被识别出来。 **关键不在于又训练了一个探针，而是模型内部似乎已经存在一种线性可读的空间数据格式。**物体位置不是零散地藏在网络里，而是被组织成相对稳定的三维坐标。 更强的一步是，S-Space不只能读，还能改。MirroS直接修改物体token在S-Space中的坐标，再继续模型前向计算。结果是，模型的空间判断会跟着变：左可以被推向右，近可以被推向远，上可以被推向下。颜色等非空间判断基本不受影响。 **这说明S-Space不是事后解释出来的相关性，而是参与模型空间判断的内部变量。**过去调试空间推理，只能看输入、输出和提示词；现在有机会直接检查模型是不是把物体放错位置、是不是混淆参照系、是不是转错了坐标。  *图注：S-Space将物体位置编码在模型中间层的三维线性子空间中；改写坐标会选择性改变模型空间判断。* ## 04 这张地图不只记录眼前，也会受语言牵引 如果S-Space只是图像检测结果的另一种表达，它的意义会有限。MirroS的实验显示，这张内部地图更像一个动态工作区，会随着提示、视角和上下文变化。 同一套S-Space方向，不只适用于空间问答。即使提示换成单物体查询，甚至换成询问颜色的非空间问题，研究者仍然可以从物体token中读出有效坐标。多视角输入里，语言指定“以View 1为准”，模型内部坐标也会向View 1对齐。 S-Space甚至会补全画面外的空间。守门员扑向画外时，未出现的球会被放到扑救方向；狗绳绷紧时，不可见的主人会被放到牵引方向；在“某物离你更近还是更远”的问题中，“you”这个token也会稳定落在距离轴近端。 **这对世界模型很重要。真实智能体不能只理解眼前看到的东西，还要维护那些暂时不可见、但仍然存在的对象。** 但开放性也会带来串线。MirroS发现，socialist会更靠近水平轴左端，conservative更靠近右端；模型也会把图像中的右方直接映射成east，把上方映射成north。这些映射在某些语境下合理，但一旦题目重新定义参照系，就可能变成错误来源。  **语言让模型形成更丰富的空间工作区，也会把隐喻、常识和不同参照系混在一起。**要让多模态模型进入真实物理世界，光有空间表征还不够，参照系必须能分清。 ## 05 语言能教会模型“说空间”，行动才能校准它“用空间” S-Space从哪里来？MirroS给出的线索是，它不是某一种监督信号单独塑造出来的，而是语言、视觉和动作共同挤压出的内部结构。 语言预训练很可能是重要来源。模型要预测left、right、near、far这类词，就必须把实体和相对位置绑定起来。即使没有显式坐标监督，模型也可能在训练中逐渐形成稳定的空间轴。 但语言信号很粗，也容易混入隐喻和参照系歧义。left可以是物理左，也可以是政治左；north可以是地图上方，也可以是题目中特别定义的方向。**语言能教会模型“怎么说空间”，却不一定能教会模型“怎么稳定操作空间”。** 行动监督给的是另一种反馈。抓取、靠近、移动、操作，都要求模型分清局部几何：把手在哪里，按钮是否更靠前，夹爪应该落在哪一侧。这些不是一句“在旁边”就能解决的。 MirroS比较了Molmo2-ER及其下游视觉语言行动模型MolmoAct2。结果显示，从纯VLM到行动相关模型，S-Space中物体整体与功能部件的深度关系更贴近真实物理关系。 **这意味着，行动学习改变的不只是模型最后做出的动作，也可能反过来校准模型内部的空间工作区。**未来世界模型的竞争，核心不只是语料规模，也包括模型通过哪些模态接触世界。  ## 06 S-Space的价值：把内部地图变成空间接口 如果只把S-Space看成一个解释性发现，它的意义会被低估。更重要的是，它提供了一种新的系统分工方式：**多模态模型负责形成空间表征，外部模块负责可靠计算和行动执行，中间通过可读写的空间接口连接。** 这对工程系统很有价值。机器人需要知道杯子的位置，也要知道杯把的朝向和可抓取区域；AR眼镜需要理解用户、物体和房间之间的空间关系；自动化Agent如果要操作网页、软件、三维环境或真实设备，也需要维护对象位置、视角和可达性。空间信息如果始终藏在黑盒里，系统很难稳定调试和升级。 **S-Space这类机制研究提供了一套排查路径：**模型答错时，是没识别物体，还是把物体放错位置？是位置正确但旋转错误，还是参照系混乱？不同错误对应不同改法。感知问题补数据，计算问题接工具，参照系问题改训练和评测，行动问题引入交互反馈。 从这项工作看，MirroS关注的不是单次能力展示，而是**用机制可解释性理解并改造物理智能系统。**S-Space把“空间智能”拆成了可观察、可干预、可工程化的部件：内部地图可以被读取、验证、修正，也可以进一步接入计算、记忆、规划和行动模块。 这正是它的行业意义。多模态模型已经显露出内部空间地图，但这张地图还没有被稳定转化为推理和行动能力。接下来的关键，不只是让模型更大、语料更多、回答更长，而是**把模型机制分析变成可用基础设施。谁能打开真实系统的黑盒，理解模型内部发生了什么，并把这种理解接入感知、推理、规划和行动链路，谁就更接近可落地的物理智能。** *References:* ****[](https://mp.weixin.qq.com/s?__biz=MzI4NTgxMDk1NA==&mid=2247506405&idx=1&sn=29bdac1ee34aaceade9e66e9b0867d8f&scene=21#wechat_redirect)**** [](https://mp.weixin.qq.com/s?__biz=MzI4NTgxMDk1NA==&mid=2247503698&idx=4&sn=ade3fdbb8a82ca59be3212c4843bb1a0&scene=21#wechat_redirect) [](https://mp.weixin.qq.com/s?__biz=MzI4NTgxMDk1NA==&mid=2247494663&idx=1&sn=8fab67231b9ebc593ac65864fd8f7e00&scene=21#wechat_redirect)    [跳转微信打开](https://wechat2rss.bestblogs.dev/link-proxy/?k=21551fb6&r=1&u=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzI4NTgxMDk1NA%3D%3D%26mid%3D2247517986%26idx%3D1%26sn%3Daafa4b50bfd692561aa6a167483e8d22)