从 VLM/VLA 到具身智能体——Perceptron AI 的 Armen Aghajanyan

Perceptron AI 的 Armen Aghajanyan 指出 VLM/VLA 的核心浪费：一小时视频约百万视觉 token，但真实监督只覆盖约 2%，逐像素预测对背景像素与夹爪接触点同等加权。其方案是学习'哪些感知将变得重要'的感知目标，而非硬编码夹爪；针对摄像头常开造成的上下文膨胀，提出数据稀疏 MoE，由路由器按层决定读取或跳过哪些 token。摘要称团队数周前发布了在 PB 级文本、图像、视频和轨迹数据上训练的模型，但未提供名称、基准或验证细节。

AI推荐理由 Perceptron AI 的 Armen Aghajanyan 讨论 VLM/VLA 到具身智能体的关键问题：一小时视频约百万视觉 token，但监督信号只落在约 2% 上，逐像素预测对背景与夹爪接触点同等加权，属巨大浪费。其方案是学习'哪些感知重要'的感知目标，而非硬编码夹爪；针对摄像头常开导致的上下文膨胀，提出数据稀疏 MoE 路由器按层决定读取或跳过 token。摘要提到团队数周前发布了一个在 PB 级文本、图像、视频和轨迹数据上训练的模型，但未给出名称、基准或验证细节，相关效果仍需保留不确定性。