Recoleta
GitHub
来源笔记

3DVLA: Enhancing Vision-Language-Action Models via 3D Spatial and Instance Understanding

作者
Zhongyu Xia, Yousen Tang, Bingqing Wei, Yongtao Wang
来源
arXiv
发布日期
栏目
Embodied AI
Vision Language Action3d Scene UnderstandingRobot ManipulationOcclusion ReasoningInstance Understanding
打开 arXivMarkdown 源文件

摘要

3DVLA 为预训练的 Vision-Language-Action 模型加入 3D 空间、实例和遮挡推理，用于机器人操作。论文声称，在保持基础 VLA 架构基本不变的前提下，它在 LIBERO-Plus 和 RoboTwin 2.0 上提高了成功率。

问题

  • 大多数 VLA 使用 2D 视觉 token，因此很难推理度量 3D 位置、6-DoF 关系、物体范围和被遮挡的部分。
  • 直接加入 3D 感知模型会破坏与 VLM 预训练的兼容性，而且通常需要昂贵的实例级 3D 标注。
  • 这个问题很重要，因为当相机视角变化、物体重叠，或任务相关部分被遮住时，操作策略会失败。

方法

  • 多视角空间融合利用相机几何、3D 坐标嵌入和 3D RoPE，把多相机 2D 特征提升到共享的 3D 记忆中，得到视角一致的空间特征。
  • 面向物体的 3D 实例模块使用 3D probe 估计物体实例，在 3D 中进行匹配，并用冻结感知模型生成的伪框和伪掩码训练，而不是使用人工 3D 标注。
  • 坐标驱动的 3D 自监督预测器保留预训练后的 masked-token predictor，并在推理时用它填补被遮挡 3D 位置上的视觉 token。
  • 空间条件几何聚合为实例 token 和补全 token 加入相对于末端执行器的 3D 偏移，然后把这些 token 输入下游动作专家。
  • 不确定性引导路由在 2D 实例预测不确定时，更频繁地注入补全后的 3D 几何信息。

结果

  • 在 LIBERO-Plus 上，π0.5\pi_{0.5}+3DVLA 的平均成功率达到 86.0%，高于 π0.5\pi_{0.5} 的 84.2%、OpenVLA-OFT 的 69.6% 和 RIPT-VLA 的 68.4%。
  • 在 LIBERO-Plus 的类别分数上，π0.5\pi_{0.5}+3DVLA 相比 π0.5\pi_{0.5} 在相机变化上更好（75.6% 对 71.2%）、光照变化上更好（97.4% 对 94.7%）、背景变化上更好（97.7% 对 94.0%）、噪声上更好（85.3% 对 84.2%）以及布局变化上更好（86.6% 对 84.3%）；在语言扰动上更低（88.6% 对 89.9%）。
  • 在 RoboTwin 2.0 上，π0\pi_{0}+3DVLA 将 Easy 成功率从 46.4% 提高到 54.5%，将 Hard 成功率从 16.3% 提高到 23.2%。
  • 在 RoboTwin 2.0 上，X-VLA+3DVLA 将 Easy 成功率从 70.0% 提高到 72.6%，将 Hard 成功率从 39.0% 提高到 42.1%。
  • RoboTwin 2.0 上的消融实验显示，π0\pi_{0} 的增益是累加的：仅加入 3D 实例时，Easy 达到 50.1%，Hard 达到 18.9%；再加入预测器后达到 53.4% 和 21.8%；再加入路由后达到 54.5% 和 23.2%。

Link