来源笔记
Robotic Manipulation is Vision-to-Geometry Mapping ( f ( v ) → G f(v) \rightarrow G ): Vision-Geometry Backbones over Language and Video Models
摘要
VGA 认为，机器人操作应该使用原生 3D 几何特征，而不是语言模型或视频模型特征。它在一个预训练的 3D 世界模型之上构建策略，并报告了在 LIBERO 上的最佳水平表现，以及在真实机器人上更强的零样本跨视角迁移能力。
问题
- 这篇论文针对当前机器人基础模型中的一个不匹配：操作依赖 3D 位置、旋转和空间关系，但许多视觉-语言-动作和视频动作模型是在 2D 图文数据或像素预测数据上预训练的。
- 这个不匹配会带来问题，因为策略可能学到视觉模式或语义，却没有学到精确抓取、伸手和放置物体所需的几何信息，这会削弱鲁棒性和视角泛化能力。
- 现有加入 3D 线索的方法仍然保留以 2D 为中心的骨干网络，或者需要额外的深度传感器。作者认为，这会造成 3D 到 2D 的瓶颈，或者增加硬件复杂度。
方法
- 核心方法是 VGA，一个 Vision-Geometry-Action 模型。它用 VGGT 替换常见的 VLM 或视频骨干网络。VGGT 是一个预训练的 3D 世界模型，可将多视角 RGB 直接映射为原生 3D 场景表示。
- 输入包括多视角 RGB、语言指令和机器人的本体感觉信息。这些 token 经过 VGGT transformer，交替使用局部和全局注意力，生成共享的、具备 3D 感知能力的控制 token。
- 动作预测使用动作解码器，chunk size 为 C=8。新的 Progressive Volumetric Modulation (PVM) 模块通过分阶段交叉注意力，逐层把几何信息注入动作解码器。
- 训练是多任务的：共享骨干同时预测 动作 + 相机参数 + 深度图，并使用联合损失。测试时去掉相机和深度分支，因此推理只解码动作。
- 根据摘录，该模型使用 LoRA rank 64 训练，可训练参数大约是 5 亿。
结果
- 在 LIBERO 上，VGA 在 Spatial 上为 99.0%，Object 上为 99.6%，Goal 上为 98.6%，Long 上为 95.0%，平均为 98.1%。
- 与 LIBERO 上的主要 VLA 基线相比，VGA 比 pi_0.5（平均 96.9%）高 1.2 个百分点，比 OpenVLA-oft（平均 97.1%）高 1.0 个百分点，比 VLA-Thinker（平均 97.5%）高 0.6 个百分点。
- 与 3D-VLA 基线相比，VGA 比 SpatialVLA（平均 78.1%）高 20.0 个百分点，比 GeoAwareVLA（平均 96.8%）高 1.3 个百分点，比 GeoVLA（平均 97.7%）高 0.4 个百分点。
- 与 world-action / video 风格基线相比，VGA 比 Motus（平均 97.7%）高 0.4 个百分点，并且比 mimic-video（平均 93.9%）高 4.2 个百分点。
- 在真实机器人上，摘录声称它在未见过的相机视角上有更好的 zero-shot generalization，成功率也高于 pi_0.5，但提供的文本没有给出真实世界的具体数值。
- 摘录还声称，定量结果确认 VGA 能高保真地预测 3D 属性，但提供的文本没有包含具体的相机/深度指标。