Recoleta
GitHub
来源笔记

M 2 M^2 -VLA: Boosting Vision-Language Models for Generalizable Manipulation via Layer Mixture and Meta-Skills

作者
Siyao Xiao, Yuhong Zhang, Zhifang Liu, Zihan Gao, Jingye Zhang, Sinwai Choo, et al.
来源
arXiv
发布日期
栏目
Embodied AI
Vision Language ActionRobot Foundation ModelGeneralist Robot PolicyRobot ManipulationParameter Efficient Adaptation
打开 arXivMarkdown 源文件

摘要

M2M^2-VLA 用一个层选择模块和一个基于记忆的 meta-skill 模块，把冻结的视觉语言模型用于机器人操作。论文报告，它在 LIBERO 上的成功率高于微调版和冻结 VLM 基线，同时只用 0.3B 参数。

问题

  • 现有 VLA 模型常常微调 VLM 主干，这会抹掉新指令和新物体所需的语言与视觉推理能力。
  • 机器人控制需要精细的空间信息和轨迹信息，而 VLM 特征主要为高层图文任务设计。
  • 体量较小的动作头在有限机器人数据上学习多种操作轨迹时，容量可能不够。

方法

  • 模型保持 VLM 冻结，并把感知和动作生成分开，这样主干可以保留原有的视觉语言能力。
  • 它用 DINOv2 和 SigLIP 编码全局相机和腕部相机图像，加入语言 token 和可学习的 query token，再送入 VLM。
  • Mixture of Layers 从 VLM 各层读取隐藏状态，并通过独立注意力路径筛选 query/proprioception 特征、视觉 token 和动作潜变量。
  • 动作头通过去噪 transformer 预测动作。
  • Meta Skill Module 保存感知特征键值和成功的未来动作片段，用 L1 距离检索最近的 4 个 skill，再通过交叉注意力注入这些信息，细化动作潜变量。

结果

  • 在同义改写后的 LIBERO Spatial 指令上，M2M^2-VLA 的成功率为 66.2%，性能下降 29.4%；OpenVLA 为 20.0% 和 64.7%，VLA-Adapter 为 52.8% 和 45.4%。
  • 在 LIBERO 的新物体取放测试上，M2M^2-VLA 的成功率为 34.4%，下降 30.4%；OpenVLA 为 8.2% 和 80.2%，VLA-Adapter 为 8.0% 和 91.6%。
  • 在 LIBERO 仿真中，M2M^2-VLA 在每个套件训练 15,000 步后，500 次测试的成功率分别为：Spatial 97.8%、Object 99.0%、Goal 97.2%、Long 87.0%，平均 95.3%。
  • 列出的最佳基线平均值是 VLA-Adapter Frozen，89.4%，参数量 0.5B；SmolVLA 为 88.8%，参数量 2.2B；FlowVLA 为 88.1%，参数量 7.0B。
  • 论文报告使用 4 张 NVIDIA A800 GPU 训练，并称这种参数高效设计可以在 1 张 RTX 3090 GPU 上用 8 小时完成训练。
  • 真实世界设置使用带夹爪的 AgileX PiPer 6 自由度机械臂、2 个 RGB 相机、每个任务 50 条遥操作示范、5,000 个训练步和每个任务 20 次 rollout；给出的摘录在完整的 M2M^2-VLA 真实世界结果表之前截断。

Link