Recoleta
GitHub
来源笔记

What to Ignore, What to React: Visually Robust RL Fine-Tuning of VLA Models

作者
Yuanfang Peng, Jingjing Fu, Chuheng Zhang, Li Zhao, Jiang Bian, Mingyu Liu, et al.
来源
arXiv
发布日期
栏目
Embodied AI
Vision Language ActionRL Fine TuningRobot ManipulationVisual GeneralizationSim2real
打开 arXivMarkdown 源文件

摘要

PAIR-VLA 在 PPO 微调中加入动作分布引导，让 VLA 机器人策略忽略与任务无关的视觉变化，并对与任务相关的变化作出反应。它在 ManiSkill3 抓取放置任务上提升了 OpenVLA 和 π₀.₅ 在分布外视觉变化下的成功率，而且不改动推理时的架构。

问题

  • 标准 PPO 奖励只能告诉机器人任务是否成功，不能告诉它某个视觉变化该不该让动作保持不变，还是需要换成另一种动作。
  • VLA 策略在部署时遇到视觉变化时会失效，例如未见过的干扰物、桌面纹理、光照、相机视角和目标物体位姿变化。
  • 这对机器人操作很关键，因为干扰物或纹理变化通常应该被忽略，而目标物体移动后往往需要新的抓取或轨迹。

方法

  • PAIR-VLA 用 PPO 加两个辅助损失，对同一观察的成对视觉变体微调 OpenVLA 和 π₀.₅。
  • 保持任务不变的变体会移除干扰物并替换背景外观，同时保持机器人、目标物体、容器和所需操作不变。
  • 一致性损失最小化原始视图与保持任务不变视图之间动作分布的 KL 散度。
  • 改变任务的变体会扰动目标物体位姿，这会改变所需动作。
  • 敏感性损失最大化原始视图与改变任务视图之间经过裁剪的 KL 散度；这些损失只在训练时使用，因此部署时没有额外推理成本。

结果

  • 在 ManiSkill3 抓取放置任务上，OpenVLA 的分布外平均成功率从 PPO 的 77.90% 提升到 PAIR-VLA 的 87.00%，在桌面纹理、光照、目标位姿和杂乱场景测试中提升了 9.10 个百分点。
  • OpenVLA 在各项设置中的提升分别是：桌面纹理 86.98%→94.53%，光照 72.14%→80.47%，目标位姿 83.59%→90.63%，杂乱场景 68.88%→82.36%。
  • 在 π₀.₅ 上，分布外平均成功率从 PPO 的 46.25% 提升到 62.87%，提升了 16.62 个百分点。
  • π₀.₅ 在各项设置中的提升分别是：桌面纹理 63.54%→80.21%，光照 28.54%→51.67%，目标位姿 56.46%→69.38%，杂乱场景 36.46%→50.21%。
  • 每个报告的成功率都基于 128 次评估回合，并且是 3 次独立运行的平均值。
  • 在 OpenVLA 的分布内测试中，PAIR-VLA 在约 80 个训练步内达到 90% 成功率，而 PPO 约需要 240 个训练步，训练步数约减少 3 倍。

Link