来源笔记
Jump-Start Reinforcement Learning with Vision-Language-Action Regularization
摘要
VLAJS 用一个预训练的视觉-语言-动作模型来加快机器人操作中的强化学习。它在训练早期提供稀疏的动作提示，然后逐步移除这些提示，让 RL 策略继续自行改进。
问题
- 面向机器人操作的 on-policy RL 在长时程任务和稀疏或奖励塑形较差的任务上学习很慢，因为探索和信用分配都不够好。
- 视觉-语言-动作模型包含有用的任务先验，但它们控制频率低，依赖预训练数据，也不适合作为精细闭环操作的直接控制器。
- 这篇论文要解决的问题是：如何利用 VLA 知识提高 RL 的样本效率，同时又不让策略一直模仿教师。
方法
- 该方法 VLAJS 在 PPO 上加入来自预训练 VLA 教师（例如 OpenVLA）的稀疏指导。
- 教师每次 rollout 只查询少数几次，最多占 rollout 步数的 20%。每个低频教师动作会被扩展为接下来几个控制步的短期指导目标。
- VLAJS 不用 MSE 去匹配教师动作，而是使用 方向一致性损失：它用余弦相似度在平移和旋转方向上对齐 RL 策略与教师，同时让 PPO 决定动作幅度。
- 指导是 短暂的。随着 rollout 奖励提升，查询率和辅助损失权重会衰减；当最近的奖励提升呈单调增长且超过 3 的阈值时，指导会永久关闭。
- 学到的控制器仍然是一个高频、基于状态的 PPO 策略。教师动作不会被直接执行到环境里。
结果
- 在 6 个 ManiSkill 操作任务 上评估：lifting、pick-and-place、peg reorientation、peg insertion、poking 和 pushing，其中一部分迁移到 真实的 Franka Panda 机器人上。
- 论文称 VLAJS 持续优于 PPO 和蒸馏式基线，并且在多个任务上把所需环境交互次数减少了 超过 50%。
- 在长时程实验中，任务时长增加了 10 倍，稀疏教师查询仍然可行；标准的密集 RPD 被省略，因为训练时间太高。
- 教师使用的是 OpenVLA-best，作为单独的指导来源，平均成功率约为 40%。
- 真实世界测试声称实现了 零样本仿真到真实迁移，并且对杂乱环境、物体变化、背景变化和外部扰动有较强鲁棒性。
- 这段摘要 没有给出主结果表中 SR at t、AUC 或逐任务基线差距的数值*，所以这里能确认的最强定量结论是：在多个任务上，环境交互次数减少了 超过 50%。