来源笔记
SARM2: Multi-Task Stage Aware Reward Modeling for Self Improving Robotic Manipulation
Vision Language ActionRobot Reward ModelingLong Horizon ManipulationSelf Improving RobotsRobot Data Scaling
摘要
SARM2 是一个用于长时程机器人操作的多任务稠密奖励模型，配合 SPIRAL 这一基于策略的 VLA 改进循环，使用自主 rollout。论文声称，它在 10 任务基准上的奖励精度更高，并在折叠短裤和清理白板任务上带来大幅真实机器人成功率提升。
问题
- 长时程 VLA 微调仍然依赖昂贵的示范，行为克隆在策略偏离示范分布后很难恢复。
- 稀疏奖励对多阶段机器人任务的信用分配很弱，而大型 VLM 奖励模型又太粗，难以反映逐步进展。
- 现有的阶段感知奖励模型虽然可以很准确，但通常需要任务专属的阶段标签，并且每个任务都要重新训练。
方法
- SARM2 根据最近的机器人观测预测当前动作原语，输入包括 3 个摄像头视角、本体感知、冻结的 SigLIP-2 特征，以及一个 4 层因果 Transformer。
- 阶段估计器把每个片段分到 22 个类别：21 个动作原语加 1 个空类别。原语数据来自 100 个真实世界操作任务的 200 小时数据，其中 66 小时平衡数据用于原语训练。
- 另一个 6 层因果 Transformer 价值模型估计距离完成的归一化剩余步数，范围是 [-1, 0]。
- 价值头使用多门控 Mixture-of-Experts 解码器。预测出的原语选择一个门，门再把状态路由到共享的 MLP 专家。
- SPIRAL 以经过 BC 微调的 VLA 为起点，用大约 100 条带标注的 rollout 对奖励模型做一次适配，然后交替进行自主 rollout 收集、SARM2 重新标注，以及残差式 TD3 风格的 RL 更新。
结果
- 在 10 任务奖励基准上，SARM2 的总体示范 MSE 最好，为 0.020；对比方法包括 ReWiND 的 0.036、TOPReward 的 0.107、Robometer 的 0.093，以及 LoRA 微调后的 Robometer 的 0.043。
- 在经典子集 S1 上，SARM2 的示范 MSE 为 0.006。在非常规子集 S2 上，示范 MSE 为 0.031。
- 去掉阶段估计器后，总体示范 MSE 从 0.020 升到 0.034。去掉多门控设计后，MSE 升到 0.026。
- 在 rollout 排序上，SARM2 在 Folding Shorts 上的 rho 达到 0.833，在 Cleaning Whiteboard 上达到 0.667，这是更难的白板任务中的最佳分数。
- 结合 SPIRAL 后，Folding Shorts Flat 的成功次数提升到 12/12，Folding Shorts Crumpled 在三轮后达到 8/12。
- 在 Cleaning Whiteboard 上，使用 SARM2 的 SPIRAL 达到 18/20 成功和 97.5% 进度；对比之下，微调后的 Robometer 奖励是 13/20 和 97.5% 进度，而仅用示范的 RL-Dense 是 10/20 和 81.3% 进度。