来源笔记
Unified Noise Steering for Efficient Human-Guided VLA Adaptation
摘要
UniSteer 通过把人类纠正动作转换为噪声目标，来改进扩散式或 flow-matching 的 VLA 机器人策略。方法冻结预训练 VLA，只训练一个小型 noise actor；在真实世界任务上，它以更少的人类数据获得了比噪声空间 RL 和动作空间 DAgger 更高的成功率。
问题
- 预训练 VLA 策略在物体位姿、场景布局、视角和接触动力学发生变化时，常常失效。
- 机器人上的 RL 速度慢、成本高，因为失败会消耗时间，而稀疏奖励提供的学习信号很弱。
- 人类纠正以动作形式给出，而噪声空间的 VLA 微调训练的是潜在噪声上的策略，因此这两类信号需要一个共享的训练目标。
方法
- UniSteer 冻结 flow-matching VLA 解码器，只训练一个轻量 actor 来选择初始噪声变量。
- 当人类接管时，方法会近似反演冻结的解码器，把纠正后的动作片段映射回初始噪声目标。
- 这个反演通过固定点迭代沿着 Euler flow 步骤向后运行。
- 纠正后的噪声目标用 L2 监督损失训练 actor，而自主交互和被纠正的转移也会训练一个用于 RL 的噪声空间 critic。
- 同一个 noise actor 同时接受基于奖励的更新和基于人类纠正的更新。
结果
- 在四个真实世界任务上，UniSteer 将初始策略的平均成功率从 20.0% 提升到 90.0%，适应时间为 66 分钟。
- UniSteer 的平均成功率为 90.0%，DSRL 为 55.0%，DAgger 为 60.0；相比这两个基线，UniSteer 分别高 35 和 30 个百分点。
- UniSteer 在各任务上的成功率分别为：Pick up Spoon 90.0%，Stack Blocks 95.0%，Insert Square 100.0%，Fold Towel 75.0%。
- 在 OOD 物体摆放下，UniSteer 在 Pick up Spoon、Stack Blocks 和 Insert Square 上都达到 100.0% 成功率；DSRL 分别为 0.0%、0.0% 和 25.0%，DAgger 分别为 75.0%、100.0% 和 25.0%。
- UniSteer 平均每轮使用 0.98 条纯人类轨迹，DAgger 平均每轮使用 8 条纯人类轨迹。
- 固定点反演的动作重建损失和耗时都低于基于优化的反演：在 Pick up Spoon 上分别为 0.00122 和 73.26 秒，而后者为 0.06516 和 208.04 秒；在 Insert Square 上分别为 0.00018 和 40.42 秒，而后者为 0.05624 和 80.96 秒。