来源笔记
Coherent Off-Policy Improvement of Large Behavior Models with Learned Rewards
摘要
CSIL++ 使用逆强化学习和一致的学习奖励，在没有常见的 RL 早期性能下滑的情况下，改进了 pi-0.5 在稀疏奖励仿真操作任务上的表现。基于提供的摘录，这项工作与 VLA 和大型行为模型的微调相关，但证据仅限于仿真。
问题
- 行为克隆可以训练出用于机器人控制的强大型行为模型，但很小的轨迹误差会把机器人带到演示数据之外的状态。
- 稀疏奖励的 RL 微调会浪费样本，也可能在训练早期让预训练策略退化。
- 人工设计的稠密奖励很难适配不同的操作任务，所以论文改用演示来学习稠密奖励。
方法
- 该方法先用专家演示训练一个小型 BC 策略，再把它转成一致奖励：
alpha * (log pi_BC(a|s) - log p(a|s))。 - 这个奖励会给熟悉状态中的演示动作高分，给熟悉状态中的错误动作低分，并且在未见过的状态中接近零。
- 冻结的 pi-0.5 VLA 每 10 步提出一次动作块，而一个更小的 CSIL++ 策略每一步都执行动作。
- CSIL++ 使用集成动作，把 VLA 动作和学习到的策略动作取平均，而不是加入残差修正。
- 实现里加入了 categorical critic、batch normalization、weight normalization、精确的 Gaussian KL 估计、按相机划分的图像编码器，以及 spatial softmax pooling。
结果
- 在 6 个仿真稀疏奖励操作任务上，CSIL++ Ensemble 在表 1 中的每个任务上都持平或优于 pi-0.5 VLA 基线。
- CSIL++ Ensemble 在 6 个任务中的 5 个上都达到至少 90% 成功率：Square 0.94、Coffee 0.96、Mug Cleanup 0.90、Threading 0.92、Hammer Cleanup 1.00。
- Threading 的提升最大：pi-0.5 VLA 只有 0.14 的成功率，而 CSIL++ Ensemble 在 450k 步时达到 0.92。
- Mug Cleanup 从 VLA 的 0.68 提升到 CSIL++ Ensemble 在 100k 步时的 0.90。
- Square 从 VLA 的 0.84 提升到 CSIL++ Ensemble 在 100k 步时的 0.94；Coffee 从 0.78 提升到 200k 步时的 0.96。
- Nut Assembly 是主要失败案例：CSIL++ Ensemble 仍为 0.22，与 VLA 基线相同，而 CSIL++ Residual 达到 0.40，XQC+OD Residual 达到 0.34。