来源笔记
Flatness Preserves Instruction Following in Vision-Language-Action Models
Vision Language ActionRobot Foundation ModelInstruction FollowingSharpness Aware MinimizationRobot Finetuning
摘要
在 VLA 微调中使用锐度感知最小化，可以在使用相同微调数据的反事实机器人任务上提升指令遵循能力。论文认为，收益来自更平坦的参数区域，这会减少模型对视觉捷径的过拟合。
问题
- VLA 模型在小规模、有偏的机器人数据集上微调时，常会失去预训练得到的视觉-语言对齐能力。
- 这会导致指令盲视：机器人沿用训练时的视觉模式，忽略已改变的语言指令，例如拿起见过的物体，而不是指令要求的物体。
- 这个问题很重要，因为基于语言条件的机器人策略需要处理新的指令-场景组合，而不能为每一种组合都重新收集示范数据。
方法
- 该方法在标准 VLA 微调中加入锐度感知最小化（SAM），不需要新数据、架构改动或完整重训。
- 在每一步中，SAM 先沿着会增大损失的方向寻找一个小的权重扰动，然后用该扰动点上的梯度更新原始权重。
- 简单说，模型会被训练成在当前权重附近的一个小邻域内表现良好，这会偏向更平坦的解，并降低模型对小幅参数变化的敏感性。
- 实验主要将 SAM 应用于 π0.5 VLA，使用 AdamW 进行 30k 步 LIBERO 微调，然后在新的观察-指令配对上做零样本测试。
- 论文还测试了只作用于组件的 SAM、锐度指标、Hessian 最大特征值，以及与 SAM 结合的推理时引导。
结果
- 论文报告称，相对于默认微调的 π0.5 模型，指令遵循能力在 LIBERO-PRO Task 上相对提升 60.2%，在 LangGap 上提升 70.2%，在 LIBERO-CF 上提升 217%。
- 在 LIBERO-PRO Task 上，π0.5_SAM 的平均成功率达到 42.6%，相比之下 π0.5 为 26.6%，π0.5_cfg 为 30.2%，π0.5_LORA 为 6.75%，OpenVLA-OFT 为 1.4%。
- 在 LangGap 上，π0.5_SAM 的平均成功率达到 41.7%，相比之下 π0.5 为 24.5%，π0.5_cfg 为 29.4%，π0.5_LangGap 为 24.8%，π0.5_LORA 为 0.2%。
- 在 LIBERO-CF 上，π0.5_SAM 的平均成功率达到 47.8%，相比之下 π0.5 为 13.2%，π0.5_cfg 为 36.3%，π0.5 CAG 为 21.7%，OpenVLA-OFT CAG 为 11.3%，π0.5_LORA 为 5.7%。
- 锐度指标从 π0.5 的 0.012 降至 π0.5_SAM 的 0.005，Hessian 最大特征值从 0.93 降至 0.52。
- 在真实世界的 DROID 风格抓取放置测试中，SAM 将平均任务成功率从 13.8% 提高到 36.3%，相对提升 163%。