来源笔记
ReFineVLA: Multimodal Reasoning-Aware Generalist Robotic Policies via Teacher-Guided Fine-Tuning
摘要
ReFineVLA 在视觉-语言-动作策略微调中加入教师生成的自然语言推理说明，让机器人模型同时学习动作和这些动作背后的理由。论文声称，这样可以提升模拟操作基准上的泛化能力和任务成功率，覆盖 Google Robot 和 WidowX 设置。
问题
- 标准 VLA 策略通常只学习从图像和指令到动作的直接映射，没有显式的逐步推理。
- 在长时程、组合式或分布外的操作任务中，这会影响可解释性和泛化，因为机器人需要处理物体关系、任务上下文和动作顺序。
- 论文认为，这对通用机器人策略很关键，因为跨环境和跨本体的成功不只取决于反应式动作预测。
方法
- 该方法为机器人示范补充教师撰写的推理说明。对每个观测-动作对，像 Gemini 这样的专家教师模型会生成文本，解释观测、情境分析、空间推理和任务规划。
- 它在一个带推理增强的数据集上微调预训练 VLA 主干，这个数据集大约有 125,000 条轨迹，来自 BridgeData-v2 和 Google RT-1 机器人数据。
- 训练使用联合损失：标准动作预测损失加上一个由调节系数加权的推理生成损失，这样模型可以同时学习预测动作和生成理由。
- 为了保留基础模型的预训练能力，它冻结了大部分参数，只更新较后面的 transformer 块和策略头，而不是对整个模型进行微调。
- 实例化模型从 SpatialVLA 开始，这是一个基于 PaliGemma 2 的 35 亿参数 VLA，预训练数据来自 Open X-Embodiment 和 RHT20。
结果
- 在 SimplerEnv 基准上，论文声称它在 Google Robot 和 WidowX 任务上都达到了最先进水平。
- 在 WidowX 上，ReFineVLA 的平均任务成功率达到 47.7%，比次优方法高 5.0 个百分点。
- 在更复杂的设置中，它在 variant aggregation 上的成功率是 68.8%，高 3.5 个百分点；在 visual matching 上的成功率是 76.6%，高 2.3 个百分点。
- 在更难的单项任务上，它在 Move Near 上提升了 9.6 个百分点，在 Open/Close Drawer 上提升了 8.2 个百分点。
- 给出的文本还报告了注意力图分析：在加入推理感知微调后，模型比只做动作预测的基线更关注语义相关的物体和空间锚点。
- 提供的文本没有包含完整结果表、按数据集拆分的明细或方差指标，所以这里能看到的量化证据只限于上面的主要基准提升。