Recoleta
GitHub
来源笔记

Potential-Guided Flow Matching for Vision-Language-Action Policy Improvement

作者
Yunpeng Mei, Jiakai He, Hongjie Cao, Chenyu Wang, Xiaowen Zhu, Yihan Zhou, et al.
来源
arXiv
发布日期
栏目
Embodied AI
Vision Language ActionRobot PolicyFlow MatchingOffline RLBimanual Manipulation
打开 arXivMarkdown 源文件

摘要

ForesightFlow 通过给每个动作块加入生成的成功潜势分数，改进了在混合机器人数据上训练的视觉-语言-动作流策略。它用这些分数做 best-of-K 动作选择，不需要单独的 critic。

问题

  • 已部署的机器人会收集混合轨迹，里面既有成功动作，也有部分进展、可恢复错误和失败；直接做行为克隆会把失败也学进去。
  • 过滤后的行为克隆会丢掉有用的子轨迹，而 IDQL 这类离线强化学习方法要加一个很大的 critic，训练开销也更高。
  • 这篇论文面向长时程操作任务，在稀疏成功标签下，很难学到哪些局部动作块真的能推进任务进展。

方法

  • 策略在生成时同时输出一个动作块 a 和一个与该块时域对齐的成功潜势向量 s。
  • 用阶段级二元标签训练潜势向量，所以即使整条轨迹最后失败，部分有用的进展也能得到监督。
  • 优势加权流匹配会提高高优势动作的权重，使用 min(M, exp(A/tau)) 这类权重。
  • 动作损失和潜势损失分开训练：优势权重只作用在动作速度上，潜势速度则在成功和失败样本上统一训练。
  • 一步边界估计器为优势计算提供上下文基线；推理时采样 K 个候选，并执行平均生成潜势最高的那个。

结果

  • 在五个 BEHAVIOR-1K 仿真任务上，ForesightFlow 的平均归一化分数最好：0.46，而 IDQL 为 0.44，FQL 为 0.39，Filtered BC 为 0.38，BC 为 0.35。
  • 在仿真中，它的平均成功率为 39.6%，接近 IDQL 的 39.0%，高于 FQL 的 34.4%、Filtered BC 的 31.6% 和 BC 的 31.0%；这里使用 K=5 个自引导候选。
  • 在五个真实世界的双臂任务上，它的平均分数为 0.62，成功率为 35.4%，对比 IDQL 的 0.59 和 32.6%，以及 Filtered BC 的 0.51 和 24.6%。
  • 训练计算量从 IDQL 的 287 GPU 小时降到 178 GPU 小时，报告中的降幅为 38%。
  • 与价值相关的参数开销约为 1K 参数，而 IDQL 的独立 critic 约有 ~500M 参数；总参数量为 2.35B，而 IDQL 约为 ~2.84B。
  • 在 K=5 时，报告的延迟为 ForesightFlow 的 155 ms，IDQL 为 183 ms；Radio 消融报告显示，解耦训练的最终阶段完成率为 51.0%，耦合训练为 42.0%，BC 为 44.0%。

Link