研究想法

Few-Shot VLA Adaptation Under Deployment Shift

日 · 2026-05-11 · Embodied AI

适配预训练 VLA 策略的机器人团队有三个具体检查项:在适配时保留冻结的策略路径;在评估中把长距离接近和接触密集控制分开;当动作标签稀缺时加入结构化辅助目标。共同压力来自在新物体姿态、背景、embodiment 和接触动力学下,用有限演示完成部署。

3 个想法

Frozen-prior adaptation for few-demonstration VLA deployment

将预训练 VLA 适配到新的机器人工位时,团队应该测试一条可训练的轻量适配路径,同时在训练或 rollout 里保留预训练动作模块可见。PriorVLA 给出了一种实现:保留冻结的 Prior Expert,训练单独的 Adaptation Expert,让学习到的 queries 从冻结路径里读取场景和运动特征。UniSteer 也给出了一种做法,适用于 diffusion 或 flow-matching 策略:冻结 decoder,训练一个轻量 noise actor,再把人类纠正动作映射回 noise target。

实验室部署里的阻碍很常见:全量微调会贴合少量演示数据,同时丢掉大规模预训练得到的行为。PriorVLA 报告在 8 个真实世界任务和 2 种 embodiment 上,使用标准数据时 OOD 成功率为 57%,只有每个任务 10 条演示时 OOD 成功率为 32%。UniSteer 报告在 4 个任务上适应 66 分钟后,真实世界平均成功率从 20% 升到 90%,而且用到的纯人类轨迹少于 DAgger。一个低成本验证方法是,把同样的 OOD 放置和背景测试套件分别跑在全量微调、冻结先验适配器和人类纠正 noise actor 上,并按 ID 和 OOD 情况拆分成功率。

Separate transit and contact evaluation for long-horizon manipulation policies

VLA 和 World Action Model 策略的操作基准应该把 transit 和 interaction 作为两个独立的失败模式来评分。HarmoWAM 的设计可以直接参考:用世界模型预测未来帧,把 transit 和目标接近交给 reactive expert,把精确接触交给 predictive expert,再训练一个 gate 在执行时选择控制路径。

这对堆叠、倾倒、书写、抓取和双臂协作这类任务很重要,因为策略可能已经到达正确物体,却在接触时失败。HarmoWAM 的动机研究发现,Imagine-then-Execute 在所有 OOD transit 情况下都能到达目标,但 interaction 成功率最低只有 2/10;Joint Modeling 在靠近物体时保持较高的 interaction 成功率,但在 OOD transit 中更容易失败。实际测试可以按阶段给 episode 标注,方法是用物体距离、接触状态或手工分段边界,然后分别报告接近、首次接触和完成操作的成功率。如果某一个阶段主导了失败,那么带 gate 的双专家策略就是针对性改造,而不是整体架构替换。

Auxiliary latent-transition targets from action-free robot video

有大量未标注视频的机器人数据管线,应该先测试 latent-transition 预训练,再去收集更多带动作标签的演示。ALAM 会采样 frame triplet,为每个帧对学习一个 latent transition,再加入 composition 和 reversal 损失,让 latent space 带上可复用的时间结构。在 VLA 训练中,冻结的 encoder 会生成 latent-transition 序列作为辅助目标,而实际执行的输出仍然是机器人动作流。

一个实用检查很小,也很机械:先在无动作标签的第三人称和 wrist-camera 片段上预训练 latent encoder,测 additivity 和 reversibility error,再用有和没有辅助 latent target 的方式微调同一个 VLA backbone。ALAM 报告它的 additivity 和 reversibility error 比未结构化 latent-action 基线低 25-85 倍。在 MetaWorld MT50 上,π0 + ALAM 的平均成功率达到 85.0%,而 π0 是 47.9%;在 LIBERO 上,它达到 98.1%,而 π0 是 94.1%。对于已经在保存成功或接近成功的操作视频、但没有同步动作标签的团队,这个方法最有价值。