来源笔记
Grounded World Model for Semantically Generalizable Planning
摘要
本文把模型预测控制中的目标图像评分，改成了共享的视觉-语言潜空间里的语言对齐评分。由此得到的规划系统 GWM-MPC 保留了预训练语义知识，在未见过的指令和视觉信号上，比标准视觉-语言-动作策略的泛化能力强得多。
问题
- 标准的视觉运动 MPC 通常需要目标图像，并用候选未来与该图像在潜空间中的距离来打分。这对新任务来说很不方便，也不适合作为人与系统交互的接口。
- 经过微调的 VLA 策略常常记住训练中的指令和场景捷径，而不是使用预训练的语义知识。在本文的 WISER 基准上，它们能解决训练任务，但在需要相同动作、但换了措辞和新的视觉线索的留出任务上会失败。
- 目标问题是语义泛化：只要所需动作在训练中见过，就要能跟随未见过的指代表达和基于世界知识的指令。
方法
- 论文在 Qwen3-VL-Embedding 的冻结潜空间中训练了一个 Grounded World Model (GWM)。它是一个多模态检索模型，把文本、图像和视频映射到同一个嵌入空间。
- 测试时，系统用当前关节位置通过对示范轨迹做最近邻检索，提出 12 条候选动作序列。对每个候选序列，GWM 预测其行为对应的未来潜在嵌入。
- 系统在共享嵌入空间里，用 余弦相似度 把每个预测未来和语言指令对比打分，然后执行得分最高的动作块。这把 MPC 变成了一个语言条件规划器，不需要目标图像。
- 为了在不单独学习动作分词器的情况下编码动作，方法使用 Rendering-based Action Tokenization (RAT)：先用机器人 URDF 和相机参数把未来的机器人关节配置渲染成图像，再把这些渲染结果送入预训练视觉编码器。
- 训练只使用潜空间里的未来观测监督，用 MSE 损失来约束预测的未来特征和真实未来特征。基础模型保持冻结，这样做是为了保留它的语义知识。
结果
- 在 WISER 上，这个新基准包含 24 个知识类别、288 个训练任务和 288 个测试任务，GWM-MPC 的测试成功率达到 0.87，而 VLA 基线的平均值是 0.22。
- GWM-MPC 的训练成功率是 0.92，测试成功率是 0.87。基线的平均训练成功率是 0.90，测试成功率是 0.22，说明 GWM 在见过的任务上保持了表现，同时明显缩小了训练和测试之间的泛化差距。
- 各个命名基线在测试集上的成功率低得多：InstructVLA 0.47、Wall-OSS 0.40、InternVLA-A1 0.26、π0.5 0.26、GR00T-N1.6 0.18、SmolVLA 0.08、π0 0.08。
- GWM-MPC 在测试集上的 抓取 成功率是 0.99，到达 成功率是 0.88；基线平均值分别是 0.54 和 0.29。
- 提出的动作分词器很关键：GWM-MPC-AC 的测试成功率降到 0.24，而完整的 GWM-MPC 仍然保持在 0.87。
- 在这个基准上，跨机器人本体的零样本迁移表现很强：GWM-MPC-xArm6 在动作空间、运动学和外观都不同的情况下，测试成功率仍有 0.83。一个检索上限 GT-MPC 的测试成功率达到 0.93，这说明主要瓶颈是冻结基础模型空间里的评分质量。