来源笔记
Hierarchical Planning with Latent World Models
Hierarchical PlanningLatent World ModelsModel Predictive ControlZero Shot Robot ControlLong Horizon Planning
摘要
这篇论文提出了 HWM，一种用于学习型潜在世界模型的分层规划方法，用来改善长时程零样本控制。它在共享潜在空间中做两个时间尺度的规划，从而提高真实机器人操作和仿真任务的成功率，同时降低规划计算量。
问题
- 学习型世界模型可以支持零样本控制，但平面式模型预测控制在长时程任务上效果较弱，因为滚动误差会随时间累积。
- 在长序列的原始动作上做规划很耗计算，因为搜索空间会随着时长迅速扩大。
- 这对具身控制很重要，因为许多机器人和导航任务需要多阶段、非贪心的行为，输入还是高维观测，测试时往往只给一个目标图像。
方法
- HWM 在同一个潜在空间中训练两个潜在世界模型：一个低层模型负责短时程原始动作，一个高层模型负责更长时程的状态转移。
- 高层模型用学到的宏动作预测路径点潜变量。这些宏动作来自一个动作编码器，它把两个路径点之间的一段低层动作压缩起来。
- 在推理时，高层规划器在潜在宏动作上搜索，把当前潜在状态推向目标潜变量。它预测出的第一个潜在路径点会被当作子目标。
- 低层规划器随后在原始动作上搜索，以到达这个潜在子目标，系统在执行过程中按 MPC 方式重新规划。
- 因为两层共享同一个潜在空间，HWM 不需要任务特定奖励、技能学习、逆模型或分层策略。
结果
- 在一个真实的 Franka 取放任务上，使用 VJEPA2-AC 且只给最终目标图像时，平面式规划的成功率是 0%，HWM 的成功率是 70%，提升 70 个百分点。
- 在 Franka 抽屉开关任务上，VJEPA2-AC 从 30% 提升到 70%，提升 40 个百分点。
- 在 Push-T 上使用 DINO-WM，成功率从 17% 升到 61%，提升 44 个百分点。
- 在 Diverse Maze 上使用 PLDM，成功率从 44% 升到 83%，提升 39 个百分点。
- 在使用 oracle 子目标的取放任务上，平面规划器和 HWM 都得到 80%，说明主要收益来自自动生成子目标，而不是更容易的低层控制。
- 论文在图注中声称，规划时间大约减少 3 倍，在贡献总结中声称推理时规划成本最高降低 4 倍。