来源笔记
AdaJEPA: An Adaptive Latent World Model
摘要
AdaJEPA 在 MPC 过程中使用每次执行动作后刚观测到的转移来适配 JEPA 潜在世界模型。论文报告称，在形状、视觉、动力学和迷宫布局发生偏移时，每次重新规划只做一步梯度更新即可提高到达目标的成功率。
问题
- 冻结的潜在世界模型在视觉或动力学偏移后可能给 MPC 提供错误的 rollout，导致规划器优化出的动作在真实环境中失败。
- 这对机器人规划很重要，因为小的一步预测误差会在 MPC 时域内累积，并降低到达目标的成功率。
- 论文目标是在没有奖励标签、专家示范或单独目标域数据收集阶段的情况下进行适配。
方法
- AdaJEPA 在 MPC 内运行规划、行动、适配、重新规划循环。
- 执行第一个动作或动作块后，它将观测到的转移
(o_t, a_t, o_{t+1})存入一个小型在线缓冲区。 - 它应用训练中使用的同一 JEPA 潜在预测损失：从当前潜在状态和动作预测下一潜在状态，然后将其与编码后的下一观测进行比较，并对目标使用 stop-gradient。
- 测试时，它只更新一小部分参数，通常是最终的编码器层和预测器层，然后立即使用更新后的模型进行下一次 MPC 规划。
- 默认实验设置为每次 MPC 重新规划做一步梯度更新，缓冲区保留最近 5 个转移，最多 20 个 MPC 步，并在 3 个测试数据种子中的每个种子上运行 50 个 episode。
结果
- 在 PushObj 的分布内训练形状上，论文报告的最大提升是在适配当前形状时相对于冻结模型超过 20%。
- 在未见过的 PushObj 形状上，文本称 AdaJEPA 的规划成功率几乎是冻结模型的两倍；摘录中未提供确切百分比。
- 在低质量动力学的 PointMaze-Medium 上，
predlast + enclast将 GD 成功率从 77.3 ± 8.2 提高到 80.0 ± 3.3，将 CEM 成功率从 82.0 ± 2.8 提高到 86.7 ± 2.5。 - 在高阻尼的 PointMaze-Medium 上，
predfirst + enclast将 CEM 成功率从 76.0 ± 2.8 提高到 82.0 ± 3.3，同时 GD 从 77.3 ± 5.0 升至 78.7 ± 4.7。 - 在未见过的 PointMaze 布局上，
predfirst + enclast将 GD 成功率从 53.3 ± 8.2 提高到 78.7 ± 5.0，将 CEM 成功率从 49.3 ± 6.2 提高到 70.7 ± 3.8。 - 报告表中的延迟增幅很小：对于全局特征 Temporal Straightening 世界模型，GD 时间从 3.14 s 变为 3.17 s，CEM 时间从 0.24 s 变为 0.27 s；对于空间特征变体，GD 从 3.37 s 变为 3.38 s，CEM 从 5.37 s 变为 5.39 s。