来源笔记
World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry
摘要
WAV 是一个可自我改进的世界模型框架。它先检查两件更简单的事，来找出动作条件动力学模型可能出错的地方：未来状态看起来是否合理，以及这个动作是否真的能产生它。论文声称，在探索不足的区域里，这种验证比直接预测下一状态更容易，因此能提高数据收集效率和下游策略学习效果。
问题
- 世界模型需要预测一大范围动作的结果，包括差动作或随机动作，但带动作标注的机器人数据数量有限、采集成本高，有时还不安全。
- 现有的验证方法，比如不确定性、集成分歧或学习进展，在最需要它们的地方往往失效，也就是模型几乎没有先验支持的探索不足区域。
- 这会带来实际后果：验证做不好，就会选错数据，世界模型更弱，策略评估、规划和优化的效果也会变差。
方法
- WAV 把验证拆成两个检查：状态合理性 和 动作可达性。预测出的下一状态既要像一个合理的未来状态，也要能由给定动作到达。
- 为了判断合理性，WAV 在大量无动作视频数据上训练一个子目标生成器，并从这个先验中采样合理的未来状态。
- 为了判断可达性，WAV 在带动作标注的数据上训练一个稀疏逆动力学模型，只用与动作相关的状态特征来推断动作，并使用学习到的掩码，而不是完整观测。
- 然后它执行一个反向循环：当前状态 -> 采样到的合理子目标 -> 推断出的动作 -> 世界模型滚动预测。采样子目标和世界模型预测之间的差距，被用作探索和自我改进的误差信号。
- 理论部分指出，当动作只依赖状态特征的低维子集、环境随机性较高、且标注数据有限时，稀疏逆向验证比稠密前向预测更容易。
结果
- 在 MiniGrid、RoboMimic 和 ManiSkill 覆盖的 9 个任务 上，WAV 的世界模型学习样本效率比现有方法高 2 倍。
- 论文报告，下游策略性能比基线提升了 18%。
- 在受控的 MiniGrid 研究中，鲁棒性评估把带标签数据量从 400 到 2000 个 transition 做变化，把场景复杂度从 6 到 14 个对象做变化，并加入 0 到 4 个噪声地面来提高随机性。
- MiniGrid 的数据设置使用 50k 条交互序列，其中 200 条种子序列作为带标签数据，20k 条无标签候选序列用于采样；完整数据的一半用于训练无动作的子目标生成器。
- 摘要说明，WAV 与 Random、Uncertainty、Progress、Vanilla IDM 和 Oracle 基线做了比较，但提供的文本里没有给出各基准的详细指标表，也没有给出除标题里的 2x 和 18% 之外的精确差距。