来源笔记
Koopman Dreamer: Spectrally Constrained Latent Dynamics for Stable World-Model Imagination
World ModelModel Based Reinforcement LearningKoopman DynamicsLatent ImaginationContinuous Control
摘要
Koopman Dreamer 在 DreamerV3 风格的世界模型中加入受谱约束的确定性潜在状态转移，以提高长时域想象的稳定性。该方法在模拟连续控制任务中取得了更好的性能，包括在 DeepMind Control Suite 的九项任务中有八项获得提升；在 UAV-LiDAR 任务中，目标成功率从 53.8% 提高到 73.8%。
问题
- 通用神经潜在状态转移无法直接控制模态持续性、阻尼或振荡，因此长时域滚动预测中的误差难以调节和诊断。
- 误差累积会使想象回报、策略更新和控制决策产生偏差，尤其是在连续控制和自主导航任务中。
- 过度收缩也可能抹去控制所需的信息，因此必须在稳定性与长期信息保留之间取得平衡。
方法
- 将 DreamerV3 的传统确定性循环状态转移替换为受 Koopman 启发的主干网络。该网络由二维旋转—缩放模块组成，其模态半径限制在预先设定的谱范围内。
- 加入线性动作效应、低秩双线性状态—动作项和随机状态调制，使结构化主干网络能够表示受控非线性动力学以及局部后验修正。
- 使用 EMA 教师目标、单步一致性、多步滚动预测和开环观测预测目标，训练同一个状态转移同时支持以后验为条件的学习和无后验想象。
- 推导多步滚动预测误差界，将自主谱放大、双线性交互效应、随机状态不匹配和建模残差区分开来。
结果
- 在本体感知连续控制任务中，Koopman Dreamer 在九项模拟任务中的八项优于 DreamerV3。
- 在使用向量化 LiDAR 观测的模拟 UAV 导航任务中，目标成功率从 DreamerV3 的 53.8% 提高到 Koopman Dreamer 的 73.8%，提升了 20.0 个百分点。
- 开环评估显示，本体感知观测和速度预测的提升最为稳定；在大多数任务中，回报预测也有所改善。
- 谱半径敏感性分析和消融研究支持模态收缩、EMA 教师目标以及状态依赖的动作效应所发挥的作用，同时表明收缩性最强的设置不一定最有利于控制。
- 报告的验证基于模拟；摘录未提供真实物理机器人上的结果，也未提供完整的逐任务指标表。