来源笔记
Composition of Memory Experts for Diffusion World Models
Diffusion World ModelsLong Term MemoryProduct Of ExpertsVideo PredictionNavigation Planning
摘要
CoME 是一种扩散世界模型方法，它把短期记忆、长期记忆和空间记忆专家组合起来，让生成的未来与过去观测保持一致。
问题
- 世界模型需要很长的历史信息来做规划和导航，因为智能体可能会回到某个地点，并且应当预测出它之前看到的相同物体和布局。
- Transformer 的上下文代价很高，因为注意力的计算量会随长度平方增长，而循环模型和状态空间模型会更高效地压缩历史，但会丢失细节。
- 长上下文视频预测还需要空间一致性，因为外观相近的位置可能导致错误的记忆回忆。
方法
- 该方法在采样时用 Product of Contrastive Experts 规则组合多个扩散专家。
- 短期记忆专家关注最近的上下文，文中描述为大约 10 到 100 张图像，以保持局部运动和视觉细节稳定。
- 长期记忆专家通过测试时微调把情节历史存到 LoRA 适配器权重中，使用大约 100 到 1000 张图像。
- 空间长期记忆专家把位姿、地图或其他空间信号作为生成条件，让预测在位置和外观上都匹配。
- 对比规则把每个条件专家和它的无条件版本进行比较，在 KDE 分析中减少伪模式，同时不收缩每个局部模式。
结果
- 在 Memory Maze 上，Base 模型的 LPIPS 为 0.209，SSIM 为 0.771，PSNR 为 19.16。
- 加入 STM 后，Memory Maze 的结果变为 LPIPS 0.156、SSIM 0.820、PSNR 21.29。
- 可见的表格显示，STM 在 Memory Maze 上相对 Base 让 LPIPS 提升 0.053、SSIM 提升 0.049、PSNR 提升 2.13。
- 摘要说 LTM、SLTM，尤其是 STM+LTM 进一步提升了时间一致性，并且超过了列出的基线，但这些行的具体数值被截断了。
- 实验使用了 Memory Maze，其中有 3 万条、每条 1000 帧的轨迹；RECON，其中有超过 5000 条真实户外轨迹；以及带相机位姿的 RE10K 室内场景。
- 基线训练了 15 万步；DiT 基线用 3 帧上下文预测 17 帧，而 STM 专家用 33 帧条件帧预测 17 帧。