来源笔记
Echo-Memory: A Controlled Study of Memory in Action World Models
Action World ModelsMemory MechanismsVideo DiffusionState Space ModelsRevisit Consistency
摘要
Echo-Memory 是一项关于动作条件视频世界模型中记忆机制的对照研究。它发现，重放质量和回访记忆会把方法排出不同顺序，而按块的状态空间递归在开放域回访上得分最高。
问题
- 当摄像机离开后又返回时，动作世界模型可能会让场景变化，或替换掉一个显著物体，即使局部视频看起来合理。
- 以往的记忆比较会混在一起考虑骨干网络、训练、检索、采样和指标的变化，因此很难单独看出记忆机制的作用。
- 这很重要，因为跟随摄像机的视频不足以构成世界模型；模型必须在生成的多个片段之间保留物体身份和场景状态。
方法
- 这项研究固定了视频扩散变换器骨干、优化器、摄像机-动作表示、采样器、训练方案和评估流程。
- 只改变记忆形式：原始上下文、基于压缩的记忆、带不同读出路径的空间摘要，以及状态空间递归。
- 共享输入接口使用首帧、文本提示、历史上下文和逐帧的 12D 相对 RT 摄像机-动作序列。
- 训练使用 81 帧片段、352×640 分辨率、AdamW、8 张 A100-80G GPU、5000 步、只监督目标帧，以及 10% 的重叠丢弃策略。
- 评估分三条分支：重放的 PSNR/SSIM/LPIPS，域内循环返回的 PSNR/SSIM/LPIPS，以及由 Qwen3-VL-30B-A3B 按 0-100 的 VLM 量表打分的开放域回访。
结果
- 原始上下文是一个强基线：开放域 VLM 从仅锚点 I2V 的 12.25 升到 K=5 时的 50.75，K=20 时的 58.63。
- 按块的 State-Space 在主表中拿到最高的开放域回访分数：69.00 O-V，高于 Context K=20 的 58.63，也高于旧版混合 State-Space 的 34.75。
- 重放指标不能预测回访记忆：Spatial Memory 的重放 PSNR 很高，达到 13.60，但开放域 VLM 只有 6.00。
- Context K=20 在主表重放指标里拿到最好的 SSIM 和 LPIPS：SSIM 为 0.449，LPIPS 为 0.496，而它的开放域 VLM 为 58.63。
- 域内回访也会把方法排出不同顺序：State-Space 旧版混合的 ID-PSNR 为 12.23，而 Context K=20 的 ID-PSNR 为 11.07，但开放域 VLM 更好。
- VLM 裁判的校验结果显示，它与 Claude Opus 4.6、GPT-5.5 和人工锚点的相关性都高于 0.90；相对于 Qwen3-VL，Pearson 相关系数分别为 0.93、0.94 和 0.96。