来源笔记
DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks
摘要
DexWorldModel 提出了一种用于机器人操作的世界模型，用语义视觉特征而不是像素来做预测，用固定大小的测试时内存保存历史，并把推理和机器人执行重叠起来。论文面向长时程具身控制和零样本仿真到现实迁移。
问题
- 现有用于操作的 world-action 模型常常预测像素或低层潜变量，把模型容量花在纹理、光照和背景细节上，而不是任务相关的交互动态上。
- 标准自回归 Transformer 会保留随序列长度增长的 KV cache，导致内存使用为 O(T)，在长时程任务上的推理也更慢。
- 闭环部署会被串行推理拖慢：机器人先动作，等下一次观测，再开始下一步昂贵的去噪。
方法
- CLWM 用 DINOv3 特征空间 替代像素重建。简单说，它先预测下一次观测的语义潜变量，再预测到达该潜状态所需的动作片段。
- 模型用共享的 Transformer 骨干同时做潜变量视频预测和动作预测，分两阶段用 flow matching 训练：先预测未来潜特征，再预测动作。
- 为了避免内存随时域增长，它用 Dual-State Test-Time Training memory 替代 Transformer 的 KV cache。一个长期状态通过在线权重更新保存真实观测历史，另一个工作状态在生成时分叉出来，承载临时的未来预测上下文。
- 为了提高部署速度，Speculative Asynchronous Inference 会在当前动作还在执行时，先开始下一步的部分去噪，等真实观测到来后再做校准。
- 论文还提出 EmbodiChain，这是一个用于后训练的在线仿真数据流，目标是持续加入新的物理约束轨迹并提升策略扩展性。
结果
- 摘要声称在 复杂双臂仿真 基准上达到 state-of-the-art，但这段摘录没有给出任务成功率、数据表或精确的基线差距。
- 论文报告 Speculative Asynchronous Inference 将阻塞延迟降低了约 50%，引言中把这个结果放在 RoboTwin 上，并与 Lingbot VA 做了比较。
- 该方法声称通过用测试时更新的记忆权重替代通常的 O(T) KV-cache 增长，在长时程操作中实现了严格的 O(1) 内存占用。
- 摘要声称在真实机器人上的 零样本仿真到现实迁移 优于在真实世界数据上 finetuned 的基线，但摘录没有给出具体成功率、任务数量或机器人设置。
- 这段摘录提供的定量证据不足，无法验证完整性能主张，除了已报告的 约 50% 延迟下降以及 O(1) 对比 O(T) 的内存规模。