来源笔记
Being-H0.7: A Latent World-Action Model from Egocentric Videos
摘要
Being-H0.7 在训练时使用未来视频信息来训练机器人策略，在测试时只根据当前观测执行动作。它试图缩小直接 VLA 策略和基于视频滚动预测的 world-action 模型之间的差距，把未来推理放进潜变量 token 里。
问题
- 直接的 VLA 策略可能从观测到动作学到捷径映射，因为与视觉输入相比，动作标注很稀疏。
- 基于视频的 world-action 模型加入了未来预测，但像素级滚动预测会增加训练和推理算力，也可能建模了与控制无关的视觉细节。
- 这个问题在长时程和动态操作任务里更重要，因为接触、物体运动和任务进度都会影响下一步动作。
方法
- 模型在多模态上下文和动作块之间插入 K=16 个可学习的 latent queries，让 Transformer 在预测动作前先构建一个紧凑的、面向动作的状态。
- 训练时使用两个配对分支：prior 分支读取当前指令、H=4 帧观测、状态和 latent queries；posterior 分支用未来观测的嵌入替换这些 queries。
- 未来帧先用冻结的 ViT 和 Perceiver resampler 编码成 K 个嵌入，再在最后 L=9 层 Transformer 上与 prior latent states 对齐。
- 两个分支都用针对 T=20 个 action chunks 的 flow-matching 动作目标训练，并加入 latent 对齐、norm 和 rank 正则项，减少 latent collapse。
- 推理时移除 posterior 分支，因此策略可以在不生成未来图像的情况下预测动作。
结果
- 摘要称它在 6 个仿真基准上达到 state-of-the-art 或接近 state-of-the-art，但给出的文本没有包含表格数值、指标或成功率。
- 真实世界评估报告覆盖 3 个机器人平台和 12 个任务，涉及动态场景、物理推理、运动推理、长时程执行和泛化。
- 论文称 Being-H0.7 在 5 个能力导向的真实世界测试套件中都排在第一，例子包括接住快速滚动的球、向移动容器倒液体、折叠衣物、传送带包裹分拣和钉钉子。
- 带有延迟感知的通用异步分块部署报告为 Being-H 变体每步 3-4 ms，且测试时不生成未来帧。