---
kind: ideas
granularity: day
period_start: '2026-07-21T00:00:00'
period_end: '2026-07-22T00:00:00'
run_id: materialize-outputs
status: succeeded
topics:
- embodied world models
- robotics
- action representations
- real-to-sim
- interactive simulation
tags:
- recoleta/ideas
- topic/embodied-world-models
- topic/robotics
- topic/action-representations
- topic/real-to-sim
- topic/interactive-simulation
language_code: zh-CN
---

# 面向机器人世界模型的反事实与轨迹测试

## 摘要
可回放的成对事件副本能够提供录制机器人视频所缺少的反事实监督，而空间轨迹可以将整段事件回放失败转化为可修复的对齐、接触和动力学错误。双向视觉动作模型还需要循环测试，以验证推断出的机器人运动是否确实产生了所要求的物体结果。

## 通过反事实模拟器重放分离被动物理动态与机器人作用
机器人学习团队可以利用成功的 real-to-sim 转换，从同一初始状态创建成对转移：重放录制的动作，将其替换为零动作，并扰动动作的时序或方向。Agentic Real2Sim 已经能够将几何结构、物体状态、物理参数和轨迹重建为可运行的事件；DWM 说明了这些反事实为何重要：在模拟基准上，将持久性的世界效应与动作驱动的变化分开进行训练后，规划成功率平均提高了 13.1 个百分点。这种结合提供了一条实用路径，可以在真实交互记录上检验这种分解，而无需在实体机器人上采集匹配的反事实数据。

成本最低的检查方式，是在零动作和扰动动作下重新运行成功重建的 DROID 事件，使用和不使用成对监督分别训练，并在包含滑动、反弹或接触后运动的留出记录上进行评估。由于 Agentic Real2Sim 测试的最佳后端只有 100 个 DROID 事件中的 48 个成功完成回放，因此还应按重建质量分层分析结果；否则，模拟器误差可能会被误认为是模型学到的世界效应。

### 资料来源
- [DWM: Separating World Effects from Actions in Latent World Models](../Inbox/2026-07-21--dwm-separating-world-effects-from-actions-in-latent-world-models.md): DWM 将动作不变的转移成分与动作驱动的转移成分分开，并在三个具有持久动力学的基准上报告了 CEM 规划平均绝对提升 13.1 个百分点。
- [Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents](../Inbox/2026-07-21--agentic-real2sim-physics-based-world-modeling-with-vision-language-agents.md): Agentic Real2Sim 保存物理事件状态以供模拟器回放，但其测试中表现最佳的后端仅成功回放了 100 个 DROID 事件中的 48 个。

## 面向自动 real-to-sim 修复的轨迹级回放诊断
real-to-sim 工程师应在每个事件的回放记录中加入物体掩码、夹爪轨迹、接触点和放置目标，然后修复第一个结构化不匹配，而不是主要依赖端到端回放分数。Agentic Real2Sim 通过一个模拟器在环工作流暴露感知、对齐、场景组装和物理过程中的失败。RoboInter1.5 表明，这些中间信号可以大规模标注；Masked Visual Actions 则表明，像素空间中的实体轨迹可以跨不同机器人形态为场景响应预测提供条件。结合来看，这些方法支持一种诊断机制：在再次尝试完整回放之前，区分机器人对齐错误、接触事件错误和物体轨迹错误。

低成本的评估可以复用 Agentic Real2Sim 的 DROID-100 数据集：测量逐帧机器人掩码、物体跟踪、接触时刻和最终放置误差，然后检验这些残差能否预测现有的回放判定，并帮助自动修复步骤选择需要调整的参数类别。有效结果不应只是更高的视觉分数，还应包括更少的修复迭代失败和更好的物理回放。

### 资料来源
- [Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents](../Inbox/2026-07-21--agentic-real2sim-physics-based-world-modeling-with-vision-language-agents.md): 该转换流程结合了确定性视觉感知与模拟优化，但所有测试后端在 DROID-100 上的完整回放成功率都低于 50%。
- [RoboInter1.5: A Holistic Intermediate Representation Suite for Embodied World Modeling and Robotic Manipulation](../Inbox/2026-07-21--robointer1-5-a-holistic-intermediate-representation-suite-for-embodied-world-modeling-and-robotic-manipulation.md): RoboInter1.5 在超过 230,000 个事件中提供了密集的物体与夹爪定位、可供性、接触点、放置提议和运动轨迹标注。
- [Masked Visual Actions for Unified World Modeling](../Inbox/2026-07-21--masked-visual-actions-for-unified-world-modeling.md): Masked Visual Actions 使用像素空间实体轨迹，并在 DROID 上取得了 0.0945 的 LPIPS，而 Ctrl-World 为 0.362。

## 视觉机器人动作接口的正向—逆向循环测试
基准维护者可以将视觉动作接口作为闭环进行测试：根据期望的物体轨迹推断机器人运动，将推断出的运动反馈给正向模型，然后评估预测物体是否以正确的接触和放置状态达到要求的目标状态。Masked Visual Actions 在两个方向上使用同一个检查点，但仅凭图像保真度无法说明推断出的动作与预测结果是否一致。RoboInter1.5 提供了在不同操作事件和机械臂类型上评估这种一致性所需的物体、夹爪、接触、可供性和放置表示。

第一项测试可以在留出片段中遮蔽机器人运动，根据观测到的物体路径推断机器人运动，让推断出的路径进行正向运行，并将终点、接触时序、放置有效性和常规视频指标与录制结果进行比较。按机器人形态报告循环误差，可以揭示视觉共享接口是否真正适应不同机器人形态，还是只能生成外观上合理的运动。

### 资料来源
- [Masked Visual Actions for Unified World Modeling](../Inbox/2026-07-21--masked-visual-actions-for-unified-world-modeling.md): Masked Visual Actions 将动作表示为部分显露的实体轨迹，并使用同一个检查点进行正向场景预测和逆向机器人运动合成。
- [RoboInter1.5: A Holistic Intermediate Representation Suite for Embodied World Modeling and Robotic Manipulation](../Inbox/2026-07-21--robointer1-5-a-holistic-intermediate-representation-suite-for-embodied-world-modeling-and-robotic-manipulation.md): RoboInter1.5 覆盖 571 个场景和六种机械臂类型，并包含密集的物理与空间中间表示，但所检视的摘录没有提供下游对比指标。