通过反事实模拟器重放分离被动物理动态与机器人作用
机器人学习团队可以利用成功的 real-to-sim 转换,从同一初始状态创建成对转移:重放录制的动作,将其替换为零动作,并扰动动作的时序或方向。Agentic Real2Sim 已经能够将几何结构、物体状态、物理参数和轨迹重建为可运行的事件;DWM 说明了这些反事实为何重要:在模拟基准上,将持久性的世界效应与动作驱动的变化分开进行训练后,规划成功率平均提高了 13.1 个百分点。这种结合提供了一条实用路径,可以在真实交互记录上检验这种分解,而无需在实体机器人上采集匹配的反事实数据。
成本最低的检查方式,是在零动作和扰动动作下重新运行成功重建的 DROID 事件,使用和不使用成对监督分别训练,并在包含滑动、反弹或接触后运动的留出记录上进行评估。由于 Agentic Real2Sim 测试的最佳后端只有 100 个 DROID 事件中的 48 个成功完成回放,因此还应按重建质量分层分析结果;否则,模拟器误差可能会被误认为是模型学到的世界效应。