研究想法

面向机器人世界模型的反事实与轨迹测试

日 · 2026-07-21 · Embodied AI

可回放的成对事件副本能够提供录制机器人视频所缺少的反事实监督,而空间轨迹可以将整段事件回放失败转化为可修复的对齐、接触和动力学错误。双向视觉动作模型还需要循环测试,以验证推断出的机器人运动是否确实产生了所要求的物体结果。

3 个想法

通过反事实模拟器重放分离被动物理动态与机器人作用

机器人学习团队可以利用成功的 real-to-sim 转换,从同一初始状态创建成对转移:重放录制的动作,将其替换为零动作,并扰动动作的时序或方向。Agentic Real2Sim 已经能够将几何结构、物体状态、物理参数和轨迹重建为可运行的事件;DWM 说明了这些反事实为何重要:在模拟基准上,将持久性的世界效应与动作驱动的变化分开进行训练后,规划成功率平均提高了 13.1 个百分点。这种结合提供了一条实用路径,可以在真实交互记录上检验这种分解,而无需在实体机器人上采集匹配的反事实数据。

成本最低的检查方式,是在零动作和扰动动作下重新运行成功重建的 DROID 事件,使用和不使用成对监督分别训练,并在包含滑动、反弹或接触后运动的留出记录上进行评估。由于 Agentic Real2Sim 测试的最佳后端只有 100 个 DROID 事件中的 48 个成功完成回放,因此还应按重建质量分层分析结果;否则,模拟器误差可能会被误认为是模型学到的世界效应。

面向自动 real-to-sim 修复的轨迹级回放诊断

real-to-sim 工程师应在每个事件的回放记录中加入物体掩码、夹爪轨迹、接触点和放置目标,然后修复第一个结构化不匹配,而不是主要依赖端到端回放分数。Agentic Real2Sim 通过一个模拟器在环工作流暴露感知、对齐、场景组装和物理过程中的失败。RoboInter1.5 表明,这些中间信号可以大规模标注;Masked Visual Actions 则表明,像素空间中的实体轨迹可以跨不同机器人形态为场景响应预测提供条件。结合来看,这些方法支持一种诊断机制:在再次尝试完整回放之前,区分机器人对齐错误、接触事件错误和物体轨迹错误。

低成本的评估可以复用 Agentic Real2Sim 的 DROID-100 数据集:测量逐帧机器人掩码、物体跟踪、接触时刻和最终放置误差,然后检验这些残差能否预测现有的回放判定,并帮助自动修复步骤选择需要调整的参数类别。有效结果不应只是更高的视觉分数,还应包括更少的修复迭代失败和更好的物理回放。

视觉机器人动作接口的正向—逆向循环测试

基准维护者可以将视觉动作接口作为闭环进行测试:根据期望的物体轨迹推断机器人运动,将推断出的运动反馈给正向模型,然后评估预测物体是否以正确的接触和放置状态达到要求的目标状态。Masked Visual Actions 在两个方向上使用同一个检查点,但仅凭图像保真度无法说明推断出的动作与预测结果是否一致。RoboInter1.5 提供了在不同操作事件和机械臂类型上评估这种一致性所需的物体、夹爪、接触、可供性和放置表示。

第一项测试可以在留出片段中遮蔽机器人运动,根据观测到的物体路径推断机器人运动,让推断出的路径进行正向运行,并将终点、接触时序、放置有效性和常规视频指标与录制结果进行比较。按机器人形态报告循环误差,可以揭示视觉共享接口是否真正适应不同机器人形态,还是只能生成外观上合理的运动。