Geometry Checks for Robot Training

操作团队应在 VLA 策略测试中增加一个接触区域评估切片。适合的测试用例是那些 3D 误差很小也会改变结果的任务：用把手挂杯子、递交、按压工具、把物体穿过开口放入，以及在障碍物附近移动。评估应记录成功率、碰撞、抓取失败、接触点误差、末端执行器间隙，以及模型是否关注了控制动作的物体区域。

STARRY 提供了一个可以直接参考和测试的设计。它预测未来深度和末端执行器位置，将预测深度反投影到 3D，计算 token 到预测末端执行器的距离，并用这些距离给 action-to-video 注意力加权。论文报告，在 50 个 RoboTwin 2.0 双臂任务上，clean 平均成功率为 93.82%，randomized 平均成功率为 93.30%；在真实 ARX R5 双臂实验中，使用每个任务 50 个示范和每种方法 20 次评估 rollout，平均成功率为 70.8%。它带来的最大价值是失败分析：当策略漏掉把手或在开口附近发生碰撞时，团队可以先检查预测深度、末端执行器轨迹和注意力权重，再继续采集更多示范。

把视频扩散模型改造成机器人控制模型的团队，应做一个让动作解码早于视频的延迟测试。测试很简单：训练或微调一个同时预测未来 RGB-D 帧、机器人状态和一段未来动作的模型，然后在不同的动作和视频去噪预算下比较控制延迟和任务成功率。通过标准很实用，不是看图效果：机器人必须足够快地输出动作，才能做闭环控制，同时深度和视频预测还要足够好，能用于调试和规划。

X-WAM 是一个可参考的实现。它在多视角机器人数据上微调 Wan2.2-TI2V-5B，预测 8 帧未来 RGB 图像、8 个未来状态和 32 个未来动作，并且在不把 token 序列翻倍的情况下增加了一个深度分支。它的 Asynchronous Noise Sampling 让视频和动作的噪声水平从耦合分布中采样，这样推理时动作可以用更少的去噪步数。论文报告的结果包括：RoboCasa 的 24 个任务上平均成功率 79.2%，RoboTwin 2.0 Randomized 上 90.7%。实验室即使不做同等规模，也可以复现最相关的部分：在降低动作去噪预算时，测量每个动作的毫秒数、成功率和几何预测质量。

使用生成 3D 资产的仿真团队，应在资产进入机器人训练流程前加一道导入检查。这个检查应拒绝只有形状和纹理的对象。可用的生成资产需要有效的网格几何、碰撞几何、关节定义、关节限位、质量、摩擦、相关的材料行为，以及导出为 URDF、MJCF 或 USD 等格式。检查流程应在目标模拟器中加载资产，执行其关节，在物理环境下让它下落或被推，并确认这个文件能在团队的训练任务中复用。

这篇 3D 生成综述把采用障碍说得很清楚：视觉质量并不保证物理有效性。它把 simulation readiness 定义为几何、物理参数化、运动学可执行性和模拟器兼容性，并把生成内容接到 MuJoCo、Isaac Sim、Habitat、AI2-THOR、OmniGibson、PyBullet、ManiSkill3、Genesis，以及 URDF、MJCF 和 USD 这些引擎与格式上。这样一来，资产生成就成了机器人团队里一个可以测试的流程问题。一个小型校验脚本加一个模拟器冒烟测试，就能在策略训练消耗坏场景之前拦下很多失败。