Physical-validation gates for UMI demonstrations before VLA training
使用 Universal Manipulation Interface 数据的团队可以加一个摄取门,拒绝或降低那些有缺失片段、不连续、自碰撞风险,或在目标机器人上执行精度差的轨迹权重。VISTA 给出了这个流程的具体做法:它在训练前先验证 UMI 轨迹,并把动作数据和 UMI-VQA 配在一起,后者是一个面向腕部鱼眼视角的 800 万样本数据集。对正在扩大手持示范采集规模的团队来说,问题很直接:原始 UMI 数据里可能包含机器人无法执行的动作,而鱼眼腕部相机会让在标准图像上学到的 VLM 特征失真。
一个成本较低的落地测试,是把验证门跑在一批留出的 UMI 轨迹上,分别用保留和剔除后的数据训练两个小策略,然后在几个会考验可达范围和腕部相机遮挡的任务上比较真实执行结果。同一套流程还应记录哪些失败来自视觉定位,哪些来自运动学,因为这两类问题需要不同修复方式。