VLA 部署的相机偏移压力测试
机器人团队应在将 VLA 用于原始实验室环境之外之前,加入相机偏移测试。CamVLA 清楚展示了这种失效模式:针对单一相机视角训练的策略在相机发生小幅旋转后,成功率可能大幅下降,因为模型根据相机视角图像预测机器人基座坐标系中的动作,却没有显式估计手眼关系。
实际检查很简单。在训练时的相机位姿下运行同一套操作任务,然后重新安装或轻推相机,使其产生 5°、10° 和 15° 的偏移,再次运行。记录成功率、手眼误差和增加的推理延迟。CamVLA 提供了具体的修正路径:在相机坐标系中预测末端执行器动作,根据一张 RGB 图像估计相机到机器人的 6-DoF 变换,再将动作转换到机器人基座坐标系。
这项改进的价值在于运行可靠性。在真实 Franka 测试中,π0 + CamVLA 在所有测试偏移下的成功率都高于单独使用 π0,几何头在 RTX 4090 上增加的延迟约为 1 ms。对于相机会被碰动、在工作站之间移动或安装在移动设备上的团队,这一开销足够小,可以将测试纳入部署防护措施。
资料来源
- Document 797