机器人团队现在可以在硬件部署前,为 VLA 策略增加更具体的门槛:对操作场景做自适应失败搜索、在成功抓取后测试语义目标选择、用预测封装层处理移动物体,以及为多相机和多具身设置做 3D 坐标对齐。真正的压力来自普通任务成功率掩盖的失败:语义选择错误、移动物体上的动作滞后,以及会破坏 2D 策略的相机或姿态变化。

3 个想法

Semantic target-choice and adaptive failure tests for VLA release gates

VLA 评估在机器人单元批准策略前应增加两项检查:模型在能够抓取之后是否选择语义上正确的目标,以及哪些物体、姿态和指令条件会带来成组失败。

RoboSemanticBench 说明了为什么单一任务成功率不足以作为发布门槛。它把数学、常识和事实问题改成抓取与放置任务,从而把抓取和目标选择分开。每个模型和套件都做了 500 个仿真回合,pi0.5 的平均任务成功率最高,为 21.8%,但它的归一化语义落地分数只有 5.2%。有些模型的归一化分数是负的,这表示它们在成功抓取后的目标选择,甚至比随机选择基线还差。

FATE-VLA 给评估团队提供了第二个直接工具:自适应场景生成。它运行候选操作场景,记录成功或失败,再用代理模型和多样性评分选择下一次测试。在 GR00T-N1.6 上,最佳变体把发现失败率提高到 65.3%,而随机测试只有 35.6%。在 EO-1 上,它达到 60.0%,随机测试是 36.7%。

实际落地时,可以把每个新的 VLA 策略候选都变成一次小规模失败发现活动。先选一个与部署相关的任务族,再变化物体身份、物体姿态、工作区位置和指令措辞,并把语义目标准确率和抓取成功率分开报告。输出应当是一张运维人员和模型训练人员都能用的失败地图,而不是一个单独的平均成功率。

Latent future-token wrappers for conveyor and interception tasks

运行冻结 VLA 策略处理移动物体任务的机器人团队,可以先测试一个预测封装层,再重新训练基础模型。目标工作流很窄,也很具体:传送带、滚动物体、抛接、交接,以及其他在相机到动作的延迟期间物体会移动的任务。

AHEAD 在冻结的 7B OpenVLA 外围加了一个 490 万参数的潜在世界模型。它用 RAFT 光流估计图块速度和加速度,选择与任务相关或正在移动的图块 token,预测未来的 VLA 特征 token,并在不确定性超过阈值时停止展开。基础 VLA 的视觉编码器、语言编码器和动作解码器都保持冻结。

这些收益正好出现在部署团队最在意延迟的地方。在 20 个动态仿真场景中,AHEAD 报告 79% 到 97% 的成功率,而最强基线是 31% 到 58%。在最高 40 cm/s 的传送带速度扫描中,AHEAD 维持在 95.4% 到 97.6% 的成功率,而 DreamVLA 在 40 cm/s 时降到 47.2%。在一台实体 UFactory xArm 7 上,AHEAD 在抛接任务中做到 19/30,而文中列出的所有基线都是 0/30。

一个低成本的首轮测试是,把现有的 OpenVLA 风格策略包到一个移动物体工位上,再比较不同物体速度下的成功率。通过条件应当包括延迟、不确定性触发的预测跨度,以及最快运行速度下的成功率,因为只在低速时有用的预测器,解决不了产线节拍问题。

3D coordinate alignment for mixed-camera and cross-embodiment VLA training

在不同相机、机器人坐标系和数据集上训练策略的团队,应当把 3D 对齐当成数据流水线的一部分。具体做法是先把像素、本体感觉和动作映射到一个共享的 3D 坐标系里,再在相机和基座姿态变化下测试策略。

Dexterity-BEV 给出了一套直接方法。它在有深度信息时,用相机标定和深度把每个图像像素转成 3D 点,构建像素对齐的顶点图,把多视角点云投影成 BEV 图像,并把动作表示在一个规范坐标系里,比如机器人基座坐标系或桌面工作区中心。对于只有 RGB 的相机,它使用采样的深度假设作为 3D 位置特征。

当相机和姿态条件变化时,性能差距会显现出来。在官方 LIBERO 上,Dex-BEV 接近 X-VLA。在相机视角和场景或机器人基座姿态变化后的 modified LIBERO 上,Dex-BEV 的平均成功率达到 89.9%,而 X-VLA 和 2D 消融都被报告在 10% 以下。在可见的真实世界片段里,它在 Agilex Fold Mailer Box 上完成了 23/30 次,而 X-VLA 是 17/30,π₀ 是 13/30。

Lie Diffuser Actor 在动作层面指出了同样的运行问题。它把扩散式位姿生成保持在 SE(3) 上,在切空间里加噪声,再用指数映射把样本映回去,这样每一步去噪都仍然是有效的刚体变换。在 OpenVLA-OFT 验证中,SE(3) 分数匹配把 LIBERO Long 成功率从 92.20% 提高到 94.13%,同时减少了旋转正交性违例。

一个有用的试点,是拿一个混合相机操作数据集,把观测和动作都转换到共享的机器人基座或桌面坐标系里,然后在留出的相机姿态下重新运行策略。指标应当同时包括任务成功率和无效姿态统计,因为同一个策略在一种相机设置下可能得分不错,但在另一种坐标系下会产生不稳定的旋转。