机器人学习中的运行时验证

在已经能完成简单抓取放置、但会被措辞变化、杂乱场景或扰动打乱的 VLA 系统里，在指令解析和控制之间加一个明确的 grounding 门控。ProGAL-VLA 的结果足够具体，可以把这个做成一个产品模块：先把指令映射成符号化子目标，再把这个子目标和跟踪到的 3D 实体匹配，只把已验证的目标嵌入传给动作策略。实际价值不只是更高的基准分数。它还能让机器人在看不出指令指向哪个物体时停下来，先询问澄清，再去执行，避免抓错。ProGAL-VLA 报告在 LIBERO-Plus 上的鲁棒性是 85.5，对比 OpenVLA-OFT+ 的 79.6；在机器人扰动下，性能从 30.3 提升到 71.5；歧义检测的 AUROC 是 0.81，澄清行为从 0.09 提升到 0.81。RoboLab 说明了这种改动为什么有必要：在留出的语义视觉 grounding 上，π0.5 只有 21.5%，而同一策略在同一场景里，改写措辞就可能把成功率从 80% 拉到 0%。一个低成本的近期测试是：找一条已有的操作流程，里面有两三个相似候选物体，加上已验证实体检查和放弃执行路径，再测错抓率、澄清率，以及在相机或场景扰动下的恢复情况。

构建一个合成机器人数据管线，把可回放的动作轨迹和视频一起生成出来，然后在进入训练前拒绝失败回合。现在有两篇论文把这件事证明成了一个可执行流程，而不是一个想法。VAG 把视频和动作放在同一个循环里生成，在 LIBERO 上报告动作生成成功率 79%，平均回放成功率 62%，并且在合成预训练后让下游 VLA 任务从 35% 提升到 55%。V-CAGE 则处理失败清洗这一端：它构建贴合任务的场景，执行操作计划，用视觉检查拒绝有问题的子任务，并且在大幅压缩后仍保留训练价值。它报告的结果里，π0.5 在合成数据训练后，从 0% zero-shot 提升到四个任务上的 54%、54%、100% 和 25%；在 ALOHA-AgileX 上，加入 250 条仿真轨迹后，Sim2Real 成功率从 10 个真实示教下的 20% 提升到 55%。这里真正缺的是一个给无法大规模采集遥操作数据、但有明确任务族要扩展的团队用的数据引擎。关键要求是可执行监督：每个样本都要有能回放的动作，并且有一套 pass-fail 检查去捕捉静默的视觉任务失败。第一次验证可以收得很窄：一个任务族、一个机器人本体，再比较原始生成回合、视觉验证回合和一个小规模真实数据基线。

在把通用机器人策略部署到新的客户任务之前，先做一次留出式仿真验收测试。RoboLab 说明，当前策略即使在熟悉基准上看起来还行，在大多数未见任务上仍然会失败：π0.5 的总体成功率只有 23.3%，语义视觉 grounding 只有 21.5%，而目标物体数量只要增加一点，性能就可能从 70% 掉到 20%。同一个基准还记录了抓错物体、掉落、碰撞、动作质量和措辞敏感性，这更接近机器人团队实际排查问题的方式。对应用团队来说，这支持一个明确的流程变化：每个新版本的策略都应该先通过一组固定的留出场景变化、指令改写和杂乱程度测试，再考虑扩展到真实机器人。对做灵巧手的团队，POMDAR 也指向同样的需求，也就是在真实和仿真评测之间使用共享任务逻辑和吞吐量评分，不过这段摘录里，设计信息比比较性能结果更完整。一个实际的第一步，是围绕 RoboLab 最清楚暴露出来的失败模式搭一个小型内部测试集：措辞改写敏感性、多物体杂乱，以及语义目标混淆。