来源笔记
ProGAL-VLA: Grounded Alignment through Prospective Reasoning in Vision-Language-Action Models
Vision Language ActionRobot GroundingAmbiguity DetectionGeneralist Robot Policy3d Scene Representation
摘要
ProGAL-VLA 是一种视觉-语言-动作模型，它要求机器人在行动前先验证指令指向哪个三维场景实体。论文针对的是一种常见的 VLA 失败模式：策略忽略语言，只沿用视觉捷径。
问题
- 现有 VLA 系统常出现语言忽视：即使改了指令，行为变化也不够大，因为策略依赖视觉先验，而不是指令语义。
- 这会影响机器人操作，因为机器人可能拿错物体，无法执行空间或关系指令，或者在场景或相机变化时变得不稳定。
- 现有的多模态融合不会检查目标符号是否真的对应当前 3D 场景中的一个可执行实体。
方法
- ProGAL-VLA 把系统分成一个慢速规划器和一个快速控制器。规划器把指令和观测映射为一个简短的符号子目标，例如
grasp_red_block。 - 一个Grounded State Module (GSM) 构建以实体为中心的 3D 场景表示，包含跟踪到的物体和短期记忆，让模型围绕物体而不是原始图像块进行推理。
- 一个 State Alignment Cross Attention (SACA) 模块把符号子目标与 3D 实体匹配，并输出一个已验证的目标嵌入
g_t。动作策略接收的是这个已验证嵌入，而不是原始语言。 - 训练时加入 Grounding Alignment Contrastive (GAC) 损失，这是一个 InfoNCE 风格目标，它把符号目标拉向正确的实体嵌入，并把它推离错误实体。
- 模型用实体上的注意力熵作为歧义分数。熵高表示指令没有清楚指向某一个物体，因此模型可以拒绝执行并请求澄清。
结果
- 在 LIBERO-Plus 鲁棒性评测中，ProGAL-VLA 的 总分为 85.5，而 OpenVLA-OFT+ 为 79.6，基础 OpenVLA 为 17.3。
- 在 LIBERO-Plus 的机器人扰动条件下，性能从 30.3 提升到 71.5。论文还报告了其他类别分数：与 OpenVLA-OFT+ 相比，相机为 93.2 对 92.8，语言为 93.6 对 85.8，布局为 86.7 对 77.6。
- 论文称，在简单、空间和关系指令上，语言忽视减少了 3 倍到 4 倍。
- 在 N=8 个候选下，实体检索的 Recall@1 从 0.41 提升到 0.71。
- 在 Custom Ambiguity Benchmark 上，歧义检测的 AUROC 为 0.81，对比为 0.52，AUPR 为 0.79。
- 对于含糊输入，澄清行为从 0.09 提升到 0.81，而对清晰指令的成功率没有下降，这是论文的结果。