面向接触感知的机器人策略控制

做精细操作的机器人策略团队应该给动作解码器加上一条几何路径，并在语义识别已经不错但控制会失败的任务上测试它：透明瓶、环形零件、紧配合插入、稳定释放，以及依赖接触的对齐。

GeoAlign 给出了一种具体实现方式。它先在机器人 RGB-D 数据上对 Depth Anything V2-Small 分支做后训练，在执行时丢弃深度头，改用从 RGB 提取的几何特征。机器人状态会生成查询槽，从特征网格里选出局部几何信息，然后用这些紧凑的几何 token 作为条件输入给 flow-matching 动作解码器。这样，执行时只需要 RGB、语言和本体感觉输入，但动作头仍然能拿到局部形状线索。

可行的低成本验证方式是挑一组几何敏感物体任务。GeoAlign 在 8 个真实 ALOHA 任务上的平均成功率是 78.8%，同样设置下 RGB-only 基线是 65.0%；透明瓶成功率从 35.0% 提高到 75.0%，胶带卷插入从 40.0% 提高到 65.0%。GeoSem-WAM 在世界动作模型上也给出同样方向的结果：训练时使用未来几何和语义监督，部署时去掉稠密头，真实 Franka 成功率从 Fast-WAM 的 88.9% 提高到 95.4%。

在冻结的 VLA 策略用于新工作区之前，可以先加一个短的适应步骤。机器人在目标环境里收集交互数据，保持策略骨干不变，只用一个自监督的状态对齐损失来更新学习到的 latent prompt token。这个损失预测末端执行器位置和夹爪状态。

TTT-VLA 是最先可以照着做的具体案例。它在训练时把 latent prompt 加入策略条件输入，然后在测试时用当前环境的数据去适配这个 prompt。在 SimplerEnv 的 WidowX 单本体任务上，π0.5 的平均成功率从 51.1% 提高到 63.5%，加入状态对齐的 latent prompt 后提高到 67.4%，再经过测试时 prompt 优化后仍是 67.4%。这个方法在 Google Robot 的视觉匹配上也把成功率从 67.5% 提高到 72.4%。

这个方案最适合那些已经信任基础策略，但在相机、光照、物体摆放或本体变化后会失效的团队。论文里报告的算力开销较高，列出的实验需要 8 张 NVIDIA H100 GPU 上 15 到 30 分钟，所以实际上的第一步检查应该是离线回放或仿真实验，测一测只更新 prompt 能不能修正少量重复出现的决策错误，同时不改策略权重。

对一串操作技能做微调的 VLA 策略团队，应该按子技能阶段存储回放数据，而不只是按轨迹或任务存。实际问题很直接：像抓取这种短暂但接触密集的阶段，如果回放帧按统一比例抽样，得到的样本会太少，尽管这些帧决定整项任务能不能成功。

PHASER 会把轨迹切成接近、抓取、搬运这类阶段，给每个阶段分配相同的帧预算，并把回放导向那些很可能和当前阶段冲突的旧阶段。这个路由会用语言相似度、视觉相似度和动作差异来打分，分数只在任务切换时计算一次。Auto-PC 可以通过动作信号的变点检测，再加上 VLM 语义验证，提出阶段边界，从而减少人工标注的需求。

最先可以做的实现，是在现有微调流水线外面改一个缓冲区：把示范切成阶段，每个阶段预留相同内存，然后在一个顺序 LIBERO 风格套件上和统一经验回放比较。PHASER 在 OpenVLA-OFT-7B 上的 LIBERO-Long 平均成功率是 85.8%，标准经验回放是 54.6%。同一篇论文还报告了在 QwenGR00T-3B 和 QwenOFT-3B 上的大幅提升，所以在改策略架构之前，先测试缓冲区设计是值得的。