Robot Policy Stress Testing

机器人团队在评估用于精细操作的 VLA 策略时，应先加入任务图和阶段指标，再把策略用于对部件敏感的任务。MetaFine 说明了原因：按物体算的抓取分数看起来很高，但按部件算的控制会失败。报告中的最佳策略在部件级约束下，Grasp Part 达到 80%，Press Part 达到 68%，Rotate Along 达到 12%；而常规评估会把精细能力高估多达 70%。

一个实用的发布检查是把每个硬件任务拆成语言理解、空间感知和运动行为三个阶段。对于 peg-in-hole 任务，仪表板应分别显示抓取、对齐、插入和轨迹平滑度。MetaFine 在 peg-in-hole 上的结果显示，五个 VLA 的总体成功率都接近于零，但阶段指标仍能分出不同故障点：OpenVLA-OFT 在 47% 的试验中完成抓取，在 19% 中完成对齐；pi_0.5 的抓取率是 39%，对齐率是 0%。

这对模型选择和修复都很有用。MetaFine 报告称，把 pi_0.5 的 SigLIP 编码器换成多尺度交叉注意力编码器，同时冻结 VLM 主干和动作头，能把抓取成功率从 39% 提高到 67%，把对齐率从 0% 提高到 32%。这让评估团队可以直接从失败阶段定位到组件级修复。

VLA 部署团队应把延迟作为仿真和硬件预检运行中的受控测试变量。DEFLECT 说明了异步推理会带来一种明确的运行时故障：机器人继续执行较旧的动作块，而模型在计算下一个动作块，所以新动作块可能基于过时的视觉信息和过时的场景状态。

这种故障可以通过延迟扫测来测量。在 Kinetix 上，当推理延迟达到 7 个控制步时，朴素异步滚动的成功率会从 89% 降到 1% 以下。DEFLECT 用离线的新旧观测动作对训练，在 d=0-7 的延迟范围上报告 83.3% 的平均成功率，在训练中未见过的高延迟 d=5-7 上成功率为 73.5%。同一篇论文还报告了真实机器人在 Conveyor-II 上的提升，其中 DEFLECT 的全任务成功率为 90.0%，VLASH 为 83.3%，pi_0.5 为 46.7%。

一个低成本的采用测试是重放现有轨迹，注入 d=0-7 的延迟，记录每个已执行动作块所用视觉观测的时间差，并按延迟区间跟踪成功率。使用 flow-matching VLA 策略的团队随后可以测试一种 DEFLECT 风格的离线后训练步骤，而不改动运行时推理路径。

做空中视觉语言导航模型的团队，可以在投入大规模真实飞行采集之前先测试生成数据管线。FlyMirage 描述了一个具体流程：用 LLM 设计场景，生成 3D Gaussian Splatting 环境，渲染 RGB 和深度视图，运行开放词汇目标检测生成 3D 框，选择安全导航目标，再用 EGO-Planner 规划动力学可行的 UAV 轨迹。

报告中的规模已经足够做试点数据集。FlyMirage 包含 500 个生成的 3DGS 场景和约 50,000 条导航轨迹，动作空间为 6-DoF，并考虑动力学约束。论文报告了超过 5,000 个独特物体标签，典型场景中有 60 到 100 个物体实例，单个场景成本约 2 美元，渲染在 NVIDIA RTX 4070 上完成。

一个有用的初步检查是：在目标领域生成 20 到 50 个场景，距离筛选后检查物体框质量，并用论文中相同的安全和行进距离约束运行规划器。如果模型在生成场景上训练效果变好，但在小规模真实飞行验证集上仍然失败，问题更可能出在视觉真实性、标注质量或轨迹动力学，而不是单纯的数据集规模。