来源笔记
StreamingVLA: Streaming Vision-Language-Action Model with Action Flow Matching and Adaptive Early Observation
Vision Language ActionRobot Foundation ModelsStreaming InferenceAction Flow MatchingEarly Observation
摘要
StreamingVLA 通过让观测、动作生成和执行并行运行，而不是等待每个阶段完成，来加快视觉-语言-动作推理。它面向边缘设备和真实机器人部署，这类场景里 VLA 延迟会让动作变慢、停顿增多。
问题
- 标准 VLA 流水线，例如 ，会按顺序执行观测、动作生成和执行，所以机器人在每次动作块之间都要等待。
- 这会带来较高的单次动作延迟和较大的停顿间隙 ，让执行过程出现卡顿。
- 对资源受限硬件上的具身系统来说，这个问题很重要，因为如果控制太慢或太不平滑，再强的策略也很难在真实任务里发挥作用。
方法
- 论文提出 StreamingVLA，一种分阶段的异步执行方案，把动作生成与执行重叠起来，也把观测与持续执行重叠起来。
- 为了重叠生成和执行，作者用 action flow matching (AFM) 取代按块扩散式动作预测。AFM 预测的是沿轨迹变化的动作流，而不是对动作块逐个去噪。通俗地说，模型直接输出下一小步动作，机器人就能立刻执行，而不用等整块动作都生成完。
- 为了让 AFM 能用于更大的 VLA 系统，作者加入了扩展的动作空间状态表示，并修改归一化方式，使状态在累积动作更新时仍保持可加性。
- 为了重叠观测和执行，作者加入 adaptive early observation (AEO)。一个轻量级 transformer 先预测剩余动作会把下一次观测嵌入改变量带到什么程度；只有当这些被跳过的动作显著性较低时，系统才提前观测。
- 运行时分析把重叠写成两个项， 和 ，说明阶段重叠可以同时降低单次动作时间和停顿间隙，而且不需要缩小基础模型。
结果
- 在 LIBERO 上，以 作为基础模型时，基线在 下的 平均成功率为 96.9%，单次动作时间为 74.5 ms，停顿间隙为 232.3 ms。
- StreamingVLA (AFM) 保持 97.1% 平均成功率，同时把单次动作时间降到 33.7 ms（2.21x 加速），把停顿间隙降到 76.1 ms（缩短 3.05x）。
- StreamingVLA (AFM + AEO) 给出了最均衡的流式结果：94.9% 平均成功率、31.625 ms 的单次动作时间（相比基线 2.36x 加速），以及 36.0 ms 的停顿间隙（缩短 6.45x）。
- 摘要报告，在不牺牲性能的情况下，整体实现了 2.4x 延迟加速 和 6.5x 更低的执行停顿。
- 与 LIBERO 上之前的快速执行基线相比，VLASH 的单次动作时间为 40.6 ms，平均成功率 97.1%；StreamingVLA (AFM) 更快，单次动作时间 33.7 ms，平均成功率同样是 97.1%；加入 AEO 后延迟进一步下降，但成功率会有一定回落。
- 朴素的提前观测会损害性能：AFM+NEO 的单次动作时间为 29.3 ms，停顿间隙为 23.0 ms，但平均成功率降到 86.2%。带显著性感知的 AEO 变体把这部分损失补回了大半，把平均成功率提高到 94.9%。