来源笔记
ST- π π : Structured SpatioTemporal VLA for Robotic Manipulation
Vision Language ActionRobotic ManipulationSpatiotemporal ReasoningLong Horizon ControlHierarchical Policy
摘要
ST- 是一个用于机器人操作的视觉-语言-动作模型，它把明确的时空结构加入任务规划和动作生成中。它面向长时程、多阶段操作，这类任务里标准 VLA 模型常会漂移，或者丢失子任务边界。
问题
- 现有 VLA 和 4D-VLA 系统通常从融合后的观测中以隐式方式预测动作，这让长序列子任务很难清晰分开，也难以稳定执行。
- 精细操作同时需要两件事：规划层面要有明确的子任务边界，子任务内部又要有稳定的逐步控制。
- 这对装配和家务任务很重要，因为错误会在各阶段之间累积，后续动作又依赖前面动作在正确的位置和顺序完成。
方法
- 这个模型有两部分：ST-VLM 用于 chunk 级规划，ST-AE 用于 step 级控制。
- ST-VLM 从图像序列、几何特征和时间戳构建 4D 表示，然后预测一串 chunk 级动作提示。每个提示都包含一个语义意图、一个空间目标和一个子任务的时间持续时间。
- 规划模块在这些提示之间使用因果注意力，让后续子任务依赖前面的子任务，从而把长任务拆成一个明确的有序分解。
- ST-AE 一次接收一个 chunk 级提示，并用两个生成器产生低层动作步骤：一个空间生成器负责轨迹形状，一个时间生成器负责步骤顺序和一致性。
- 动作生成使用 flow matching，并通过随时间变化的融合，在去噪早期更偏向空间形状，后期更偏向时间细化。
结果
- 论文引入了 STAR，这是一个在 Franka Research 3 机器人上的真实世界数据集，包含 30 个操作任务、每个任务 50 次示范，以及大约 30 万步交互。它包含子任务描述、目标位置和执行时长。
- 在给出的基准表中，4D-VLA 是列出的最强基线，平均成功率为 88.6%。ST- 声称相较于之前的 VLA 基线有稳定提升，但提供的摘要片段 没有 给出完整的 ST- 结果行，所以这里看不到它的准确平均提升。
- 可见的基线数字说明长时程设置为什么难：OpenVLA 在 Long 套件上的成功率是 53.7%，Octo 是 51.1%，SpatialVLA 是 55.5%，TraceVLA 是 54.1%，而 4D-VLA 达到 79.1%。
- 摘要片段还报告了若干基线的完成时间。平均完成时间方面，OpenVLA 是 8.0s，Octo 是 7.0s，SpatialVLA 是 6.6s。提供的文本里没有显示 ST- 的完成时间数字。
- 这个方法的明确结论是：它把 chunk 级的显式子任务规划和双生成器的 step 级动作细化结合起来，而不是只依赖隐式时空表示，从而提升了长时程操作能力。