来源笔记
RoboFlow4D: A Lightweight Flow World Model Toward Real-Time Flow-Guided Robotic Manipulation
Robot World ModelFlow Guided ManipulationVision Language Action3d Motion PlanningReal Time Robot Control
摘要
RoboFlow4D 从 RGB 图像和文本预测多帧 3D 夹爪流，然后用这些流在闭环中指导机器人策略。它通过一个轻量级扩散 Transformer 模型取代多模型 3D 流管线，目标是实现实时操作。
问题
- 2D 流规划器在图像空间中工作，会遗漏无碰撞操作所需的深度和几何信息。
- 近期的 3D 流规划器常把视频生成、深度、定位和点跟踪模型串联起来，这会增加延迟和内存开销。
- 真实机器人需要低延迟规划，并且任务过程中能根据新观测及时更新。
方法
- RoboFlow4D 以最近的 RGB 帧、一个可选的 2D 查询点集合和一条语言指令作为输入。
- DINOv2 和 SigLIP 分别编码视觉和文本；3D Perceiver 通过与 VGGT 特征对齐来学习具备 3D 感知的特征。
- 一个名为 FlowDiT 的扩散 Transformer 对未来 3D 轨迹进行去噪，输出形状为
keypoints × frames × 3D position的多帧流。 - 动作策略同时接收普通状态输入和编码后的流规划，因此可以跟踪预测的运动。
- 控制以慢快循环运行：RoboFlow4D 规划较低频率的原子任务轨迹，而策略执行较高频率的动作块。
结果
- 在 LIBERO 上使用 Diffusion Policy 时，平均成功率从 78.9% 提高到 85.1%，提升 6.2 个百分点；各子集提升分别为 Spatial +8.2、Object +1.7、Goal +6.8、Long +8.0。
- 在 LIBERO 上使用 DiT 策略时，平均成功率从 83.7% 提高到 87.7%，提升 4.0 个百分点；各子集提升分别为 Spatial +6.0、Object +0.7、Goal +3.0、Long +6.4。
- 论文报告在 ManiSkill3 上平均提升 11.0 个百分点，并展示了在可见的 PushCube、PickCube 和 StackCube 表格行上，DP 的平均成功率从 12.3% 提高到 22.0%。
- 根据论文摘要，真实世界任务提升了 5 到 20 个百分点。
- 作者声称规划延迟低于 1 秒，比模块化流管线快 120 倍，模型规模比其他流模型小 24% 以上。