Recoleta
GitHub
来源笔记

HiVLA: A Visual-Grounded-Centric Hierarchical Embodied Manipulation System

作者
Tianshuo Yang, Guanyu Chen, Yutian Chen, Zhixuan Liang, Yitian Liu, Zanxin Chen, et al.
来源
arXiv
发布日期
栏目
Embodied AI
Vision Language ActionHierarchical PolicyRobot ManipulationVisual GroundingDiffusion Policy
打开 arXivMarkdown 源文件

摘要

概要

HiVLA 是一个分层机器人操作系统。它让视觉语言模型专注于规划和定位，把电流控制交给单独的扩散策略。论文称，这种拆分避免了端到端微调带来的推理能力下降，并提升了长时序、杂乱场景下的操作表现。

问题

  • 端到端视觉语言动作模型在小规模、领域特定的机器人控制数据上微调时，常会丢失推理能力。
  • 操作任务同时需要语义规划和精确的目标级感知，尤其是在杂乱场景和多步骤任务中。
  • 现有的定位接口要么丢失全局空间上下文，要么丢失局部细节，这会影响精细控制。

方法

  • HiVLA 把系统拆成两部分：高层 VLM 规划器和低层 Diffusion Transformer 动作专家。
  • VLM 规划器接收任务、场景、动作历史和机器人状态，然后输出一个结构化计划，包含子任务指令、技能标签、目标物体和归一化边界框。
  • 该边界框用于从原始 1920x1080 相机画面中裁出一个高分辨率局部图像块，这样控制器就能看到目标物体的细节外观。
  • 动作专家在 DiT 策略中使用条件流匹配，并在每个块里使用级联交叉注意力，按顺序注入三类信号：全局场景特征、带位置信息的局部裁剪特征和子任务语言嵌入。
  • 局部裁剪 token 使用与其在原图中坐标绑定的绝对位置嵌入，因此策略能同时保留物体细节和场景位置。

结果

  • 在 RoboTwin 2.0 基准上，HiVLA 的总体平均成功率达到 83.3%，而 H-RDT 为 70.6%，StarVLA 为 46.4%，pi_0 为 45.6%，pi_0.5 为 44.8%。
  • 论文称，这意味着在 RoboTwin 2.0 上，相比 H-RDT 绝对提升 17.7 个百分点，相比 pi_0 绝对提升 42.7 个百分点。
  • 在困难任务上，HiVLA 的平均成功率为 73.2%，而 H-RDT 为 54.6%，pi_0/pi_0.5/StarVLA 为 36.4%–38.6%。
  • 在容易任务上，HiVLA 的平均成功率为 96.0%，接近不输入技能信息的消融版本 96.5%，并高于 H-RDT 的 90.5%。
  • HiVLA 的示例任务结果包括：Move Stapler 为 60%，H-RDT 为 34%；Stamp Seal 为 76%，H-RDT 为 43%；Stack 3 Blocks 为 37%，H-RDT 为 20%；Click 3 Bells 为 98%，H-RDT 为 88%。
  • 摘要提到实验也包含真实世界评测，但提供的文本里没有给出真实世界的定量结果。

Link