来源笔记
HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation
Humanoid RoboticsVision Language ActionWhole Body ManipulationCross Embodiment LearningMixture Of Experts
摘要
HEX 是一个面向全尺寸人形机器人的视觉-语言-动作系统，目标是全身操作，也就是让手臂、手、腿、腰部和保持平衡协同工作。它的核心主张是：把人形机器人的状态建模成共享的身体部位格式，并预测短期本体感觉未来状态，可以提升协调性、泛化能力和真实机器人上的任务成功率。
问题
- 现有面向机器人的 VLA 策略常常直接预测高维动作，却没有建模身体各部分如何通过姿态和平衡相互依赖，这会削弱人形机器人的全身控制。
- 全身操作需要同时处理移动、操作和动态稳定性，尤其是在快速反应和长时程任务中。
- 跨具身训练很难，因为不同的人形机器人有不同的关节、传感器和状态维度。
方法
- HEX 使用 humanoid-aligned universal state representation：它把每台机器人的本体感觉映射到固定的规范身体部位槽位中，比如手臂、手、腿、头部和腰部；对缺失部位则用学习得到的 token。
- 它加入了 Unified Proprioceptive Predictor (UPP)，输入这些部位 token，预测短时程未来身体状态。UPP 使用共享 Transformer 和具备形态感知的 mixture-of-experts 层，让不同身体部位和不同机器人具身可以路由到不同专家。
- 对于视觉上下文，HEX 存储紧凑的 history query features，来自过去帧，而不是重复编码长图像序列。论文在实验中把视觉历史窗口设为 2 帧。
- 它的 Action Expert 通过双重条件生成动作：一条分支关注视觉-语言特征，另一条分支关注预测的未来本体感觉特征，学习到的门控决定状态预测对动作的影响程度。
- 训练结合了 flow-matching action objective 和辅助的 future-state prediction loss；完整系统以分层方式运行，上层是 VLA 策略，下层是用于保持平衡执行的 RL 全身控制器。
结果
- 论文声称，在人形机器人全身操作任务上，HEX 在真实世界表现达到 state-of-the-art，评价指标是 task success rate 和 generalization，对比对象包括 ACT, SwitchVLA, GR00T N1.5, and 。
- 它在 fast-reaction 和 long-horizon 任务上的提升最大，这些任务最依赖时间一致性和全身协同。
- 实验在两个真实人形平台上进行：Tienkung 2.0 和 Tienkung 3.0。
- 这段摘要 没有给出数值表格或确切的成功率数值，所以仅凭提供的文本无法核实它相对基线的具体提升幅度。
- 论文还声称，借助共享的身体部位状态编码和基于 MoE 的本体感觉预测，跨具身泛化能力有所提升，但这段摘要没有提供定量迁移指标。