Recoleta Item Note
HumDex:Humanoid Dexterous Manipulation Made Easy
HumDex提出了一个便携式的人形全身灵巧操作遥操作系统，并结合人类数据预训练与机器人数据微调来降低高质量示教采集成本。核心目标是在保持高精度的同时摆脱视觉遮挡和固定基础设施限制，从而提升复杂全身操作任务的数据采集效率与策略泛化。
humanoid-teleoperationdexterous-manipulationimu-motion-trackingimitation-learninghuman-to-robot-transfer
Summary
HumDex提出了一个便携式的人形全身灵巧操作遥操作系统，并结合人类数据预训练与机器人数据微调来降低高质量示教采集成本。核心目标是在保持高精度的同时摆脱视觉遮挡和固定基础设施限制，从而提升复杂全身操作任务的数据采集效率与策略泛化。
Problem
- 人形机器人全身灵巧操作高度依赖高质量示教，但现有遥操作方案要么不便携，要么受遮挡影响严重，难以高效采集复杂任务数据。
- 视觉/VR方案要求手始终处于视野内，导致工具使用、双手协同、长时程任务等真实场景容易跟踪失败或抖动。
- 人类动作数据更容易采集，但人与人形机器人的形态差异大，直接用人类数据训练会造成执行不准和操作失败。
Approach
- 使用IMU-based全身追踪替代依赖摄像头的方案，通过15个轻量追踪器进行无视线遮挡的全身动作捕捉，并结合pelvis-centric retargeting减少IMU全局漂移影响。
- 将身体与手部分开控制：身体沿用现有低层运动跟踪控制器，手部则用一个轻量MLP把5个指尖的3D位置直接回归到20-DoF机械手关节角，实现常数时间、无需手工调参的灵巧手重定向。
- 先用离线优化生成配对数据训练手部重定向网络，再在实时遥操作中直接预测手关节，获得更平滑自然的手部动作。
- 提出两阶段模仿学习：第一阶段在多样化人类示教上预训练以学习通用动作先验；第二阶段只用机器人遥操作数据微调，以适配机器人本体并弥合 embodiment gap。
- 对于人类数据中缺失的机器人本体感觉状态，使用前一时刻动作近似代替，从而无需复杂的人机动作空间对齐。
Results
- 在4个双方都可执行的共同任务上，采集60段示教的平均时间从59.8 min降到44.3 min，比视觉基线提升约26%。
- 在共同任务上，遥操作采集成功率从基线的74.6%提升到91.7%；用这些数据训练出的策略平均成功率从57.5%提升到80.0%。
- 在高遮挡、高灵巧度的Scan&Pack任务上，视觉基线0/60次遥操作成功，HumDex达到54/60，即约90%成功率；对应策略成功率为20/30，而基线该任务不可行。
- 分任务看，策略成功率分别达到：Hang Towel 19/30 vs 11/30、Open Door 22/30 vs 10/30、Place Basket 26/30 vs 22/30、Pick Bread 29/30 vs 26/30（HumDex vs baseline）。
- 硬件层面，系统支持10+小时连续运行与50+米连接范围；其自制低成本方案价格可低于**$200**，单节点重量小于20g，连续续航超过20小时。
- 摘要还声称两阶段训练能显著提升对新位置、新物体、新背景的泛化，并且无需在这些设置下采集机器人数据；但在给定摘录中，除上述表格外未提供更完整的泛化数值表。
Link
Built with Recoleta
Run your own research radar
Turn arXiv, Hacker News, OpenReview, Hugging Face Daily Papers, and RSS into local Markdown, Obsidian notes, Telegram digests, and a public site.