来源笔记
HRDexDB: A Large-Scale Dataset of Dexterous Human and Robotic Hand Grasps
摘要
HRDexDB 是一个配对的人机灵巧抓握数据集，用来研究抓握技能如何在不同具身之间迁移。它把同步的多视角视频、3D 运动、物体位姿、触觉传感和成功标签结合在一起，覆盖同一批对象以及相关的人类和机器人抓握。
问题
- 现有的人手和机器人操作数据集通常只覆盖一侧：人手、机器人手，或低自由度夹爪。它们很少在同一对象上把人类和机器人的抓握按可比动作对齐。
- 灵巧操作需要的不只是 RGB 视频。学习抓握行为和接触丰富的控制，还需要 3D 手部或机器人运动、物体 6D 位姿、触觉信号和失败样本。
- 基于标记点的手套和稀疏相机设置会降低图像质量，或者在遮挡下失效，这会让精确的手物体跟踪变得困难。
方法
- 论文提出 HRDexDB，这是一个无标记的配对数据集，包含人手和多种机器人手具身在同一 100 个对象上的灵巧抓握。
- 数据采集使用一套统一系统：21 个标定的外部 RGB 相机 + 2 个第一视角相机，全部以 30 Hz 同步，机器人状态和触觉信号与相机帧对齐。
- 机器人平台使用 xArm6，配有 三种灵巧手：Allegro Hand、Inspire RH56DFTP 和 Inspire RH56F1。人类数据再加入第四种具身。
- 配对通过模仿流程生成：人先完成一次抓握，然后远程操作者用机器人复现同样的抓握策略，因此人和机器人的试验在对象、场景和任务意图上保持一致。
- 重建把标定后的多视角采集、基于 MANO 的人手拟合、机器人运动学、相机到机器人标定、物体 6D 位姿 跟踪、触觉感知，以及 成功/失败 标签整合到同一个世界坐标系中。
结果
- 数据集规模：1.4K 次抓握试验、100 个对象、4 种具身，约 12.8M 帧。
- 每个序列包含 21 路多视角 RGB 流、2 路第一视角、3D 人手或机器人轨迹、物体 6D 位姿、机器人手的 触觉信号，以及 二元成功/失败标注。
- 与表 1 中以往的人机配对数据集相比，HRDexDB 在一个数据集中同时具备更少见的一组属性：灵巧机器人手、触觉感知、无标记采集、3D 手部重建 和 物体 6D 位姿，并提供 23 个视角、2048×1536 分辨率。
- 论文称 HRDexDB 是首个大规模、无标记、配对的人机灵巧操作数据集，同时包含同步触觉数据和多种机器人手具身。
- 摘录中没有报告训练模型的学习基准分数或任务性能提升。它的主要结果是数据集本身和采集系统，当前还在从 100+ 个对象 扩展到 1,000 个对象。