---
source: arxiv
url: http://arxiv.org/abs/2604.14944v1
published_at: '2026-04-16T12:38:14'
authors:
- Jongbin Lim
- Taeyun Ha
- Mingi Choi
- Jisoo Kim
- Byungjun Kim
- Subin Jeon
- Hanbyul Joo
topics:
- dexterous-manipulation
- human-robot-dataset
- cross-embodiment-learning
- tactile-sensing
- grasp-dataset
relevance_score: 0.85
run_id: materialize-outputs
language_code: zh-CN
---

# HRDexDB: A Large-Scale Dataset of Dexterous Human and Robotic Hand Grasps

## Summary
## 摘要
HRDexDB 是一个配对的人机灵巧抓握数据集，用来研究抓握技能如何在不同具身之间迁移。它把同步的多视角视频、3D 运动、物体位姿、触觉传感和成功标签结合在一起，覆盖同一批对象以及相关的人类和机器人抓握。

## 问题
- 现有的人手和机器人操作数据集通常只覆盖一侧：人手、机器人手，或低自由度夹爪。它们很少在同一对象上把人类和机器人的抓握按可比动作对齐。
- 灵巧操作需要的不只是 RGB 视频。学习抓握行为和接触丰富的控制，还需要 3D 手部或机器人运动、物体 6D 位姿、触觉信号和失败样本。
- 基于标记点的手套和稀疏相机设置会降低图像质量，或者在遮挡下失效，这会让精确的手物体跟踪变得困难。

## 方法
- 论文提出 **HRDexDB**，这是一个无标记的配对数据集，包含人手和多种机器人手具身在同一 100 个对象上的灵巧抓握。
- 数据采集使用一套统一系统：**21 个标定的外部 RGB 相机 + 2 个第一视角相机**，全部以 **30 Hz** 同步，机器人状态和触觉信号与相机帧对齐。
- 机器人平台使用 **xArm6**，配有 **三种灵巧手**：**Allegro Hand**、**Inspire RH56DFTP** 和 **Inspire RH56F1**。人类数据再加入第四种具身。
- 配对通过模仿流程生成：人先完成一次抓握，然后远程操作者用机器人复现同样的抓握策略，因此人和机器人的试验在对象、场景和任务意图上保持一致。
- 重建把标定后的多视角采集、基于 MANO 的人手拟合、机器人运动学、相机到机器人标定、物体 **6D 位姿** 跟踪、触觉感知，以及 **成功/失败** 标签整合到同一个世界坐标系中。

## 结果
- 数据集规模：**1.4K 次抓握试验**、**100 个对象**、**4 种具身**，约 **12.8M 帧**。
- 每个序列包含 **21 路多视角 RGB 流**、**2 路第一视角**、**3D 人手或机器人轨迹**、**物体 6D 位姿**、机器人手的 **触觉信号**，以及 **二元成功/失败标注**。
- 与表 1 中以往的人机配对数据集相比，HRDexDB 在一个数据集中同时具备更少见的一组属性：**灵巧机器人手**、**触觉感知**、**无标记采集**、**3D 手部重建** 和 **物体 6D 位姿**，并提供 **23 个视角**、**2048×1536** 分辨率。
- 论文称 HRDexDB 是**首个大规模、无标记、配对的人机灵巧操作数据集**，同时包含同步触觉数据和多种机器人手具身。
- 摘录中**没有报告**训练模型的学习基准分数或任务性能提升。它的主要结果是数据集本身和采集系统，当前还在从 **100+ 个对象** 扩展到 **1,000 个对象**。

## Problem

## Approach

## Results

## Link
- [http://arxiv.org/abs/2604.14944v1](http://arxiv.org/abs/2604.14944v1)