来源笔记
Learning Dexterous Grasping from Sparse Taxonomy Guidance
摘要
GRIT 从稀疏的高层抓取分类标签学习灵巧抓取，而不是依赖密集的位姿示范。它把问题拆成抓取类型选择和低层手指控制，目标是提升泛化能力和用户可控性。
问题
- 灵巧抓取既需要合适的抓取计划，也需要协调多指执行，但为每个物体-任务对标注密集的抓取位姿或接触标签成本很高。
- 只靠任务奖励进行端到端强化学习可以学会抓取，但在失败时，机器人会采用哪种抓取策略，用户几乎无法控制。
- 这篇论文面向新物体抓取，同时保留一个可由人调整的高层接口，通过抓取分类来实现。
方法
- GRIT 是一个两阶段系统：先选择抓取构型，再用受分类条件约束的控制策略执行。
- 抓取构型由离散的人类启发式分类和目标腕部朝向组成。分类库包含基于 Feix 等人的 30 种抓取类型。
- 推理时，视觉语言模型使用场景图像和任务文本来选择分类。为了帮助空间推理，方法把候选腕部方向叠加到图像上。
- 低层策略接收所选分类、腕部目标、本体感觉信息，以及部分点云、手-物体距离、桌面距离和 Basis Point Set 特征等物体几何特征。
- 控制器用强化学习训练，使用一个乘性奖励，结合接近质量、物体交互、分类一致性、物体稳定性，以及对非预期接触的惩罚。教师-学生蒸馏阶段把策略迁移到一个学生模型，后者使用部分观测和一个 LSTM 接触重建器用于实际部署。
结果
- 论文报告 GRIT 的总体成功率为 87.9%。
- 训练使用 30 个 YCB 物体，在过滤后对新物体的评估使用 373 个 Objaverse/RoboCasa 物体，并分为 135 个 fruit_vegetable、82 个 household_utensil_tool 和 156 个 packed_goods/drink/bread_food 实例。
- 通用 GRIT 策略在训练中采样的 30 种分类 上训练。
- 评估协议为每个物体采样 8 个腕部方向，并在每个方向上运行 30 次试验。
- 论文声称 GRIT 在新物体上的泛化优于 RDG 和 GraspXL，但摘要中没有给出逐个基线的数值对比表。
- 真实世界实验声称系统具有可控性：用户可以根据物体几何和任务意图，通过选择分类来调整抓取策略，但摘要没有提供真实世界成功率。