Dexterous sim-to-real transfer
DexSim2Real 面向无需真实示范的 sim-to-real 方法下的高接触手部操作。它把 GPT-4V 用作视觉真实性评审器,然后围绕光照、纹理、摩擦、质量和相机噪声优化仿真随机化。该策略还在接触过程中通过交叉注意力融合 RGB、触觉读数和本体感觉。
这篇论文报告的硬件结果在这个语料里很强:在 Franka Panda 搭配 Allegro Hand 的 6 个真实世界任务上,平均成功率为 78.2%。论文还报告了 8.3% 的平均 sim-to-real gap,而基础 domain randomization 为 28.5%,active domain randomization 为 19.2%。最有价值的是这一机制,因为视觉评审器给随机化提供了可测目标,而不是只依赖人工设定的范围。