趋势

机器人学习论文把部署细节纳入测试

日 · 2026-05-03 · Embodied AI

这一天的机器人学习工作都围绕可部署系统展开。视觉-语言-动作(VLA)策略在真实手部、长时序子目标、低成本数据采集和低价硬件上接受测试。DexSim2Real、Anticipation-VLA 和 Phone2Act 给出的信号最清楚:成功率主张现在取决于硬件试验、延迟、数据格式和失败检查。

Dexterous sim-to-real transfer

DexSim2Real 面向无需真实示范的 sim-to-real 方法下的高接触手部操作。它把 GPT-4V 用作视觉真实性评审器,然后围绕光照、纹理、摩擦、质量和相机噪声优化仿真随机化。该策略还在接触过程中通过交叉注意力融合 RGB、触觉读数和本体感觉。

这篇论文报告的硬件结果在这个语料里很强:在 Franka Panda 搭配 Allegro Hand 的 6 个真实世界任务上,平均成功率为 78.2%。论文还报告了 8.3% 的平均 sim-to-real gap,而基础 domain randomization 为 28.5%,active domain randomization 为 19.2%。最有价值的是这一机制,因为视觉评审器给随机化提供了可测目标,而不是只依赖人工设定的范围。

Adaptive subgoals for long-horizon VLA tasks

Anticipation-VLA 通过维护一个由当前目标和可达子目标组成的栈来应对长任务。高层模型提出文本和图像子目标。然后一个 value model 检查任务是已完成、在改善还是停滞,并由这个状态控制系统继续执行、细化子目标,还是弹出已完成目标。

论文在 Libero-Long 上报告了 63.2 的成功率,超过底层的 pi_0.5 风格策略的 54.6,也高于一个带 VLM 的版本的 53.2。在真实世界的 Arx-X5 测试中,摘要给出的是相对提升而不是精确成功率:已见配置提升 +60%,未见配置提升 +107%。这里的可操作结论很直接。长时序 VLA 执行需要依赖状态的子目标和进度检查,而不是在 rollout 开始前就固定一套流程。

Low-cost data and hardware for real VLA deployment

两篇论文把数据采集和机器人成本当作核心研究约束。Phone2Act 把 Android 手机变成一个 6-DoF 远程操作器,通过 ROS 2 发送姿态事件,并直接以 LeRobot 格式记录同步机器人数据。用 130 个采集到的 episode 对 GR00T-N1.5-3B 进行微调后,在 Dobot CR5 的球入篮任务上 10 次试验成功 9 次,端到端延迟为 350–440 ms。

VILAS 用 Fairino FR5 机械臂、双 RealSense 相机、远程操作和用于脆弱物体的 kirigami 软夹爪扩展,搭建了一个大约 8,000 美元的操作系统。在葡萄抓取上,pi_0.5 的单次抓取成功率达到 84%,而 GR00T N1.6 的多次抓取成功率达到 58%,并且在测试模型里平均推理延迟最低。这些结果把成本、日志格式和夹爪机制都纳入了 VLA 性能主张。

World-model planning needs sufficiency tests and attack tests

世界模型论文关注的是规划状态保留了什么,以及规划器在触发条件下如何失败。Latent State Design 提议按潜在状态必须支持的功能来评价世界模型:预测、控制、规划、记忆、grounding 或反事实推理。它给出一个六角色分类法和一个七轴评估矩阵,但没有报告新的基准分数。

TRAP 提供了安全侧的对应问题。它通过一个部署时视觉 patch 改变想象轨迹的排序,从而攻击世界模型规划器。在 DreamerV3 Crafter 上,它报告了 98.1% 的攻击成功率和 63.2% 的平均回报下降。在若干 DreamerV3 Atari 和 TD-MPC2 DMControl 任务上,它报告了 100% 的攻击成功率。两篇论文放在一起,给 planned-control agent 提出一个明确要求:先针对任务评估潜在状态,再测试规划器的轨迹排序是否能被操控。

较新当软件任务给出窄证据时,LLM 更有可信度较早代理式编码研究正在给生成结果设定硬门槛