趋势

机器人学习通过预测后果和对齐控制坐标获得提升

日 · 2026-07-13 · Embodied AI

上一個有数据的日窗口强调了对稀缺动作信号的高效利用。今天的论文延续了这一关注点,并进一步强调预测性监督和显式几何。生成的未来场景、无动作标签视频以及坐标对齐的输入都带来了可测量的策略增益。VIA还表明,能力较强的通用智能体可以通过精心设计的视觉界面控制机器人,无需针对机器人进行专门微调。

预测性监督

未来场景变化正成为控制的直接训练目标。Xiaomi-Robotics-U0生成具身观测和操作视频;加入其合成数据后,策略在分布外任务上的成功率从36.9%升至63.2%。WALA从无动作标签视频中学习语义和几何上的未来变化,再将这些潜在变化连接到可执行动作。在RoboCasa上,它的平均成功率达到75.2%,而基础策略为54.2%。Lumo-2采用相同的设计思路,在生成动作块前先预测与动作相关的潜在动力学,但其节选未提供数值化的基准差距。

坐标对齐的感知与动作

两种方法减少了隐式学习相机到动作几何关系的负担。以机器人为中心的点图将机器人坐标系中的XYZ坐标附加到图像网格上。在24项RoboCasa任务中,它将π₀.₅的成功率从55.3%提高到62.9%,在未见过的相机位置下增益更大。Pix2Act则在两个图像平面中预测连续的夹爪关键点轨迹,再通过三角测量将其转换为3D动作。在十项MimicGen任务中,它的平均成功率达到75.2%,比报告中的最强基线高12.1个百分点。这两项结果表明,显式空间定位是提高视角容忍度的实用途径。

机器人监督最少的人类数据

在人类示范的帮助下,机器人数据进入训练流程前就能获得有用的结构。WALA从不含电机动作标签的视频中提取与动作相关的场景变化;只使用10%的带标签示范时,其成功率达到53.9%,而基础策略为18.1%。Regrind从一次人类示范开始,在重定向过程中保持手与物体的接触关系,并使用残差强化学习进行物理优化。在两种机器人手和两项工具使用任务中,仿真成功率为98.7%至99.8%;论文声称可以零样本迁移到硬件,但所检查的节选没有给出数值结果。

较新结构化上下文降低智能体成本,但更快的审查仍伴随质量风险较早编码代理的提升来自工程化上下文和可执行检查