研究想法

具身操作控制

日 · 2026-04-14 · Embodied AI

这段时间的机器人工作指向三个具体的流程变化:用分阶段的危险进程和拒绝门来评估 VLA 安全,在接触密集任务的人形机器人行为克隆中加入未来触觉潜变量预测,并在多视角操作策略里把 3D 几何骨干当作默认候选,尤其是在视角变化和放置精度很重要的时候。

3 个想法

Stage-wise semantic safety checks for VLA action execution

现在可以直接测试一个实用的 VLA 部署安全门:用 attempt、commit 和最终 success 给每个高风险任务打分,然后在动作执行前加一层小型拒绝层。HazardArena 提供了一个清晰的测试方式,因为安全版和危险版保留相同的运动要求,只改变让动作被允许或变危险的语义条件。这对现在还依赖任务完成率、并以为较低的危险成功率就说明策略安全的团队很重要。

论文说明了为什么这种流程会漏掉风险。在危险的 insert outlet 任务上,pi_0 在最终成功 0.44 之前,attempt 已到 0.93,commit 已到 0.80。机器人即使没有完成危险动作,也可能已经进入大半。这个基准还显示,只用安全演示做微调,安全成功和危险成功会一起上升。对做家用或服务机器人操作的团队来说,近期该做的是把语义前置检查和拒绝动作连起来,并在评估里记录分阶段指标。一个成本较低的验证方法,是回放少量安全和危险的成对任务,看看当总体技能提升时,危险 commit 率是否也上升。

Future tactile latent prediction in humanoid behavior cloning

做人形机器人操作的团队可以试一个明确的训练改动,特别是在接触密集的任务上:在行为克隆时预测未来的触觉潜变量,并在运行时把触觉保留在策略输入里。HTD 给出了一个直接的真实硬件案例。它的收益出现在接触瞬间视觉状态不完整的任务上,包括插入、叠毛巾、舀取和端茶。

证据已经足够具体,可以用来安排实现。HTD 同时接收多视角 RGB、本体感觉、手关节力和触觉输入,并把未来触觉预测作为辅助目标。它在五个真实世界任务上报告了相对 ACT 平均成功率提升 90.9%,而且在消融中,潜变量触觉预测比原始触觉预测高 30%。系统还能处理 3.5 mm 的插入力间隙,已学习策略以 30 Hz 运行。对已经在采集遥操作演示的实验室来说,缺的通常是触觉日志和潜变量预测头,而不是更大的策略骨干。一个成本较低的检查方法,是在一个插入或可变形物体任务上加入这个辅助触觉目标,然后比较接触失败模式,而不只是终点成功率。

3D geometry backbones for multi-view manipulation policies

对于带多视角相机的操作系统,短期内很强的模型选择是一个同时学习控制和场景重建的 3D 几何骨干。VGA 用足够高的基准结果支持了这个判断,尤其适合那些仍在用视觉-语言或视频骨干处理精确放置和视角鲁棒性的团队。

设置很直接。VGA 使用预训练 3D 世界模型,输入多视角 RGB、语言和本体感觉,并训练共享骨干同时预测动作、相机参数和深度图。在 LIBERO 上,它的平均成绩是 98.1%,高于 pi_0.5 的 96.9%、OpenVLA-oft 的 97.1%、VLA-Thinker 的 97.5%、GeoAwareVLA 的 96.8% 和 GeoVLA 的 97.7%。摘要里给出的真实机器人结果是定性的,但指向对未见相机视角更好的零样本迁移。对在骨干升级之间做选择的团队来说,一个聚焦测试是冻结下游训练配方,只替换表示栈,专门在相机位姿变化或物体朝向精度决定失败的任务上比较效果。