基于手机的遥操作与 LeRobot 格式记录,用于 VLA 微调
小型机器人实验室可以把遥操作界面和数据格式当作模型测试的一部分。Phone2Act 给出了一种可落地的做法:Android 手机通过 ARCore 以 50 Hz 发布 6 自由度位姿和按键事件,ROS 2 把这些事件映射为机器人目标位姿,针对具体机器人的桥接节点再处理最后的 API 调用。记录器以 20 Hz 将同步的 RGB 帧、关节状态、末端执行器位姿和夹爪状态写入 LeRobot 格式的 MP4 和 Parquet 文件。
一个有用的接入检查是:为本地机械臂做一个桥接节点,在单个操作任务上采集大约 100 到 150 段 episode,用高速视频测量手机到执行的延迟,并在现有 VLA 检查点上做微调。Phone2Act 报告采集了 130 段 episode,完成了 GR00T-N1.5-3B 微调,并在 Dobot CR5 的球入篮任务上 10 次试验取得 9 次成功,端到端延迟为 350–440 ms。VILAS 在低成本操作系统上给出同样的实践方向:它使用一台 8,000 美元的机械臂、夹爪、双 RealSense 相机、遥操作和软夹爪扩展,然后在真实的葡萄抓取任务上比较 pi_0、pi_0.5 和 GR00T N1.6 的延迟和连续抓取结果。