跨灵巧手动作适配与人在回路后训练工具链
可面向机器人团队构建一层“跨灵巧手动作适配与后训练工具链”:上层复用同一个VLA策略,下层为不同灵巧手提供共享潜在动作空间编码/解码、在线接管采集与恢复片段重加权训练。优先服务需要频繁更换末端执行器或同时维护多种灵巧手的团队。
以前多手型VLA通常需要按硬件分别建数据和微调,导致新手型接入成本高。现在XL-VLA给出跨手共享表示的可行路径,DexHiL又说明少量在线接管就能把真实任务成功率继续抬升,因此做成基础设施的时机刚出现。
研究已从单手单任务调参转向跨手共享表示与在线纠错闭环。关键变化是:跨手动作空间可以先统一到latent层,而且高价值纠错片段可以系统性纳入后训练。
选两种已在用的灵巧手,复现共享latent动作表示;再对一个高接触任务做3轮在线接管训练,比较“新手从零采集+离线微调”与“共享表示+少量纠错”的成功率、采集时长和工程改动量。
- Cross-Hand Latent Representation for Vision-Language-Action Models: XL-VLA证明跨不同灵巧手的共享潜在动作空间可把4种手、10个任务的总体成功率从约0.32提升到0.72,说明“手型适配层”已具备明确性能回报。
- DexHiL: A Human-in-the-Loop Framework for Vision-Language-Action Model Post-Training in Dexterous Manipulation: DexHiL证明灵巧手落地不能只靠离线微调;通过少量在线人工接管与重加权训练,真实机器人任务成功率可继续明显提升。