来源笔记
Vision-Language-Action in Robotics: A Survey of Datasets, Benchmarks, and Data Engines
摘要
本文是一篇关于视觉-语言-动作机器人研究的综述，重点放在数据、评测和可扩展的数据生成上，而不是模型架构。文章认为，VLA 的进展取决于更好的数据集、基准和数据引擎，并把这一领域组织为这三部分。
问题
- VLA 研究缺少一张清晰的数据视角地图，说明有哪些训练数据、基准如何测试泛化，以及可扩展的数据流水线如何运作。
- 真实机器人数据成本高、覆盖面窄，合成数据更容易扩展，但常常缺少真实的视觉和物理细节，这会影响仿真到真实的迁移。
- 现有基准使用不同的任务、环境和成功标准，因此很难比较方法，也难以准确衡量长时程和组合泛化。
方法
- 论文通过三个类别来综述 VLA 操作研究：数据集、基准和数据引擎。
- 它按真实世界与合成来源、具身多样性、模态组合，以及动作空间设计来分类数据集，例如末端执行器控制与关节控制、绝对动作与增量动作。
- 它从两个维度分析基准：任务复杂度和环境结构，覆盖从短时程桌面任务到长时程多场景设置。
- 它把数据引擎分为视频转数据、硬件辅助采集和生成式引擎，这些方法用于创建或扩充机器人训练数据。
- 它归纳出围绕不同具身之间的表征对齐、多模态监督、推理评测以及带有物理真实性的可扩展数据生成等开放问题。
结果
- 这是一篇综述论文，因此没有报告新的模型性能数值或新的最先进结果。
- 论文声称这是首篇从数据视角研究 VLA 的综述，并在统一分类体系下覆盖了2023 到 2025 年的相关工作。
- 它定义了三个主要综述支柱：数据集、基准、数据引擎，并列举了代表性资源，例如 Open X-Embodiment（22 个机器人）、**Meta-World（50 个任务）**和 COLOSSEUM（14 个扰动轴）。
- 它指出存在持续的真实性-成本权衡：真实世界数据集提供更好的物理约束，但成本高；合成数据集更容易扩展，但真实性和迁移能力较弱。
- 它发现当前基准在组合泛化和长时程推理评测上仍有缺口，尤其是在任务难度和环境变化相互交织时。
- 论文在文中给出的 GitHub 链接上发布了一个持续更新的 VLA 数据集和基准仓库。