来源笔记
VLA Foundry: A Unified Framework for Training Vision-Language-Action Models
摘要
VLA Foundry 是一个开源代码库，用于在同一套代码中训练语言模型、视觉语言模型和视觉语言动作模型。论文的核心主张是，这条统一管线让 VLA 研究更容易控制，而且更强的 VLM 骨干（例如 Qwen3-VL）能提升下游机器人策略表现。
问题
- 现有开源 VLA 项目常把重点放在最后的动作训练阶段，并依赖彼此分离的预训练管线，这让骨干模型、数据混合和训练配方的实验很难干净地开展。
- 与文本和图文数据相比，机器人数据更稀缺，所以上游 LLM 和 VLM 的训练选择会明显影响下游机器人性能。
- 研究者需要一个支持全流程实验、可模块化替换骨干和数据集、并能复现大规模训练的系统。
方法
- 该框架用一个共享代码库处理 LLM、VLM 和 VLA 训练，配有 YAML/dataclass 配置、可插拔注册表、共享训练循环，并支持从零训练和 Hugging Face 骨干。
- 它标准化了多模态数据处理：文本、图像描述和机器人数据集可以按加权采样混合，机器人数据则有专门的归一化、动作分块、位姿处理，以及预处理成 WebDataset 分片。
- 在规模上，它支持分布式训练，使用 DDP/FSDP2、混合精度、梯度检查点，并支持多节点运行，基准测试规模达到 16 个节点、128 张 GPU。
- 论文用两类模型展示这个框架：Foundry-VLA-1.7B 从零通过 LLM→VLM→VLA 管线训练，Foundry-Qwen3VLA-2.1B-MT 则建立在预训练的 Qwen3-VL 2B 骨干之上。
- VLA 模型在 VLM 序列中加入一个 observation token，并将其隐藏状态送入一个 3.25 亿参数的 flow-transformer 动作头；这个动作头用 flow matching 训练，用来去噪动作序列。
结果
- 从零训练的 LLM 是一个 12 亿参数模型，使用 DCLM 的 5 亿样本 / 1 万亿 token 训练。在标准多项选择基准上，1 万亿 token 的 checkpoint 报告的分数为：HellaSwag 66.7、MMLU 26.6、ARC-e 71.7、ARC-c 39.3、PIQA 77.5、WinoGrande 62.6、OpenBookQA 40.8、BoolQ 65.4。
- 从零训练的 VLM 将这个 LLM 与一个 8600 万参数的 ViT 结合，并在 2 亿 个 DataCompDR-1B 样本上训练。在 COCO_VAL captioning 上，2 亿样本的 checkpoint 报告的分数为：BLEU-1 58.64、BLEU-2 38.62、BLEU-3 24.49、BLEU-4 15.57、ROUGE-L 38.17、CIDEr 55.14。
- VLA 栈在 VLM 之上使用一个 3.25 亿参数的 transformer 动作头，得到一个完整的从零训练 VLA 模型，总参数量为 17 亿；基于 Qwen 的多任务模型参数量为 21 亿。
- 评估基准 lbm_eval_oss 包含 49 个 Drake 仿真中的桌面双臂操作任务。
- 摘要声称，在 LBM Eval 的常规闭环评估中，完全开放的从零训练模型与作者先前的闭源工作表现相当；把骨干换成 Qwen3-VL 后，模型在基线之上有明显提升。
- 提供的节选没有包含主要的 VLA 闭环成功率表，所以这里看不到相对基线的精确机器人策略提升数值。