来源笔记
Learning Vision-Language-Action World Models for Autonomous Driving
摘要
VLA-World 将视觉-语言-动作驾驶策略与一个世界模型结合起来。这个世界模型先生成一张短期未来图像，再在这张想象出来的画面上进行推理，然后再细化驾驶计划。论文的目标是通过给动作生成加入明确的前瞻能力和自检步骤，让端到端自动驾驶更安全，也更容易解释。
问题
- 现有的 VLA 驾驶模型可以把观测映射到动作，但它们对场景动态和其他交通参与者的建模还不够，难以在复杂交通中提供强前瞻能力。
- 现有的驾驶世界模型可以生成看起来合理的未来场景，但通常不会评估这些想象中的未来是否意味着风险、安全问题，或者更好的动作。
- 自动驾驶同时需要预测场景如何变化，也需要在预测出的未来看起来不安全时修正决策。
方法
- VLA-World 先预测一条短期自车轨迹，然后用这条轨迹和多视角观测来生成 0.5 秒后的下一帧驾驶图像。
- 模型把这张自生成的未来图像送回反思推理模块，检查交通参与者、运动线索和潜在风险，然后细化最终的 3 秒轨迹和动作。
- 训练分三阶段：用于未来帧生成的视觉预训练、在混合驾驶任务上的监督微调，以及带有基于规则奖励的 GRPO 强化学习。奖励项包括输出格式、短期预测、视觉 token 有效性、动作质量和轨迹质量。
- 论文还引入了 nuScenes-GR-20K，这是一个基于 nuScenes 构建的数据集，用于以想象中的未来为条件进行未来生成和推理。
结果
- 论文声称，VLA-World 在规划和未来生成两个基准上都持续优于之前的 VLA 和世界模型基线。
- 摘录中展示的规划定量结果使用了 ST-P3 和 UniAD 指标，包括 L2 轨迹误差 和 碰撞率，但提供的文本里看不到 VLA-World 那一行，所以这里无法提取它的具体数值。
- 从可见文本里最明确的结论是，VLA-World 在 Figure 1 中对比方法里拿到了 最低的碰撞率和 FID 分数，但摘录没有给出具体的 FID 数值。
- 表格中可见的基线包括 FeD* 在 UniAD 上的 0.58 平均 L2 和 0.19 平均碰撞率（%），UniAD* 的 0.46 平均 L2 和 0.37 平均碰撞率（%），以及 BEV-Planner* 在 ST-P3 上的 0.35 平均 L2 和 0.34 平均碰撞率（%）。作者表示 VLA-World 超过了这些最先进基线。