来源笔记
Cortex 2.0: Grounding World Models in Real-World Industrial Deployment
摘要
Cortex 2.0 为工业视觉-语言-动作机器人策略加入了基于世界模型的规划。它会预测多个可能的未来轨迹，按进展、风险和任务完成情况打分，然后执行得分最高的方案，以提升在杂乱仓库环境中的长时程操作表现。
问题
- 标准的视觉-语言-动作策略从当前观测中选择下一步动作，不会评估未来结果，这让它们在长时程任务中很脆弱，因为错误会不断累积。
- 工业操作环境里有大量杂物、遮挡、反光材料和接触丰富的交互，物体分布也会变化，单次错误动作就可能打乱整个流程。
- 这篇论文关注在真实部署条件下，单臂和双臂系统等不同形态上的可靠执行。
方法
- 系统保留分层 VLA 栈，再加入一个视觉潜空间世界模型，在执行前沿规划时长内展开
k条候选未来轨迹。 - 一个冻结的 Process-Reward Operator（PRO）在真实部署轨迹上训练，用三个信号给每条想象出来的轨迹打分：任务进展、失败风险和完成可能性。分数公式是
S = progress - λ*risk + β*success。 - 策略选择得分最高的轨迹，并把这个选中的未来条件输入给一个 2B-VLM flow-matching 动作头，生成一个动作块。
- 规划发生在视觉潜空间里，而不是机器人专用动作空间里，所以同一个规划循环可以跨不同形态迁移；机器人专用的动作映射由轻量适配器处理。
- 训练先用互联网视频预训练世界模型，再用每秒 30 Hz 的部署记录、开源机器人数据集、遥操作数据、合成数据，以及一个整理过的 1000 万条部署交互子集进行微调。
结果
- 论文称 Cortex 2.0 在四项真实世界任务上都拿到了最好的成功率：抓取放置、物品与垃圾分类、螺丝分类、鞋盒拆包。
- 它报告在单臂和双臂平台上都持续优于当前最好的反应式 VLA 基线。
- 论文还说，基准评测期间系统没有需要人工介入。
- 摘要没有给出逐任务的定量指标、具体成功率数字或基线分数，所以只能根据提供的文本判断改进方向，不能核实提升幅度。
- 训练设置里的具体规模包括
>10M次部署回合、整理后的训练语料中>25k小时部署数据、约40k次遥操作回合、约970k次开源回合，以及一个包含超过500M次操作交互、以30 Hz采集的历史数据池。