来源笔记
π 0.7 π_{0.7} : a Steerable Generalist Robotic Foundation Model with Emergent Capabilities
Vision Language ActionRobot Foundation ModelGeneralist Robot PolicyCross Embodiment TransferRobot Data Scaling
摘要
是一个 50 亿参数的通用视觉-语言-动作模型，用于机器人控制。它通过更丰富的提示，从混合质量、来自多个来源的数据中学习。论文声称，这种提示设计让模型在任务、环境和机器人本体之间有更强的零样本泛化能力，并且在灵巧的长时程任务上可以直接取得可用的表现。
问题
- 先前的机器人基础模型在组合泛化上表现不佳：它们常常无法把已学到的技能组合到新任务中，即使任务与训练数据很接近，也可能需要针对任务的微调。
- 用大量、多样的机器人数据训练很难，因为轨迹在策略和质量上差异很大；如果直接训练，模型可能把好行为和坏行为平均掉，输出效果很弱的动作。
- 这很重要，因为有用的机器人基础模型需要能在没见过的家庭环境中工作，跟随不同的语言指令，在不同机器人之间迁移，并且能利用失败、自动 rollout 和非机器人数据，而不是把这些数据丢掉。
方法
- 核心思路是用更丰富的提示来约束机器人策略，提示里同时说明做什么和怎么做。提示可以包含任务指令、步骤级子任务指令、回合元数据、控制模式和子目标图像。
- 回合元数据会给每条轨迹标注属性，例如速度、1 到 5 的质量分数，以及某个片段是否包含错误。这样模型就能在训练中使用失败、次优示范和自动 rollout，而不是把它们当作要盲目模仿的目标。
- 子目标图像显示期望的近未来场景状态。一个从 BAGEL 初始化的单独世界模型会根据当前观测和子任务文本生成这些图像，让动作模型面对比单纯语言更具体的目标。
- 基础策略是一个 flow-matching VLA，建立在 Gemma3 4B 视觉-语言骨干、MEM 风格的视频历史编码和一个 8.6 亿参数的动作专家之上，总参数量约为 50 亿。
- 训练时会随机丢弃提示中的部分内容，这样模型在测试时可以只用任意子集。子目标图像会用在 25% 的训练样本中；元数据会在 15% 的情况下完全丢弃；单个元数据字段会以 5% 的概率丢弃。
结果
- 模型参数量约为50 亿：由一个40 亿参数的 Gemma3 VLM 骨干和一个8.6 亿参数的动作专家组成。
- 论文声称，它在一些灵巧的长时程任务上能直接取得很强的表现，例如操作浓缩咖啡机、叠衣服、取出垃圾袋、折叠纸箱和削蔬菜，而且不需要针对任务的后训练。
- 论文声称它有零样本跨本体迁移能力，包括在没有叠衣服训练的机器人上完成 T 恤折叠，并称这匹配专家遥操作员的首次尝试表现。
- 论文声称它能在未见过的厨房和卧室环境中遵循指令，也能把能力组合到新任务上，例如把红薯放进空气炸锅。
- 摘要说，浓缩咖啡机任务的表现与专门做过 RL 微调的模型相当；引言则说，这个系统有时会在灵巧任务上超过用 RL 训练或做单任务后训练的策略，因为它从多样且次优的数据中学习。
- 这段摘录没有包含任务表、成功率或基准数字，所以这里能看到的量化证据只限于模型规模和训练设置，而不是评测指标。