来源笔记
AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps
摘要
AIM 是一个面向机器人操作的统一 world-action 模型，它在未来视频预测和动作生成之间加入了显式的空间价值图。论文认为，这样比直接从未来视觉特征里解码动作更可靠。
问题
- 现有 world-action 模型可以预测未来视觉场景，但要输出可靠动作，仍然需要大量机器人特定训练。
- 未来 RGB 特征描述的是场景外观和运动，但控制还需要空间意图：机器人应该在哪里作用，以及为什么该区域与任务相关。
- 这个差距在杂乱、长时程和接触敏感的操作任务里最明显，因为与动作相关的线索很稀疏。
方法
- AIM 同时预测未来 RGB 帧和对齐的空间价值图，然后基于价值图来预测动作，而不是直接依赖原始未来 RGB 潜表示。
- 价值图是与图像对齐的交互先验。它标出未来场景里与任务相关的区域，并给动作头提供更简单的控制信号。
- 模型采用共享的 mixture-of-transformers 设计，建立在预训练视频模型 Wan2.2-TI2V-5B 上。RGB、价值图和动作流共享 masked self-attention，但保留各自的前馈层。
- intent-causal attention mask 阻止动作分支直接读取未来 RGB token。未来信息只能通过预测出的价值图 token 进入动作分支。
- 在监督式预训练之后，self-distillation RL 阶段冻结视频分支和价值图分支，只用 GRPO 更新动作头，并结合稀疏任务奖励和来自投影价值图响应的密集奖励。
结果
- 论文构建了一个包含 30K 条操作轨迹 的仿真数据集，带有同步的多视角观测、动作和价值图标注。
- 在 RoboTwin 2.0 基准上，AIM 报告的 Easy 平均成功率为 94.0%，Hard 为 92.1%。
- 摘要称 AIM 显著优于先前的统一 world-action 基线，在长时程和接触敏感任务上的提升更大。
- 在给出的表格里，AIM 经常与强基线和仅监督学习的消融版本（Stage1）持平或更好。例子包括：Move Can Pot 达到 100% / 98%，Stage1 为 99% / 97%；Pick Diverse Bottles 达到 100% / 98%，Stage1 为 99% / 97%；Scan Object 达到 100% / 98%，Stage1 为 98% / 97%。
- 一些任务上，AIM 接近满分，包括 Open Laptop 100% / 100%、Place Bread Skillet 100% / 100%、Place Object Stand 100% / 100% 和 Rotate QRcode 100% / 98%。
- 也有一些任务仍然较弱，说明这个方法还不能解决所有操作场景。表格中的例子包括 Hanging Mug 43% / 42%、Blocks Ranking Size 47% / 43% 和 Place Phone Stand 82% / 80%。