来源笔记
CodeGraphVLP: Code-as-Planner Meets Semantic-Graph State for Non-Markovian Vision-Language-Action Models
Vision Language ActionLong Horizon ManipulationNon Markovian PlanningSemantic Graph StateCode As Planner
摘要
CodeGraphVLP 面向长时程机器人操作任务，这类任务的下一步动作取决于更早的观测，而不只是当前相机画面。它把持久化语义图、一次性生成的代码规划器和面向对象的提示结合起来，用于 VLA 策略。
问题
- 标准的视觉-语言-动作模型通常只根据最新观测来执行，在非马尔可夫任务上会失效，因为关键证据可能被遮挡，或者只在更早的轨迹中出现。
- 基于历史的扩展可能会错过过去稀疏出现的证据，或者在上下文窗口变大时带来延迟和计算开销。
- 带有 VLM 参与的分层规划器能改善长时程推理，但反复调用模型很慢，而且只用语言描述子任务，在杂乱场景里仍然容易出现视觉对齐不稳的问题。
方法
- 系统通过分割、相关性过滤、跨视角关联、跟踪和基于规则的关系归纳，持续构建和更新一个包含任务相关对象、属性和关系的持久语义图。
- 在任务开始时调用一次 LLM，写出一个任务特定的 Python 规划器。它读取语义图，用简单谓词检查进度，保存轻量级任务记忆，并输出下一步子任务和相关对象。
- 执行器 VLA 不会看到完整的杂乱场景。它接收一条简短的子任务指令，以及只保留规划器选中对象的掩膜图像。
- 训练方式与部署方式一致：录制的演示被转换为带子任务条件、带掩膜的观测，随后 VLA 在这些输入上用模仿学习进行微调。
结果
- 在三个真实世界桌面任务上，CodeGraphVLP 的平均成功率为 81.7%，高于 Gr00T N1.5 + Multi-frame: 56.7%、Gr00T N1.5: 31.7%、π0: 30.0%、π0.5: 5.0% 和 π0 FAST: 0.0%。
- 在 Pick-and-Place Twice 上，CodeGraphVLP 的完整成功率为 80%，中间指标 "PnP Once" 为 100%；对比之下，Gr00T N1.5 + Multi-frame 为 75% / 100%，Gr00T N1.5 为 35% / 50%。
- 在 Place-and-Stack 上，CodeGraphVLP 的成功率为 80%，中间指标 "Drop Cube" 为 95%；对比之下，Gr00T N1.5 + Multi-frame 为 50% / 50%，Gr00T N1.5 为 40% / 40%。
- 在 Swap Cups 上，CodeGraphVLP 的成功率为 85%，中间指标 "Stage Cup" 为 100%；对比之下，Gr00T N1.5 + Multi-frame 为 45% / 90%，Gr00T N1.5 为 20% / 70%。
- 论文还声称，与 VLM-in-the-loop 规划相比，它的规划延迟明显更低，但这段摘要没有给出具体延迟数值。
- 真实世界设置中的训练数据规模为：Pick-and-Place Twice 100 个演示，Place-and-Stack 100 个演示，Swap Cups 200 个演示。