来源笔记
LongBench: Evaluating Robotic Manipulation Policies on Real-World Long-Horizon Tasks
Robot BenchmarkLong Horizon ManipulationReal World EvaluationVision Language ActionContext Dependent Reasoning
摘要
LongBench 是一个用于长时程机器人操作的真实世界基准，把两类难点分开看：在完全可观测条件下的长时间执行，以及在存在歧义时的长上下文推理。它在 1,000 多个真实世界 episode 上评估了六个当前策略，并表明长时程失败有多个原因，而不是单一瓶颈。
问题
- 现有的长时程操作基准往往只在仿真中运行，或者只报告整体成功率，所以看不出策略在真实世界长轨迹中为什么失败。
- 长时程任务把不同类型的难点混在一起：执行漂移、阶段切换错误、错过时机窗口，以及当前视角有歧义、需要更早上下文的情况。
- 这很重要，因为短时程指标或整体指标会掩盖机器人策略的真实弱点，这会让模型比较和长时程操作的进展评估不够可靠。
方法
- 论文提出了 LongBench，这是一个真实世界基准，包含 10 个任务 和 1,000 多个真实世界 episode/demonstration，数据采集在一个 ARX-R5 6-DoF 桌面平台上，使用 两台 RGB 摄像头，分辨率为 320x240，帧率为 20 Hz。
- 它把任务分成两种模式：Context-Independent 任务中，下一步动作可以从当前观测直接确定；Context-Dependent 任务中，外观相似的状态需要依赖更早的上下文记忆。
- 基准还按机制给任务打标签。Context-Independent 任务分为 phase dependence (PD)、iterative progress (IP)、error accumulation (EA) 和 temporal windows (TW)。Context-Dependent 任务分为 completion ambiguity (CP)、count ambiguity (CT)、subtask-branch ambiguity (SB) 和 cross-episode ambiguity (CE)。
- 评估使用 stage-wise score，而不是二元成功率：如果一个任务有 N 个原子子步骤，每完成一个子步骤就得 100/N 分。每个任务用 10 个初始条件不同的 episode 进行测试。
- 论文在统一接口下比较了 六个策略：pi_0, OpenVLA-OFT, SmolVLA, Diffusion Policy, MemoryVLA, CronusVLA，全部使用 16-step open-loop action chunks。
结果
- 在 Context-Independent 任务上，pi_0 表现最好，平均 stage-wise score 为 86.3，高于 Diffusion Policy 51.2、MemoryVLA 49.1、SmolVLA 46.6、CronusVLA 42.4 和 OpenVLA-OFT 32.7。
- pi_0 在各个 Context-Independent 任务上的分数分别是：waste sorting 100.0、thread rope 72.0、pull drawer 95.0、stack block 91.3、dynamic grasping 73.3。
- 图中显示的完全可观测任务里，最难的是 dynamic grasping，这是一个 temporal-window 任务。OpenVLA-OFT 得分 0.0，SmolVLA 得分 10.0，Diffusion Policy 得分 13.3，MemoryVLA 得分 10.0，CronusVLA 得分 13.3，而 pi_0 达到 73.3。
- 论文指出，长时程表现不能用单一因素解释。在完全可观测设置下，执行鲁棒性对结果的影响大于显式记忆，而 memory-based methods 并不能在所有任务上稳定解决上下文难点。
- 这段摘要 没有 提供 Context-Dependent 任务的定量表格，所以这里没有该模式下的数值基准结果。