Recoleta
GitHub
来源笔记

When Robots Do the Chores: A Benchmark and Agent for Long-Horizon Household Task Execution

作者
Zilin Zhu, Longteng Guo, Yanghong Mei, Bowen Pang, Zongxun Zhang, Xingjian He, et al.
来源
arXiv
发布日期
栏目
Embodied AI
Long Horizon PlanningEmbodied AI BenchmarkHousehold RobotsVision Language AgentsMultimodal Memory
打开 arXivMarkdown 源文件

摘要

LongAct 是一个用于自由形式、长时程家庭任务执行的基准，HoloMind 是为它设计的基于 VLM 的智能体。论文测试了规划、记忆和错误恢复，任务步数可以超过 2,000 步。

问题

  • 现有具身 AI 基准大多测试短程导航或操作任务，因此没有覆盖跨房间、跨物体、带依赖关系的多阶段家庭流程。
  • LongAct 之所以重要，是因为用户会提出书桌整理、厨房复位这类复合家务，这些任务需要状态跟踪、物体区分和在长动作序列中的重新规划。

方法

  • LongAct 在 100 多个 ProcTHOR/AI2-THOR 房屋中设置了 300 个 episode，覆盖四种家庭场景。每个任务都有自由形式指令，平均约 9 个目标，输入包含 RGB-D 和语义分割，动作采用 ALFRED 风格，并设置 16,000 步上限。
  • 它评估 Success Rate、Goal-Condition Success、步数，以及 Improvement Rate，这个指标基于执行过程中评分效率是否提升。
  • HoloMind 把任务拆成一个由依赖目标组成的 DAG，然后先用记忆细化每个目标，再生成可执行的子目标。
  • 它维护一个多模态空间记忆，包含 3D 语义地图、物体记录、基于 CLIP 的检索和 VLM 验证；情景记忆保存状态、已完成子目标和可复用规则。
  • Critic 监控规划器和执行器的输出，发现错误时发出 Pass、Refine 或 Replan 指令。

结果

  • 在 LongAct detailed 划分上，纯 Qwen3-VL-8B 的 Goal-Condition Success (GC) 只有 0.74%，Success Rate (SR) 为 0%；纯 Qwen3-VL-32B 的 GC 为 6.14%，SR 为 0%。
  • 加上 HoloMind 后，Qwen3-VL-8B 的 GC 升至 24.5%，SR 升至 3.00%；Qwen3-VL-32B 的 GC 升至 51.2%，SR 升至 15.0%。
  • 结合 GPT-5 的 HoloMind 给出了摘录中的最佳模型结果：表中 GC 为 59.0%，SR 为 16.0%，导航步数为 1,982，操作步数为 25.3，Improvement Rate (IR) 为 1.70。
  • 人类表现报告为 93% 的目标完成率，而 GPT-5 为 59.0%。
  • 纯 VLM 基线的 IR 为负值（Qwen3-VL-8B：-0.08；Qwen3-VL-32B：-0.32），而 HoloMind 变体的 IR 为正值（Qwen3-VL-2B：0.59；Qwen3-VL-8B：0.99；Qwen3-VL-32B：1.61；GPT-5：1.70）。
  • 摘录说，去掉 Critic 会让准确率下降约 40%，并且操作效率和 IR 最多会下降 90%，但展示的表格没有这些消融行。

Link