来源笔记
Belief Dynamics for Detecting Behavioral Shifts in Safe Collaborative Manipulation
Collaborative ManipulationBehavioral Shift DetectionVision Language ActionSafe RoboticsTheory Of Mind
摘要
本文研究机器人如何在共享操作任务中检测协作者何时改变行为。作者提出 UA-ToM，这是一个加在冻结的视觉-语言-动作控制器上的小型信念跟踪模块，并展示了它比大多数基线更可靠地检测切换，也能在切换后产生更安全的行为。
问题
- 论文关注协作操控中的任务中途行为状态切换，也就是另一名智能体在没有预警的情况下从一种行为类型切到另一种。
- 这很重要，因为机器人如果继续按旧假设行动，可能会进入不安全状态，并在共享工作空间里提高碰撞风险。
- 作者指出，平均检测分数会掩盖部署风险：在较宽松的容差窗口下，所有方法都可能看起来满分，但其中一些方法对 50 ms 控制回路来说还是太慢。
方法
- UA-ToM 在一个冻结的 7B VLA 主干上加入了一个992K 参数的信念模块；主干提取潜在特征，新模块随时间跟踪协作者可能的行为。
- 它的核心机制是选择性状态空间信念更新，用持续的隐藏状态保存历史信息，这样检测器就能跨时间步累积证据，而不是只看最新观测。
- 它结合了四种信号：持续的信念动态、对最近观测的因果注意力、对预测协作者动作与真实动作之间差异的预测误差，以及用于行为类型的原型记忆。
- 融合门用这些信号来预测三个输出：协作者类型、切换概率和协作者动作。
- 用更直白的话说，就是持续维护对另一名智能体的信念，检查预期行为和实际行为之间的偏差，并在信念变化足够快时触发适应。
结果
- 在 ManiSkill 的共享工作空间任务中，启用状态切换检测后，切换后的碰撞次数从每回合 2.34 ± 0.40 降到 1.11 ± 0.12，在5 个随机种子下减少了 52%。
- 在常用的**±5 步检测窗口内，所有方法的硬检测率都是 100%，这会掩盖差异。在更严格的±3 步**窗口下（约为 50 ms 控制回路中的 150 ms），方法分成几个层级：快速检测器 >82%，智能体建模方法 58–62%，较慢的循环方法 30–33%。
- UA-ToM 在 1200 个回合 / 5 个种子 上达到 85.7% 硬检测率，以 ±3 步计，在未使用特权信息的方法中最好。基线结果为：Mamba 85.0%、Transformer 82.5%、LIAM 62.4%、BOCPD 58.1%、GRU 33.2%、BToM 30.4%。
- UA-ToM 的跨种子稳定性也很好，R = 0.93，接近使用特权上下文条件的基线 86.1% 和 R = 0.94。
- 在扩展到 300 步、10 个种子的评测中，UA-ToM (MS) 的**近距离停留时间（CRT）**最低，为 4.8 ± 1.1 步，低于 Oracle: 5.3 ± 0.9，同时保持 97.5 ± 0.9% 的检测率。论文将此解释为更平滑的信念修正，使切换后的避让更安全。
- 机制分析显示，隐藏状态更新幅度在状态切换时上升 17 倍，其驱动因素是动作预测误差上升 2.3 倍；离散化步长收敛到 Δ_t ≈ 0.78。该模块增加了 7.4 ms 的推理开销，占 50 ms 控制预算的 14.8%。