来源笔记
PhysMani: Physics-principled 3D World Model for Dynamic Object Manipulation
摘要
PhysMani 是一个面向机器人的 3D Gaussian 世界模型系统，用于操作移动目标。它在线预测受物理约束的场景运动，并将该运动输入 3D 动作策略。
问题
- 当目标移动速度接近机器人末端执行器极限时，机器人需要快速的 3D 运动预测来抓取、放置、推动或插入物体。
- 现有 VLA 和视频世界模型常会预测出偏 2D 观感的未来状态，缺少可靠的 3D 几何和物理运动，这会影响对时间敏感的操作。
- 论文还通过引入基于 RLBench 的 PhysMani-Bench 填补基准缺口，其中包含 16 个动态操作任务。
方法
- 世界模型用 30,000 个 3D Gaussians 表示场景，这些高斯由 4 个固定相机的 RGB-D 视图初始化。
- 一个速度 MLP 为每个 Gaussian 预测 6 个运动分量：3 个线性分量和 3 个角分量。基函数构造使速度场满足无散度约束。
- 模型使用 RGB-D 监督在线更新，损失函数包括 L1 和 SSIM。报告的设置为每步进行 50 次速度更新迭代和 7 次细化迭代。
- 策略基于 3D FlowMatch Actor。它将 RGB-D 观测提升为 4,096 个 3D 视觉 token，用 KNN 检索附近的 Gaussians，并通过注意力 token 注入局部预测速度。
- 策略使用 rectified flow 预测未来末端执行器关键位姿，然后通过逆运动学将其转换为机器人关节命令。
结果
- 在 PhysMani-Bench 上，PhysMani 报告了最高的平均仿真成功率：45.9±0.8%，相比之下 3DFA 为 37.8±0.9%，3DFA-OF 为 37.5±1.0%，3DDA 为 35.1±1.7%，Act3D 为 27.1±2.7%，ManiGaussian 为 22.5±0.8%，pi0.5 为 8.3±0.2%。
- 列出的最大任务增益来自 Drop to Hoop：PhysMani 为 71.7±3.1%，3DFA 为 30.8±3.1%，3DFA-OF 为 27.5±5.4%。
- Pick Cube 中，PhysMani 达到 84.2±3.1%，3DFA 为 70.0±6.1%，3DDA 为 63.3±6.6%。
- Push Button 中，PhysMani 达到 57.5±3.5%，3DFA 为 55.8±4.2%，3DFA-OF 为 54.2±3.1%。
- PhysMani 在可见表格中的并非每个任务都领先：Beat Buzz 中 PhysMani 为 78.3±4.2%，3DFA 为 82.5±2.0%；Insert Peg 中 PhysMani 为 37.5±6.1%，3DDA 为 68.3±6.6%。
- 在线世界模型优化报告为在一块 RTX 4090 GPU 上每次更新约 200 ms，基准设置中的移动目标速度最高为 2 m/s。