Capture-to-simulation checks for contact-rich visual RL scenes
训练相机条件操作策略的机器人团队,可以在长时间 RL 运行前加一个短验证步骤:采集 RGB 视图,用网格、位姿、尺度和碰撞元素生成 3DGS 资产,然后运行固定的接触测试和渲染图像吞吐量测试。
GS-Playground 把这套流程做成了具体实现。它的 Real2Sim 管线把 RGB 采集转成可用于仿真的场景部件,渲染器把高斯资产绑定到刚体上,让渲染对象在接触过程中跟着物理状态移动。报告的规模已经足够做实用的冒烟测试:在 RTX 4090 级配置上,640×480 分辨率下 3DGS 渲染约 10,000 FPS;在这个分辨率下最多可渲染 2048 个场景;高斯裁剪超过 90%,PSNR 损失低于 0.05。
一个实用的首个版本,是给操作实验室做一个场景接入脚本:接收采集到的物体集合,生成视觉和碰撞资产,裁剪高斯,然后运行少量推、堆叠或抓取操作,同时检查图像质量、刚体绑定、接触稳定性和 GPU 内存。没通过这些检查的场景,可以在占用 RL 训练时间前先修好。