来源笔记
Tex3D: Objects as Attack Surfaces via Adversarial 3D Textures for Vision-Language-Action Models
摘要
Tex3D 通过在模拟器中的物体表面优化对抗性 3D 纹理来攻击视觉-语言-动作模型。论文称，这是首个面向 VLA 系统的、可直接在端到端方式下优化的物理约束 3D 纹理攻击方法，并在仿真和真实机器人测试中显示出很大的失败率上升。
问题
- 用于机器人操作的 VLA 模型会在对抗输入下失效，但以往攻击主要使用文本扰动或 2D 图像补丁。
- 这些攻击面不太适合真实部署：语言攻击依赖指令通道，2D 补丁又依赖视角，而且很显眼。
- 3D 物体纹理对机器人来说是更强的物理攻击面，但标准模拟器，如 MuJoCo，不允许梯度从 VLA 损失回传到物体外观；长时程操作也让单帧攻击不稳定。
方法
- Tex3D 通过 前景-背景解耦（Foreground-Background Decoupling, FBD） 建立可微分攻击路径：MuJoCo 渲染完整场景背景，Nvdiffrast 渲染带可学习纹理的目标物体，再把两者合成为冻结的 VLA 策略使用的观测。
- FBD 对齐 MuJoCo 和 Nvdiffrast 中的物体位姿、相机矩阵和光照，让插入的物体与模拟器视图一致，同时仍然可以用梯度更新纹理。
- Tex3D 加入 轨迹感知对抗优化（Trajectory-Aware Adversarial Optimization, TAAO），通过给行为上关键的帧更高权重来保持长回合中的攻击效果。关键帧由预训练视觉编码器中的潜在速度和加速度估计得到。
- TAAO 还使用逐顶点颜色参数化，让优化后的纹理更平滑，并减少对少数视角或帧的过拟合。
- 该框架支持无目标攻击，把动作推离干净行为；也支持有目标攻击，把策略推向攻击者指定的行为。它还使用变换期望来增强物理迁移性。
结果
- 最强结果是在 Tex3D 下，任务失败率最高达到 96.7%。
- 在 OpenVLA 上，无攻击时平均失败率为 24.1%，在无目标 Tex3D 下升至 88.1%，在有目标 Tex3D 下升至 90.5%。高斯噪声达到 31.1%，在完整 Tex3D 之前最强的消融版本达到无目标 82.9%、有目标 86.6%。
- 在 OpenVLA-OFT 上，无攻击时平均失败率为 4.7%，无目标 Tex3D 下升至 76.0%，有目标 Tex3D 下升至 79.3%。高斯噪声达到 6.5%。
- 在 pi0 上，无攻击时平均失败率为 4.6%，无目标 Tex3D 下升至 71.8%，有目标 Tex3D 下升至 73.3%。高斯噪声达到 10.7%。
- 对于 OpenVLA 空间任务，无目标失败率达到 95.8%，有目标失败率达到 96.7%，而无攻击时为 15.6%。
- 摘要说明实验覆盖了仿真和真实机器人环境中的多个操作任务套件，但提供的文本里没有真实机器人的具体数值。