来源笔记
TRAP: Tail-aware Ranking Attack for World-Model Planning
摘要
TRAP 通过改变触发观测下想象轨迹的排序来攻击世界模型规划器。它在 DreamerV3 和 TD-MPC2 上报告了很高的攻击成功率，使用的是部署时视觉补丁，没有训练时投毒或参数改动。
问题
- 世界模型通过对许多想象中的未来进行评分来选动作，所以针对单步预测或策略输出的浅层后门攻击，常会被规划过程抵消。
- 能改变候选轨迹前列排序的视觉触发器，可以在清洁输入大体正常的情况下改写长时程行为。
- 这会影响机器人、自动驾驶和其他规划式控制场景，因为一旦触发器出现，被攻陷的规划器还会继续做出错误决策。
方法
- 攻击者对目标世界模型有白盒访问权限，并在推理时在受限扰动预算下优化一个通用视觉补丁。
- 对每个干净观测和触发观测，模型都会想象候选轨迹，并计算两种条件下的分数变化。
- TRAP 先在干净规划下选取高分尾部，因为这些轨迹会驱动动作选择。
- 一个面向尾部的排序损失会压低这些被选中轨迹的分数，并用跨候选项的 softmin 聚合，把优化重点放在更难压低的轨迹上。
- 两个门控控制优化：符号门控对分数上升进行惩罚，幅度门控对低于阈值 beta 的过度压制进行惩罚。
结果
- 在 patch ratio 0.09 和 epsilon 64 下，TRAP 在 DreamerV3 Crafter 上达到 98.1 ± 0.8% 的 ASR 和 63.2 ± 0.9% 的平均回报下降；随机补丁基线的 ASR 为 43.9 ± 8.4%，平均下降为 -0.1 ± 3.5%。
- 在 DreamerV3 DMControl 上，TRAP 在 humanoid-walk 上报告 69.8 ± 0.7% 的下降和 100.0 ± 0.0% 的 ASR，在 cheetah-run 上报告 22.8 ± 2.3% 和 99.6 ± 0.5%，在 walker-walk 上报告 18.5 ± 1.5% 和 100.0 ± 0.0%，在 dog-run 上报告 9.8 ± 3.8% 和 77.2 ± 3.7%。
- 在 DreamerV3 Atari 上，TRAP 在 seaquest、pong、breakout 和 invaders 上都报告 100.0 ± 0.0% 的 ASR，对应的平均回报下降分别为 97.5 ± 0.8%、164.5 ± 8.3%、98.8 ± 0.7% 和 93.3 ± 1.8%。
- 在 TD-MPC2 DMControl 上，TRAP 在 hopper-hop、cheetah-run 和 walker-walk 上都报告 100.0 ± 0.0% 的 ASR，对应的平均回报下降分别为 99.8 ± 0.3%、98.4 ± 0.4% 和 92.4 ± 0.9%。
- 在 TD-MPC2 walker-walk 上，TRAP 相比随机补丁基线，把下降从 1.9 ± 3.2% 和 64.0 ± 2.5% 的 ASR 提高到 92.4 ± 0.9% 的下降和 100.0 ± 0.0% 的 ASR。