来源笔记
Test-Time Training for Visual Foresight Vision-Language-Action Models
摘要
T³VF 为 Visual Foresight VLA 模型加入测试时训练，使它们在部署时视觉条件发生变化时也能适应。它把预测的未来图像和之后观察到的图像之间的差异当作监督信号，再用动作方差过滤更新。
问题
- Visual Foresight VLA 模型先预测未来的视觉状态，再基于这个预测生成动作，所以分布外视觉变化会同时损害图像预测和动作生成。
- 这篇论文针对 LIBERO-Plus 中的扰动，包括机器人状态、语言、噪声、布局、背景、相机和光照变化。
- 这很重要，因为即使基础模型在分布内的 LIBERO 任务上表现良好，VF-VLA 在部署时遇到变化后也可能掉点。
方法
- 在步骤
t，模型预测未来观测ô_{t+n}并执行一个动作。经过n步后，环境给出实际观测o_{t+n}。 - T³VF 将
(ô_{t+n}, o_{t+n})视为自监督训练对，并用训练时相同的图像损失来更新图像预测路径。 - 这次更新只改动可学习查询 token
q；VLM 主干、图像头和动作头都保持冻结。 - 为了避免噪声更新，该方法采样
K=5个动作，计算它们的平方 L2 方差，只在方差落入最近缓冲区下ρ=0.3分位时接受更新。 - 文中给出的超参数是预测间隔
n=4、批大小B=4、方差缓冲区大小10、动作采样数K=5和百分位阈值ρ=0.3。
结果
- 在带扰动训练的 LIBERO-Plus 上，Mantis + T³VF 的平均成功率达到
52.1%，Mantis 为49.3%，提升+2.8个百分点，约+5.7%相对提升。 - 在同一设置下，表中最大的提升来自 Camera：
55.3%对50.5%（+4.8点）；Light：72.4%对67.8%（+4.6点）；Background：63.0%对60.3%（+2.7点）；Layout：44.9%对42.3%（+2.6点）。 - 在没有扰动训练时，T³VF 的提升更小：平均成功率
40.3%对39.8%，即+0.5点。 - Robot 扰动的消融结果显示，Mantis 为
29.0%，未过滤的测试时训练为29.8%，固定方差阈值为28.6%，完整的自适应缓冲区为31.8%。 - 在 Robot 扰动上，T³VF 的运行时间大约是基础每回合时间的
1.3×，而未过滤的测试时训练大约是1.7×。