来源笔记
AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning
Vision Language ActionCatastrophic ForgettingGradient ProjectionRobot Fine TuningKnowledge Preservation
摘要
AEGIS 是一种用于视觉-语言-动作模型的微调方法。它在让连续动作梯度更新骨干网络的同时，保留了预训练视觉-语言模型的视觉推理能力。它通过逐层检测动作训练梯度何时会把模型推离预训练的激活模式，并只去掉那一部分冲突分量来实现这一点。
Problem
- 视觉-语言模型的预训练使用的是分布在许多语义方向上的交叉熵梯度，而机器人动作微调会注入集中在狭窄控制子空间里的高幅值 MSE 梯度。
- 这种不匹配会导致灾难性遗忘：论文报告称，直接进行朴素的 MSE 微调会让 VQA 留出集损失在 1,500 个训练步内持续恶化。
- 现有防御有明确代价：stop-gradient 通过阻断动作梯度来保留 VQA，LoRA 会放慢但不会阻止 VQA 退化，而混合批次的 VQA 共训练在机器人训练期间最多会使用 50% 的 VQA 数据，增加计算和数据开销。
Approach
- AEGIS 先基于跨所有 26 个 Transformer 层的 masked VQA 前向传播，预先计算一个静态激活锚点，并保存每层的高斯均值和方差统计量。
- 在机器人微调期间，它使用每层的 Wasserstein-2 距离，结合均值偏移和标准差不匹配，衡量当前层激活与该锚点的漂移程度。
- 它在同一计算图上运行两次反向传播：一次对应动作损失，另一次对应锚点恢复目标，得到任务梯度和锚点梯度。
- 对每个 Transformer 层，它检查动作梯度是否与锚点恢复方向冲突。如果点积为负，就用 Gram-Schmidt 步骤去掉冲突分量；如果不冲突，就保持梯度不变。
- 这个方法只改反向传播。论文说前向传播、架构和任务损失都不变，训练也不需要 replay buffer、共训练批次或离散动作 token。
Results
- 论文声称，朴素的直接 MSE 微调会在 1,500 步内让 VQA 留出集损失出现 明显且持续 的上升。
- 文中的 stop-gradient 基线让 VQA 损失 大致保持不变，但会阻断来自动作专家的连续监督。
- LoRA 基线在 LLM 层上使用 rank 16 和 alpha 32，VQA 损失仍然会 持续上升，只是比朴素微调慢。
- AEGIS 用 3,000 个 VQAv2 样本，在 单个 GPU 上大约 5 分钟 就能构建锚点。
- 摘要说，这个投影平均去掉的梯度能量不到 1%。
- 这段摘录没有给出完整的基准表或端任务机器人成功率，因此这里没有关于操作性能、全数据集 VQA 分数，或除上述具体结论之外的基线对比的定量结果。