来源笔记
VLA-InfoEntropy: A Training-Free Vision-Attention Information Entropy Approach for Vision-Language-Action Models Inference Acceleration and Success
摘要
VLA-InfoEntropy 是一种面向视觉-语言-行动模型的免训练推理方法，它通过 KV cache 保留更有用的视觉 token，并复用较少有用的 token。它的目标是在保持或提升 LIBERO 上任务成功率的同时，加快 OpenVLA 的测试时推理速度。
问题
- VLA 模型在每一步都会处理大量视觉 token，其中许多 token 对任务相关信息贡献很小。这会增加延迟和计算开销，影响机器人实时使用。
- 以往的加速方法常只依据单一信号进行裁剪，比如视觉冗余或注意力信号，容易漏掉指令关键区域，或者在整个 rollout 过程中缺乏自适应能力。
- 这篇论文希望在不重新训练模型的情况下实现更快推理，这对在算力有限的硬件上部署大型机器人策略很重要。
方法
- 该方法从每个图像 token 的灰度直方图计算 visual entropy。高熵 token 来自纹理丰富或边缘信息较多的区域，被视为更有信息量。
- 它还从文本到视觉的 cross-attention 计算 attention entropy。如果某个视觉 token 收到任务文本的集中注意力，那么它的 attention entropy 较低，归一化后的信息分数就较高。
- 一个 timestep 调度会在整个 rollout 中调整 token 选择：较早步骤保留更多全局上有信息的视觉 token，较晚步骤保留更多与指令相关的 token。
- 被选中的重要 token 会从可复用的静态集合中排除，而价值较低的静态 token 则通过 VLA-Cache 机制复用缓存的 KV 状态。
- 完整的选择规则是视觉熵最高的 token 与 attention 信息分数最高的 token 的并集，数量由与 timestep 相关的超参数控制。
结果
- 在 LIBERO 上，该方法的 平均成功率为 76.4%，对比 OpenVLA 基线的 75.0%、VLA-Cache 的 74.7%、SP-VLA 的 74.9% 和 Spec-VLA 的 75.0%。
- VLA-InfoEntropy 在各子集上的成功率分别为：LIBERO-Spatial 86.4、LIBERO-Object 87.6、LIBERO-Goal 79.4、LIBERO-Long 52.2。它在 Spatial、Object、Goal 和平均分上领先，但在 Long 上不是最高，Spec-VLA 的结果是 55.0。
- 相比 OpenVLA 的效率数据：latency 31.25 vs 51.91、FLOPs 1.214 vs 1.864、speedup 1.53x vs 1.00x。论文还给出 34.9% fewer FLOPs 和 39.8% lower CUDA latency。
- 消融实验中，只有 visual entropy 时平均成功率为 69.8，只有 attention entropy 时为 73.9，静态的 visual+attention 组合为 75.8，完整的 timestep-aware 方法为 76.4。延迟则从 33.82 和 33.24 降到 32.26，再到 31.25。
- 在不同 token 预算下，100 tokens 时成功率为 76.4%，延迟 31.25，1.205 FLOPs。使用 60 tokens 时成功率降到 71.6%，而 140 tokens 时延迟升到 36.64，成功率为 76.8%。