来源笔记
When Does LeJEPA Learn a World Model?
摘要
这篇论文给出 LeJEPA 何时学到线性世界模型的条件：当潜变量是高斯分布、正样本对来自平稳的加性噪声转移时，最优解会在正交变换下恢复潜变量。
问题
- 非线性观测会掩盖规划和组合泛化所需的潜状态。
- 现有 JEPA 工作没有证明学到的嵌入何时能恢复真实潜变量，因此线性探针和潜空间规划缺少可辨识性保证。
- 论文要问的是：在独立、平稳的加性噪声转移下，哪种潜变量分布会让 LeJEPA 具有线性可辨识性。
方法
- 将观测建模为
x = g(z)，其中g可以是非线性的，并用 LeJEPA 训练h = f ∘ g，目标是对齐项E||h(z') - h(z)||²加上高斯正则项h(z) ~ N(0, I_n)。 - 对于高斯潜变量，使用 Ornstein-Uhlenbeck 正样本对转移
z' = ρz + sqrt(1 - ρ²)η，其中η ~ N(0, I_n)。 - 把学到的函数分解为 Hermite 多项式的阶数。
d阶项的相关性是ρ^d，所以非线性项的相关性低于一次项。 - 对逆向结论使用 Sturm-Liouville 分析：在加性噪声下，如果要求第一特征函数是仿射函数，就会推出潜变量密度必须是高斯分布。
- 通过证明当代价对正交变换不变时，最优有限时域控制在正交潜变量恢复下保持不变，把正交恢复和规划联系起来。
结果
- 定理 5.1：在高斯世界中，任何可测的
h只要满足h(z) ~ N(0, I_n)，就有损失L(h) ≥ 2(1 - ρ)n；只有当h(z) = Qz，其中Q ∈ O(n)为某个正交矩阵时，才取等号。 - 在最优点，学到的转移在表示空间中具有相同形式：
h(z') | h(z) ~ N(ρh(z), (1 - ρ²)I_n)。 - 定理 5.2：在独立、平稳、加性噪声的世界中，高斯潜变量是唯一一种使所有白化后的 LeJEPA 极小解都为线性的情况。
- 定理 5.3：近似恢复满足界
E||h(z) - Qz||² ≤ D + (ε + D)²，其中D = δ / (2ρ(1 - ρ))，δ是对齐松弛量，ε是白化误差。 - 定理 5.4：如果
h(z)=Qz，对于O(n)不变的代价，潜空间规划给出的最优值和动作序列与在真实潜状态中规划相同。 - 提供的摘录提到在 2D 非线性混合、分布消融、1024 维潜变量、近似界测试和基于像素的机器人控制上做了实验，但没有给出任务分数表或经验指标值。