超越高斯世界：潜在几何对JEPA的重要性

中文摘要 AI 辅助

最近的联合嵌入预测架构（JEPAs）通过将学习到的表示约束为遵循指定的目标分布（如各向同性高斯分布或超球面上的均匀分布）来防止表示坍缩。Klindt等人（2026）表明，在他们的欧几里得假设下，匹配高斯目标可以恢复高斯潜变量直至线性变换，并且高斯分布是唯一具有此保证的分布。我们将他们的分析扩展到支持在嵌入黎曼流形上的潜变量，并推导出在潜在几何和正对动态条件下，对齐和精确分布匹配保证线性恢复的条件。特别是，当潜变量在球面上均匀分布且表示被匹配到相同的球面分布时，每个最优表示都能恢复潜状态直至正交变换。这表明高斯唯一性不是分布匹配JEPA的普遍属性：非欧几里得潜在几何可以允许其他线性可恢复的分布。我们进一步推导了一个近似恢复界，该界在球面世界中严格比高斯世界更紧。在高斯、球面和环面潜在空间上的实验表明，当优化成功时，几何兼容的目标产生更好的线性恢复，而不匹配的目标会扭曲潜在结构。这一优势在高维克利福德环面世界中持续存在。

英文摘要

Recent Joint-Embedding Predictive Architectures (JEPAs) prevent representation collapse by constraining learned representations to follow a prescribed target distribution, such as an isotropic Gaussian or the uniform distribution on a hypersphere. Klindt et al. (2026) showed that, under their Euclidean assumptions, matching a Gaussian target can recover Gaussian latent variables up to a linear transformation, and that the Gaussian is the unique distribution with this guarantee. We extend their analysis to latent variables supported on embedded Riemannian manifolds and derive conditions on the latent geometry and positive-pair dynamics under which alignment and exact distribution matching guarantee linear recovery. In particular, when the latent variables are uniformly distributed on a sphere and the representations are matched to the same spherical distribution, every optimal representation recovers the latent state up to an orthogonal transformation. This shows that Gaussian uniqueness is not a universal property of distribution-matched JEPAs: non-Euclidean latent geometries can admit other linearly recoverable distributions. We further derive an approximate-recovery bound that is strictly tighter for the spherical world than for the Gaussian world. Experiments on Gaussian, spherical, and toroidal latent spaces show that geometrically compatible targets yield better linear recovery when optimization succeeds, whereas mismatched targets distort the latent structure. This advantage persists in high-dimensional Clifford-torus worlds.

发表机构

• Université Paris-Saclay（巴黎-萨克雷大学）
• CNRS（法国国家科学研究中心）
• ENS Paris-Saclay（巴黎-萨克雷高等师范学校）
• Centre Borelli（Borelli中心）
• Advanced Track and Trace
• IIE, Facultad de Ingeniería, Universidad de la República（共和国大学工程学院IIE）
• Institut Universitaire de France（法国大学研究院）

机构由 AI 辅助整理，请以论文原文为准。