Beyond Gaussian Worlds: Latent Geometry Matters for JEPAs
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎-萨克雷高等师范学校);Centre Borelli(Borelli中心);Advanced Track and Trace;IIE, Facultad de Ingeniería, Universidad de la República(共和国大学工程学院IIE);Institut Universitaire de France(法国大学研究院)
本研究将JEPA的线性恢复分析从高斯推广到黎曼流形,证明球面均匀分布可替代高斯实现线性恢复,并给出更紧的近似界,实验验证几何匹配目标更优。
2026-09-21 cs.LG
H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning
NYU(纽约大学);Advanced Machine Intelligence(先进机器智能);INRIA Paris(巴黎国家信息与自动化研究所);Brown University(布朗大学)
H-JEPA提出端到端训练层次化JEPA世界模型,通过自上而下的规划与时间分解,在Visual AntMaze上将成功率从18%提升至73%,并扩展到真实机器人视频。
2026-11-03 cs.LG cs.RO
Beyond Generative Priors: Minority Sampling with JEPA-Guided Diffusion
Department of Artificial Intelligence, Kookmin University, Seoul, South Korea(人工智能系,韩国全州大学,首尔)
提出一种基于世界模型JEPA引导的扩散采样框架,通过近似策略实现高效计算,在无条件、类别条件和文本到图像生成中提升少数样本的保真度和语义有效性。
2026-05-23 cs.AI cs.CV cs.LG
Sub-JEPA: Subspace Gaussian Regularization for Stable End-to-End World Models
Shanghai University(上海大学);The University of Manchester(曼彻斯特大学);Nankai University(南开大学)
Sub-JEPA通过在多个随机子空间中应用高斯约束,缓解了JEPA训练中的偏差-方差权衡问题,提升了训练稳定性与表示灵活性,实验显示其在连续控制环境中优于LeWM。
2026-05-10 cs.AI cs.LG
Orthogonal JEPA: Factorized Predictive States for Latent World Models
The Chinese University of Hong Kong (CUHK)(香港中文大学(CUHK))
该研究提出正交JEPA框架,通过正交预测分解改进潜在世界模型,在多类任务实验中评估了其表示质量、预测、规划及长时程稳定性。
2026-09-23 cs.LG
LRC-JEPA: Disentangling Dynamics and Residual Context for Efficient World Models
USC(南加州大学)
LRC-JEPA通过将动力学与残差上下文解耦,在紧凑潜在空间中实现高效规划,在四个模拟环境和真实Bridge-v2数据集上显著提升规划成功率并超越更大模型。
2026-09-29 cs.AI cs.LG cs.RO
Value-guided action planning with JEPA world models
École Polytechnique(巴黎高等理工学院);ENS Paris(巴黎高等师范学院);New York University(纽约大学)
本文提出了一种基于JEPA世界模型的价值引导动作规划方法,通过塑造表示空间提升规划性能。
2025-12-28 cs.AI cs.LG cs.RO
UWM-JEPA: Predictive World Models That Imagine in Belief Space
AgentField AI
针对部分可观测环境,提出UWM-JEPA模型,通过密度矩阵潜变量和酉预测器在信念空间中保持联合状态谱,实现长时域盲推演下的不确定性保持,显著优于向量潜变量基线。
2026-05-25 cs.AI cs.LG cs.RO
SC-JEPA: Stabilizing Latent Predictive Learning for Time-Series Anomaly Prediction
Purdue University(普渡大学);Rensselaer Polytechnic Institute(拉特格斯理工学院);Stony Brook University(石溪大学)
MTS-JEPA通过多分辨率预测目标和软代码本瓶颈,解决时间序列异常预测中的表示崩溃和多时间尺度信号捕捉问题,实现先进性能。
2026-07-20 cs.LG
Subspace-Decomposed JEPAs: Disentangling Progression and Content in Latent World Models
LIX, École Polytechnique(巴黎高等学院LIX实验室);IRT SystemX(系统X研究院);Safran Tech(萨弗兰科技)
提出SD-JEPA方法,通过将JEPA潜在空间分解为正交的进展子空间和内容子空间,利用余弦边际三元组损失和SIGReg正则化分别约束,在控制基准上优于LeWM基线,并证明进展坐标可作为场景感知的指南针。
2026-10-15 cs.LG
Giving Sensors a Voice: Multimodal JEPA for Semantic Time-Series Embeddings
C3 AI
提出CHARM模型,通过通道级文本描述与Transformer编码器结合,利用联合嵌入预测架构(JEPA)学习语义时间序列嵌入,在异常检测、分类和预测任务中仅用线性探针即取得强性能。
2026-05-29 cs.LG
Diagnosing JEPA World Models with Action-Conditioned Predictive Consistency
Huawei(华为);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
本研究针对JEPAs世界模型易受视觉扰动影响的问题,提出动作条件预测一致性(ACPC)诊断方法,定义IR与SR指标,经四视觉控制任务实验验证其可预测扰动带来的预测及代价变化。
2026-08-14 cs.LG
D-JEPA: A Decision-Aligned Latent World Model
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Boston University(波士顿大学);Shanghai Jiao Tong University(上海交通大学)
D-JEPA提出决策对齐的潜在世界模型,通过学习候选未来间的决策相关关系,弥补预测与执行成功间的差距,在多个控制任务中显著提升动作选择性能。
2026-09-22 cs.LG cs.RO
Semigroup-JEPA: Latent Dynamics Consistency for Zero-Shot Physics Generalization
Yale University(耶鲁大学);Jump Trading(跃动交易公司);Brown University(布朗大学)
提出Semigroup-JEPA,通过动作条件注入物理参数并联合训练编码器与预测器,实现零样本物理泛化,显著降低预测误差并提升控制成功率。
2026-09-10 cs.AI cs.CV cs.LG
BRo-JEPA: Learning Modular Transformations in Latent Space
Georgia Institute of Technology(佐治亚理工学院);NYU Langone Health(纽约大学Langone医疗中心)
本文提出BRo-JEPA模型,通过在潜空间中施加模10算术的循环结构,实现零样本泛化,解决了标准模型无法外推未见操作的问题。
2026-08-19 cs.AI cs.CV cs.LG
JEPA-x: Cross-Predictive Physics Grounding for Forecastable Latent Dynamics
XP-JEPA通过将视觉与物理表征交叉预测,提升了潜在动力学的可预测性,在多任务套件上降低了展开漂移并提高了控制成功率,无需特权输入即可实现更优的基于展开的控制性能。
2026-08-31 cs.LG
ACT-JEPA: Novel Joint-Embedding Predictive Architecture for Efficient Policy Representation Learning
Faculty of Technical Sciences, University of Novi Sad(技术科学学院,诺维萨德大学)
提出ACT-JEPA架构,结合模仿学习与自监督学习,通过联合预测动作序列和潜在观测序列学习鲁棒世界模型,在多个环境中任务成功率提升达10%。
2026-06-25 cs.AI cs.LG
MDN-VJEPA: Multimodal Probabilistic Joint-Embedding World Models
University of Aberdeen(阿伯丁大学)
本文提出MDN-VJEPA,一种基于混合密度网络的多模态概率联合嵌入世界模型,通过满足时间相干性与组合一致性要求,在分支未来下实现了更优规划决策。
2026-10-14 cs.LG
Phys-JEPA: Physics-Informed Latent World Models for Multivariate Time-Series Forecasting
Tianjin University(天津大学)
提出Phys-JEPA架构,将物理一致性约束引入潜在状态和状态转移,分解预测状态为物理和残差分量,在气候、交通、电力数据集上提升预测精度。
2026-06-16 cs.AI cs.GT cs.LG
MA-JEPA: Joint-Embedding World Models for Multi-Agent Reinforcement Learning
University of Oxford(牛津大学)
MA-JEPA提出一种基于JEPA的随机世界模型,通过预测目标表征替代观测重建,实现多智能体强化学习的集中训练与分散执行,在SMAC上表现优异。
2026-10-09 cs.AI cs.LG cs.MA
Atom-JEPA: Joint-Embedding Predictive Architecture for 3D Atomistic Systems
Technical University of Denmark(丹麦技术大学)
Atom-JEPA提出一种自监督预训练框架,通过原子级和子结构级目标从无标签3D结构学习潜在表示,在分子和晶体数据集上预训练,并在ADMET和量子化学属性预测任务上达到最先进性能,证明潜在空间预测预训练支持广泛下游泛化。
2026-10-07 cs.AI cs.LG physics.comp-ph
Does Latent Planning Survive Point Clouds? Action-Conditioned JEPA World Models for Geometric Observations and Goals
AIT Austrian Institute of Technology(奥地利技术研究所);Assistive & Autonomous Systems(辅助与自主系统)
该研究将JEPA模型扩展至点云场景,验证了三种JEPA设计可在点云规划中有效工作,其中动作敏感型模型表现最优,还实现了无需目标观测的3D目标接口构建。
2026-09-29 cs.AI cs.CV cs.LG
Reperesentation Geometry Matters for Planning with JEPA World Models
Boston University(波士顿大学);Unity Technologies(Unity科技公司)
该研究提出SCALE正则化器,为LeWM表示校准几何属性,在多任务、多求解器和多计算预算下均提升规划性能,证明规划依赖信息对几何的塑造作用。
2026-10-07 cs.LG
JEPA-Bisim: Learning Robust Visual Representations for Planning with Joint-Embedding Predictive World Models
Department of Electrical Engineering, Columbia University, New York, USA.(电气工程系,哥伦比亚大学,纽约,美国)
本文提出了一种联合嵌入预测世界模型,通过引入双模拟编码器增强对慢特征的鲁棒性,提升在减少潜在空间中的导航任务性能。
2026-10-02 cs.LG math.OC
One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models
该研究发现JEPA世界模型中,单步预测保真度与规划性能相关性极低,二者无可靠替代关系,该结果在多环境、多指标下均复现。
2026-10-14 cs.LG
Spectral-Target Physical Latent Structuring for JEPA-Style World Models
Kaliber Labs(卡利伯实验室)
针对JEPA式世界模型的物理表示懒惰问题,提出训练时添加轻量傅里叶辅助头的方法,可提升动态环境等的规划成功率与数据效率,避免表示懒惰。
2026-09-17 cs.LG
BeliefGraph-JEPA: Structured Latent World Models for Action-Conditioned Time Series
Carnegie Mellon University(卡内基梅隆大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Stevens Institute of Technology(史蒂文斯理工学院)
针对动作条件时间序列预测,提出BeliefGraph-JEPA结构化潜在世界模型,通过类型化潜在效应状态和图路由捕捉未来驱动因素影响,在四个多目标系统上优于多种基线。
2026-10-06 cs.AI cs.LG
I Act Therefore I Am: When Is JEPA's Action-Conditioning Enough to Learn Causal Mechanisms?
Responsible AI Research Centre, Australia(澳大利亚负责任人工智能研究中心);Australian Institute for Machine Learning, Adelaide University(阿德莱德大学澳大利亚机器学习研究所)
本研究探究JEPA架构在动作条件下恢复潜在因果状态的条件,提出信息论目标与A-JEPA模型,并验证其可辨识性与泛化能力。
2026-09-28 cs.LG
ARC-Bench: Closed-Loop Replanning Masks Broken Action Ranking in Frozen JEPA World Models
University of Southern California(南加州大学);Aalto University(阿尔托大学)
ARC-Bench通过无泄漏协议审计冻结JEPA世界模型的动作排序,发现其严重失败,并揭示闭环重规划掩盖了这一缺陷,导致成功率高估可排序性。
2026-09-09 cs.AI cs.LG cs.RO
TD-JEPA: Latent-predictive Representations for Zero-Shot Reinforcement Learning
FAIR at Meta(Meta 的 FAIR);ETH Zurich(苏黎世联邦理工学院)
该研究提出TD-JEPA框架,通过时序差分学习从离线无奖励数据中学习跨多策略的长期潜变量预测表示,实现测试时任意奖励函数的零样本优化,在13个数据集的多类任务上达到或超越SOTA,尤其在像素级零样本RL中表现优异。
2025-10-01 cs.LG
AD-E2E-JEPA: A Joint-Embedding Predictive Architecture For End-to-End Autonomous Driving
New York University(纽约大学);AMI Labs(AMI实验室)
本文提出AD-E2E-JEPA,通过SIGReg正则化可学习投影器大幅压缩规划补丁和嵌入维度,实现100倍推理加速并保持规划性能,在零样本规划中有效,且预训练投影器提升下游模仿学习性能。
2026-09-29 cs.AI cs.CV cs.LG
The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models
Université Paris-Saclay, CEA, List(巴黎萨克雷大学,法国国家科学研究中心,List研究所);Computer Vision Center Barcelona(巴塞罗那计算机视觉中心)
研究JEPA世界模型,通过将四个正则化器组织成层次结构,证明选择抗坍缩正则化器决定训练目标是否为有效AIF变分自由能,在特定条件下SIGReg有优势,还扩展对应关系并确定未计算的AIF项。
2026-07-16 cs.AI cs.LG
Toward Physically Grounded JEPA World Models for Goal-Conditioned Robotic Planning
GENISOM AI
该研究提出结合逆动力学模型与状态对齐的端到端JEPA世界模型,在四个机器人规划基准任务中多数达到最优成功率,验证了状态对齐对提升规划效果的作用。
2026-09-22 cs.AI cs.LG cs.RO
seq-JEPA: Autoregressive Predictive Learning of Invariant-Equivariant World Models
Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所);CHU Sainte-Justine(圣约斯特医院)
seq-JEPA通过引入架构归纳偏置,解决SSL中不变性与等变性任务间的性能权衡,同时学习两种独立表示以提升下游任务表现。
2026-01-08 cs.AI cs.CV cs.LG
Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data
Aigen(爱igen)
研究针对从真实户外机器人数据学习世界模型的挑战,引入深度作为训练几何先验,结合SIGReg等方法,训练18M参数模型,实验表明该方法在降低视觉里程计误差、增加意外分数分离及提高多步展开保真度等方面有显著提升,增强了模型泛化能力。
2026-07-21 cs.CV cs.LG cs.RO
W-JEPA: Wavelet Joint-Embedding Predictive Architecture for Wearable Activity Recognition
University of California San Diego(加州大学圣地亚哥分校)
本研究针对可穿戴设备活动识别的异质性问题,提出W-JEPA自监督框架,通过小波标记的多尺度建模与潜在预测学习,在六个基准上实现了显著的性能提升。
2026-10-14 cs.LG
Mol-JEPA: A multimodal Joint Embedding Predictive Architecture for Molecules
University of Tübingen(蒂宾根大学);Boehringer Ingelheim(勃林格殷格翰);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Brown University(布朗大学)
针对分子基础模型的化学无效增强等局限,提出Mol-JEPA多模态框架,利用模态掩码融入生化上下文,在基准测试中展现出优异性能。
2026-09-03 cs.AI cs.LG
Var-JEPA: A Variational Formulation of the Joint-Embedding Predictive Architecture - Bridging Predictive and Generative Self-Supervised Learning
University(大学);Health Data Research UK(英国健康数据研究)
本文提出Var-JEPA,通过优化单个ELBO显式化潜在生成结构,实现有意义的表示并允许潜在空间的不确定性量化,同时在表格数据上取得优于T-JEPA且与强基线模型竞争的性能。
2026-08-31 cs.AI cs.LG
Beyond Patient Invariance: Learning Cardiac Dynamics via Action-Conditioned JEPAs
Department of Computer Science(计算机科学系);Universidade Federal de Minas Gerais(巴西联邦大学矿务格里斯矿大学);Belo Horizonte, Brazil(巴西伯洛霍内)
本文提出动作条件化世界模型,通过学习疾病进展动力学,区分稳定解剖特征与动态病理力量,提升心电图关键分诊任务的性能。
2026-04-24 cs.LG
CGM-JEPA: Learning Consistent Continuous Glucose Monitor Representations via Predictive Self-Supervised Pretraining
University of New South Wales(新南威尔士大学);Google Research(谷歌研究)
本文提出CGM-JEPA框架,通过预测掩码的潜在表示来提升多模态数据的迁移能力,实验显示其在不同场景下均优于基线方法。
2026-05-01 cs.AI cs.LG
JEDI: Joint Embedding Diffusion World Model for Online Model-Based Reinforcement Learning
National University of Singapore(新加坡国立大学)
JEDI通过联合嵌入扩散方法,构建了首个端到端的潜在扩散世界模型,提升了在线基于模型的强化学习效率与性能,减少了显存占用并加快了训练速度。
2026-05-13 cs.LG
GOT-JEPA: Generic Object Tracking with Model Adaptation and Occlusion Handling using Joint-Embedding Predictive Architecture
Department of Computer Science, National Yang Ming Chiao Tung University(国家阳明交通大学计算机科学系);Research Center for Information Technology Innovation, Academia Sinica(中华学术院信息技术创新研究中心);Microsoft AI(微软人工智能)
提出GOT-JEPA框架,通过预测跟踪模型而非图像特征来提升泛化能力,并设计OccuSolver增强遮挡感知,在七个基准上验证了有效性。
2026-06-17 cs.AI cs.CV cs.LG
VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models
VJEPA通过变分目标学习预测分布,统一表征学习与贝叶斯过滤,提供概率世界模型框架,适用于高维噪声环境中的鲁棒规划。
2026-01-20 cs.LG
Do-JEPA: From Masking to Intervention in Latent World Models
Australian Institute for Machine Learning, Adelaide University(阿德莱德大学澳大利亚机器学习研究所);Responsible AI Research Centre(负责任人工智能研究中心)
Do-JEPA通过干预物理世界而非模型所见内容,训练潜在世界模型预测动作因果效应,在多个基准上显著降低效应误差并提升因果发现能力。
2026-09-30 cs.AI cs.CV cs.LG
No Gaussian Required: Contrastive Inverse Dynamics for JEPA World Models
Quantexa(昆泰克萨公司)
该研究提出AC-MTM,用对比逆动力学替代JEPA世界模型的高斯型抗坍塌机制,在多目标视觉任务上性能优于SIGReg,且训练稳定无额外复杂组件
2026-08-19 cs.AI cs.LG
Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives
Adhikari(阿迪卡里)
本研究探讨了视频JEPA中辅助目标的实证效果,通过对比不同辅助目标变体,发现潜在表示的因子化方法在提升某些能力的同时可能降低其他能力,FWM-HW-LD在混合数据集下提升了ImageNet-100和SSv2的性能。
2026-05-16 cs.CV cs.LG
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
FAIR at Meta;Mila -- Quebec AI Institute
本文提出自监督视频模型 V-JEPA 2,结合海量网络视频与少量机器人数据,实现视频理解、动作预判、视频问答及零样本机械臂规划。
2025-06-11 cs.AI cs.CV cs.LG
CSI-JEPA: Towards Foundation Representations for Ubiquitous Wi-Fi Sensing with Minimal Supervision
North Carolina State University, USA(北卡罗来纳州立大学)
CSI-JEPA提出一种自监督预测表示学习框架,通过学习可重用的时频表示,实现高效多任务Wi-Fi感知,提升性能并节省标注数据成本。
2026-11-06 cs.LG cs.NI
Preserving Unstable Modes Through Inverse Dynamics in JEPA World Models
Columbia University(哥伦比亚大学);New York University(纽约大学);AMI Labs(AMI实验室)
针对JEPA世界模型中不稳定模态坍缩导致控制失效的问题,提出逆动力学损失增强控制感知表示,理论证明其保留可达子空间,并在非线性视觉控制任务中验证有效性。
2026-10-07 cs.LG cs.RO cs.SY
HiT-JEPA: A Hierarchical Self-supervised Trajectory Embedding Framework for Similarity Computation
University of New South Wales(新南威尔士大学);Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
提出HiT-JEPA框架,通过三层层次结构联合学习轨迹的细粒度细节、中间模式和高层抽象,实现多尺度表示,在轨迹相似度计算任务中优于现有方法。
2026-06-25 cs.AI cs.CV cs.LG
A JEPA Recipe for Tabular Foundation Models
Modulabs
本文提出一种JEPA训练配方,使潜在项在表格基础模型中与值目标共存,实验表明其性能略逊于仅值目标,但揭示了固定步数预算的混淆效应。
2026-09-23 cs.AI cs.LG
Scalable and Efficient Joint Spiking Embedding Predictive Architecture for Large-Scale Dynamic Graphs
Sun Yat-sen University(中山大学)
针对现实世界动态图标记数据稀缺问题,提出SG-JEPA架构,通过沿时间维度划分节点并利用脉冲神经元编码,学习相互预测的嵌入,在节点分类任务中性能优于判别基线,且训练效率和内存可扩展性高。
2026-07-22 cs.LG cs.NE
Online Monitoring Framework for Automotive Time Series Data using JEPA Embeddings
本文提出基于JEPA嵌入的汽车时间序列数据在线监控框架,通过自监督学习实现无标签异常检测,适用于现实环境中未知异常的识别。
2026-02-10 cs.AI cs.CV cs.LG
LeHami: Symplectic Latent Dynamics for World Models
Courant Institute, New York University(纽约大学柯朗研究所);Brown University(布朗大学);AMI Labs(AMI实验室)
LeHami将辛哈密顿流引入JEPA,解决了其长展开时隐分布压缩的问题,在视觉摆任务中提升了长程速度预测性能并维持了隐体积,还支持亚帧积分与时间反转。
2026-10-14 cs.AI cs.LG cs.RO