Predictive Objectives Discard Exogenous Control-Relevant Features: A Controlled Mechanistic Study
研究发现联合嵌入预测目标会丢弃外生但控制相关的特征,即使这些特征易于编码;通过受控实验比较六种目标,发现无奖励预测目标均导致该特征接近随机精度,而奖励接地变体可选择性保留。
2026-06-29 cs.LG
Does Latent Planning Survive Point Clouds? Action-Conditioned JEPA World Models for Geometric Observations and Goals
AIT Austrian Institute of Technology(奥地利技术研究所);Assistive & Autonomous Systems(辅助与自主系统)
该研究将JEPA模型扩展至点云场景,验证了三种JEPA设计可在点云规划中有效工作,其中动作敏感型模型表现最优,还实现了无需目标观测的3D目标接口构建。
2026-09-29 cs.AI cs.CV cs.LG
Reperesentation Geometry Matters for Planning with JEPA World Models
Boston University(波士顿大学);Unity Technologies(Unity科技公司)
该研究提出SCALE正则化器,为LeWM表示校准几何属性,在多任务、多求解器和多计算预算下均提升规划性能,证明规划依赖信息对几何的塑造作用。
2026-10-07 cs.LG
AD-E2E-JEPA: A Joint-Embedding Predictive Architecture For End-to-End Autonomous Driving
New York University(纽约大学);AMI Labs(AMI实验室)
本文提出AD-E2E-JEPA,通过SIGReg正则化可学习投影器大幅压缩规划补丁和嵌入维度,实现100倍推理加速并保持规划性能,在零样本规划中有效,且预训练投影器提升下游模仿学习性能。
2026-09-29 cs.AI cs.CV cs.LG
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning
FAIR at Meta;Mila -- Quebec AI Institute
本文提出自监督视频模型 V-JEPA 2,结合海量网络视频与少量机器人数据,实现视频理解、动作预判、视频问答及零样本机械臂规划。
2025-06-11 cs.AI cs.CV cs.LG
One-Step Prediction Fidelity Is a Poor Proxy for Planning Performance in JEPA World Models
该研究发现JEPA世界模型中,单步预测保真度与规划性能相关性极低,二者无可靠替代关系,该结果在多环境、多指标下均复现。
2026-10-14 cs.LG
Behavioral Monitoring of JEPA World Models with Jacobian Centroids
Rice University(莱斯大学);Brown University(布朗大学)
本文提出用雅可比质心监测JEPA世界模型的行为对齐,发现编码器与预测器的结构分离可预测规划失败,并优于基线作为分布偏移检测器。
2026-09-29 cs.LG
Diagnosing JEPA World Models with Action-Conditioned Predictive Consistency
Huawei(华为);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
本研究针对JEPAs世界模型易受视觉扰动影响的问题,提出动作条件预测一致性(ACPC)诊断方法,定义IR与SR指标,经四视觉控制任务实验验证其可预测扰动带来的预测及代价变化。
2026-08-14 cs.LG
Flow-JEPA: Robust Latent Dynamics for JEPA World Models via Flow Matching
Nanyang Technological University(南洋理工大学);The University of Queensland(昆士兰大学)
本研究针对JEPA世界模型确定性自回归预测器易累积误差且对扰动敏感的问题,提出Flow-JEPA,采用条件流匹配实现随机轨迹级预测,显著提升了干净及含噪观测下的平均成功率。
2026-09-30 cs.AI cs.LG
Spectral-Target Physical Latent Structuring for JEPA-Style World Models
Kaliber Labs(卡利伯实验室)
针对JEPA式世界模型的物理表示懒惰问题,提出训练时添加轻量傅里叶辅助头的方法,可提升动态环境等的规划成功率与数据效率,避免表示懒惰。
2026-09-17 cs.LG
Orthogonal JEPA: Factorized Predictive States for Latent World Models
The Chinese University of Hong Kong (CUHK)(香港中文大学(CUHK))
该研究提出正交JEPA框架,通过正交预测分解改进潜在世界模型,在多类任务实验中评估了其表示质量、预测、规划及长时程稳定性。
2026-09-23 cs.LG
Hamiltonian JEPA: Action-Conditioned World Models with an Inherited Control State
The Blavatnik School of Computer Science(布拉瓦特尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
H-JEPA通过分离感知与控制的联合嵌入预测架构,利用端口哈密顿动力学和端口逆一致性,在像素控制基准上超越基线,最大增益达12.6个百分点。
2026-09-29 cs.LG
Qantara: Bridge-Flow Training for Multi-Paradigm JEPA Inference
T-Tech
研究针对联合嵌入预测架构(JEPAs)单一推理范式问题,提出Qantara,通过端到端联合训练目标,同一检查点服务三种推理范式,提升控制性能,推动JEPAs从单范式规划器向多范式控制器转变。
2026-10-14 cs.CV cs.LG cs.RO
What Drives Success in Physical Planning with Joint-Embedding Predictive World Models?
Meta FAIR;Inria Paris(巴黎理工院);Ecole normale supérieure / PSL(巴黎高等师范学院 / PSL);New York University(纽约大学)
本文研究了在物理规划中使用联合嵌入预测世界模型(JEPA-WMs)的成功因素,通过分析模型架构、训练目标和规划算法对规划成功的影响,提出了一种在导航和操作任务中优于现有基线方法的模型。
2026-09-03 cs.AI cs.LG cs.RO
D-JEPA: A Decision-Aligned Latent World Model
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Boston University(波士顿大学);Shanghai Jiao Tong University(上海交通大学)
D-JEPA提出决策对齐的潜在世界模型,通过学习候选未来间的决策相关关系,弥补预测与执行成功间的差距,在多个控制任务中显著提升动作选择性能。
2026-09-22 cs.LG cs.RO
SPLICE: Latent Diffusion over JEPA Embeddings for Conformal Time-Series Inpainting
Hydro-Québec Research Institute Canada(加拿大水电研究院)
SPLICE结合潜在生成修复与分布无关的在线自适应预测区间,通过JEPA编码器、条件潜在桥接和解码器实现时间序列修复,利用ACI保证预测覆盖,优于现有基线。
2026-10-06 cs.LG eess.SP stat.ML
Semigroup-JEPA: Latent Dynamics Consistency for Zero-Shot Physics Generalization
Yale University(耶鲁大学);Jump Trading(跃动交易公司);Brown University(布朗大学)
提出Semigroup-JEPA,通过动作条件注入物理参数并联合训练编码器与预测器,实现零样本物理泛化,显著降低预测误差并提升控制成功率。
2026-09-10 cs.AI cs.CV cs.LG
No Gaussian Required: Contrastive Inverse Dynamics for JEPA World Models
Quantexa(昆泰克萨公司)
该研究提出AC-MTM,用对比逆动力学替代JEPA世界模型的高斯型抗坍塌机制,在多目标视觉任务上性能优于SIGReg,且训练稳定无额外复杂组件
2026-08-19 cs.AI cs.LG
EpicWorldModel: Exploration-driven Planning with Latent World Models
Princeton University(普林斯顿大学);Torc Robotics
EpicWorldModel提出基于流匹配的随机JEPA框架,在部分可观测环境中利用预测方差引导CEM规划,平衡目标达成与遮挡区域探索,成功率最高提升22%。
2026-10-06 cs.AI cs.LG cs.RO
Subspace-Decomposed JEPAs: Disentangling Progression and Content in Latent World Models
LIX, École Polytechnique(巴黎高等学院LIX实验室);IRT SystemX(系统X研究院);Safran Tech(萨弗兰科技)
提出SD-JEPA方法,通过将JEPA潜在空间分解为正交的进展子空间和内容子空间,利用余弦边际三元组损失和SIGReg正则化分别约束,在控制基准上优于LeWM基线,并证明进展坐标可作为场景感知的指南针。
2026-10-15 cs.LG
MDN-VJEPA: Multimodal Probabilistic Joint-Embedding World Models
University of Aberdeen(阿伯丁大学)
本文提出MDN-VJEPA,一种基于混合密度网络的多模态概率联合嵌入世界模型,通过满足时间相干性与组合一致性要求,在分支未来下实现了更优规划决策。
2026-10-14 cs.LG
Temporal Straightening for Latent Planning
New York University(纽约大学);Brown University(布朗大学);University of Toronto(多伦多大学)
受人类视觉处理中感知拉直假说启发,提出时间拉直方法,通过曲率正则化联合学习JEPA世界模型的编码器和预测器,改善隐式规划中的表示学习,使梯度规划更稳定并提高目标到达任务成功率。
2026-08-12 cs.LG
Clin-JEPA: A Multi-Phase Co-Training Framework for Joint-Embedding Predictive Pretraining on EHR Patient Trajectories
Duke University(杜克大学)
本文提出Clin-JEPA框架,通过多阶段预训练稳定协同训练编码器和预测器,解决EHR数据中联合嵌入预测的挑战,实现多任务下游任务的高性能表现。
2026-09-18 cs.AI cs.LG q-bio.QM
LpWM: A Case for Sparse Representations in World Models
NYU(纽约大学);Duke University(杜克大学);Mila(米拉);Brown University(布朗大学)
本文提出LpWM模型,以稀疏表示替代密集表示建模动作条件潜在动力学,在PushT任务上规划成功率优于密集模型,且能揭示可解释的动力学结构。
2026-08-25 cs.LG
VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models
VJEPA通过变分目标学习预测分布,统一表征学习与贝叶斯过滤,提供概率世界模型框架,适用于高维噪声环境中的鲁棒规划。
2026-01-20 cs.LG
SkyJEPA: Learning Long-Horizon World Models for Zero-Shot Sim-to-Real Control of Quadrotors
提出基于JEPA的潜空间动力学模型,结合物理启发探测器实现长时域预测,并集成采样最优控制实现实时控制,通过自动化数据生成实现零样本仿真到现实迁移。
2026-06-24 cs.LG cs.RO
The Global Neural World Model: Spatially Grounded Discrete Topologies for Action-Conditioned Planning
Western Digital Corporation(西部数据公司)
本文提出全局神经世界模型,通过平衡的连续熵约束实现拓扑量化,采用连续动作条件联合嵌入预测架构,将环境映射到离散2D网格,防止流形漂移,通过最大熵探索学习通用过渡动态。
2026-04-17 cs.AI cs.LG
MemWM: Associative Memory-Enhanced Latent World Models for Long-Horizon Planning
Shanghai Academy of AI for Science(上海人工智能科学研究院);Fudan University(复旦大学)
该研究针对潜在世界模型的表征坍塌等问题,提出结合JEPA预测与内容可寻址记忆库的记忆增强模型,经多数据集实验验证,其轻量级架构在长时序规划任务上实现了最优性能。
2026-11-09 cs.CV cs.LG
Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models
New York University(纽约大学);Genentech(基因泰克);Brown University(布朗大学);University of Toronto(多伦多大学);Meta – FAIR
该研究针对无奖励离线数据场景,系统对比了强化学习与基于潜在动力学模型的规划方法在导航任务中的表现,发现基于模型的规划泛化性和数据效率更优,是处理次优离线数据的有效途径。
2025-10-29 cs.LG
FlexiWorld: Learning and Planning via Flexible Action Chunks Across Multiple Time Scales
University of Toronto(多伦多大学);Zhejiang University(浙江大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Mila & Université de Montréal(Mila与蒙特利尔大学);Samsung SAIL(三星SAIL);Tsinghua University(清华大学)
FlexiWorld提出基于JEPA的世界模型,结合混合跨度监督与可变长度动作块,配合ARCEM规划方法,在四个基准上实现89.29%的平均成功率,优于基线,并支持灵活块长度加速规划。
2026-09-30 cs.LG
Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning
该研究针对潜在世界模型中MPC规划的决策度量对齐问题,提出两种秩一致性诊断指标,开发DA-LeWM模型,验证其可加快收敛并提升在线成功率,改善潜在MPC的几何结构。
2026-08-20 cs.CV cs.LG
Beyond Generative AI: World Models for Clinical Prediction, Counterfactuals, and Planning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(莫莫德·本·扎伊德人工智能大学)
本文探讨了世界模型在医疗领域中的应用,旨在通过预测动态、反事实评估和规划提升临床决策的可靠性。
2025-11-20 cs.LG
Dreamer-CDP: Improving Reconstruction-free World Models Via Continuous Deterministic Representation Prediction
本文提出Dreamer-CDP,通过连续确定性表示预测提升世界模型性能,在Crafter环境中达到与传统重建方法相当的性能。
2026-04-14 cs.LG
Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室);Amazon AGI SF Lab(亚马逊AGI旧金山实验室);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
提出变长潜世界模型(VLWM),通过学习变长动作序列的条件潜状态预测,解决递归一步预测在长时程规划中的累积误差问题,结合课程训练策略,在长时程控制任务上平均提升13%。
2026-06-23 cs.AI cs.LG
Fast LeWorldModel
Xi’an Jiaotong University(西安交通大学)
提出Fast-LeWM,通过动作前缀并行预测未来潜在状态,替代LeWM的自回归滚动,降低规划时间并减少潜在误差累积。
2026-09-29 cs.CV cs.LG cs.RO
Latent Goal Prediction from Language for Model-Based Planning
École de Technologie Supérieure, Montréal(蒙特利尔高等技术学院);International Laboratory on Learning Systems (ILLS)(国际学习系统实验室);Polytechnique Montréal(蒙特利尔综合理工学院);MILA;Institut Universitaire de France (IUF)(法国大学研究院);Université Sorbonne, CNRS, ISIR(索邦大学,法国国家科学研究中心,智能系统与机器人研究所)
提出LAGO框架,通过在同一隐空间预测语言指令的中间子目标序列和动作条件轨迹,结合软最小轨迹代价规划,实现长程鲁棒规划。
2026-11-18 cs.AI cs.LG
Ultrasound Operator Guidance Using World Modeling and Retrieval Based Action Planning
Eindhoven University of Technology(埃因霍温理工大学)
提出检索诱导潜在转移模型,结合V-JEPA 2.1世界模型与参考数据库检索,实现超声操作者多步规划指导,在颈动脉超声中达到86%回顾性目标视图可达率,优于基线,并支持无需探头跟踪的实时部署。
2026-10-06 cs.CV cs.LG
Adaptive Latent Capacity for World Models
本文提出自适应潜在容量世界模型ALeWM,通过JEPA架构和MixSIGReg正则化动态分配潜在表示容量,在受控系统和视觉控制任务中实现更高成功率与更低规划成本。
2026-10-07 cs.LG
Towards Financial World Modeling
University of Chicago(芝加哥大学);Johns Hopkins University(约翰霍普金斯大学);Brown University(布朗大学)
本研究提出Market-1T数据集、严格评估协议及大规模比较18种编码器策略,为金融世界模型建立训练与评估基础,发现相似预测性能的编码器可能组织市场状态不同。
2026-10-14 cs.LG
On the Identifiability of Controlled World Models
研究受控世界模型的可识别性问题,建立在状态依赖高斯行为策略下的联合可识别性理论,识别出两个条件,证明满足条件时JEPA目标的全局极小值可识别潜在状态和受控转移,推导定量界限并通过实验验证理论。
2026-07-28 cs.LG
World Modeling through Spectral Alignment
Stanford University(斯坦福大学);ETH Zürich(苏黎世联邦理工学院);Brown University(布朗大学)
本研究提出JEPA框架SpecWM,通过谱对齐引导世界模型保留控制所需信息,在OGBench Cube、Scene及CALVIN数据集上显著提升了CEM规划成功率。
2026-10-16 cs.AI cs.LG
Sensorimotor World Models: Perception for Action via Inverse Dynamics
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Department of Computer Science, Brown University(布朗大学计算机科学系);ELLIS Institute(ELLIS研究所);ETH Zürich(苏黎世联邦理工学院)
提出传感器运动世界模型(SMWM),通过逆动力学正则化端到端训练潜空间世界模型,防止表示崩溃并学习与行动对齐的紧凑表示,在2D和3D控制任务中实现竞争性规划性能。
2026-06-19 cs.AI cs.LG
Toward Goal-Agnostic Joint-Embedding Predictive Control of Partial Differential Equations
University of Waterloo(滑铁卢大学)
该研究针对偏微分方程提出目标无关控制框架,基于联合嵌入预测架构,通过离线训练小型二维ViT编码器等,经模型预测路径积分控制器复用。在相关基准测试中,KE探测器规划提升奖励、降低误差,验证了潜在动力学与目标无关及校准可观测量用于状态控制的优势。
2026-08-05 cs.LG cs.SY eess.SY
Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models
Chandar Research Lab(昌达尔研究实验室);Mila – Quebec AI Institute(魁北克人工智能研究院);Polytechnique Montréal(蒙特利尔理工学院);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文评估了不同潜在空间在机器人世界模型中的有效性,发现语义潜在空间在规划和下游政策性能方面优于重建潜在空间。
2026-05-07 cs.CV cs.LG cs.RO
Emergent Compositional Communication for Latent World Properties
Independent Researcher, Amsterdam, Netherlands(独立研究者,阿姆斯特丹,荷兰)
本文研究多智能体通信能否从冻结视频特征中提取离散组合性表示,展示通过Gumbel-Softmax瓶颈和迭代学习发展出无标签的组合协议,验证了感知先验对可通信信息的影响。
2026-03-18 cs.LG cs.MA
Diffusion Transformer World-Action Model for AV Scene Prediction
Stanford University(斯坦福大学)
提出紧凑潜世界模型,结合扩散Transformer(DiT)预测未来场景,在nuScenes上实现4.8倍更好的KID,并实现动作可控性(转向ρ=0.81)。
2026-06-12 cs.AI cs.CV cs.LG