作者
Deep Learning / Vision
时间拉直用于隐式规划
机构 * New York University（纽约大学） ； Brown University（布朗大学） ； University of Toronto（多伦多大学）
AI总结 受人类视觉处理中感知拉直假说启发，提出时间拉直方法，通过曲率正则化联合学习JEPA世界模型的编码器和预测器，改善隐式规划中的表示学习，使梯度规划更稳定并提高目标到达任务成功率。
Comments ICML2026 Camera Ready
自监督DXA表征可编码多系统疾病风险、生物衰老与遗传率
AI总结 本研究提出基于JEPA架构的LeDXA模型，利用少量数据和计算从DXA图像中学习到可编码多系统疾病风险、生物衰老与遗传率的表征，提升了疾病预测及相关生物指标的表现。
Comments Preprint Version
HP-JEPA：用于多分辨率图联合嵌入预测学习的层次划分方法
机构 * Stony Brook University（石溪大学） ； TikTok（TikTok（抖音海外版）） ； PayPal（PayPal（贝宝）） ； New York University（纽约大学）
AI总结 HP-JEPA是一种多分辨率图联合嵌入预测的层次划分框架，通过在不同分辨率下进行潜在预测并整合表示，在多数图分类与回归基准及不同规模图上，性能优于固定分辨率的Graph-JEPA。
Comments 15 pages, 4 figures, 5 tables
Music-JEPA：从动作中学习声音的世界模型
AI总结 研究提出Music-JEPA，将音乐构建为动作条件系统，用JEPA学习钢琴声音世界模型，在离线状态下用配对数据训练。实验表明模型能捕捉音乐动作与声音关系，其表示支持下游任务并能通过规划实现钢琴转录。
补丁策略：通过密集视觉表示实现高效具身控制
机构 * Courant Institute, New York University（纽约大学柯朗数学科学研究所） ； Meta-FAIR（Meta FAIR） ； AMI Labs（AMI 实验室）
AI总结 研究利用预训练密集视觉特征，提出补丁策略，通过块因果注意力掩码等实现高效具身控制。该策略轻量级、快速且高效，在模拟和真实环境中相比其他策略有显著提升，为机器人社区利用视觉表示学习提供新途径。
将表示与重建分离可实现可扩展的文本编码器
机构 * FAIR Meta ； New York University（纽约大学）
AI总结 研究发现自BERT以来编码器变化小，通过冻结主干评估揭示问题源于其扁平设计。提出CrossBERT架构分离高质量编码表示学习与令牌重建，能提高掩码率和梯度收集效率，在相关基准测试中表现优异。
AdaJEPA：一种自适应潜在世界模型
机构 * New York University（纽约大学） ； AMI Labs（AMI实验室）
AI总结 提出AdaJEPA，一种在模型预测控制闭环中进行测试时自适应的潜在世界模型，通过自监督信号持续校准模型，显著提升规划成功率。
SkyJEPA：用于四旋翼飞行器零样本仿真到现实控制的长时域世界模型学习
AI总结 提出基于JEPA的潜空间动力学模型，结合物理启发探测器实现长时域预测，并集成采样最优控制实现实时控制，通过自动化数据生成实现零样本仿真到现实迁移。
Comments Under Review
S-JEPA：用于自监督语音表示学习的软聚类锚点
机构 * Carnegie Mellon University（卡内基梅隆大学） ； New York University（纽约大学） ； James Silberrad Brown Center for AI（詹姆斯·西尔伯拉德·布朗人工智能中心） ； Columbia University（哥伦比亚大学） ； Northeastern University（东北大学） ； Stanford University（斯坦福大学） ； Amazon GenAI（亚马逊生成式人工智能）
AI总结 提出S-JEPA，通过KL散度匹配高斯混合模型的软后验概率训练编码器-预测器对，无需离线重聚类或教师蒸馏，在SUPERB协议下以低于90M参数取得最低WER，并建立新的帕累托前沿。
基于潜在世界模型的分层规划
机构 * FAIR at Meta（Meta旗下的FAIR） ； New York University（纽约大学） ； Mila - Québec AI Institute（魁北克AI研究院） ； Brown University（布朗大学）
AI总结 提出HWM架构，通过多时间尺度潜在世界模型和潜在匹配实现分层模型预测控制，解决长时域任务中单层规划失败和计算爆炸问题。
你不需要强假设：通过时间差异进行视觉表示学习
机构 * UIUC（伊利诺伊大学厄巴纳-香槟分校） ； New York University（纽约大学）
AI总结 提出TDV方法，基于因果假设（过去导致未来）从视频中自监督学习，避免强归纳偏置，在密集空间任务上达到SOTA。
V-JEPA 2.1: 解锁视频自监督学习中的密集特征
机构 * FAIR at Meta（Meta的FAIR） ； Universidad de Zaragoza（萨拉戈萨大学）
AI总结 提出V-JEPA 2.1系列自监督模型，通过密集预测损失、深度自监督、多模态分词器和有效缩放，学习图像和视频的密集高质量视觉表示，在多个基准上取得最优性能。
统一对象中心世界模型与扩散策略：多阶段机器人任务的分层框架
机构 * Tandon School of Engineering, New York University（纽约大学坦登工程学院） ； Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所） ； AMI Labs（AMI实验室）
AI总结 提出WorldDP分层框架，结合高层世界模型进行运行时子目标优化和低层扩散策略执行，利用对象中心表示解耦环境实体，实现多阶段机器人操作任务的有效规划与执行。
LeWorldModel：从像素稳定端到端联合嵌入预测架构
机构 * Mila & Université de Montréal（Mila与蒙特利尔大学） ； New York University（纽约大学） ； Samsung SAIL（三星SAIL） ； Brown University（布朗大学）
AI总结 本文提出LeWorldModel，一种通过仅使用两个损失项从原始像素稳定端到端训练的联合嵌入预测架构，显著减少了可调损失超参数，并在多种2D和3D控制任务中表现出色，同时在物理结构编码和物理不合理的事件检测方面展示了其能力。
优化与机器学习中的通用停止时间
机构 * Mathematics Department（数学系） ； Department of Mathematics（数学系） ； Computer Science Department（计算机科学系） ； New York University（纽约大学） ； University of California, Irvine（加州大学欧文分校）
AI总结 研究通过分析优化算法在随机系统（如自旋玻璃和深度学习）中的停止时间分布，发现其在特定条件下与底层分布无关，揭示了两种类型的分布类：Gumbel型和高斯型。
Journal ref Quart. Appl. Math. 76 (2018), 289-301
使用卷积网络学习稳定的群不变表示
AI总结 本文通过卷积网络将不变性构建为稳定的群不变性，网络架构决定不变群，可训练滤波器系数刻画群作用，并探索深层卷积层通过群分解实现更抽象的不变表示。
Comments 4 pages
Causal-JEPA：通过对象级潜在掩码学习世界模型
机构 * Brown University, GalilAI（布朗大学，GalilAI） ； New York University（纽约大学）
AI总结 提出C-JEPA，一种通过对象级潜在掩码扩展联合嵌入预测的对象中心世界模型，在视觉问答和智能体控制任务中分别提升反事实推理20%和仅用1%潜在特征实现高效规划。
Comments Project Page: https://hazel-heejeong-nam.github.io/cjepa/ ICML 2026 Accepted
TabPFN-3: 技术报告
机构 * Prior Labs
AI总结 本文提出TabPFN-3，通过扩展训练数据和优化推理，在表格数据上实现最先进性能，并支持时间序列、关系数据和表格文本数据。
Rectified LpJEPA：具有稀疏和最大熵表示的联合嵌入预测架构
机构 * New York University（纽约大学） ； Duke University（杜克大学） ； University of Toronto（多伦多大学） ； Brown University（布朗大学）
AI总结 提出Rectified Distribution Matching Regularization (RDMReg)损失，通过将表示对齐到Rectified Generalized Gaussian分布，实现稀疏且最大熵的表示，从而改进联合嵌入预测架构（JEPA）的性能。
Comments ICML 2026
LeJEPA 何时学习世界模型？
机构 * Cold Spring Harbor Laboratory（冷泉港实验室） ； New York University（纽约大学） ； Brown University（布朗大学）
AI总结 本文证明 LeJEPA（对齐加高斯正则化）在潜变量服从平稳加性噪声演化的世界中能够线性恢复潜变量（线性可识别性），并指出高斯分布是唯一保证该性质的潜分布，同时验证了近似可识别性和最优规划能力。
Crys-JEPA：通过嵌入筛选和生成精炼加速晶体发现
机构 * National University of Singapore（国立新加坡大学） ； Loyola Marymount University（洛约拉玛丽蒙特大学） ； New York University（纽约大学） ； AMI
AI总结 提出Crys-JEPA联合嵌入预测架构，通过能量感知的潜在空间和筛选-精炼流程，解决晶体生成中稳定性和新颖性的冲突，在MP-20和Alex-MP-20数据集上V.S.U.N.指标分别提升53.8%和72.7%。
stable-worldmodel: 一个用于可重复世界建模研究和评估的平台
机构 * Mila & Université de Montréal（Mila与蒙特利尔大学） ； New York University（纽约大学） ； Universidade Federal de Minas Gerais（巴西联邦大学矿务学院） ； Independent Researcher（独立研究者） ； LanceDB ； University of Oxford（牛津大学） ； Brown University（布朗大学）
AI总结 本文提出stable-worldmodel平台，旨在解决世界建模研究中代码库、数据管道和评估协议碎片化的问题，通过提供高性能的数据层、现代世界模型基线和规划求解器的实现，以及扩展的环境和任务，实现标准化和可重复的世界建模研究和评估。
在联合嵌入预测世界模型中成功因素是什么？
机构 * Meta FAIR ； Inria Paris（巴黎理工院） ； Ecole normale supérieure / PSL（巴黎高等师范学院 / PSL） ； New York University（纽约大学）
AI总结 本文研究了在物理规划中使用联合嵌入预测世界模型（JEPA-WMs）的成功因素，通过分析模型架构、训练目标和规划算法对规划成功的影响，提出了一种在导航和操作任务中优于现有基线方法的模型。
Comments V2 of the article: - Added AdaLN-zero - Added table comparing JEPA-WMs with baselines with std translating per-seed variability only, no variability across epochs - Reordered figures in main body of the paper V3: added data scaling experiments, theoretical appendix section on autoregressive rollout, acceptance at TMLR
在想象中训练
机构 * Weizmann Institute of Science（魏茨曼研究所） ； New York University（纽约大学） ； Columbia University（哥伦比亚大学） ； New York University AMI Labs（纽约大学AMI实验室）
AI总结 研究在想象中训练方法中，动态和奖励模型误差对回报和策略优化的影响，提出最优样本分配和表示需求。
SpidR-Adapt：一种通用的语音表示模型用于少样本适应
机构 * Meta AI ； ENS-PSL, EHESS, CNRS（ENS-PSL，EHESS，CNRS）
AI总结 本文提出SpidR-Adapt，通过元学习框架实现语音单元在新语言中的快速适应，采用多任务自适应预训练协议和一阶双层优化方法，实现数据高效的语言建模性能。
一种轻量级的用于基于能量的联合嵌入预测架构库
机构 * Meta FAIR ； INRIA（法国国家信息与自动化研究所） ； New York University（纽约大学）
AI总结 本文提出EB-JEPA库，展示如何将图像级自监督学习的表示学习技术扩展到视频和动作条件世界模型，通过实验验证其在任务中的有效性。
Comments v2: clarify confusion in definition of JEPAs vs. regularization-based JEPAs v3: Camera-ready of ICLR world models workshop, fixed formatting and ViT config / results
为从人类视频学习灵巧手-物体交互构建世界模型
机构 * FAIR at Meta（Meta 的 FAIR 部门） ； New York University（纽约大学）
AI总结 本文提出DexWM模型，通过手部关键点提取实现对精细手部动作的建模，提升未来状态预测和零样本迁移能力。
为何人工智能系统不学习以及应如何应对：来自认知科学的自主学习启示
机构 * FAIR at META
AI总结 本文探讨当前AI模型在实现自主学习中的局限性，提出受人类和动物认知启发的学习架构，整合观察学习与行为学习，并通过元控制信号切换学习模式。
时空物理系统的表示学习
AI总结 本文研究了时空物理系统中下游科学任务的表示学习，发现潜在空间学习方法在物理参数估计任务中表现更优。
Comments Published at ICLR 2026 Workshop on AI & PDE
尖峰、稀疏与汇点：大规模激活与注意力汇点的解剖
机构 * New York University（纽约大学）
AI总结 研究揭示了Transformer中大规模激活与注意力汇点的关联性及作用机制，指出预归一化配置是二者共存的关键因素。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈