世界模型

WorldWander: Bridging Egocentric and Exocentric Worlds in Video Generation

WorldWander：在视频生成中连接自我中心和外中心世界

Quanjian Song, Yiren Song, Kelly Peng, Yuan Gao, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；video world model(abstract)；world model(abstract)

AI总结 研究聚焦视频生成中自我中心与外中心世界转换，提出WorldWander框架，基于视频扩散变换器，整合上下文视角对齐与协作位置编码，精心策划数据集，实验证明该框架在视角同步、角色一致性和泛化能力上表现卓越，设定了新基准。

Comments Accepted by ECCV 2026; Code: https://github.com/showlab/WorldWander

AlayaWorld: Long-Horizon and Playable Video World Generation

AlayaWorld：长期可玩视频世界生成

AlayaWorld Team, Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge, Yuanyang Yin, Jiaming Tan, Kang He, Liaoyuan Fan, Ruicong Liu, Xiaojie Xu, Xuangeng Chu, Zhen Li, Zhengyuan Lin, Zhixiang Wang, Zian Meng, Zihui Gao

机构 * Alaya Lab（阿莱亚实验室） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；video world model(abstract)；world model(abstract)

AI总结 研究旨在解决游戏世界构建难题，核心方法是提出AlayaWorld全栈开源框架，可实现开放式实时交互，统一开发流程，主要贡献是为生成世界模型研究和应用奠定实践基础。

Comments Authors are listed alphabetically by the first name and their role. See the contribution section for details

WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory

WorldDirector: 构建具有持久动态记忆的可控世界模拟器

Hanlin Wang, Hao Ouyang, Qiuyu Wang, Wen Wang, Qingyan Bai, Ka Leong Cheng, Yue Yu, Yixuan Li, Yihao Meng, Zichen Liu, Yanhong Zeng, Yujun Shen, Qifeng Chen

机构 * HKUST（香港科技大学） ； Ant Group（蚂蚁集团） ； ZJU（浙江大学） ； CUHK（香港中文大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；video world model(abstract)；world model(abstract)

AI总结 提出WorldDirector框架，通过LLM协调3D轨迹与相机运动作为视频生成控制信号，解耦语义运动编排与视觉生成，实现持久动态对象记忆和自由视角探索。

Comments Project Page: https://worlddirector.github.io/

Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

Drive-JEPA：视频JEPA结合多模态轨迹蒸馏实现端到端驾驶

Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

机构 * Virginia Tech（弗吉尼亚理工学院） ； Purdue University（普渡大学） ； XPENG Motors（小鹏汽车） ； Nanjing University（南京大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；video world model(abstract)；world model(abstract)

AI总结 提出Drive-JEPA框架，结合视频联合嵌入预测架构（V-JEPA）与多模态轨迹蒸馏，通过自监督视频预训练和动量感知选择机制提升端到端驾驶的规划性能，在NAVSIM上达到新最优。

Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control

Directing the World: 具有组合式人体-相机控制的快速自回归视频生成

Haoyuan Wang, Yabo Chen, Haibin Huang, Chi Zhang, Xuelong Li

机构 * Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI）） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world-model(abstract)；world model(abstract)

AI总结 提出一种快速自回归框架，通过解耦控制学习并保持统一视频先验，实现人体运动和相机轨迹的组合控制，支持稳定长程生成与高视觉质量。

PhysiFormer: Learning to Simulate Mechanics in World Space

PhysiFormer: 在世界空间中学习模拟力学

Yiming Chen, Yushi Lan, Andrea Vedaldi

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；video world model(abstract)；world model(abstract)

AI总结 提出PhysiFormer，一种直接在世界坐标下通过去噪扩散过程预测3D物体顶点轨迹的扩散Transformer，无需归纳偏置即可生成物理合理的刚性和弹性运动，并泛化到混合材料、未见几何和更多物体。

Comments Project page: https://yimingc9.github.io/physiformer

EgoTL: Egocentric Think-Aloud Chains for Long-Horizon Tasks

EgoTL：用于长时任务的目视思考链

Lulin Liu, Dayou Li, Yiqing Liang, Sicong Jiang, Hitesh Vijay, Hezhen Hu, Xuhai Xu, Zirui Liu, Srinivas Shakkottai, Manling Li, Zhiwen Fan

机构 * UMN（明尼苏达大学） ； TAMU（德克萨斯农工大学） ； Brown University（布朗大学） ； McGill University（麦吉尔大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； Columbia University（哥伦比亚大学） ； Northwestern University（西北大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world-model(abstract)；world model(abstract)

AI总结 本文提出EgoTL，通过构建目视思考链管道，提升长时任务中视觉语言模型和世界模型的推理与规划能力，发现基础模型在作为目视助手或开放世界模拟器方面仍有不足。

Comments https://ego-tl.github.io/

Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control

生成现实：基于交互式视频生成的人本世界模拟

Linxi Xie, Lisong C. Sun, Ashley Neall, Tong Wu, Shengqu Cai, Gordon Wetzstein

机构 * Stanford University（斯坦福大学） ； NYU Shanghai（纽约大学上海分校） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；video world model(abstract)；world model(abstract)

AI总结 本文提出了一种基于交互式视频生成的人本世界模拟系统，通过结合头部和手部姿态控制，提升虚拟环境的交互性和用户控制感。

Comments Project page here: https://codeysun.github.io/generated-reality

Improving the Physics of Video Generation with VJEPA-2 Reward Signal

Jianhao Yuan, Xiaofeng Zhang, Felix Friedrich, Nicolas Beltran-Velez, Melissa Hall, Reyhane Askari-Hemmat, Xiaochuang Han, Nicolas Ballas, Michal Drozdzal, Adriana Romero-Soriano

机构 * FAIR, Meta Superintelligence Labs（FAIR、Meta超智能实验室） ； University of Oxford（牛津大学） ； Mila - Québec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； Columbia University（哥伦比亚大学） ； McGill University（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair） 纠错

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；video world model(abstract)；world model(abstract)

Comments 2 pages

Journal ref Winning entry of the ICCV 2025 Physics IQ Challenge

STORI: A Benchmark and Taxonomy for Stochastic Environments

Aryan Amit Barsainyan, Jing Yu Lim, Dianbo Liu

专题命中 通用世界模型 ：world model(abstract,comments)；world models(abstract,comments)；world model(abstract,comments)；world models(abstract,comments)

Comments v2. New mathematical formulation and renamed notation; added additional experiments and a detailed analytical case study on error behaviors in world models under different stochasticity types; link to code repository for reproducibility: https://github.com/ARY2260/stori

Localized Cultural Knowledge is Conserved and Controllable in Large Language Models

Veniamin Veselovsky, Berke Argin, Benedikt Stroebl, Chris Wendler, Robert West, James Evans, Thomas L. Griffiths, Arvind Narayanan

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world-model(abstract)；world model(abstract)

Model-based Policy Optimization using Symbolic World Model

Andrey Gorodetskiy, Konstantin Mironov, Aleksandr Panov

专题命中 通用世界模型 ：world model(title)；world model(title)；model-based reinforcement learning(abstract)；分类 cs.LG

Learning from Random Demonstrations: Offline Reinforcement Learning with Importance-Sampled Diffusion Models

Zeyu Fang, Tian Lan

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world-model(abstract)；world model(abstract)

Reinformed Dreamer: An Asymmetric World Model Efficiently Trained through Latent Guidance

强化信息梦行者：通过潜在引导有效训练的非对称世界模型

Gaspard Lambrechts, Adrien Bolland, Daniel Ebi, Damien Ernst

专题命中 通用世界模型 ：world model(title)；world model(title)；model-based reinforcement learning(abstract)；分类 cs.LG

AI总结 研究基于模型的强化学习中，非对称学习对观测及特权信息表示的影响。针对‘信息梦行者’局限性，提出用潜在引导的新目标，形成‘强化信息梦行者’算法，实验显示其比之前非对称方法有更持续改进。

Comments 8 pages, 18 pages total, 3 figures

CRISP: A Spatiotemporal Camera-Radar Backbone for Driving via Forecasting-Based World-Model Pretraining

CRISP：一种通过基于预测的世界模型预训练实现驾驶的时空相机-雷达主干网络

Jingyu Song, Yi Liu, Katherine A. Skinner

机构 * Department of Robotics, University of Michigan（密歇根大学机器人系） 纠错

专题命中 通用世界模型 ：world-model(title)；world-model(title)；分类 cs.AI、cs.LG、cs.CV

AI总结 研究通过基于预测的表示学习预训练时空相机-雷达主干网络CRISP，利用历史多视图图像和雷达扫描，通过预测未来激光雷达点云学习统一鸟瞰图表示，介绍相关组件，实验表明其能提升点云预测并有效迁移至下游任务。

Comments 17 pages, under review

Adapting a World Model for Trajectory Following in a 3D Game

Marko Tot, Shu Ishida, Abdelhak Lemkhenter, David Bignell, Pallavi Choudhury, Chris Lovett, Luis França, Matheus Ribeiro Furtado de Mendonça, Tarun Gupta, Darren Gehring, Sam Devlin, Sergio Valcarcel Macua, Raluca Georgescu

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI、cs.LG、cs.CV；dynamics model(abstract)

MAMBA: an Effective World Model Approach for Meta-Reinforcement Learning

Zohar Rimon, Tom Jurgenson, Orr Krupnik, Gilad Adler, Aviv Tamar

专题命中 通用世界模型 ：world model(title)；world model(title)；model-based RL(abstract)；分类 cs.LG

VMAV-C: A Deep Attention-based Reinforcement Learning Algorithm for Model-based Control

Xingxing Liang, Qi Wang, Yanghe Feng, Zhong Liu, Jincai Huang

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)

Reference-Free Assessment of Physical Consistency in World Model-based Video Generation

基于世界模型的视频生成中物理一致性的无参考评估

Yun Oh, Sukmin Yun

机构 * Hanyang University ERICA（汉阳大学ERICA校区） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI、cs.LG、cs.RO

AI总结 提出结合相对与绝对方法的无参考度量，用于评估生成视频的物理一致性，无需人工投票或真实参考，通过DROID-SLAM和SEA-RAFT量化不一致性，过滤后视频任务成功率提升超8%，并实现时空定位。

Comments Accepted to the 2nd 3D-LLM/VLA Workshop, CVPR 2026

Towards Interpretable Visuo-Tactile Predictive Models for Soft Robot Interactions

Enrico Donato, Thomas George Thuruthel, Egidio Falotico

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)

Comments IEEE RAS EMBS 10th International Conference on Biomedical Robotics and Biomechatronics (BioRob 2024)

CURLing the Dream: Contrastive Representations for World Modeling in Reinforcement Learning

Victor Augusto Kich, Jair Augusto Bottega, Raul Steinmetz, Ricardo Bedin Grando, Ayano Yorozu, Akihisa Ohya

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI、cs.LG、cs.CV

Comments Paper accepted for 24th International Conference on Control, Automation and Systems (ICCAS)

Robust Robotic Control from Pixels using Contrastive Recurrent State-Space Models

Nitish Srivastava, Walter Talbott, Martin Bertran Lopez, Shuangfei Zhai, Josh Susskind

专题命中 通用世界模型 ：world model(abstract)；world models(abstract)；world model(abstract)；world models(abstract)

Comments NeurIPS Deep Reinforcement Learning Workshop 2021. Code can be found at https://github.com/apple/ml-core

Paired Exact-Reset Evaluation of a Prediction-Derived Medium-to-Full World-Model Cascade

预测衍生的中到全世界模型级联的配对精确重置评估

Malo de Pastor

机构 * Télécom SudParis（南巴黎电信学院） ； Institut Polytechnique de Paris（巴黎理工学院） 纠错

专题命中 通用世界模型 ：world-model(title)；world-model(title)；分类 cs.LG、cs.RO

AI总结 该研究提出配对精确重置评估协议，在PushT任务上验证预测接口路由器可降低决策成本，其优势限于低计算价格，不支持因果充分性等特性。

Comments 20 pages, 6 figures, 6 tables

JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling

JEPA-WAM：基于联合嵌入世界建模的视觉-语言-动作策略学习

Yihan Lin, Jiawei He, Shifeng Bao, Chen Zhao, Yang Li, Xiaobo Wang, Yan Wang, Cheng Chi, Jing Zhang

机构 * XYZ Embodied AI（XYZ具身智能） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.RO；predictive model(abstract)

AI总结 该研究提出JEPA-WAM，一种构建于预训练V-JEPA空间的隐式WAM，通过共享预测器耦合隐式转移预测与动作生成，在LIBERO-Plus等数据集上取得优异的机器人操作策略性能，且泛化能力强。

Comments 22 pages, 7 figures. Project page: https://spritewithoutice.github.io/JEPA_WAM/

SG-WAM: Self-Guided World Modeling in Geometry-Aware Policy Space

SG-WAM：几何感知策略空间中的自引导世界建模

Ruiteng Zhao, Zhengshen Zhang, Yue Su, Wenshuo Wang, Jiahui Li, Zhiyuan Yang, Francis E. H. Tay, Marcelo H. Ang, Haiyue Zhu

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV、cs.RO

AI总结 SG-WAM是自引导的几何感知世界动作模型框架，通过策略衍生空间联合优化动态预测等，在LIBERO等数据集上实现高成功率，性能优于基线。

Online World Modeling Enables Real-World Inverse Reinforcement Learning from Observation

在线世界建模实现真实世界逆强化学习从观察中学习

Tyler Han, Bat Nemekhbold, Siyang Shen, Rohan Baijal, Richard Ebock, Harine Ravichandiran, Sanghun Jung, Kevin Huang, Byron Boots

机构 * University of Washington（华盛顿大学） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.RO；simulation model(abstract)

AI总结 提出MPAIL2方法，通过在线世界建模实现从观察中逆强化学习，首次在真实世界从零学习视觉操作任务，40分钟内达到82%成功率。

NarrativeWorldBench: A Frontier-Saturated Benchmark and a Latent World Model for Long-Horizon Co-Creative Audio Drama

NarrativeWorldBench：面向长程共创音频剧的前沿饱和基准与潜在世界模型

Logan Mann, Abdur Rahman, Mohammad Saifullah, Taaha Kazi, Vasu Sharma

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Pocket FM 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.AI、cs.LG

AI总结 提出NarrativeWorldBench基准，在九种叙事结构指标上评估21个模型，并引入N-VSSM变分状态空间模型，通过Mamba-2骨干和事件条件后验在200集以上维持结构化潜在状态，在长弧一致性和可控性上超越Claude Opus 4.5。

Comments 10 pages. Accepted to the ICML 2026 Workshops on High-dimensional Learning Dynamics (HiLD) and Culture x AI

A Lightweight Library for Energy-Based Joint-Embedding Predictive Architectures

一种轻量级的用于基于能量的联合嵌入预测架构库

Basile Terver, Randall Balestriero, Megi Dervishi, David Fan, Quentin Garrido, Tushar Nagarajan, Koustuv Sinha, Wancong Zhang, Mike Rabbat, Yann LeCun, Amir Bar

机构 * Meta FAIR ； INRIA（法国国家信息与自动化研究所） ； New York University（纽约大学） 纠错

专题命中 通用世界模型 ：world model(abstract,comments)；world models(abstract,comments)；world model(abstract,comments)；world models(abstract,comments)

AI总结 本文提出EB-JEPA库，展示如何将图像级自监督学习的表示学习技术扩展到视频和动作条件世界模型，通过实验验证其在任务中的有效性。

Comments v2: clarify confusion in definition of JEPAs vs. regularization-based JEPAs v3: Camera-ready of ICLR world models workshop, fixed formatting and ViT config / results

F3DGS: Federated 3D Gaussian Splatting for Decentralized Multi-Agent World Modeling

F3DGS：联邦3D高斯点云用于去中心化多智能体世界建模

Morui Zhu, Mohammad Dehghani Tezerjani, Mátyás Szántó, Márton Vaitkus, Song Fu, Qing Yang

机构 * University of North Texas（北德克萨斯大学） ； Budapest University of Technology and Economics（布达佩斯技术与经济大学） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV、cs.RO

AI总结 F3DGS通过联邦学习实现去中心化多智能体3D重建，利用共享几何框架和可见性感知聚合解决部分观测问题，实现分布式优化。

Comments Accepted to the CVPR 2026 SPAR-3D Workshop

VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model

VLA-JEPA: 通过潜在世界模型增强视觉-语言-动作模型

Jingwen Sun, Wenyao Zhang, Zekun Qi, Shaojie Ren, Zezhi Liu, Hanxin Zhu, Guangzhong Sun, Xin Jin, Zhibo Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Zhongguancun Academy, Beijing, China（中关村学院） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Eastern Institute of Technology, Ningbo（宁波东部科技研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nankai University（南开大学） 纠错

专题命中 通用世界模型 ：world model(title)；world model(title)；分类 cs.CV、cs.RO

AI总结 VLA-JEPA通过潜在世界模型提升视觉-语言-动作模型的泛化与鲁棒性，采用无泄露状态预测和两阶段训练策略。