世界模型

To Use AI as Dice of Possibilities with Timing Computation

将AI用作带有时序计算的可能性骰子

Jia Li, Vipin Kumar, Rui Zhang

机构 * Department of Surgery, University of Minnesota（明尼苏达大学外科系） ； Department of Computer Science & Engineering, University of Minnesota（明尼苏达大学计算机科学与工程系） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.AI

AI总结 本文提出基于动词的范式，定义时序计算和可能性，使AI能作为实现思维语法的工具，并在乳腺癌患者数据上自动发现临床轨迹和反事实时序推断。

Self-Supervised Learning from Structural Invariance

从结构不变性进行自监督学习

Yipeng Zhang, Hafez Ghaemi, Jungyoon Lee, Shahab Bakhtiari, Eilif B. Muller, Laurent Charlin

机构 * Mila - Québec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； CHU Sainte-Justine（圣约斯特医院） ； HEC Montréal（蒙特利尔高等商学院） ； CIFAR AI Chair（CIFAR人工智能 chair） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 研究自监督学习中一对多映射问题，引入潜变量处理条件不确定性，推导变分下界，得出正则项，所提AdaSSL方法适用于多种自监督目标，在多领域有应用。

Comments ICLR 2026

SpatialThinker: Reinforcing Scene Graph-Grounded Spatial Reasoning via Dense Rewards

空间思考者：通过密集奖励强化场景图基础的空间推理

Hunar Batra, Haoqin Tu, Hardy Chen, Yuanze Lin, Cihang Xie, Ronald Clark

机构 * University of Oxford（牛津大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 通用世界模型 ：world model(comments)；world models(comments)；embodied world model(comments)；分类 cs.AI、cs.LG、cs.CV

AI总结 研究针对多模态大语言模型空间推理难题，提出SpatialThinker，通过在线强化学习统一场景图生成与视觉推理，构建心理场景图并借助密集奖励推理，贡献包括基于SGG推理、高质量训练数据集及密集奖励设计。

Comments Preprint. Accepted at NeurIPS 2025 Workshops on SPACE in Vision, Language, and Embodied AI (SpaVLE) as Oral, Embodied World Models for Decision Making (EWM), Aligning Reinforcement Learning Experimentalists and Theorists (ARLET), and Scaling Environments for Agents (SEA)

HERO: Improving the Reliability and Sensitivity of Generative Model Evaluation Using Historical Data

HERO: 利用历史数据提升生成模型评估的可靠性与敏感性

Xinrui Ruan, Zhenyu Zhao, Waverly Wei, Yueshan Zhang, Zeyu Zheng, Sui Huang, Jingshen Wang

机构 * Division of Biostatistics, University of California, Berkeley（加州大学伯克利分校生物统计学系） ； Roblox Corporation（Roblox公司） ； Department of Data Sciences and Operations, University of Southern California（南加州大学数据科学与运营系） ； School of Mathematical Sciences, Nankai University（南开大学数学科学学院） ； Department of Industrial Engineering and Operations Research, University of California, Berkeley（加州大学伯克利分校工业工程与运筹学系） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.AI

AI总结 提出HERO框架，通过历史数据校准噪声标签并锚定协变量，降低模型评估的偏差和方差，提升可靠性与敏感性。

Comments 30 pages, 6 figures

From Pixels to Concepts: Growing Rich 3D Semantic Scene Graph Forests utilizing Foundation Models

从像素到概念：利用基础模型构建丰富的3D语义场景图森林

David Oberacker, Meike Deitersen, Niklas Spielbauer, Tristan Schnell, Georg Heppner, Arne Roennau

机构 * FZI Research Center for Information Technology（FZI信息技术研究中心） ； Machine Intelligence and Robotics Lab (MaiRo), Karlsruhe Institute for Technology (KIT)（卡尔斯鲁厄理工学院机器智能与机器人实验室） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.RO

AI总结 提出利用基础模型构建具有开放语义关系的3D场景图森林，通过VLM和LLM推理抽象概念节点与关系，提升机器人场景理解与任务执行能力。

Comments To be published in the Proceedings of the IEEE/RSJ International Conference on Intelligent Robots & Systems (IEEE IROS 2026)

Feed-forward Motion In-betweening for Any 4D

任意4D的前馈运动插值

Hiroki Nishizawa, Hubert P. H. Shum, Yoshihiro Fukuhara, Hirokatsu Kataoka, Shigeo Morishima

机构 * Waseda University（早稻田大学） ； AIST（产业技术综合研究所） ； Durham University（杜伦大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 提出一种基于关键帧条件的前馈插值框架，利用网格VAE和MMDiT骨干的整流流模型，实现任意4D网格的快速运动插值，在DyMesh16和DyMesh32上表现优异。

Comments Video: https://youtu.be/jZAjPUtSq38?si=aXtDMDviFdfkjKUU

$ϕ$-Scene: Physically Grounded Image-to-3D Scene Reconstruction

$\phi$-Scene: 物理驱动的图像到3D场景重建

Haodong Li, Lulu Shao, Haolin Lu, Yu Fu, Yen-Ru Chen, Seemandhar Jain, Manmohan Chandraker

机构 * University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 提出$\phi$-Scene方法，将单图像3D场景重建视为拓扑驱动的物理组装过程，通过SDF优化和刚体仿真解决穿透与不稳定接触问题，在3D-Front数据集上取得最优性能。

Comments Project page: https://phi-scene.github.io/

Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization

通过占据覆盖最大化进行强化学习的无奖励预训练

Marco Pratticò, Pietro Novelli, Massimiliano Pontil, Carlo Ciliberto

机构 * Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia（计算统计与机器学习 - 意大利技术研究院） ； AI Centre, Computer Science Department, University College London（人工智能中心，计算机科学系，伦敦大学学院） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出一种无奖励预训练方法ROVER，通过最大化状态占据测度的覆盖来学习可迁移探索策略，在稀疏奖励下游任务中快速适应。

Lifecycle-Aware Dynamic Analysis for Secure ML Model Execution

生命周期感知的动态分析用于安全ML模型执行

Gabriele Digregorio, Marco Di Gennaro, Francesco Pastore, Stefano Zanero, Stefano Longari, Michele Carminati

机构 * Politecnico di Milano（米兰理工大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出Moat，一种动态生命周期感知方法，通过监控模型执行各阶段与宿主系统的结构化交互来检测恶意行为，在多个框架上实现零误报率。

Physics-IQ Verified

物理智力验证

Tim Rädsch, Yuki M Asano, Hilde Kuehne, Stefan Bauer, Priyank Jaini, Robert Geirhos, Carsten T. Lüth

机构 * Anates Labs（Anates实验室） ； Technical University of Munich（慕尼黑技术大学） ； University of Technology Nuremberg（纽伦堡技术大学） ； Tuebingen AI Center, University of Tuebingen（图宾根大学人工智能中心） ； Helmholtz AI, Munich（慕尼黑海德堡人工智能研究所） ； Google DeepMind research（谷歌DeepMind研究） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 本文提出Physics-IQ Verified基准，通过改进提示和地面真实质量及引入样本级评分系统，提升视频生成模型对物理现实的理解评估，验证结果表明基准提升了57.6%的样本和34.8%的提示。

WAM-RL: World-Action Model Reinforcement Learning with Reconstruction Rewards and Online Video SFT

WAM-RL：基于重建奖励和在线视频SFT的世界-动作模型强化学习

Zezhong Qian, Xiaowei Chi, Yu Qi, Haozhan Li, Zhi Yang Chen, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； Northeastern University（东北大学） ； Tsinghua University（清华大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.RO

AI总结 提出WAM-RL框架，通过强化学习联合优化世界模型和动作模型，解决长时域任务中仅优化动作模型的不足，首次将强化学习引入世界-动作范式。

GroupToM-Bench: Benchmarking Group Theory of Mind and Nonlinear Social Emergence in MLLMs

GroupToM-Bench: 多模态大语言模型中群体心智理论和非线性社会涌现的基准测试

Weidong Tang, Jierui Li, Yueling Hou, Zihan Mei, Can Zhang, Xinyan Wan, Zhiyuan Liang, Pengfei Zhou, Yang You, Wangbo Zhao

机构 * Xidian University（西安电子科技大学） ； National University of Singapore（新加坡国立大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型在群体心智理论推理上的不足，提出GroupToM-Bench基准，通过七级认知审计框架评估模型从微观BDI状态到宏观结果预测的因果链，揭示模型在处理社会结构和非线性集体动态上的缺陷。

Comments ACL 2026 (Main Conference)

One Transit Is All You Need: Detecting Exoplanets Through Learned Stellar Behaviour with EXOVEIL

一次凌星足矣：通过EXOVEIL学习恒星行为检测系外行星

Pratik Priyanshu

机构 * SRH Hochschule（SRH 高校） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出EXOVEIL系统，利用Transformer世界模型和自监督学习从原始光变曲线中检测单次凌星事件，在Kepler数据上实现高召回率，并零样本迁移至TESS和PLATO任务。

Comments v3: appendix gallery of confirmed-planet recoveries added; Section 6 candidate catalogue reframed as transit-like anomalies for follow-up; TLS comparison table expanded

MODIP: Efficient Model-Based Optimization for Diffusion Policies

MODIP：扩散策略的高效基于模型的优化

Zakariae El Asri, Philippe Gratias-Quiquandon, Nicolas Thome, Olivier Sigaud

机构 * Sorbonne Université, CNRS, ISIR, F-75005 Paris, France（索邦大学，法国国家科学研究中心，智能系统与机器人研究所，法国巴黎） ； Institut Universitaire de France (IUF)（法国大学研究院） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出MODIP框架，利用世界模型和模型预测控制生成高质量轨迹，以监督方式微调扩散策略，实现离线到在线的强化学习微调，在D4RL和RoboMimic任务上超越行为克隆基线。

Explainably Safe Reinforcement Learning

可解释的安全强化学习

Sabine Rieder, Stefan Pranger, Debraj Chakraborty, Jan Křetínský, Bettina Könighofer

机构 * Masaryk University（马萨里克大学） ； Graz University of Technology（格拉茨技术大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出一种基于分层决策树的可解释安全强化学习方法，通过世界模型分析状态风险并构建屏蔽策略，生成可理解的解释，同时保持安全保证。

A Cookbook of 3D Vision: Data, Learning Paradigms, and Application

3D视觉食谱：数据、学习范式与应用

Hongyang Du, Zongxia Li, Dawei Liu, Runhao Li, Haoyuan Song, Qingyu Zhang, Yubo Wang, Jingcheng Ni, Shihang Gui, Congchao Dong, Tao Hu

机构 * Brown University（布朗大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Southern California（南加州大学） ； New York University（纽约大学） ； The University of Sydney（悉尼大学） ； Stability AI 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 本文提出一种以数据为中心的3D视觉分类法，通过分析点云、网格、体素和3D高斯等几何表示及其获取流程，以及数据集设计、基准构建和监督机制，统一了表示、学习范式与下游任务（重建、生成、视频建模）之间的关系。

Comments Accepted to the CVPR 2026 OpenSUN3D Workshop. Official version available at CVF Open Access. https://openaccess.thecvf.com/content/CVPR2026W/OpenSUN3D/html/Du_A_Cookbook_of_3D_Vision_Data_Learning_Paradigms_and_Application_CVPRW_2026_paper.html

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026

Bilevel Autoresearch: Meta-Autoresearching Itself

双层自动研究：元自动研究自身

Yaonan Qu, Meng Lu

机构 * Independent Researcher（独立研究者） 纠错

专题命中 通用世界模型 ：world-model(abstract)；world-model(abstract)；分类 cs.AI

AI总结 提出双层自动研究框架，外层循环通过读取内层循环代码和轨迹、识别瓶颈并注入可执行Python搜索机制来改进内层循环，在GPT预训练基准上实现5倍改进。

Comments 16 pages, 5 figures, 3 tables. v2 expands the framing as mechanism-level agentic self-improvement and updates related work and limitations; core method and experiments unchanged. This paper was primarily drafted by AI agents with human oversight and direction

Extrinisic Calibration of a Camera-Arm System Through Rotation Identification

通过旋转识别进行相机-机械臂系统的外校准

Steve McGuire, Christoffer Heckman, Daniel Szafir, Simon Julier, Nisar Ahmed

机构 * Department of Aerospace Engineering Sciences, University of Colorado at Boulder（科罗拉多大学波尔德分校航空航天工程科学系） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.RO

AI总结 本文提出了一种基于观察臂的结构运动来恢复外校准参数的方法，结合已知的机械臂运动学和图像平面中的二次曲线观测，通过最大似然估计计算校准外参数，该方法在仿真中得到验证并在现实模型中测试，结果与尺子估计一致。

TabPrep: Closing the Feature Engineering Gap in Tabular Benchmarks

TabPrep: 弥合表格基准测试中的特征工程差距

Andrej Tschalzev, Nick Erickson, Yuyang Wang, Huzefa Rangwala, Stefan Lüdtke, Heiner Stuckenschmidt, Christian Bartelt

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 本文提出TabPrep，一个轻量级预处理流程，通过针对三种特定数据模式设计的特征生成器，系统性地进行特征工程，显著提升多种模型在表格基准测试中的性能。

SafeMCP: Proactive Power Regulation for LLM Agent Defense via Environment-Grounded Look-Ahead Reasoning

SafeMCP：基于环境接地前瞻推理的LLM智能体防御主动功率调节

Lichao Wang, Zhaoxing Ren, Tianzhuo Yang, Jiaming Ji, Chi Harold Liu, Yaodong Yang, Juntao Dai

机构 * Beijing Institute of Technology（北京理工大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.AI

AI总结 针对LLM智能体因动作空间扩大而面临功率寻求风险，提出SafeMCP服务器端防御插件，通过内部世界模型进行前瞻推理，实现主动工具过滤和即时干预两级防御，在保持智能体效用的同时有效降低风险。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026), Main Conference

Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation

Causal Forcing++：用于实时交互式视频生成的可扩展少步自回归扩散蒸馏

Min Zhao, Hongzhou Zhu, Kaiwen Zheng, Zihan Zhou, Bokai Yan, Xinyuan Li, Xiao Yang, Chongxuan Li, Jun Zhu

机构 * Tsinghua University（清华大学） ； ShengShu（盛数） ； Renmin University of China（中国人民大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 提出Causal Forcing++框架，通过因果一致性蒸馏（causal CD）实现帧级1-2步自回归扩散蒸馏，在降低延迟和训练成本的同时提升视频生成质量。

A Deep Learning Model of Mental Rotation Informed by Interactive VR Experiments

基于交互式VR实验的心理旋转深度学习模型

Raymond Khazoum, Daniela Fernandes, Aleksandr Krylov, Qin Li, Stephane Deny

机构 * Department of Computer Science, Aalto University, Espoo, Finland（奥卢大学计算机科学系，芬兰埃斯波） ； Department of Neuroscience and Biomedical Engineering, Aalto University, Espoo, Finland（奥卢大学神经科学与生物医学工程系，芬兰埃斯波） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出一个由等变编码器、神经符号对象编码器和神经决策代理组成的深度学习模型，通过VR实验验证，准确模拟人类心理旋转的性能、响应时间和行为。

Comments Version accepted at ICML 2026

Proprio: Latent Self-Scoring and Inference-Time Refinement for Physically Plausible Video Generation

Proprio: 用于物理合理视频生成的潜在自评分与推理时精炼

Mariam Hassan, Kaouther Messaoud, Wuyang Li, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院） ； Télécom Paris（巴黎电信学院） 纠错

专题命中 通用世界模型 ：world-model(abstract)；world-model(abstract)；分类 cs.CV

AI总结 提出Proprio，一种无需训练框架，通过分析模型在潜在扰动下的流残差作为自评分信号，结合最佳N搜索和梯度自精炼，提升冻结视频生成器输出的物理合理性。

Toward Native Multimodal Modeling: A Roadmap

迈向原生多模态建模：路线图

Siyu An, Junru Lu, Junnan Dong, Qiufeng Wang, Yinghui Li, Weizhi Fei, Zichao Yu, Zheng Yuan, Biao Liu, Haopeng Wang, Renzhao Liang, Yixuan Yang, Yunhang Shen, Bo Ke, Keyu Chen, Linhao Luo, Difan Zou, Xiao Huang, Di Yin, Ruizhi Qiao, Xing Sun

机构 * Tencent Youtu Lab（腾讯优图实验室） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； University of Warwick（沃林汉大学） ； Monash University（墨尔本大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 本文提出从非原生多模态范式向原生多模态建模（NMM）过渡的正式路线图，通过输入-输出二元性分类现有模型，并系统探讨架构协调、数据整理、训练推理及评估的全栈工业级方案。

Comments 52 pages, 5 figures, 3 tables, ~300 references

SURGE: Approximation and Training Free Particle Filter for Diffusion Surrogate

SURGE: 扩散替代模型的近似与免训练粒子滤波

Lifu Wei, Yinuo Ren, Naichen Shi, Yiping Lu

机构 * Department of Mechanical Engineering, Northwestern University, Evanston, IL, United States ； Institute for Computational \& Mathematical Engineering, Stanford University, Stanford, CA, United States ； Department of Industrial Engineering \& Management Sciences, Northwestern University, Evanston, IL, United States 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.LG

AI总结 提出一种基于扩散模型的无偏粒子滤波方法，通过序列蒙特卡洛对扩散轨迹进行重加权和重采样，融合观测数据与模型模拟，实现状态估计的连续校正。

Comments accepted by ICML 2026

Q-ARVD: Quantizing Autoregressive Video Diffusion Models

Q-ARVD: 对自回归视频扩散模型进行量化

Siao Tang, Xinyin Ma, Gongfan Fang, Xingyi Yang, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 本文针对自回归视频扩散模型（ARVD）的量化问题，提出了一种新的框架Q-ARVD，解决了帧间量化敏感度不平衡和权重中异质性异常模式的问题，从而提高了模型效率。

Comments Code: https://github.com/tsa18/Q-ARVD

Demo-JEPA: Joint-Embedding Predictive Architecture for One-shot Cross-Embodiment Imitation

Demo-JEPA: 一种用于单次跨体态模仿的联合嵌入预测架构

Jingyang He, Guangrun Li, Jieyu Zhang, Chengkai Hou, Zhengping Che, Shanghang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，计算机学院，北京大学） ； University of Washington（华盛顿大学） ； Beijing Innovation Center of Humanoid Robotics（北京人形机器人创新中心） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.RO

AI总结 本文提出Demo-JEPA，一种跨体态模仿框架，通过解耦示范意图与体态特定的执行，利用共享预测表示空间将源视觉示范转换为目标兼容的未来潜在轨迹，使目标代理通过规划实现这些子目标，从而在异构体态间实现灵活的模仿。

What if Agents Could Imagine? Reinforcing Open-Vocabulary HOI Comprehension through Generation

如果智能体能够想象？通过生成强化开放词汇人-物交互理解

Zhenlong Yuan, Yue Wang, Dapeng Zhang, Kejin Cui, Rui Chen, Jing Tang, Lei Sun, Hongwei Yu, Chengxuan Qian, Xiangxiang Chu, Shuo Li, Yuyin Zhou

机构 * Dream-X Team（Dream-X团队） ； Stanford University（斯坦福大学） ； National University of Singapore（新加坡国立大学） ； Independent Researcher（独立研究者） ； Case Western Reserve University（凯斯西储大学） ； UC Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 本文提出ImagineAgent框架，通过生成式世界建模和工具增强强化学习，解决开放词汇人-物交互理解中的跨模态幻觉和视角限制问题，实现了高效且鲁棒的推理。

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

视觉扩散变换器中稀疏专家混合路由的稀疏性：从路由崩溃到选择性死锁的诊断、边界校准和进化路线图

Haiying Sha

机构 * Haiying Sha（海ying Sha） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 本文系统诊断了Token-Choice稀疏混合专家（MoE）在视频扩散变换器中的训练失败模式，通过分析超过6500万个标记的路由决策时间序列，提出了功能冗余假说，并总结了从视觉统一到世界模型的三步进化路线图。

Mamba-VGGT: Persistent Long-Sequence Video Geometry Grounded Transformer via External Sliding Window Mamba Memory

Mamba-VGGT: 通过外部滑动窗口Mamba内存实现持久长序列视频几何 grounded 变换器

Tianchen Deng, Zhenxiang Xiong, Nailin Wang, Fangjinhua Wang, Jiuming Liu, Jianfei Yang, Hesheng Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； ETH Zurich（苏黎世联邦理工学院） ； Cambridge University（剑桥大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 通用世界模型 ：world model(abstract)；world model(abstract)；分类 cs.CV

AI总结 本文提出Mamba-VGGT框架，通过引入滑动窗口Mamba内存模块，解决传统VGGT在长序列视频中几何遗忘和累积漂移问题，提升3D场景重建的精度与稳定性。