CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators
Princeton University（普林斯顿大学）
CLAP是跨具身动作条件视频生成框架，可在人类与机器人的多样化视频上训练，能接近或超越单具身视频模型性能，开源代码与模型，为训练单具身视频世界模型提供新范式。
2026-09-14 cs.AI cs.CV cs.RO
WISA: World Simulator Assistant for Physics-Aware Text-to-Video Generation
Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；AI Research（360人工智能研究院）；Peng Cheng Laboratory（鹏城实验室）
本文提出世界模拟器助手 WISA，通过将物理原理分解为文本描述、定性类别和定量属性，并结合物理专家混合注意力与物理分类器，同时构建覆盖17条物理定律的 WISA-32K 数据集，显著提升了文本到视频模型遵循真实物理规律的能力。
2025-03-11 cs.CV
Is Your World Simulator a Good Story Presenter? A Consecutive Events-Based Benchmark for Future Long Video Generation
University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Microsoft（微软公司）
引入StoryEval基准，通过423个连续事件提示评估T2V模型的故事完成能力，揭示现有模型在连贯故事呈现上的不足。
2024-12-17 cs.CL cs.CV cs.GR
PlayerOne: Egocentric World Simulator
HKU（香港大学）；DAMO Academy, Alibaba Group（阿里云达摩院）；Hupan Lab（华盘实验室）；HUST（华中科技大学）
PlayerOne通过第一人称真实世界模拟器实现了沉浸式探索，通过粗到细的训练流程和部分解耦运动注入方案，实现了对人类运动的精确控制和多样化场景的一致建模。
2025-12-10 cs.CV
PhyWorld: Physics-Faithful World Model for Video Generation
Northeastern University（东北大学）；University of Georgia（佐治亚大学）；Tulane University（路易斯安那大学）；EmbodyX
本文提出PhyWorld，一种通过两阶段训练提升视频生成模型的物理忠实性，以改进世界模拟器的性能，从而更有效地支持物理AI系统。
2026-05-19 cs.AI cs.CV cs.ET
From Generation to Simulation: How Far Are World Models from Being True Simulators?
Institute of Systems Engineering, Academy of Military Sciences（军事科学院系统工程研究院）
本研究通过系统评估200篇相关成果，分析了潜在动力学等3条技术路线的世界模型在传统模拟器8项能力上的表现，指出其在状态反馈等方面的缺陷并提出6个研究方向。
2026-08-25 cs.AI cs.CV
Towards World Simulator: Crafting Physical Commonsense-Based Benchmark for Video Generation
Shanghai Jiao Tong University（上海交通大学）；OpenGVLab（开放通用视觉实验室）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
该研究针对文本生成视频模型物理常识能力未被充分探究的问题，构建了覆盖27条物理定律的PhyGenBench基准与PhyGenEval自动化评估框架，发现现有模型生成内容难符物理常识，呼吁学界重视模型物理常识学习。
2024-10-07 cs.CV
PhysisForcing: Physics Reinforced World Simulator for Robotic Manipulation
Peking University（北京大学）；NVIDIA（英伟达）
针对视频生成模型在机器人操作模拟中物理不稳定的问题，提出PhysisForcing框架，通过像素级轨迹对齐和语义级关系对齐损失联合优化，显著提升物理一致性，在多个基准上改进基础模型，并提高下游策略成功率。
2026-06-29 cs.AI cs.CV cs.RO
Loopy: Seamless Video Loop Generation via Anchored Looping Shift of Positional Embedding
Tianjin University（天津大学）；The Hong Kong Polytechnic University（香港理工大学）
该研究针对现有循环视频生成质量差的问题，提出Loopy框架，通过锚定DiT的位置嵌入偏移策略，实现高质量、支持多格式及高级AIGC功能的循环视频生成，提升了时间一致性与视觉保真度。
2026-08-25 cs.CV
GAUGE: A Measurement-Grounded Benchmark for Physical Fidelity in Simulation Engines and Video World Models
本研究提出基于真实世界的GAUGE基准，联合评估数值仿真器与生成式视频世界模型的物理保真度，发现无统一保真的物理引擎，视频模型存在轨迹形式正确但物理量错误的问题，为开发高保真仿真器奠定基础。
2026-08-07 cs.AI cs.CV cs.RO
PEDRA: Evaluating the Realism of Pedestrian Dynamics in Video Generation
Duke University（杜克大学）
提出PEDRA评估协议，通过重建鸟瞰轨迹等方法，测试文本/图像到视频模型生成多行人交互场景的真实性，发现现有模型虽具备先验但存在行人合并消失等物理不一致问题。
2026-06-05 cs.CV
Evaluating Gemini Robotics Policies in a Veo World Simulator
Gemini Robotics Team（Gemini机器人团队）；Google DeepMind（谷歌DeepMind）
本研究提出基于Veo视频模型的生成式评估系统，用于在Veo世界模拟器中全面评估Gemini机器人策略的性能，包括名义性能、分布外泛化及安全约束测试。
2026-01-06 cs.AI cs.CV cs.LG
EgoForge: Goal-Directed Egocentric World Simulator
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California San Diego（加州大学圣地亚哥分校）
EgoForge通过最小静态输入生成连贯的第一人称视频，结合VideoDiffusionNFT提升意图对齐和时间一致性，实现在动态环境模拟中的优越性能。
2026-10-02 cs.CV cs.MM
LaMo: Self-Supervised Latent Motion Priors for Physical Realism in Video Generation
Applied Intuition；University of California, Berkeley（加州大学伯克利分校）
提出LaMo，通过自监督方式从无标签视频中提取运动先验，包括宏运动漂移损失和微运动场引导，无需外部监督即可提升视频扩散模型的物理一致性。
2026-05-22 cs.CV
LoopAnimate: Loopable Salient Object Animation
OPPO AI Center（OPPO人工智能中心）
针对动态壁纸等场景的无缝循环需求，本文提出 LoopAnimate，通过解耦外观与语义、三阶段训练及 TEMM，实现 35 帧高质量可循环视频生成。
2024-04-16 cs.AI cs.CV
SimGen: Simulator-conditioned Driving Scene Generation
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Shanghai Jiao Tong University（上海交通大学）
针对现有扩散模型生成驾驶场景多样性不足、易过拟合的问题，本文提出SimGen框架，采用级联扩散流水线结合仿真与真实数据，构建大规模DIVA数据集，在保证可控性的同时提升生成质量与多样性，可用于BEV任务数据增强与安全关键数据生成。
2024-12-07 cs.CV
MeVGAN: GAN-based Plugin Model for Video Generation with Applications in Colonoscopy
Jagiellonian University（雅盖隆大学）；Marian Smoluchowski Institute of Physics, Jagiellonian University（玛丽安·斯莫卢霍夫斯基物理研究所，雅盖隆大学）；Skopia Medical Center（斯科皮亚医疗中心）
针对高分辨率视频生成内存需求大的问题，提出采用插件式架构的MeVGAN，基于预训练2D图像GAN加简单神经网络构建噪声轨迹生成视频，可生成高质量合成结肠镜视频用于虚拟培训模拟器。
2023-11-07 cs.CV eess.IV
Video Generation Models as World Models: Efficient Paradigms, Architectures and Algorithms
School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学）；Hong Kong Generative AI Research and Development Center（香港生成式人工智能研究与开发中心）
本文系统回顾了考虑效率的世界模拟视频生成框架，提出三维分类方法，展示提升效率对自动驾驶等应用的重要性，并指出高效视频生成向通用世界模拟器演进的关键性。
2026-07-07 cs.CV eess.IV
PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation
UNC Chapel Hill（UNC夏洛特希尔大学）；FieldAI；NTU Singapore（新加坡国立大学）；AI2；Johns Hopkins University（约翰霍普金斯大学）
本文提出PhyMotion，一种结构化的3D运动奖励机制，通过物理模拟器评估人体运动的物理可行性，提升视频生成中人体动作的真实感。
2026-05-14 cs.AI cs.CV
WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory
HKUST（香港科技大学）；Ant Group（蚂蚁集团）；ZJU（浙江大学）；CUHK（香港中文大学）
提出WorldDirector框架，通过LLM协调3D轨迹与相机运动作为视频生成控制信号，解耦语义运动编排与视觉生成，实现持久动态对象记忆和自由视角探索。
2026-07-03 cs.CV
TourPhysics: Bringing Physics to World Models for Exploration and Manipulation from a Single Image
Fudan University（复旦大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；Nanjing University（南京大学）
TourPhysics是从单张图像初始化的在线框架，结合确定性模拟与视频生成，在相机巡游及物体操作任务上表现优于基线，可保留输入场景并减少长时程外观漂移。
2026-09-09 cs.CV
PhysWorld: From Real Videos to World Models of Deformable Objects via Physics-Aware Demonstration Synthesis
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
PhysWorld提出一种利用模拟器合成物理演示来训练轻量级GNN世界模型的方法，实现从真实视频学习可变形物体动力学，推理速度比PhysTwin快47倍。
2025-10-24 cs.AI cs.CV cs.RO
Bridging Creative Intent and Visual Quality: Creator-Driven Recurrent Video Generation with Agentic Feedback Loops
University of California, Davis（加州大学戴维斯分校）；The Harker School（哈克学校）；Basis Independent Silicon Valley（硅谷贝斯独立学校）；Saratoga High（萨拉托加高中）
提出CHIEF框架，通过人类-AI协作的迭代视频精炼，结合创作者驱动和代理主观反馈，提升长视频的叙事连贯性与创意方向。
2026-06-18 cs.CV
Mobius: Text to Seamless Looping Video Generation via Latent Shift
Chongqing University of Post and Telecommunications（重庆邮电大学）；Meituan（美团）；Great Bay University（湾区大学）；University of Macau（澳门大学）
Mobius利用预训练视频扩散模型，通过潜在位移构建任意长度循环，无需训练即可从文本生成无缝循环视频，实现更动态的运动和更优视觉质量。
2025-02-27 cs.CV
Toward Physically Consistent Driving Video World Models under Challenging Trajectories
Zhejiang University（浙江大学）；Xiaomi EV（小米电动汽车）；The Hong Kong Polytechnic University（香港理工大学）；Shenzhen Loop Area Institute（深圳河套学院）
本文提出PhyGenesis，通过物理条件生成器和物理增强视频生成器，解决挑战性轨迹下视频生成的物理不一致问题，实验表明其在复杂轨迹上表现优异。
2026-04-01 cs.CV
INSPATIO-WORLD: A Real-Time 4D World Simulator via Spatiotemporal Autoregressive Modeling
本文提出INSPATIO-WORLD框架，通过时空自回归模型实现从单帧视频恢复和生成高保真动态交互场景，解决空间一致性和实时交互难题，实现在WorldScore-Dynamic基准中领先。
2026-04-13 cs.CV
SWoMo: Neuro-Symbolic World Model for Cataract Surgery Simulation
Technical University Darmstadt（德累斯顿技术大学）；Carl Zeiss AG（蔡司股份有限公司）；AICM, Medical Faculty of Heidelberg University（海德堡大学医学院）
本文提出SWoMo，一种用于白内障手术模拟的神经符号世界模型，通过分离运动生成与视觉真实性，结合规则基模拟器和场景图表示来建模运动动态和工具-组织交互，同时使用扩散模型生成逼真的视觉效果，从而提升手术模拟的真实性和临床适用性。
2026-05-20 cs.CV
AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis
Toyota Research Institute（丰田研究院）；USC Physical Superintelligence (PSI) Lab（USC物理超智能（PSI）实验室）
针对机器人示范数据收集瓶颈，AnchorDream利用预训练视频扩散模型，通过机器人运动渲染来合成数据，无需环境建模，从少量示范生成多样高质量数据集，提升下游策略学习。
2026-07-07 cs.CV cs.RO
Active Intelligence in Video Avatars via Closed-loop World Modeling
The Hong Kong University of Science and Technology（香港科技大学）；Meituan（美团）；University of Science and Technology of China（中国科学技术大学）
本文提出ORCA框架，通过闭环世界建模和双系统架构，实现视频虚拟角色的主动智能与目标导向行为。
2025-12-23 cs.CV
Scene Co-pilot: Procedural Text to Video Generation with Human in the Loop
University of Central Florida（中佛罗里达大学）；University of Kashan（卡尚大学）
针对视频生成存在的时间不一致等伪影问题，提出结合LLMs与过程式3D生成器的Scene Copilot框架，通过多组件协作及定制数据集提升场景与视频生成能力，实验验证其有效性。
2024-11-26 cs.CV
Pre-Trained Video Generative Models as World Simulators
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯AI实验室）
本文针对预训练视频生成模型难以建模交互式动态场景的问题，提出DWS方法，通过轻量级动作条件模块和运动增强损失构建可控世界模拟器，在多领域实现动态一致性与动作可控性提升，并提出优先想象提升下游任务样本效率。
2025-02-10 cs.AI cs.CV
Learning 3D-Gaussian Simulators from RGB Videos
提出3DGSim，一种从多视角RGB视频直接学习物理交互的3D模拟器，统一了3D场景重建、粒子动力学预测和视频合成，能泛化到未见过的多体交互和新场景编辑。
2026-07-03 cs.AI cs.CV cs.GR
Video-Driven Graph Network-Based Simulators
University of Groningen（格罗宁根大学）；University of Liège（列日大学）
本文提出一种从短视频推断物理属性并驱动图网络模拟器的方法，无需显式参数输入，并验证了视频编码与系统运动之间的线性依赖关系。
2025-04-11 cs.CV cs.LG
World Simulator: Queer Erotica and the Absurdity of AI Video Models That Promise the World
University of the Arts London（伦敦艺术大学）
该研究通过将男同性恋情色内容输入AI视频转视频流水线的装置作品，揭示AI视频模型作为“世界模拟器”的局限性，挑战其宣称并质疑模拟的价值。
2026-08-11 cs.CV cs.CY cs.HC
ADV2E: Bridging the Gap Between Analogue Circuit and Discrete Frames in the Video-to-Events Simulator
Shenzhen University（深圳大学）
本文提出ADV2E方法，通过将事件相机像素电路的模拟滤波特性和独立于帧率的截止频率纳入视频到事件模拟器，解决了高对比度场景下合成事件退化问题，实验证明其生成的事件数据真实且能有效训练深度神经网络。
2024-11-19 cs.CV cs.RO
Enhanced Frame and Event-Based Simulator and Event-Based Video Interpolation Network
iniVation AG（iniVation 公司）；Samsung Electronics（三星电子）；Seoul National University（首尔大学）
快速神经形态的基于事件的视觉传感器（动态视觉传感器，DVS）可以与较慢的常规的基于帧的传感器组合，以实现比依赖于使用例如光流的固定运动近似的传统方法更高质量的帧间插值。在这项工作中，我们提出了一个新的，先进的事件模拟器，可以产生逼真的场景记录的摄像机钻机与位于固定偏移的任意数量的传感器。它包括一个新的可配置的基于帧的图像传感器模型与现实的图像质量降低的影响，和一个扩展的DVS模型具有更准确的特性。我们使用我们的模拟器来训练一种新的重建模型，设计用于端到端的高fps视频重建。与以前公布的方法不同，我们的方法不要求框架和DVS相机具有相同的光学器件、位置或相机分辨率。它也不限于距离传感器固定距离的物体。我们表明，我们的模拟器生成的数据可以用来训练我们的新模型，导致公共数据集上的重建图像的质量相当于或优于国家的最先进的。我们还显示了我们的传感器推广到真实的传感器记录的数据。
2021-12-17 cs.CV
SPACE: A Simulator for Physical Interactions and Causal Learning in 3D Environments
Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR））
深度学习、计算机视觉和嵌入式AI的最新进展已经产生了合成因果推理视频数据集。这些数据集促进了人工智能算法的开发，这些算法可以推理对象之间的物理交互。然而，到目前为止，数据集主要集中在基本的物理事件，如滚动或下降。目前缺乏专注于人类日常与现实世界中的对象进行物理交互的数据集。为了解决这一问题，我们介绍了空间：3D环境中物理交互和因果学习的模拟器。SPACE模拟器允许我们生成SPACE数据集，这是一个3D环境中的合成视频数据集，可以在一系列物理因果推理任务中系统地评估基于物理的模型。SPACE数据集的灵感来自于日常物体的相互作用，它包括描述三种类型的物理事件的视频：包容性，稳定性和接触。这些事件构成了物体之间基本物理相互作用的绝大多数。然后，我们使用最先进的基于物理学的深度模型对其进行进一步评估，并表明SPACE数据集通过受课程学习启发的方法改善了直观物理学的学习。资料档案库：https://github.com/jiafei1224/SPACE
2021-08-13 cs.AI cs.CV
V2CE: Video to Continuous Events Simulator
University of California San Diego（加利福尼亚大学圣迭戈分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Qualcomm Technologies, Inc.（高通技术公司）
提出V2CE视频到事件流转换方法，通过精心设计的损失函数提升事件体素质量，并采用局部动态感知时间戳推断策略连续恢复时间戳以消除时间分层问题，在量化指标下达到当前SOTA。
2024-04-26 cs.AI cs.CV
BehaviorWorldGen: Closing the Loop between Action Models and World Simulators via Controllable Behavior-Aware Structured World Generation
AFARI World Model Team（AFARI世界模型团队）
BehaviorWorldGen通过BehaviorFlow实现可控行为感知结构化世界生成，闭合驾驶动作模型与世界模拟器的循环，在多项任务上取得改进，尤其对困难交互场景效果显著。
2026-09-23 cs.CV cs.RO
3D Video Loops from Asynchronous Input
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；City University of Hong Kong（香港城市大学）
循环视频是可以无休止地循环的短视频剪辑，没有可见的接缝或伪影。它们提供了一种非常有吸引力的方式来捕捉自然场景的动态。现有的方法大多局限于2D表示。在本文中，我们向前迈出了一步，并提出了一个实用的解决方案，可以在动态3D循环场景上实现身临其境的体验。关键的挑战是考虑异步输入的每视图循环条件，同时保持3D表示的视图一致性。我们提出了一种新的稀疏3D视频表示，即多瓦片视频（MTV），它不仅提供了一个视图一致的先验，而且大大减少了内存使用，使4D体积的优化易于处理。然后，我们引入了一个两阶段的流水线来构建3D循环MTV从完全异步的多视点视频没有时间重叠。在优化过程中，采用了一种新的基于视频时间重定向的循环丢失算法来循环3D场景。我们的框架的实验表明，即使在移动设备上，成功地生成和渲染逼真的3D循环视频实时的的承诺。代码、数据集和现场演示可在https://limacv.github.io/VideoLoop3D_web/上获得。
2023-03-21 cs.CV cs.GR
Markov Chain Modeling and Simulation of Breathing Patterns
University of Parma（帕尔马大学）
针对呼吸疾病真实视频数据不足的问题，提出呼吸模式CTMC模型及软硬件仿真器，可准确生成含呼吸暂停的真实模式，支撑视频监测算法开发与测试。
2016-10-05 cs.CV stat.AP
Zero-shot Synthetic Video Realism Enhancement via Structure-aware Denoising
The Hong Kong University of Science and Technology（香港科学与技术大学）；Everlyn AI；University of Central Florida（中央佛罗里达大学）
本文提出基于结构感知去噪的零样本合成视频真实感增强框架，无需微调扩散视频基础模型，借助辅助模型提取结构信息引导去噪，在保证照片级真实感的同时提升了与原视频的结构一致性。
2025-11-18 cs.AI cs.CV
Exposing the Copycat Problem of Imitation-based Planner: A Novel Closed-Loop Simulator, Causal Benchmark and Joint IL-RL Baseline
Department of Electronic Engineering, The Chinese University of Hong Kong（电子工程系，香港中文大学）；DiDi Global（滴滴出行）
针对模仿学习规划器易受复制猫问题影响、难以泛化的问题，本文提出闭环模拟器、因果基准及联合IL-RL框架，以提升策略的鲁棒性与泛化能力。
2025-04-20 cs.AI cs.CV
A Synthetic Eye Movement Dataset for Script Reading Detection: Real Trajectory Replay on a 3D Simulator
本文提出一种生成合成眼动视频的 pipeline，通过回放真实人类虹膜轨迹生成12小时的合成数据，用于脚本阅读检测任务，验证了生成轨迹在时间动态上的有效性。
2026-10-27 cs.CV
UAV-CROWD: Violent and non-violent crowd activity simulator from the perspective of UAV
North South University（北南大学）
近年来，无人机（UAV）获得了巨大的吸引力，特别是在监视方面。然而，从空中视角捕捉暴力和非暴力人类活动的视频数据集是稀缺的。为了解决这个问题，我们提出了一种新的，基线模拟器，它能够生成序列的照片逼真的合成图像的人群从事各种活动，可以被归类为暴力或非暴力。人群组使用边界框进行注释，边界框是使用语义分割自动计算的。我们的模拟器能够生成大型的随机城市环境，并且能够在中档计算机上保持平均每秒25帧的速度，其中150个并发人群代理相互交互。我们还表明，当合成数据从建议的模拟器与现实世界的数据增强，二进制视频分类精度提高了5%，平均在两个不同的模型。
2022-08-13 cs.CV cs.LG
A Simulation-Grounded Agentic VLM Framework for Wildfire Monitoring and Reporting
Georgia Institute of Technology（佐治亚理工学院）；Sandia National Laboratories（桑迪亚国家实验室）
提出基于仿真锚定的VLM框架，自动将2D野火仿真转为带标签视频，结合多智能体记忆检索与推理，实现高效野火监测报告，显著提升标签和报告字段准确率。
2026-10-05 cs.CV cs.GR
Inferring Articulated Rigid Body Dynamics from RGBD Video
NVIDIA（英伟达）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）；University of Southern California（南加州大学）
由于能够再现从光交互到接触力学的物理现象，仿真器在越来越多的难以获得真实世界交互或标记数据的应用领域中变得越来越有用。尽管最近取得了进展，但需要大量的人力来配置模拟器以准确地再现真实世界的行为。我们引入了一个流水线，结合了逆渲染与微分模拟，以创建数字孪生的现实世界的关节机制，从深度或RGB视频。我们的方法自动发现关节类型，并估计其运动参数，而整个机构的动态特性进行调整，以实现物理上准确的模拟。控制策略优化，在我们推导的模拟成功地转移回原来的系统，因为我们证明了一个模拟系统。此外，我们的方法准确地重建由机器人操纵的关节机构的运动树，以及现实世界的耦合摆机构的高度非线性动力学。网址：https://eric-heiden.github.io/video2sim
2022-09-12 cs.AI cs.CV cs.RO
HUGSIM: A Real-Time, Photo-Realistic and Closed-Loop Simulator for Autonomous Driving
Zhejiang University（浙江大学）；Huawei（华为）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
本文提出 HUGSIM 实时照片级真实感闭环自动驾驶仿真器，基于 3D Gaussian Splatting 构建动态环境，并提供多数据集、多场景基准以评估和微调自动驾驶算法。
2024-12-02 cs.CV cs.RO
EgoSim: Egocentric World Simulator for Embodied Interaction Generation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）
EgoSim通过建模可更新的世界状态，解决现有视角模拟器在3D grounding和动态更新上的不足，生成空间一致的交互视频并支持跨具身迁移。
2026-07-02 cs.AI cs.CV
NeuroNCAP: Photorealistic Closed-loop Safety Testing for Autonomous Driving
Zenseact（森赛克特）；Lund University（隆德大学）；Delft University of Technology（代尔夫特理工大学）
提出基于NeRF的自动驾驶模拟器NeuroNCAP，支持传感器逼真的闭环安全关键场景测试，发现端到端规划器在闭环安全场景中存在严重缺陷，并开源评估套件以促进模型安全验证。
2024-04-23 cs.CV
Eyes on Target: Gaze-Aware Object Detection in Egocentric Video
本文提出Eyes on Target框架，通过将注视信息注入Vision Transformer的注意力机制，提升中心视觉视频中目标检测的准确性，实验表明其在自研数据集和公开基准上均优于无注视基线。
2026-03-16 cs.AI cs.CV
Learning to Imitate Object Interactions from Internet Videos
University of California, Berkeley（加州大学伯克利分校）
我们研究了从互联网视频中模仿对象交互的问题。这需要理解4D中的手-对象交互、3D中的空间交互以及随着时间的推移的手-对象交互，这由于手-对象相互遮挡而具有挑战性。在本文中，我们做了两个主要的贡献：（1）一种新的重建技术RHOV（从视频重建手和对象），它重建4D的手和对象的轨迹使用2D图像线索和时间平滑约束;（2）一个系统，用于模仿对象的相互作用，在物理模拟器与强化学习。我们将我们的重建技术应用于100个具有挑战性的互联网视频。我们进一步表明，我们可以成功地模仿一系列不同的对象在物理模拟器的相互作用。我们的以对象为中心的方法不限于类似人类的末端执行器，并且可以学习使用不同的实施例来模仿对象交互，如具有平行钳口夹持器的机器人臂。
2022-11-23 cs.CV cs.LG cs.RO
OccSora: 4D Occupancy Generation Models as World Simulators for Autonomous Driving
Beihang University（北京航空航天大学）；UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
提出基于扩散的4D占用生成模型OccSora，通过4D场景tokenizer和扩散transformer学习时空表示，基于轨迹提示生成16秒长视频，作为自动驾驶世界模拟器。
2024-05-30 cs.AI cs.CV
Animated Stickies: Fast Video Projection Mapping onto a Markerless Plane through a Direct Closed-Loop Alignment
Tohoku University（东北大学）
本文提出了一种快速投影映射方法，用于使用低延迟数字微镜器件（DMD）投影仪将运动图像内容投影到无标记平面上。通过采用闭环对准方法，其中不仅表面纹理，而且投影图像由相机跟踪，所提出的方法是从相机和投影仪之间的校准或位置调整自由。我们设计的基准图案被插入到一个快速拍打序列的DMD投影仪的二进制帧，这允许同时跟踪的表面纹理和基准几何形状从一个单一的图像捕获的相机。所提出的方法在CPU上以400 fps的速度运行，并使任意视频内容能够“粘贴”到各种纹理表面上。
2019-08-30 cs.CV cs.GR
