Holistic++ Scene Understanding: Single-view 3D Holistic Scene Parsing and Human Pose Estimation with Human-Object Interaction and Physical Commonsense
University of California, Los Angeles (UCLA)（加州大学洛杉矶分校）；International Center for AI and Robot Autonomy (CARA)（国际人工智能与机器人自主中心）
我们提出了一个新的三维整体++场景理解问题，它共同处理两个任务，从一个单一的视图图像：（i）整体场景解析和重建-三维估计的对象边界框，相机姿态，和房间布局，和（ii）三维人体姿态估计。其背后的直觉是利用这两个任务的耦合性质来提高场景理解的粒度和性能。我们建议利用这两个任务之间的两个关键和必要的连接：（i）人-物交互（HOI），以模拟代理和对象之间的细粒度的关系在场景中，和（ii）物理常识，以模拟重建场景的物理可扩展性。由解析图表示的3D场景的最佳配置使用马尔可夫链蒙特卡罗（MCMC）来推断，该MCMC有效地遍历不可微的联合解空间。实验结果表明，该算法在3个数据集上显著提高了两个任务的性能，表现出更好的泛化能力。
2019-09-04 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technology University（南洋理工大学）
在真实世界场景中合成长期人体运动序列的能力可以促进许多应用。先前的场景感知运动合成方法受到预定义的目标对象或位置的约束，从而限制了合成运动的人-场景交互的多样性。在本文中，我们专注于合成不同的场景感知的目标动作序列的指导下，人体运动的问题。为了实现这一点，我们首先分解的多样性场景感知人体运动到三个方面，即交互多样性（例如，坐在不同的对象在给定的场景中具有不同的姿势），路径多样性（例如，移动到目标位置遵循不同的路径），和运动多样性（例如，在移动过程中有各种身体运动）。在此分解方案的基础上，提出了一个层次化的框架，每个子模块负责一个方面的建模。我们评估我们的框架的有效性，对两个具有挑战性的数据集场景感知人体运动合成。实验结果表明，该框架在多样性和自然性方面明显优于以往的方法。
2022-05-25 cs.CV
Scene-aware Human Motion Forecasting via Mutual Distance Prediction
Australian National University（澳大利亚国立大学）
针对场景感知三维人体运动预测中现有交互约束仅覆盖局部运动的问题，提出预测人体与场景的双向相互距离并结合SDF全局场景表示，实现全身约束的两阶段运动预测，性能优于现有方法。
2024-08-10 cs.CV
GPT-Connect: Interaction between Text-Driven Human Motion Generator and 3D Scenes in a Training-free Manner
Singapore University of Technology and Design（新加坡科技设计大学）
针对现有文本驱动动作生成器仅适用于空白背景的问题，提出GPT-connect框架，利用ChatGPT以免训练方式将现有生成器与3D场景连接，实现场景感知的动作生成，实验证明其有效且具泛化性。
2024-03-22 cs.CV
Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes
UC San Diego（加州大学圣地亚哥分校）；UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
合成三维人体运动在许多图形应用以及理解人体活动中起着重要作用。虽然许多努力已经产生逼真和自然的人体运动，大多数方法忽略了建模的重要性，人的场景交互和启示。另一方面，可供性推理（例如，站在地板上或坐在椅子上）主要是用静态的人体姿势和姿势来研究的，很少用人体运动来解决。在本文中，我们提出了桥梁人体运动合成和场景启示推理。我们提出了一个分层生成框架来合成长期的3D人体运动调节的3D场景结构。在此基础上，我们进一步加强多个几何约束之间的人体网格和场景点云通过优化，以提高真实感的合成。我们的实验表明，显着的改进，在场景中产生自然和物理上合理的人体运动比以前的方法。
2021-06-14 cs.CV
Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation
State University of New York at Buffalo（纽约州立大学布法罗分校）
针对VEST中纠缠表示导致的运动与渲染误差，本文通过3D点云解耦场景几何与运动，并分两阶段预测自运动及动态对象残差运动，在两个城市数据集上优于强基线。
2024-08-02 cs.CV
Sketching Image Gist: Human-Mimetic Hierarchical Scene Graph Generation
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
场景图旨在真实地反映人类对图像内容的感知。当人类分析一个场景时，他们通常喜欢首先描述图像要点，即场景图中的主要对象和关键关系。这种人类固有的感知习惯意味着在场景分析过程中，人类的偏好存在一个层次结构。因此，我们认为，一个理想的场景图也应该分层构造，并介绍了一种新的方案建模场景图。具体地说，一个场景表示由一系列的图像区域组成的仿人层次实体树（HET）。为了基于HET生成场景图，我们使用混合长短期记忆（Hybrid-LSTM）来解析HET，该混合LSTM专门编码层次结构和兄弟上下文以捕获嵌入在HET中的结构化信息。为了进一步优先考虑场景图中的关键关系，我们设计了一个关系排名模块（RRM），通过学习从客观实体的显着性和大小捕获人类的主观感知习惯来动态调整它们的排名。实验结果表明，该方法不仅能够实现场景图的生成，而且能够挖掘出图像间的关联关系，为后续任务提供支持。
2020-07-17 cs.CV
Trajectory Prediction by Coupling Scene-LSTM with Human Movement LSTM
Department of Computer Science
我们开发了一种新型的人体轨迹预测系统，该系统结合了场景信息（Scene-LSTM）以及在静态拥挤场景中同时训练的单个行人运动（Pedestrian-LSTM）。我们在场景中使用两级网格结构（网格单元和子网格）来编码空间粒度和常见的人体运动。Scene-LSTM捕获了通常经过的路径，这些路径可用于显著影响局部区域（即网格单元）中人类轨迹预测的准确性。我们进一步设计了场景数据过滤器，包括硬过滤器和软过滤器，以在必要时选择局部区域中的相关场景信息，并将其与Pedestrian-LSTM相结合，用于预测行人的未来位置。在几个公开数据集上的实验结果表明，我们的方法优于相关工作，可以产生更准确的预测轨迹在不同的场景上下文。
2019-08-23 cs.CV
HOIverse: A Synthetic Scene Graph Dataset With Human Object Interactions
Computer Vision Lab Universität Augsburg（计算机视觉实验室，乌尔姆大学）；Organic Computing Lab Universität Augsburg（有机计算实验室，乌尔姆大学）
本文提出HOIverse合成数据集，结合场景图与人-物交互，提供准确密集的关系真值及多模态数据，并基于最先进模型进行基准测试，以加速室内场景理解研究。
2025-06-24 cs.CV
CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
Vision and Image Processing Lab, University of Waterloo, Canada（滑铁卢大学视觉与图像处理实验室）
提出CoGS框架，通过组合式高斯泼溅将单目视频分解为人体、刚体物体和静态场景三个分支，并采用六阶段优化实现动态人-物交互场景的忠实重建。
2026-06-27 cs.CV
SceneMI: Motion In-betweening for Modeling Human-Scene Interactions
ECE, Seoul National University（电子工程系，首尔国立大学）；Snap Inc（Snap公司）
该研究将人-场景交互建模重构为场景感知运动中间帧生成任务，提出 SceneMI 框架，通过双场景描述符与扩散去噪实现关键帧引导动画、含噪数据增强及真实数据集泛化。
2025-07-25 cs.CV
UniCon3R: Unified Contact-aware 4D Human-Scene Reconstruction from Monocular Video
National University of Singapore（国立新加坡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
UniCon3R通过建模人体与环境的接触关系，提升4D人体-场景重建的物理合理性与全局运动估计，同时保持高效的前馈推理速度。
2026-05-11 cs.CV
MOSO: Decomposing MOtion, Scene and Object for Video Prediction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）
运动、场景和对象是视频的三个主要视觉组成部分。具体而言，对象表示前景，场景表示背景，并且运动跟踪它们的动态。基于这一认识，我们提出了一个两阶段的运动，场景和对象分解框架（MOSO）的视频预测，包括MOSO-VQVAE和MOSO-Transformer。在第一阶段中，MOSO-VQVAE将先前的视频片段分解为运动、场景和对象分量，并将它们表示为不同的离散令牌组。然后，在第二阶段，MOSO-Transformer基于先前的令牌预测后续视频剪辑的对象和场景令牌，并在令牌级别将动态运动添加到生成的对象和场景令牌。我们的框架可以很容易地扩展到无条件的视频生成和视频帧插值任务。实验结果表明，我们的方法在视频预测和无条件视频生成的五个具有挑战性的基准测试中实现了新的最先进性能：BAIR、RoboNet、KTH、KITTI和UCF 101。此外，MOSO可以通过组合来自不同视频的对象和场景来制作逼真的视频。
2023-03-16 cs.CV
Holistic 3D Human and Scene Mesh Estimation from Single View Images
Stanford University（斯坦福大学）
3D世界限制了人体姿势，而人体姿势传达了关于周围物体的信息。事实上，从放置在室内场景中的人的单个图像，我们作为人类擅长通过我们对物理定律的知识和对合理对象和人类姿势的先验感知来解决人类姿势和房间布局的模糊性。然而，很少有计算机视觉模型充分利用这一事实。在这项工作中，我们提出了一个端到端的可训练模型，该模型从单个RGB图像中感知3D场景，估计相机姿势和房间布局，并重建人体和对象网格。通过对估计的各个方面施加一组全面和复杂的损失，我们表明我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人类预测的模型，并对场景和人类姿势进行联合优化。
2021-04-16 cs.CV
MoMaps: Semantics-Aware Scene Motion Generation with Motion Maps
Google DeepMind（谷歌DeepMind）；University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）
本文提出像素对齐的运动图（MoMap）表示，通过在超过5万个真实视频上训练扩散模型，实现了从单张图像预测合理且语义一致的3D场景运动，并为2D视频合成提供了新流程。
2025-10-13 cs.CV
SF2SE3: Clustering Scene Flow into SE(3)-Motions via Proposal and Selection
University of Freiburg（弗赖堡大学）
我们提出了SF 2SE 3，一种新的方法来估计场景动态的分割成独立移动的刚性对象和它们的SE（3）运动的形式。SF 2SE 3可在两个连续的立体或RGB-D图像上运行。首先，噪声场景流通过应用现有的光流和深度估计算法获得。SF 2SE 3然后迭代地（1）采样像素集以计算SE（3）-运动建议，以及（2）相对于最大覆盖公式选择最佳SE（3）-运动建议。最后，通过基于与输入场景流的一致性和空间接近性将像素唯一地分配给所选择的SE（3）运动来形成对象。主要的新颖之处是一个更明智的战略抽样的议案和最大的覆盖范围制定的建议选择。我们进行评估多个数据集上的应用SF 2SE 3场景流估计，对象分割和视觉里程计。SF 2SE 3在场景流估计方面的表现与现有技术相当，并且在分割和测距方面更准确。
2022-09-26 cs.CV
Scene-aware Generative Network for Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Centre of Perceptual and Interactive Intelligence（感知与交互智能研究中心）
在本文中，我们重新审视人体运动合成，在各种现实世界的应用中有用的任务。虽然之前已经开发了许多方法用于此任务，但它们通常限于两个方面：专注于姿势而将位置运动抛在后面，以及忽略环境对人体运动的影响。在本文中，我们提出了一个新的框架，考虑了场景和人体运动之间的相互作用。考虑到人体运动的不确定性，我们制定了这个任务作为一个生成的任务，其目标是生成合理的人体运动的场景和人体的初始位置的条件。该框架将人体运动的分布分解为以场景为条件的运动轨迹的分布和以场景和轨迹为条件的身体姿势动态的分布。我们进一步推导出一个基于GAN的学习方法，与判别器，以执行人体运动和上下文场景之间的兼容性，以及3D到2D投影约束。我们评估了所提出的方法在两个具有挑战性的数据集上的有效性，这两个数据集涵盖了合成和现实世界的环境。
2021-05-31 cs.CV
Resolving 3D Human Pose Ambiguities with 3D Scene Constraints
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
为了理解和分析人类的行为，我们需要捕捉人类在世界中移动并与世界互动。大多数现有的方法执行3D人体姿态估计没有明确考虑的场景。然而，我们观察到，世界制约着身体，反之亦然。为了激励这一点，我们表明，目前的3D人体姿态估计方法产生的结果是不一致的3D场景。我们的主要贡献是利用静态的三维场景结构，以更好地估计单目图像的人的姿态。该方法使用对象排除强制执行邻近关系，称为PROX。为了测试这一点，我们收集了一个新的数据集，该数据集由12个不同的3D场景和20个移动并与场景交互的主体的RGB序列组成。我们使用三维人体模型SMPL-X来表示人体姿态，并扩展SMPLify-X以使用场景约束来估计人体姿态。我们利用的3D场景信息，制定两个主要的约束。相互穿透约束惩罚身体模型和周围3D场景之间的相交。如果身体的特定部位在距离和方向上足够接近，则接触约束鼓励身体的特定部位与场景曲面接触。为了进行定量评估，我们捕获了一个单独的数据集，其中包含180个RGB帧，使用运动捕获系统估计地面真实身体姿势。我们定量地表明，引入场景约束显着减少3D关节误差和顶点误差。我们的代码和数据可在https://prox.is.tue.mpg.de上查阅。
2019-08-20 cs.CV
Human-Machine CRFs for Identifying Bottlenecks in Holistic Scene Understanding
Stanford University（斯坦福大学）；UCLA（加州大学洛杉矶分校）；TTIC（丰田技术研究所）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
图像理解的最新趋势推动了整体场景理解模型，其联合推理各种任务，诸如目标检测、场景识别、形状分析、上下文推理和基于局部外观的分类器。在这项工作中，我们有兴趣了解这些不同的任务，在改善场景理解，特别是语义分割，目标检测和场景识别的作用。为了实现这一目标，我们在一个最先进的条件随机场模型中为每个组件“插入”人类受试者。各种混合人机CRF之间的比较给我们的迹象有多少“净空”，以提高场景理解，通过集中研究工作在各种个别的任务。
2014-06-16 cs.CV
AHA! Animating Human Avatars in Diverse Scenes with Gaussian Splatting
Tübingen AI Center, University of Tübingen（图宾根人工智能中心、图宾根大学）
本研究提出利用3D高斯点散布技术实现人类在多样场景中的动画化，通过解耦渲染与运动合成，提升单目视频中的人类动画效果。
2026-01-04 cs.CV
Generating Continual Human Motion in Diverse 3D Scenes
University of Tübingen（蒂宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Meta AI Research（元人工智能研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
提出一种基于关键点约束和种子运动序列的连续人体运动合成方法，通过在目标中心坐标系下分解路径行走与动作转换，仅用场景无关数据即可在多种3D场景中生成无漂移的长序列多样化动作。
2025-02-02 cs.CV
Populating 3D Scenes by Learning Human-Scene Interaction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
人类生活在3D空间中，并不断与它互动以执行任务。这样的交互涉及在语义上有意义的表面之间的物理接触。我们的目标是了解人类如何与场景互动，并利用这一点使虚拟角色也能做到这一点。为此，我们引入了一种新的人的场景交互（HSI）模型，编码近端的关系，称为POSA的“姿态与proximitieS和接触”。交互的表示是以身体为中心的，这使得它能够推广到新的场景。具体而言，POSA增强了SMPL-X参数化人体模型，使得对于每个网格顶点，它编码（a）与场景表面的接触概率和（b）对应的语义场景标签。我们学习POSA与SMPL-X顶点条件下的VAE，并在PROX数据集上进行训练，该数据集包含与3D场景交互的SMPL-X网格，以及来自PROX-E数据集的相应场景语义。我们证明了POSA的价值与两个应用程序。首先，我们自动将人的3D扫描放置在场景中。我们使用适合扫描的SMPL-X模型作为代理，然后在3D中找到其最可能的位置。POSA提供了一个有效的表示，以搜索场景中的“启示”，匹配可能的接触关系，该姿势。我们进行了一项感知研究，显示出在这项任务上的最新技术水平的显着改善。其次，我们表明，POSA的学习表示的身体场景交互支持单眼人体姿态估计，是一致的3D场景，提高了最先进的。我们的模型和代码可用于研究目的在https://posa.is.tue.mpg.de。
2021-04-05 cs.CV
DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；SenseTime Research（商汤科技研究院）
本文提出 DEMOS 框架，利用局部 Spherical-BEV 感知和时变运动混合，根据动态 3D 场景即时预测并更新潜在运动，在 PROX、GTA-IM 与 Semantic3D 上显著优于已有方法。
2024-03-04 cs.CV
SHARE: Scene-Human Aligned Reconstruction
National Research Council Canada（加拿大国家研究理事会）；University of Waterloo（滑铁卢大学）；Simon Fraser University（西蒙 Fraser大学）
SHARE利用场景几何的空间线索，通过单目视频迭代优化人体网格与场景点图的对齐，实现更精确的三维人体放置，并在实验中优于现有方法。
2025-10-17 cs.CV
Generating Human Motion in 3D Scenes from Text Descriptions
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
针对文本生成3D室内场景人体运动需兼顾人-场景交互与空间推理的难题，提出将任务分解为目标物体语言定位和以物体为中心的运动生成的方法，提升了运动生成质量。
2024-05-13 cs.CV
Learning Rigidity in Dynamic Scenes with a Moving Camera for 3D Motion Field Estimation
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
从时间序列图像对中估计动态场景中的三维运动是场景理解的核心任务。在现实世界的应用中，动态场景通常由移动的相机（即，摇摄、倾斜或手持），这增加了任务的复杂性，因为从不同的视点观察场景。主要的挑战是从场景运动中消除相机运动的歧义，随着所观察到的刚性量的减少，这变得更加困难，即使成功地估计了2D图像的对应关系。相比其他国家的最先进的三维场景流估计方法，在本文中，我们提出了\emph{learn}刚性的场景在监督的方式从一个大的动态场景数据的集合，并直接推断出刚性掩模从两个连续的图像与深度。通过学习网络，我们展示了如何使用计算的2D光流和推断的刚性掩模有效地估计相机运动和投影场景流。为了训练和测试刚性网络，我们还提供了一个新的半合成动态场景数据集（具有真实背景的合成前景对象）和一个评估分割，该分割占观察到的非刚性像素的百分比。通过我们的评估，我们表明，该框架优于当前最先进的场景流估计方法在具有挑战性的动态场景。
2018-07-30 cs.CV
HIS-GPT: Towards 3D Human-In-Scene Multimodal Understanding
Key Laboratory of AI Safety of Chinese Academy of Sciences (CAS)（中国科学院人工智能安全重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of CAS（中国科学院大学）；Communication University of China（通信大学）
提出人机场景问答任务HIS-QA与基准HIS-Bench，并构建首个融合3D场景与人体运动的基础模型HIS-GPT，在HIS-QA任务上达到最先进水平。
2025-07-16 cs.CV
A Deep Temporal Fusion Framework for Scene Flow Using a Learnable Motion Model and Occlusions
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；BMW Group（宝马集团）
运动估计是计算机视觉的核心问题之一。对于传统的双帧方法，遮挡和视野外运动是一个限制因素，特别是在车辆的环境感知的上下文中，由于对象的大（自我）运动。我们的工作提出了一种新的数据驱动的方法，用于在多帧设置中对场景流估计进行时间融合，以克服遮挡问题。与大多数以前的方法相反，我们不依赖于恒定运动模型，而是从数据中学习运动的通用时间关系。在第二步骤中，神经网络组合来自公共参考帧的双向场景流估计，从而产生精细估计和遮挡掩模的自然副产品。这样，我们的方法为各种场景流估计器提供了快速的多帧扩展，其性能优于底层的双帧方法。
2020-11-04 cs.CV
Visual Graphs from Motion (VGfM): Scene understanding with object geometry reasoning
Istituto Italiano di Tecnologia（意大利理工学院）
最近的视觉场景理解方法试图建立一个场景图--一个对象及其成对关系的计算表示。这种丰富的语义表示是非常有吸引力的，但很难从单个图像中获得，特别是当考虑场景中复杂的空间布置时。相应地，图像序列使用由相机运动引起的多视图几何关系来传达有用的信息。实际上，在这种情况下，对象关系自然地与3D场景结构相关。为此，本文提出了一种系统，首先计算对象的几何位置在一个通用的场景，然后有效地构建场景图从视频中嵌入这样的几何推理。这种引人注目的表示是使用一种新模型获得的，其中使用RNN框架合并了几何和视觉特征。我们报告的结果，我们创建的任务，在多个视图中的3D场景图生成的数据集。
2018-11-07 cs.CV
Generating 3D People in Scenes without People
ETH Zürich（苏黎世联邦理工学院）；Ulm University（乌尔姆大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一个全自动的系统，需要一个3D场景，并产生合理的3D人体自然构成的3D场景。给定一个没有人的3D场景，人类可以很容易地想象出人如何与场景和场景中的物体进行交互。然而，这对于计算机来说是一个具有挑战性的任务，因为解决它需要（1）生成的人体在3D环境中是语义上合理的（例如，人们坐在沙发上或在炉子附近做饭），以及（2）所生成的人-场景交互在物理上是可行的，使得人体和场景不相互穿透，同时，身体-场景接触支持身体互动。为此，我们使用基于表面的3D人体模型SMPL-X。我们首先训练一个条件变分自编码器来预测语义上合理的三维人体姿势条件的潜在场景表示，然后我们进一步细化生成的三维机构使用场景约束，以执行可行的物理交互。我们表明，我们的方法是能够合成逼真的和富有表现力的三维人体自然与三维环境的互动。我们进行了大量的实验，证明我们的生成框架相比，与现有的方法，无论是定性和定量。我们相信，我们的场景调节的3D人体生成管道将是有用的许多应用;例如，在视频游戏和VR/AR中生成用于人体姿势估计的训练数据。我们的数据和代码的项目页面可以在：\url{https://vlg.inf.ethz.ch/projects/PSI/}上看到。
2020-04-19 cs.CV
Human Synthesis and Scene Compositing
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
生成具有控制外观、姿势和形状参数的能力的良好质量和几何上合理的人类合成图像对于从照片编辑、时尚虚拟试穿到特效和图像压缩的各种任务已经变得越来越重要。在本文中，我们提出了HUSC，一个人的合成和场景合成框架的现实合成的人与不同的外观，在新的姿势和场景。我们制定的核心是三维推理的人和场景，以产生逼真的拼贴画，通过正确建模的透视效果和遮挡，考虑到场景语义，并充分处理相对规模。从概念上讲，我们的框架由三个部分组成：（1）一个人的图像合成模型与可控的姿势和外观，基于参数表示，（2）一个人的插入过程，利用几何形状和语义的3D场景，和（3）外观合成过程中创建一个无缝的混合场景和生成的人的图像的颜色，并避免视觉伪影。我们的框架的性能得到了定性和定量结果的支持，特别是DeepFashion数据集的最先进的综合得分。
2019-10-18 cs.CV
HARMONI: Aligning Human and Scene Priors for Multi-View 4D Reconstruction
Seoul National University（首尔国立大学）；NAVER Cloud（NAVER云）
本文提出CHROMM框架，通过单次处理联合估计相机、场景点云和人体网格，无需额外模块或预处理，提升多视角人体姿态估计性能。
2026-10-01 cs.CV
Aggregation of binary feature descriptors for compact scene model representation in large scale structure-from-motion applications
Warsaw University of Technology（华沙理工大学）
在本文中，我们提出了一种有效的方法，用于聚合二进制特征描述符，允许紧凑的表示三维场景模型的增量运动恢复结构和SLAM应用。与一个3D场景点或地标链接的所有特征描述符由称为\emph{prototype}的单个低维实值向量表示。该方法允许在大规模运动恢复结构应用中显著减少存储和处理特征描述符所需的存储器。一个有效的近似最近邻搜索方法，适合于实值描述符，如FLANN，可以使用在所得到的原型，以加快匹配处理帧。
2018-09-28 cs.CV
Hallucinating Pose-Compatible Scenes
UC Berkeley（加州大学伯克利分校）
人类的姿势告诉我们关于场景的什么？我们提出了一个任务来回答这个问题：给定人类姿势作为输入，幻觉一个兼容的场景。人类姿势捕捉到的微妙线索--动作语义、环境启示、物体交互--提供了令人惊讶的洞察力，让我们了解哪些场景是兼容的。我们提出了一个大规模的生成对抗网络的姿态条件场景生成。我们显著扩展了训练数据的大小和复杂性，管理了一个包含日常环境中超过1900万帧人类的大型元数据集。我们将StyleGAN 2模型处理此类复杂数据的能力提高了一倍，并设计了一种姿势调节机制，以驱动我们的模型学习姿势和场景之间的微妙关系。我们利用我们的训练模型进行各种应用：幻觉姿势兼容场景（有或没有人类），可视化不兼容的场景和姿势，将一个人从一个生成的图像放置到另一个场景中，以及动画姿势。我们的模型产生了不同的样本，并在准确的人体放置（正确关键点的百分比）和质量（Frechet起始距离）方面优于姿势调节的StyleGAN 2和Pix 2 Pix/Pix 2 PixHD基线。
2022-10-01 cs.CV
Capturing and Inferring Dense Full-Body Human-Scene Contact
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Middlebury College（明德学院）
推断人类场景接触（HSC）是理解人类如何与周围环境互动的第一步。虽然检测2D人-物交互（HOI）和重建3D人体姿态和形状（HPS）已经取得了显着进展，但从单个图像中推理3D人-场景接触仍然具有挑战性。现有的HSC检测方法只考虑了几种预定义的接触类型，往往将人体和场景简化为少量的基元，甚至忽略了图像证据。为了从单个图像中预测人与场景的接触，我们从数据和算法的角度解决了上述限制。我们捕获了一个名为RICH的新数据集，用于“真实场景，交互，接触和人类”。RICH包含4K分辨率的多视图室外/室内视频序列，使用无标记运动捕捉捕捉的地面真实3D人体，3D人体扫描和高分辨率3D场景扫描。RICH的一个关键特性是它还在主体上包含精确的顶点级接触标签。使用RICH，我们训练了一个网络，该网络从单个RGB图像预测密集的身体场景接触。我们的关键见解是，接触的区域总是被遮挡的，因此网络需要探索整个图像的能力。我们使用一个Transformer来学习这种非局部的关系，并提出了一个新的身体场景接触TRansfOrmer（BSTRO）。很少有方法探索3D接触;那些只关注脚的方法，检测脚接触作为后处理步骤，或者从身体姿势推断接触而不看场景。据我们所知，BSTRO是第一种从单个图像直接估计3D身体-场景接触的方法。我们证明BSTRO显著优于现有技术。代码和数据集可在https://rich.is.tue.mpg.d…
2022-06-20 cs.CV
SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens
DFKI（德累斯顿人工智能研究所）；MPI for Informatics（信息研究所）；Saarland Informatics Campus（萨尔州信息校园）；University of Hong Kong（香港大学）
SceMoS通过基于几何的令牌规划，利用2D场景表示实现高效且逼真的3D人体运动合成，减少50%以上可训练参数，提升物理真实性和接触精度。
2026-02-24 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
Occlusions, Motion and Depth Boundaries with a Generic Network for Disparity, Optical Flow or Scene Flow Estimation
University of Freiburg（弗莱堡大学）
遮挡在视差和光流估计中起着重要作用，因为在遮挡区域中匹配成本不可用，并且遮挡指示深度或运动边界。此外，遮挡是相关的运动分割和场景流估计。在本文中，我们提出了一个有效的基于学习的方法来估计遮挡面积联合视差或光流。估计的遮挡和运动边界明显改善了最先进的水平。此外，我们提出的网络与流行的KITTI基准和良好的通用性能的最先进的性能。利用估计的遮挡，我们还显示了改进的运动分割和场景流估计的结果。
2018-08-08 cs.CV
ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos
ETH Zürich（苏黎世联邦理工学院）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；University of Amsterdam（阿姆斯特丹大学）
针对单目野外视频人体-场景重建需预校准相机、长训练时间的问题，提出ODHSR在线统一框架，结合3D高斯溅射、重建基跟踪与姿态估计、变形模块及遮挡感知等技术，在EMDB等数据集上实现多任务性能提升。
2025-04-18 cs.CV
Move as You Say, Interact as You Can: Language-guided Human Motion Generation with Scene Affordance
School of Computer Science & Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；National Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能全国重点实验室（BIGAI））；Dept. of Automation, Tsinghua University（清华大学自动化系）；CFCS, School of Computer Science, Peking University（北京大学计算机学院CFCS）；Institute for AI, Peking University（北京大学人工智能研究院）；Yangtze Delta Region Academy of Beijing Institute of Technology, Jiaxing（北京理工大学嘉兴长三角研究院）
提出一种基于场景可供性的两阶段框架，通过ADM预测可供性图、AMDM生成人体动作，有效解决了3D环境中语言引导动作生成的数据匮乏与多模态建模难题，在HumanML3D等基准上超越基线并展现强泛化能力。
2024-03-26 cs.CV
Efficient Human-Contact Representation for Human-Scene Interaction
AIOZ；University of Liverpool（利物浦大学）；NTHU（国立清华大学）
针对人-场景交互中接触表示效率不足的问题，提出稀疏接触掩码与稀疏算子，在三个基准数据集的接触预测和场景合成任务上，实现至少12倍提速且精度优于现有最优模型。
2026-08-11 cs.CV
Social 3D Scene Graphs: Modeling Human Actions and Relations for Interactive Service Robots
Faculty of Robotics Perception and Learning, KTH Royal Institute of Technology（机器人感知与学习学院，皇家理工学院）；Institute for Artificial Intelligence, University of Stuttgart（人工智能研究所，斯图加特大学）；International Max Planck Research School for Intelligent Systems (IMPRS-IS)（智能系统国际马克斯·普朗克研究学校）
研究为使机器人能以符合社会规范和情境感知的方式行动，引入社交3D场景图，用开放词汇框架捕获环境中人类及其属性、活动和关系，还引入新基准，实验表明其改进了人类活动预测和人-环境关系推理。
2026-07-08 cs.CV
Human-Scene Network: A Novel Baseline with Self-rectifying Loss for Weakly supervised Video Anomaly Detection
INRIA（法国国家信息与自动化研究所）；Woven Planet Holdings；Toyota Motor Europe（丰田汽车欧洲公司）
在只有视频级标签（即弱监督）的监控系统中，视频异常检测是具有挑战性的。这是由于：（i）基于人类和场景的异常的复杂整合，包括真实世界场景中的微妙和尖锐的时空线索，（ii）在弱监督下正常和异常实例之间的非最优优化。在本文中，我们提出了一个人类场景网络学习歧视性的表示，通过捕捉微妙和强烈的线索，在解离的方式。此外，还提出了一种自校正损失，从视频级标签中动态计算伪时间注释，以有效地优化人-场景网络。在三个公开可用的数据集上验证了所提出的具有自校正损失优化的人类场景网络，即UCF-Crime，ShanghaiTech和IITB-Corridor，在所考虑的六个场景中的五个场景中，表现优于最近报道的最先进的方法。
2023-01-19 cs.CV
MoCapDeform: Monocular 3D Human Motion Capture in Deformable Scenes
Saarland University（萨尔大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
从单目RGB图像中捕获三维人体运动是一个非常具有挑战性的，不适定的和未开发的问题，涉及到复杂的和可能变形的环境中的主体的相互作用。现有的方法只能很弱地解决这个问题，并且不能对人类与场景表面交互时经常发生的可能的表面变形进行建模。相比之下，本文提出了MoCapDeform，即，一个新的框架，单目3D人体运动捕捉，这是第一个明确建模的非刚性变形的3D场景，以改善3D人体姿态估计和可变形的环境重建。MoCapDeform接受单眼RGB视频和在相机空间中对齐的3D场景网格。它首先使用一种新的基于光线投射的策略在输入的单眼视频中定位一个主题以及密集的接触标签。接下来，利用我们的人与环境交互约束来共同优化全局3D人体姿势和非刚性表面变形。MoCapDeform在几个数据集上实现了比竞争方法更高的精度，包括我们新记录的变形背景场景。
2022-08-17 cs.CV
RAFT-3D: Scene Flow using Rigid-Motion Embeddings
Princeton University（普林斯顿大学）
我们解决场景流的问题：给定一对立体或RGB-D视频帧，估计像素级3D运动。我们介绍了RAFT-3D，一个新的场景流的深度架构。RAFT-3D基于为光流开发的RAFT模型，但迭代地更新像素级SE 3运动的密集场，而不是2D运动。RAFT-3D的一个关键创新是刚性运动嵌入，它表示将像素软分组为刚性对象。刚性运动嵌入的积分是Dense-SE 3，这是一个可微层，可以强制嵌入的几何一致性。实验结果表明，RAFT-3D算法具有较好的性能。在FlyingThings 3D上，在双视图评估下，我们将最佳发布准确率（d < 0.05）从34.3%提高到83.7%。在KITTI上，我们实现了5.77的错误，优于最好的方法（6.31），尽管没有使用对象实例监督。代码可在https://github.com/princeton-vl/RAFT-3D上获得。
2021-04-06 cs.CV
Knowledge Transfer for Scene-specific Motion Prediction
Stanford University（斯坦福大学）；Seconda Università di Napoli（那不勒斯第二大学）
当给定一帧视频时，人类不仅可以解释场景的内容，而且还能够预测不久的将来。这种能力主要是由他们对视觉世界的丰富先验知识驱动的，包括（i）移动代理的动态，以及（ii）场景的语义。在这项工作中，我们利用这两个关键因素之间的相互作用来预测场景特定的运动模式。首先，我们提取补丁描述符编码的概率移动到相邻的补丁，并在该特定的补丁或改变行为的概率。然后，我们介绍了一个动态贝叶斯网络，利用这种场景的具体知识的轨迹预测。实验结果表明，我们的方法是能够准确地预测轨迹，并转移预测到一个新的场景特征相似的元素。
2016-07-26 cs.CV
Putting Humans in a Scene: Learning Affordance in 3D Indoor Environments
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
示能建模在视觉理解中起着重要的作用。在本文中，我们的目标是预测3D室内场景的启示，特别是在给定的室内环境中，例如坐在椅子上或站在地板上，人类的姿势是什么。为了预测有效的启示并学习室内场景中可能的3D人体姿势，我们需要了解场景的语义和几何结构以及它与人类的潜在交互。为了学习这样的模型，需要一个大规模的3D室内启示数据集。在这项工作中，我们建立了一个全自动的3D姿态合成器，融合了语义知识，从大量的2D姿势提取的电视节目，以及3D几何知识，从体素表示的室内场景。通过合成器创建的数据，我们引入了一个3D姿态生成模型来预测给定场景（作为单个RGB，RGB-D或深度图像提供）内的语义上合理且物理上可行的人类姿态。我们证明了我们的人类启示预测方法始终优于现有的最先进的方法。
2019-03-15 cs.CV
Dynamic Avatar-Scene Rendering from Human-centric Context
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（视觉、语音和信号处理中心（CVSSP），萨里大学）
针对单目视频中人体-场景交互动态重建存在的边界不一致、伪影等问题，提出Separate-then-Map（StM）策略，通过专用信息映射机制桥接分组件模型，实验证明其渲染性能优于现有最优方法。
2025-11-13 cs.CV
Multi-Condition Latent Diffusion Network for Scene-Aware Neural Human Motion Prediction
Tencent AI Lab（腾讯 AI 实验室）；School of Engineering, Westlake University（西湖大学工程学院）；OPPO U.S. Research Center（OPPO 美国研究中心）
提出多条件潜在扩散网络（MCLD），将人体运动预测重新表述为基于历史3D身体运动和当前3D场景上下文的多条件联合推断问题，在潜在嵌入空间内执行条件扩散过程，实现跨模态映射，在真实和多样化预测上显著优于现有最先进方法。
2024-05-30 cs.CV
Synthesizing Diverse Human Motions in 3D Indoor Scenes
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
针对现有3D室内场景人体运动合成依赖高成本交互数据、覆盖场景有限的问题，提出基于强化学习、结合潜在运动动作空间与场景感知策略的方法，可生成自然多样的导航及人-物交互运动，性能优于现有方法。
2023-08-21 cs.CV
LaserHuman: Language-guided Scene-aware Human Motion Generation in Free Environment
ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）；The University of Hong Kong（香港大学）；University of Adelaide（阿德莱德大学）；University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有数据集局限，提出包含真实3D环境动作与自由文本的LaserHuman数据集，并设计多条件扩散模型生成语义一致且物理合理的人体动作，达到最先进性能。
2024-03-21 cs.CV
Stochastic Scene-Aware Motion Prediction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Adobe Research（Adobe研究院）
计算机视觉的一个长期目标是捕捉、建模和逼真地合成人类行为。具体来说，通过从数据中学习，我们的目标是使虚拟人能够在杂乱的室内场景中导航，并自然地与物体进行交互。这种具体化的行为在虚拟现实、计算机游戏和机器人技术中具有应用，而合成的行为可以用作训练数据的源。这是具有挑战性的，因为真实的人体运动是多样的，并适应场景。例如，一个人可以坐在或躺在沙发上在许多地方和不同的风格。在合成逼真地执行人-场景交互的虚拟人时，有必要对这种多样性进行建模。我们提出了一种新的数据驱动，随机运动合成方法，模型不同风格的执行给定的动作与目标对象。我们的方法，称为SAMP，场景感知运动预测，推广到各种几何形状的目标对象，同时使字符在混乱的场景中导航。为了训练我们的方法，我们收集了各种坐、躺、走和跑方式的MoCap数据。我们在复杂的室内场景中展示了我们的方法，并与现有的解决方案相比实现了卓越的性能。我们的代码和数据可在https://samp.is.tue.mpg.de上查阅。
2021-08-18 cs.CV
4D Human Body Capture from Egocentric Video via 3D Scene Grounding
Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）
我们介绍了一种新的任务，重建的时间序列的第二人称三维人体网格从单目自我中心的视频。以自我为中心的视频的独特视角和快速体现的相机运动为人体捕捉增加了额外的技术障碍。为了解决这些挑战，我们提出了一种简单而有效的基于优化的方法，该方法利用整个视频序列的2D观察和人类场景交互约束来估计第二人称人类姿势，形状和全局运动，这些运动基于从自我中心视图捕获的3D环境。我们进行详细的消融研究，以验证我们的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法从单目视频的人体运动捕捉，并表明我们的方法估计更准确的人体姿势和形状下具有挑战性的自我中心的设置。此外，我们证明了我们的方法产生更逼真的人的场景交互。
2021-10-15 cs.CV
