Scene-aware Egocentric 3D Human Pose Estimation
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Meta Reality Labs（Meta现实实验室）；Google（谷歌）
针对头戴鱼眼相机下人体遮挡与人景交互导致的3D姿态估计难题，提出融合场景深度、体素表示与V2V回归的场景感知方法，并构建EgoGTA和EgoPW-Scene数据集，实现更准确且物理合理的姿态估计。
2023-09-25 cs.CV
SLOPER4D: A Scene-Aware Dataset for Global 4D Human Pose Estimation in Urban Environments
Xiamen University（厦门大学）；ShanghaiTech University（上海科技大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了SLOPER 4D，一个新的场景感知数据集收集在大型城市环境中，以促进全球人类姿态估计（GHPE）与人的场景交互在野外的研究。我们采用一个头戴式设备集成了激光雷达和相机，我们记录了12个人类主体的活动超过10个不同的城市场景从自我中心的观点。提供了2D关键点、3D姿态参数和全局平移的逐帧注释以及重建的场景点云。为了在这样的大型动态场景中获得准确的3D地面实况，我们提出了一种联合优化方法来将局部SMPL网格拟合到场景中，并在动态运动过程中逐帧微调相机校准，从而产生合理且场景自然的3D人体姿势。最终，SLOPER 4D由15个人体运动序列组成，每个序列的轨迹长度超过200米（最长1,300米），覆盖面积超过2,000个$m^2$（最长13,000个$m^2$），包括超过10万个LiDAR帧、30万个视频帧和50万个基于IMU的运动帧。借助SLOPER 4D，我们对两项关键任务进行了详细而全面的分析，包括城市环境中基于摄像头的3D HPE和基于LiDAR的3D HPE，并对新任务GHPE进行了基准测试。深入分析表明，SLOPER 4D对现有方法提出了重大挑战，并产生了巨大的研究机会。数据集和代码在\url{http://www.lidarhumanmotion.net/sloper4d/}发布
2023-03-18 cs.CV
Compositional Human-Scene Interaction Synthesis with Semantic Control
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
在虚拟人和他们的3D环境之间合成自然交互对于许多应用来说是至关重要的，例如计算机游戏和AR/VR体验。我们的目标是合成与由高级语义规范控制的给定3D场景交互的人类，作为动作类别和对象实例对，例如，“坐在椅子上”。将交互语义纳入生成框架的关键挑战是学习有效捕获异构信息的联合表示，包括人体关节，3D对象几何形状和交互的意图。为了解决这个问题，我们设计了一种新的基于变换的生成模型，其中关节的三维人体表面点和三维物体被联合编码在一个统一的潜在空间，和语义的人和物体之间的相互作用是通过位置编码嵌入。此外，受人类可以同时与多个对象进行交互的组合性质的启发，我们将交互语义定义为不同数量的原子动作对象对的组合。我们提出的生成模型可以自然地结合不同数量的原子交互，这使得合成合成的人的场景交互，而不需要复合交互数据。我们扩展的PROX数据集与交互语义标签和场景实例分割来评估我们的方法，并证明我们的方法可以生成逼真的人与场景的交互与语义控制。我们的感知研究表明，我们合成的虚拟人可以自然地与3D场景进行交互，大大优于现有的方法。我们将我们的方法命名为COINS，用于具有语义控制的组合交互合成。代码和数据可在https://github.com/zkf1997/COINS上获得。
2022-07-26 cs.CV
Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors
University of Tübingen（蒂宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CIIRC, Czech Technical University in Prague（捷克理工大学CIIRC）
我们介绍（HPS）人体姿势系统，一种方法来恢复全三维姿态的人注册与周围环境的三维扫描使用可穿戴传感器。HPS使用附在身体四肢上的IMU和头戴式摄像机向外看，将基于摄像机的自定位与基于IMU的人体跟踪融合在一起。前者提供无漂移但有噪声的位置和取向估计，而后者在短期内是准确的，但在较长的时间段内会发生漂移。我们表明，我们的优化为基础的集成利用两者的好处，从而在姿态精度漂移。此外，我们将3D场景约束集成到我们的优化中，例如脚与地面的接触，从而产生物理上合理的运动。HPS补充了更常见的基于第三人称的3D姿态估计方法。它允许捕获更大的记录量和更长的运动周期，并可用于VR/AR应用，其中人类与场景交互而不需要与外部摄像机直接视线，或用于训练基于第一人称视觉输入导航和与环境交互的代理，就像真实的人类一样。使用HPS，我们记录了一个人类与大型3D场景（300-1000平方米）交互的数据集，其中包括7个主题和超过3个小时的各种运动。数据集，代码和视频将在项目页面上提供：http://virtualhumans.mpi-inf.mpg.de/hps/。
2021-03-31 cs.CV
Learning to Estimate Robust 3D Human Mesh from In-the-Wild Crowded Scenes
Seoul National University（首尔大学）
我们考虑的问题，恢复一个人的3D人体网格在野外拥挤的场景。虽然在3D人体网格估计方面已经取得了很大进展，但当测试输入具有拥挤场景时，现有方法会遇到困难。失败的第一个原因是训练数据和测试数据之间的域差距。运动捕捉数据集为训练提供了准确的3D标签，但缺乏人群数据，阻碍了网络学习目标人物的拥挤场景鲁棒图像特征。第二个原因是对包含多个人的局部限界框的特征图进行空间平均的特征处理。对整个特征图求平均使得目标人的特征与其他人无法区分。我们提出了3DCrowdNet，首先明确针对在野外拥挤的场景，并估计一个强大的3D人体网格解决上述问题。首先，我们利用2D人体姿势估计，不需要具有3D标签的运动捕捉数据集进行训练，并且不会受到域间隙的影响。其次，我们提出了一个联合为基础的回归，区分目标人物的功能从其他人。我们的联合为基础的回归保留了空间激活的目标，从目标的关节位置和回归人体模型参数的采样功能。因此，3DCrowdNet可以学习以目标为中心的特征，并有效地排除附近人员的不相关特征。我们在各种基准上进行了实验，并从定量和定性两个方面证明了3DCrowdNet对野外拥挤场景的鲁棒性。该代码可在https://github.com/hongsukchoi/3DCrowdNet_RELEASE上获得。
2022-09-18 cs.CV
Real-time Human-Centric Segmentation for Complex Video Scenes
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Northwestern University（西北大学）
现有的大多数与“人”相关的视频任务都集中在显著人物的分割上，而忽略了视频中未指定的其他人。很少有研究集中在分割和跟踪复杂视频中的所有人，包括行人和其他状态的人（例如，坐着的、骑着的或闭塞的）。在本文中，我们提出了一个新的框架，简称HVISNet，分割和跟踪所有提出的人在给定的视频的基础上一个阶段的检测器。为了更好地评估复杂的场景，我们提供了一个新的基准称为HVIS（人类视频实例分割），其中包括1447人的实例面具在805个高分辨率的视频在不同的场景。大量的实验表明，我们提出的HVISNet优于国家的最先进的方法在准确性方面的实时的【形】推理速度（30 FPS），特别是在复杂的视频场景。我们还注意到，使用限界框的中心来区分不同的个体严重恶化了分割精度，特别是在严重遮挡的条件下。这种常见的现象被称为模糊正样本问题。为了缓解这个问题，我们提出了一种名为内部中心采样的机制，以提高实例分割的准确性。这种即插即用的内中心采样机制可以结合在任何基于一级检测器的实例分割模型中，以提高性能。特别是，它获得了4.1 mAP的最先进的方法在闭塞的人的情况下的改善。代码和数据可在https://github.com/IIGROUP/HVISNet上获得。
2021-08-16 cs.CV
Towards Accurate Human Pose Estimation in Videos of Crowded Scenes
National University of Singapore（新加坡国立大学）；YITU Technology（依图科技）
拥挤场景下基于视频的人体姿态估计是一个具有挑战性的问题，由于遮挡，运动模糊，尺度变化和视点变化等，现有的方法总是无法处理这个问题，因为（1）缺乏使用的时间信息;（2）缺乏训练数据在拥挤场景。在本文中，我们专注于提高人体姿态估计在拥挤的场景中的视频从利用时间上下文和收集新的数据的角度。特别是，我们首先遵循自上而下的策略来检测人，并对每帧进行单人姿态估计。然后，我们改进了基于帧的姿态估计与时间上下文推导出的光流。具体来说，对于一帧，我们从先前帧中向前发送历史姿势，并从后续帧中向后发送未来姿势到当前帧，从而实现视频中稳定且准确的人体姿势估计。此外，为了提高训练集的多样性，我们从互联网上挖掘了与HIE数据集相似的新场景数据。通过这种方式，我们的模型在13个视频中的7个上实现了最佳性能，并且在HIE挑战的测试数据集上实现了56.33的平均w\_AP。
2020-10-21 cs.CV
Human-M3: A Multi-view Multi-modal Dataset for 3D Human Pose Estimation in Outdoor Scenes
Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）
本文提出室外多模态多视角多人数据集Human-M3，结合RGB视频与点云生成可靠真值标注，并验证多模态输入对三维人体姿态估计的优势。
2023-08-06 cs.AI cs.CV cs.LG
Dynamic Worlds, Dynamic Humans: Generating Virtual Human-Scene Interaction Motion in Dynamic Scenes
Beihang University（北航大学）；University of Durham（达勒姆大学）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）；Zhongguancun Laboratory（中关村实验室）
本文提出Dyn-HSI架构，通过动态视觉导航、分层经验记忆和人-场景交互扩散模型，生成高质量的动态场景中人-场景交互动作。
2026-01-27 cs.CV
Scene and Human in One World: Reconstruction in a Feedforward Pass
University of Pennsylvania（宾夕法尼亚大学）
提出SHOW框架，通过统一度量空间中的前馈3D场景重建与人体网格恢复，利用人体语义和尺度先验实现尺度感知的场景重建，并利用场景几何约束优化人体定位，解决动态单目视频中的人-场景对齐和遮挡问题。
2026-06-29 cs.CV
Joint Optimization for 4D Human-Scene Reconstruction in the Wild
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
提出JOSH方法，通过联合优化场景、相机姿态和人体运动，从单目视频中实现野外4D人体-场景重建，优于现有方法。
2026-07-01 cs.CV
InHabit: Scaling 3D Human-Scene Interaction Data With Image Foundation Models
Bosch Center of Artificial Intelligence（博世人工智能中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学院）
提出InHabit方法，通过渲染-生成-提升流程利用2D基础模型知识自动生成3D场景中与几何一致的人体交互数据，并构建大规模数据集InHabitants，显著提升3D人体-场景重建和接触估计性能。
2026-10-30 cs.CV
Scene-aware Human Motion Forecasting via Mutual Distance Prediction
Australian National University（澳大利亚国立大学）
针对场景感知三维人体运动预测中现有交互约束仅覆盖局部运动的问题，提出预测人体与场景的双向相互距离并结合SDF全局场景表示，实现全身约束的两阶段运动预测，性能优于现有方法。
2024-08-10 cs.CV
Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes
UC San Diego（加州大学圣地亚哥分校）；UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
合成三维人体运动在许多图形应用以及理解人体活动中起着重要作用。虽然许多努力已经产生逼真和自然的人体运动，大多数方法忽略了建模的重要性，人的场景交互和启示。另一方面，可供性推理（例如，站在地板上或坐在椅子上）主要是用静态的人体姿势和姿势来研究的，很少用人体运动来解决。在本文中，我们提出了桥梁人体运动合成和场景启示推理。我们提出了一个分层生成框架来合成长期的3D人体运动调节的3D场景结构。在此基础上，我们进一步加强多个几何约束之间的人体网格和场景点云通过优化，以提高真实感的合成。我们的实验表明，显着的改进，在场景中产生自然和物理上合理的人体运动比以前的方法。
2021-06-14 cs.CV
Sketching Image Gist: Human-Mimetic Hierarchical Scene Graph Generation
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
场景图旨在真实地反映人类对图像内容的感知。当人类分析一个场景时，他们通常喜欢首先描述图像要点，即场景图中的主要对象和关键关系。这种人类固有的感知习惯意味着在场景分析过程中，人类的偏好存在一个层次结构。因此，我们认为，一个理想的场景图也应该分层构造，并介绍了一种新的方案建模场景图。具体地说，一个场景表示由一系列的图像区域组成的仿人层次实体树（HET）。为了基于HET生成场景图，我们使用混合长短期记忆（Hybrid-LSTM）来解析HET，该混合LSTM专门编码层次结构和兄弟上下文以捕获嵌入在HET中的结构化信息。为了进一步优先考虑场景图中的关键关系，我们设计了一个关系排名模块（RRM），通过学习从客观实体的显着性和大小捕获人类的主观感知习惯来动态调整它们的排名。实验结果表明，该方法不仅能够实现场景图的生成，而且能够挖掘出图像间的关联关系，为后续任务提供支持。
2020-07-17 cs.CV
Trajectory Prediction by Coupling Scene-LSTM with Human Movement LSTM
Department of Computer Science
我们开发了一种新型的人体轨迹预测系统，该系统结合了场景信息（Scene-LSTM）以及在静态拥挤场景中同时训练的单个行人运动（Pedestrian-LSTM）。我们在场景中使用两级网格结构（网格单元和子网格）来编码空间粒度和常见的人体运动。Scene-LSTM捕获了通常经过的路径，这些路径可用于显著影响局部区域（即网格单元）中人类轨迹预测的准确性。我们进一步设计了场景数据过滤器，包括硬过滤器和软过滤器，以在必要时选择局部区域中的相关场景信息，并将其与Pedestrian-LSTM相结合，用于预测行人的未来位置。在几个公开数据集上的实验结果表明，我们的方法优于相关工作，可以产生更准确的预测轨迹在不同的场景上下文。
2019-08-23 cs.CV
HOIverse: A Synthetic Scene Graph Dataset With Human Object Interactions
Computer Vision Lab Universität Augsburg（计算机视觉实验室，乌尔姆大学）；Organic Computing Lab Universität Augsburg（有机计算实验室，乌尔姆大学）
本文提出HOIverse合成数据集，结合场景图与人-物交互，提供准确密集的关系真值及多模态数据，并基于最先进模型进行基准测试，以加速室内场景理解研究。
2025-06-24 cs.CV
CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
Vision and Image Processing Lab, University of Waterloo, Canada（滑铁卢大学视觉与图像处理实验室）
提出CoGS框架，通过组合式高斯泼溅将单目视频分解为人体、刚体物体和静态场景三个分支，并采用六阶段优化实现动态人-物交互场景的忠实重建。
2026-06-27 cs.CV
UniCon3R: Unified Contact-aware 4D Human-Scene Reconstruction from Monocular Video
National University of Singapore（国立新加坡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
UniCon3R通过建模人体与环境的接触关系，提升4D人体-场景重建的物理合理性与全局运动估计，同时保持高效的前馈推理速度。
2026-05-11 cs.CV
Holistic 3D Human and Scene Mesh Estimation from Single View Images
Stanford University（斯坦福大学）
3D世界限制了人体姿势，而人体姿势传达了关于周围物体的信息。事实上，从放置在室内场景中的人的单个图像，我们作为人类擅长通过我们对物理定律的知识和对合理对象和人类姿势的先验感知来解决人类姿势和房间布局的模糊性。然而，很少有计算机视觉模型充分利用这一事实。在这项工作中，我们提出了一个端到端的可训练模型，该模型从单个RGB图像中感知3D场景，估计相机姿势和房间布局，并重建人体和对象网格。通过对估计的各个方面施加一组全面和复杂的损失，我们表明我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人类预测的模型，并对场景和人类姿势进行联合优化。
2021-04-16 cs.CV
Human Motion Synthesis in 3D Scenes via Unified Scene Semantic Occupancy
针对三维场景人体运动合成忽略语义理解的问题，提出SSOMotion框架，通过统一场景语义占用（SSO）的双向三平面分解与CLIP编码降维提取细粒度语义，结合指令运动方向逐帧查询控制运动，在多数据集上验证了前沿性能与泛化能力。
2025-11-11 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
MIME: Human-Aware 3D Scene Generation
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Adobe Inc.（奥多比公司）
生成由移动的人类占据的逼真3D世界在游戏、建筑和合成数据创建中有许多应用。但是生成这样的场景是昂贵的和劳动密集型的。最近的工作产生人体姿势和运动给定的3D场景。在这里，我们采取相反的方法，并生成3D室内场景的三维人体运动。这些运动可以来自存档运动捕捉或来自佩戴在身体上的IMU传感器，有效地将人类运动转化为3D世界的“扫描仪”。直观地说，人类运动表示房间中的自由空间，人类接触表示支持坐、躺或触摸等活动的表面或物体。我们提出了MIME（挖掘交互和运动来推断3D环境），这是一种室内场景的生成模型，可以生成与人类运动一致的家具布局。MIME使用自回归Transformer架构，将场景中已生成的对象以及人体运动作为输入，并输出下一个可能的对象。为了训练MIME，我们通过用3D人类填充3D FRONT场景数据集来构建数据集。我们的实验表明，MIME产生更多样化和合理的3D场景比最近的生成场景的方法，不知道人体运动。代码和数据将在https://mime.is.tue.mpg.de上提供。
2022-12-08 cs.CV cs.GR
Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technology University（南洋理工大学）
在真实世界场景中合成长期人体运动序列的能力可以促进许多应用。先前的场景感知运动合成方法受到预定义的目标对象或位置的约束，从而限制了合成运动的人-场景交互的多样性。在本文中，我们专注于合成不同的场景感知的目标动作序列的指导下，人体运动的问题。为了实现这一点，我们首先分解的多样性场景感知人体运动到三个方面，即交互多样性（例如，坐在不同的对象在给定的场景中具有不同的姿势），路径多样性（例如，移动到目标位置遵循不同的路径），和运动多样性（例如，在移动过程中有各种身体运动）。在此分解方案的基础上，提出了一个层次化的框架，每个子模块负责一个方面的建模。我们评估我们的框架的有效性，对两个具有挑战性的数据集场景感知人体运动合成。实验结果表明，该框架在多样性和自然性方面明显优于以往的方法。
2022-05-25 cs.CV
AHA! Animating Human Avatars in Diverse Scenes with Gaussian Splatting
Tübingen AI Center, University of Tübingen（图宾根人工智能中心、图宾根大学）
本研究提出利用3D高斯点散布技术实现人类在多样场景中的动画化，通过解耦渲染与运动合成，提升单目视频中的人类动画效果。
2026-01-04 cs.CV
SHARE: Scene-Human Aligned Reconstruction
National Research Council Canada（加拿大国家研究理事会）；University of Waterloo（滑铁卢大学）；Simon Fraser University（西蒙 Fraser大学）
SHARE利用场景几何的空间线索，通过单目视频迭代优化人体网格与场景点图的对齐，实现更精确的三维人体放置，并在实验中优于现有方法。
2025-10-17 cs.CV
Scene-aware Generative Network for Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Centre of Perceptual and Interactive Intelligence（感知与交互智能研究中心）
在本文中，我们重新审视人体运动合成，在各种现实世界的应用中有用的任务。虽然之前已经开发了许多方法用于此任务，但它们通常限于两个方面：专注于姿势而将位置运动抛在后面，以及忽略环境对人体运动的影响。在本文中，我们提出了一个新的框架，考虑了场景和人体运动之间的相互作用。考虑到人体运动的不确定性，我们制定了这个任务作为一个生成的任务，其目标是生成合理的人体运动的场景和人体的初始位置的条件。该框架将人体运动的分布分解为以场景为条件的运动轨迹的分布和以场景和轨迹为条件的身体姿势动态的分布。我们进一步推导出一个基于GAN的学习方法，与判别器，以执行人体运动和上下文场景之间的兼容性，以及3D到2D投影约束。我们评估了所提出的方法在两个具有挑战性的数据集上的有效性，这两个数据集涵盖了合成和现实世界的环境。
2021-05-31 cs.CV
HIS-GPT: Towards 3D Human-In-Scene Multimodal Understanding
Key Laboratory of AI Safety of Chinese Academy of Sciences (CAS)（中国科学院人工智能安全重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of CAS（中国科学院大学）；Communication University of China（通信大学）
提出人机场景问答任务HIS-QA与基准HIS-Bench，并构建首个融合3D场景与人体运动的基础模型HIS-GPT，在HIS-QA任务上达到最先进水平。
2025-07-16 cs.CV
Long-term Human Motion Prediction with Scene Context
UC Berkeley（加州大学伯克利分校）；Nanjing University（南京大学）
人的运动是目标导向的，并受到场景中对象的空间布局的影响。为了规划未来的人类运动，感知环境是至关重要的-想象一下，在一个关灯的新房间里导航是多么困难。现有的预测人体运动的工作不注意的场景上下文，从而在长期预测的斗争。在这项工作中，我们提出了一个新的三阶段框架，利用场景上下文来解决这个任务。给定一幅场景图像和2D姿态历史，我们的方法首先采样多个人体运动目标，然后规划朝向每个目标的3D人体路径，最后预测沿着每个路径的3D人体姿态序列。为了稳定的训练和严格的评估，我们提供了一个具有干净注释的多样化合成数据集。在合成和真实数据集，我们的方法显示出一致的定量和定性改进现有的方法。
2020-07-31 cs.CV
Human Synthesis and Scene Compositing
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
生成具有控制外观、姿势和形状参数的能力的良好质量和几何上合理的人类合成图像对于从照片编辑、时尚虚拟试穿到特效和图像压缩的各种任务已经变得越来越重要。在本文中，我们提出了HUSC，一个人的合成和场景合成框架的现实合成的人与不同的外观，在新的姿势和场景。我们制定的核心是三维推理的人和场景，以产生逼真的拼贴画，通过正确建模的透视效果和遮挡，考虑到场景语义，并充分处理相对规模。从概念上讲，我们的框架由三个部分组成：（1）一个人的图像合成模型与可控的姿势和外观，基于参数表示，（2）一个人的插入过程，利用几何形状和语义的3D场景，和（3）外观合成过程中创建一个无缝的混合场景和生成的人的图像的颜色，并避免视觉伪影。我们的框架的性能得到了定性和定量结果的支持，特别是DeepFashion数据集的最先进的综合得分。
2019-10-18 cs.CV
HARMONI: Aligning Human and Scene Priors for Multi-View 4D Reconstruction
Seoul National University（首尔国立大学）；NAVER Cloud（NAVER云）
本文提出CHROMM框架，通过单次处理联合估计相机、场景点云和人体网格，无需额外模块或预处理，提升多视角人体姿态估计性能。
2026-10-01 cs.CV
Hallucinating Pose-Compatible Scenes
UC Berkeley（加州大学伯克利分校）
人类的姿势告诉我们关于场景的什么？我们提出了一个任务来回答这个问题：给定人类姿势作为输入，幻觉一个兼容的场景。人类姿势捕捉到的微妙线索--动作语义、环境启示、物体交互--提供了令人惊讶的洞察力，让我们了解哪些场景是兼容的。我们提出了一个大规模的生成对抗网络的姿态条件场景生成。我们显著扩展了训练数据的大小和复杂性，管理了一个包含日常环境中超过1900万帧人类的大型元数据集。我们将StyleGAN 2模型处理此类复杂数据的能力提高了一倍，并设计了一种姿势调节机制，以驱动我们的模型学习姿势和场景之间的微妙关系。我们利用我们的训练模型进行各种应用：幻觉姿势兼容场景（有或没有人类），可视化不兼容的场景和姿势，将一个人从一个生成的图像放置到另一个场景中，以及动画姿势。我们的模型产生了不同的样本，并在准确的人体放置（正确关键点的百分比）和质量（Frechet起始距离）方面优于姿势调节的StyleGAN 2和Pix 2 Pix/Pix 2 PixHD基线。
2022-10-01 cs.CV
Capturing and Inferring Dense Full-Body Human-Scene Contact
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Middlebury College（明德学院）
推断人类场景接触（HSC）是理解人类如何与周围环境互动的第一步。虽然检测2D人-物交互（HOI）和重建3D人体姿态和形状（HPS）已经取得了显着进展，但从单个图像中推理3D人-场景接触仍然具有挑战性。现有的HSC检测方法只考虑了几种预定义的接触类型，往往将人体和场景简化为少量的基元，甚至忽略了图像证据。为了从单个图像中预测人与场景的接触，我们从数据和算法的角度解决了上述限制。我们捕获了一个名为RICH的新数据集，用于“真实场景，交互，接触和人类”。RICH包含4K分辨率的多视图室外/室内视频序列，使用无标记运动捕捉捕捉的地面真实3D人体，3D人体扫描和高分辨率3D场景扫描。RICH的一个关键特性是它还在主体上包含精确的顶点级接触标签。使用RICH，我们训练了一个网络，该网络从单个RGB图像预测密集的身体场景接触。我们的关键见解是，接触的区域总是被遮挡的，因此网络需要探索整个图像的能力。我们使用一个Transformer来学习这种非局部的关系，并提出了一个新的身体场景接触TRansfOrmer（BSTRO）。很少有方法探索3D接触;那些只关注脚的方法，检测脚接触作为后处理步骤，或者从身体姿势推断接触而不看场景。据我们所知，BSTRO是第一种从单个图像直接估计3D身体-场景接触的方法。我们证明BSTRO显著优于现有技术。代码和数据集可在https://rich.is.tue.mpg.d…
2022-06-20 cs.CV
SceneMI: Motion In-betweening for Modeling Human-Scene Interactions
ECE, Seoul National University（电子工程系，首尔国立大学）；Snap Inc（Snap公司）
该研究将人-场景交互建模重构为场景感知运动中间帧生成任务，提出 SceneMI 框架，通过双场景描述符与扩散去噪实现关键帧引导动画、含噪数据增强及真实数据集泛化。
2025-07-25 cs.CV
ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos
ETH Zürich（苏黎世联邦理工学院）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；University of Amsterdam（阿姆斯特丹大学）
针对单目野外视频人体-场景重建需预校准相机、长训练时间的问题，提出ODHSR在线统一框架，结合3D高斯溅射、重建基跟踪与姿态估计、变形模块及遮挡感知等技术，在EMDB等数据集上实现多任务性能提升。
2025-04-18 cs.CV
Efficient Human-Contact Representation for Human-Scene Interaction
AIOZ；University of Liverpool（利物浦大学）；NTHU（国立清华大学）
针对人-场景交互中接触表示效率不足的问题，提出稀疏接触掩码与稀疏算子，在三个基准数据集的接触预测和场景合成任务上，实现至少12倍提速且精度优于现有最优模型。
2026-08-11 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
Social 3D Scene Graphs: Modeling Human Actions and Relations for Interactive Service Robots
Faculty of Robotics Perception and Learning, KTH Royal Institute of Technology（机器人感知与学习学院，皇家理工学院）；Institute for Artificial Intelligence, University of Stuttgart（人工智能研究所，斯图加特大学）；International Max Planck Research School for Intelligent Systems (IMPRS-IS)（智能系统国际马克斯·普朗克研究学校）
研究为使机器人能以符合社会规范和情境感知的方式行动，引入社交3D场景图，用开放词汇框架捕获环境中人类及其属性、活动和关系，还引入新基准，实验表明其改进了人类活动预测和人-环境关系推理。
2026-07-08 cs.CV
Human-Scene Network: A Novel Baseline with Self-rectifying Loss for Weakly supervised Video Anomaly Detection
INRIA（法国国家信息与自动化研究所）；Woven Planet Holdings；Toyota Motor Europe（丰田汽车欧洲公司）
在只有视频级标签（即弱监督）的监控系统中，视频异常检测是具有挑战性的。这是由于：（i）基于人类和场景的异常的复杂整合，包括真实世界场景中的微妙和尖锐的时空线索，（ii）在弱监督下正常和异常实例之间的非最优优化。在本文中，我们提出了一个人类场景网络学习歧视性的表示，通过捕捉微妙和强烈的线索，在解离的方式。此外，还提出了一种自校正损失，从视频级标签中动态计算伪时间注释，以有效地优化人-场景网络。在三个公开可用的数据集上验证了所提出的具有自校正损失优化的人类场景网络，即UCF-Crime，ShanghaiTech和IITB-Corridor，在所考虑的六个场景中的五个场景中，表现优于最近报道的最先进的方法。
2023-01-19 cs.CV
Synthesizing Diverse Human Motions in 3D Indoor Scenes
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
针对现有3D室内场景人体运动合成依赖高成本交互数据、覆盖场景有限的问题，提出基于强化学习、结合潜在运动动作空间与场景感知策略的方法，可生成自然多样的导航及人-物交互运动，性能优于现有方法。
2023-08-21 cs.CV
Putting Humans in a Scene: Learning Affordance in 3D Indoor Environments
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
示能建模在视觉理解中起着重要的作用。在本文中，我们的目标是预测3D室内场景的启示，特别是在给定的室内环境中，例如坐在椅子上或站在地板上，人类的姿势是什么。为了预测有效的启示并学习室内场景中可能的3D人体姿势，我们需要了解场景的语义和几何结构以及它与人类的潜在交互。为了学习这样的模型，需要一个大规模的3D室内启示数据集。在这项工作中，我们建立了一个全自动的3D姿态合成器，融合了语义知识，从大量的2D姿势提取的电视节目，以及3D几何知识，从体素表示的室内场景。通过合成器创建的数据，我们引入了一个3D姿态生成模型来预测给定场景（作为单个RGB，RGB-D或深度图像提供）内的语义上合理且物理上可行的人类姿态。我们证明了我们的人类启示预测方法始终优于现有的最先进的方法。
2019-03-15 cs.CV
Dynamic Avatar-Scene Rendering from Human-centric Context
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（视觉、语音和信号处理中心（CVSSP），萨里大学）
针对单目视频中人体-场景交互动态重建存在的边界不一致、伪影等问题，提出Separate-then-Map（StM）策略，通过专用信息映射机制桥接分组件模型，实验证明其渲染性能优于现有最优方法。
2025-11-13 cs.CV
4D Human Body Capture from Egocentric Video via 3D Scene Grounding
Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）
我们介绍了一种新的任务，重建的时间序列的第二人称三维人体网格从单目自我中心的视频。以自我为中心的视频的独特视角和快速体现的相机运动为人体捕捉增加了额外的技术障碍。为了解决这些挑战，我们提出了一种简单而有效的基于优化的方法，该方法利用整个视频序列的2D观察和人类场景交互约束来估计第二人称人类姿势，形状和全局运动，这些运动基于从自我中心视图捕获的3D环境。我们进行详细的消融研究，以验证我们的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法从单目视频的人体运动捕捉，并表明我们的方法估计更准确的人体姿势和形状下具有挑战性的自我中心的设置。此外，我们证明了我们的方法产生更逼真的人的场景交互。
2021-10-15 cs.CV
Scene-LSTM: A Model for Human Trajectory Prediction
University of Colorado Denver（科罗拉多大学丹佛分校）
我们开发了一个人体运动轨迹预测系统，该系统在静态拥挤场景的预测过程中结合了场景信息（Scene-LSTM）和人体运动轨迹（行人运动LSTM）。我们构建了一个两级网格结构（场景被划分为网格单元，每个网格单元由场景LSTM建模，这些网格单元被进一步划分为更小的子网格以获得更精细的空间粒度），并探索网格单元中发生的常见人类轨迹（例如，在从小巷出来的人行道上右拐或左拐;或在公共汽车/训练站处静止不动）。两个耦合的LSTM网络，行人运动LSTM（每个目标一个）和相应的场景LSTM（每个网格单元一个）同时训练，以预测下一个运动。我们表明，这种共同的路径信息极大地影响了未来的运动预测。我们进一步设计了一个场景数据过滤器，保持重要的非线性运动信息。场景数据过滤器允许我们从网格单元的内存中选择与目标状态相关的信息部分。我们评估和比较了我们的方法的两个版本与线性和几个现有的基于LSTM的方法对来自UCY [1]和ETH [2]数据集的五个拥挤的视频序列。结果表明，我们的方法减少了位置位移误差相比，相关的方法，特别是约80%的减少相比，社会互动的方法。
2019-04-15 cs.CV
Scene-aware Human Pose Generation using Transformer
Shanghai Jiao Tong University（上海交通大学）
本文提出基于Transformer的场景感知人体姿态生成方法，将查询嵌入与姿态模板关联并预测其尺度和偏移量，结合知识蒸馏优化学习，在Sitcom数据集上验证了有效性。
2023-08-04 cs.CV
Narrator: Towards Natural Control of Human-Scene Interaction Generation via Relationship Reasoning
Tianjin University（天津大学）；Tsinghua University（清华大学）
自然可控的人机交互（HSI）生成在VR/AR内容创建和以人为中心的AI等各个领域都具有重要作用。然而，现有的方法是不自然的，不直观的可控性，这严重限制了他们在实践中的应用。因此，我们专注于一个具有挑战性的任务，自然和可控地产生现实和多样化的HSI从文本描述。从人类认知的角度来看，理想的生成模型应该对空间关系和交互行为进行正确的推理。为此，我们提出了叙述者，一种新的基于关系推理的生成方法，使用条件变化自动编码器自然可控生成给定的3D场景和文本描述。此外，我们在一个3D场景和文本描述的场景图的基础上，分别建模全局和局部的空间关系，并引入了一个partlevel动作机制来表示原子体部分状态的相互作用。特别是，受益于我们的关系推理，我们进一步提出了一个简单而有效的多人生成策略，这是可控的多人场景交互生成的第一次探索。我们广泛的实验和感知研究表明，叙事者可以可控地产生多样化的互动，并显着优于现有的作品。代码和数据集将用于研究目的。
2023-03-16 cs.CV
Generating Human Motion in 3D Scenes from Text Descriptions
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
针对文本生成3D室内场景人体运动需兼顾人-场景交互与空间推理的难题，提出将任务分解为目标物体语言定位和以物体为中心的运动生成的方法，提升了运动生成质量。
2024-05-13 cs.CV
HOSIG: Full-Body Human-Object-Scene Interaction Generation with Hierarchical Scene Perception
HOSIG通过分层场景感知方法，实现高精度的人体-物体-场景交互生成，提升复杂环境中的导航与精细操作能力。
2025-11-23 cs.CV
Populate-A-Scene: Affordance-Aware Human Video Generation
GenAI at Meta（Meta 人工智能）；University of Washington（华盛顿大学）
本文提出Populate-A-Scene方法，仅凭单张场景图像和动作提示即可生成符合场景可供性的人类交互视频，无需边界框或姿态标注，并通过交叉注意力热图揭示预训练视频模型的固有可供性感知能力。
2025-07-01 cs.CV
Learning Human Mesh Recovery in 3D Scenes
Zhejiang University（浙江大学）
针对单目图像中预扫描3D场景内的人体绝对姿态与形状恢复问题，提出结合稀疏3D CNN、场景接触估计和交叉注意力的免优化网络，提升了准确性、物理合理性与速度。
2023-06-06 cs.CV
EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents
The University of Hong Kong（香港大学）；Tampere University（坦佩雷大学）；The Chinese University of Hong Kong（香港中文大学）；Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出EmbodMocap，利用两部移动iPhone实现低成本、便携式的人体-场景重建，通过联合校准双RGB-D序列，在无静态相机和标记的情况下实现日常环境中的度量尺度和场景一致的重建，提升具身智能研究。
2026-04-02 cs.CV
Human-in-the-Loop Local Corrections of 3D Scene Layouts via Infilling
Meta Reality Labs（Meta现实实验室）
本研究提出一种人在环3D场景布局校正方法，将局部校正任务构建为填充任务，基于SceneScript训练多任务模型，通过一键修复工作流迭代优化布局，提升复杂布局建模准确性。
2025-07-30 cs.CV
GPT-Connect: Interaction between Text-Driven Human Motion Generator and 3D Scenes in a Training-free Manner
Singapore University of Technology and Design（新加坡科技设计大学）
针对现有文本驱动动作生成器仅适用于空白背景的问题，提出GPT-connect框架，利用ChatGPT以免训练方式将现有生成器与3D场景连接，实现场景感知的动作生成，实验证明其有效且具泛化性。
2024-03-22 cs.CV
MetricHMSR:Metric Human Mesh and Scene Recovery from Monocular Images
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；Beihang University（北京航空航天大学）
本文提出MetricHMSR框架，通过引入bounding camera ray map和HumanMoE模型，实现人体网格和场景的度量恢复，提升单目深度估计的准确性。
2026-07-01 cs.CV
