Resolving 3D Human Pose Ambiguities with 3D Scene Constraints
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
为了理解和分析人类的行为，我们需要捕捉人类在世界中移动并与世界互动。大多数现有的方法执行3D人体姿态估计没有明确考虑的场景。然而，我们观察到，世界制约着身体，反之亦然。为了激励这一点，我们表明，目前的3D人体姿态估计方法产生的结果是不一致的3D场景。我们的主要贡献是利用静态的三维场景结构，以更好地估计单目图像的人的姿态。该方法使用对象排除强制执行邻近关系，称为PROX。为了测试这一点，我们收集了一个新的数据集，该数据集由12个不同的3D场景和20个移动并与场景交互的主体的RGB序列组成。我们使用三维人体模型SMPL-X来表示人体姿态，并扩展SMPLify-X以使用场景约束来估计人体姿态。我们利用的3D场景信息，制定两个主要的约束。相互穿透约束惩罚身体模型和周围3D场景之间的相交。如果身体的特定部位在距离和方向上足够接近，则接触约束鼓励身体的特定部位与场景曲面接触。为了进行定量评估，我们捕获了一个单独的数据集，其中包含180个RGB帧，使用运动捕获系统估计地面真实身体姿势。我们定量地表明，引入场景约束显着减少3D关节误差和顶点误差。我们的代码和数据可在https://prox.is.tue.mpg.de上查阅。
2019-08-20 cs.CV
4D Human Body Capture from Egocentric Video via 3D Scene Grounding
Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）；Zhejiang University（浙江大学）
我们介绍了一种新的任务，重建的时间序列的第二人称三维人体网格从单目自我中心的视频。以自我为中心的视频的独特视角和快速体现的相机运动为人体捕捉增加了额外的技术障碍。为了解决这些挑战，我们提出了一种简单而有效的基于优化的方法，该方法利用整个视频序列的2D观察和人类场景交互约束来估计第二人称人类姿势，形状和全局运动，这些运动基于从自我中心视图捕获的3D环境。我们进行详细的消融研究，以验证我们的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法从单目视频的人体运动捕捉，并表明我们的方法估计更准确的人体姿势和形状下具有挑战性的自我中心的设置。此外，我们证明了我们的方法产生更逼真的人的场景交互。
2021-10-15 cs.CV
Multi-Body Neural Scene Flow
The Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Queensland University of Technology（昆士兰科技大学）；CSIRO Robotics（联邦科学与工业研究组织机器人学部）；The University of Adelaide（阿德莱德大学）
提出一种通过等距正则化实现多体刚性的场景流优化方法，无需显式约束SE(3)参数，在真实数据集上优于现有技术，支持长期4D轨迹预测。
2024-02-06 cs.CV cs.RO
M3Bench: Benchmarking Whole-body Motion Generation for Mobile Manipulation in 3D Scenes
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）
本文提出M3Bench基准及其数据生成工具M3BenchMaker，用于3D场景中移动操作的全身运动生成，包含3万个任务，评估显示现有先进模型在协调全身运动和遵守约束方面仍存在困难。
2025-05-29 cs.AI cs.CV cs.LG
Holistic 3D Human and Scene Mesh Estimation from Single View Images
Stanford University（斯坦福大学）
3D世界限制了人体姿势，而人体姿势传达了关于周围物体的信息。事实上，从放置在室内场景中的人的单个图像，我们作为人类擅长通过我们对物理定律的知识和对合理对象和人类姿势的先验感知来解决人类姿势和房间布局的模糊性。然而，很少有计算机视觉模型充分利用这一事实。在这项工作中，我们提出了一个端到端的可训练模型，该模型从单个RGB图像中感知3D场景，估计相机姿势和房间布局，并重建人体和对象网格。通过对估计的各个方面施加一组全面和复杂的损失，我们表明我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人类预测的模型，并对场景和人类姿势进行联合优化。
2021-04-16 cs.CV
Casual Indoor HDR Radiance Capture from Omnidirectional Images
International Institute of Information Technology (IIIT)（国际信息技术研究所）；Université Laval（拉瓦尔大学）
我们提出了PanoHDR-NeRF，一个室内场景的完整HDR辐射场的神经表示，以及一个可以随意捕获它的管道，而无需复杂的设置或复杂的捕获协议。首先，用户通过在场景周围自由挥动现成的相机来捕获场景的低动态范围（LDR）全向视频。然后，LDR 2 HDR网络将捕获的LDR帧提升到HDR，用于训练定制的NeRF++模型。生成的PanoHDR-NeRF可以从场景的任何位置渲染完整的HDR图像。通过在真实场景的新测试数据集上进行实验，在训练期间未看到的位置捕获地面真实HDR辐射，我们表明PanoHDR-NeRF预测来自任何场景点的合理HDR辐射。我们还表明，预测的辐射可以合成正确的照明效果，使室内场景的增强与正确照明的合成对象。数据集和代码可在https://lvsn.github.io/PanoHDR-NeRF/上获得。
2022-10-19 cs.CV
RoleMotion: A Large-Scale Dataset towards Robust Scene-Specific Role-Playing Motion Synthesis with Fine-grained Descriptions
University of Science and Technology Beijing（北京科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Shunde Innovation School, University of Science and Technology Beijing（北京科技大学顺德创新学院）；D-Robotics；Linketic；Shandong University（山东大学）；China University of Mining And Technology（中国矿业大学）
RoleMotion通过细粒度描述和高质量数据，提升场景特定角色扮演动作合成的鲁棒性与功能性。
2025-12-01 cs.AI cs.CV
A Controlled Study of CLIP-Based Body-Scene Fusion for Emotion Recognition in Context
University of Central Punjab（中央旁遮普大学）
研究使用ResNet-18身体流和CLIP场景流的双流模型进行上下文情感识别，发现简化去偏和稀有类训练方法未能提升性能，最佳mAP为34.52%。
2026-06-25 cs.CV
MoCapDeform: Monocular 3D Human Motion Capture in Deformable Scenes
Saarland University（萨尔大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
从单目RGB图像中捕获三维人体运动是一个非常具有挑战性的，不适定的和未开发的问题，涉及到复杂的和可能变形的环境中的主体的相互作用。现有的方法只能很弱地解决这个问题，并且不能对人类与场景表面交互时经常发生的可能的表面变形进行建模。相比之下，本文提出了MoCapDeform，即，一个新的框架，单目3D人体运动捕捉，这是第一个明确建模的非刚性变形的3D场景，以改善3D人体姿态估计和可变形的环境重建。MoCapDeform接受单眼RGB视频和在相机空间中对齐的3D场景网格。它首先使用一种新的基于光线投射的策略在输入的单眼视频中定位一个主题以及密集的接触标签。接下来，利用我们的人与环境交互约束来共同优化全局3D人体姿势和非刚性表面变形。MoCapDeform在几个数据集上实现了比竞争方法更高的精度，包括我们新记录的变形背景场景。
2022-08-17 cs.CV
Color-Encoded Illumination for High-Speed Volumetric Scene Reconstruction
Weizmann Institute of Science（魏茨曼科学研究院）
本文提出一种无需修改相机硬件的高速体素重建方法，通过快速序列彩色照明实现多视角同时捕获，利用动态高斯点扩散技术解码时空信息，实现实时体素场景重建。
2026-04-29 cs.CV
MOGRAS: Human Motion with Grasping in 3D Scenes
Machine Learning Lab, International Institute of Information Technology, Hyderabad, India（机器学习实验室，国际信息科技研究所，印度海得拉巴）；Vision AI Lab, The University of Hong Kong, Pokfulam Road, Hong Kong（视觉人工智能实验室，香港大学，薄扶林路，香港）
MOGRAS提出大规模三维场景全身抓取数据集，并给出简单有效方法提升现有抓取模型的场景感知能力，经实验验证显著改善生成质量。
2025-10-25 cs.CV cs.GR cs.RO
DECO: Dense Estimation of 3D Human-Scene Contact In The Wild
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出DECO检测器与DAMON数据集，利用身体部位和场景上下文注意力估计SMPL顶点级3D人体接触，并在多个基准上显著超越现有方法。
2023-09-26 cs.CV
The Wanderings of Odysseus in 3D Scenes
ETH Zürich（苏黎世联邦理工学院）
我们的目标是填充数字环境，其中数字人类具有不同的身体形状，永久移动，并具有合理的身体场景接触。核心挑战是为不同的3D身体生成逼真，可控和无限长的运动。为此，我们提出了生成运动基元通过身体表面标记，或在短期内的伽马。在我们的解决方案中，我们将长期运动分解为运动基元的时间序列。我们利用体表标记和条件变分自编码器来模拟每个运动基元，并通过递归实现生成模型来生成长期运动。为了控制运动以达到目标，我们应用策略网络来探索生成模型的潜在空间，并使用基于树的搜索来保持测试期间的运动质量。实验表明，我们的方法可以产生更真实和可控的运动比国家的最先进的数据驱动的方法。使用传统的路径查找算法，生成的人体可以在场景中长时间真实地移动长距离。出于研究目的，代码发布于：\url{https://yz-cnsdqz.github.io/eigenmotion/GAMMA/}
2022-04-19 cs.CV
Strata-NeRF : Neural Radiance Fields for Stratified Scenes
IISc Bangalore（印度科学学院班加罗尔分院）；Samsung R & D Institute India - Bangalore（三星印度班加罗尔研发研究院）；Brown University（布朗大学）
针对现有NeRF难以建模多层级分层场景的问题，提出Strata-NeRF，通过基于VQ隐表示的条件建模实现多层级场景的隐式捕获，在合成与真实数据集上均表现更优。
2023-08-20 cs.CV
Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors
University of Tübingen（蒂宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；CIIRC, Czech Technical University in Prague（捷克理工大学CIIRC）
我们介绍（HPS）人体姿势系统，一种方法来恢复全三维姿态的人注册与周围环境的三维扫描使用可穿戴传感器。HPS使用附在身体四肢上的IMU和头戴式摄像机向外看，将基于摄像机的自定位与基于IMU的人体跟踪融合在一起。前者提供无漂移但有噪声的位置和取向估计，而后者在短期内是准确的，但在较长的时间段内会发生漂移。我们表明，我们的优化为基础的集成利用两者的好处，从而在姿态精度漂移。此外，我们将3D场景约束集成到我们的优化中，例如脚与地面的接触，从而产生物理上合理的运动。HPS补充了更常见的基于第三人称的3D姿态估计方法。它允许捕获更大的记录量和更长的运动周期，并可用于VR/AR应用，其中人类与场景交互而不需要与外部摄像机直接视线，或用于训练基于第一人称视觉输入导航和与环境交互的代理，就像真实的人类一样。使用HPS，我们记录了一个人类与大型3D场景（300-1000平方米）交互的数据集，其中包括7个主题和超过3个小时的各种运动。数据集，代码和视频将在项目页面上提供：http://virtualhumans.mpi-inf.mpg.de/hps/。
2021-03-31 cs.CV
Scalable Indoor Novel-View Synthesis using Drone-Captured 360 Imagery with 3D Gaussian Splatting
UC Berkeley（加州大学伯克利分校）
本文提出一种基于3D Gaussian Splatting的可扩展流水线，利用无人机捕获的360度视频进行室内新视角合成，通过分治策略和由粗到细的对齐策略实现大型场景的高质量并行重建。
2024-10-15 cs.CV
Gauss What You Need: Compact Gaussian Splatting Across Scene Scales
ETH Zürich（苏黎世联邦理工学院）
TangoGS结合捕获驱动的模型规模设定与训练质量引导的密度控制，自动确定高斯数量，在标准场景减少48%高斯且保持质量，在大场景以2.3倍高斯数提升PSNR 0.54 dB，实现跨尺度最优折衷。
2026-09-28 cs.CV
HiSC4D: Human-centered interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR
Xiamen University（厦门大学）；School of Informatics, Xiamen University（厦门大学信息学院）；Fujian Key Laboratory of Sensing and Computing for Smart Cities（福建省智慧城市感知与计算重点实验室）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
本研究提出HiSC4D方法，融合可穿戴IMU与头戴式LiDAR，通过联合优化实现无约束大空间的以人为中心的4D场景与人体交互捕捉，并构建含多场景多运动的数据集验证其有效性与泛化性。
2024-09-14 cs.AI cs.CV cs.GR
A Unified Diffusion Framework for Scene-aware Human Motion Estimation from Sparse Signals
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出统一扩散框架S²Fusion，融合三维场景几何与稀疏跟踪信号，通过周期性自编码器、条件扩散模型及场景穿透和相位匹配损失，从AR/VR稀疏信号中生成合理连贯的全身人体运动，并在估计质量和平滑度上超越现有方法。
2024-04-07 cs.CV
ScanNet++: A High-Fidelity Dataset of 3D Indoor Scenes
Technical University of Munich（慕尼黑工业大学）
本研究提出大规模高保真3D室内场景数据集ScanNet++，融合多设备采集的高精度与消费级数据，标注开放词汇语义及模糊场景，为新视角合成和3D语义理解提供新基准，目前包含460个场景及海量采集数据。
2023-08-22 cs.CV
Open-Vocabulary Functional 3D Human-Scene Interaction Generation
Meshcapade；University of Amsterdam（阿姆斯特丹大学）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Stanford University（斯坦福大学）
FunHSI通过功能驱动框架生成开放词汇任务下的功能正确3D人类-场景交互。
2026-01-30 cs.AI cs.CV
Populating 3D Scenes by Learning Human-Scene Interaction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
人类生活在3D空间中，并不断与它互动以执行任务。这样的交互涉及在语义上有意义的表面之间的物理接触。我们的目标是了解人类如何与场景互动，并利用这一点使虚拟角色也能做到这一点。为此，我们引入了一种新的人的场景交互（HSI）模型，编码近端的关系，称为POSA的“姿态与proximitieS和接触”。交互的表示是以身体为中心的，这使得它能够推广到新的场景。具体而言，POSA增强了SMPL-X参数化人体模型，使得对于每个网格顶点，它编码（a）与场景表面的接触概率和（b）对应的语义场景标签。我们学习POSA与SMPL-X顶点条件下的VAE，并在PROX数据集上进行训练，该数据集包含与3D场景交互的SMPL-X网格，以及来自PROX-E数据集的相应场景语义。我们证明了POSA的价值与两个应用程序。首先，我们自动将人的3D扫描放置在场景中。我们使用适合扫描的SMPL-X模型作为代理，然后在3D中找到其最可能的位置。POSA提供了一个有效的表示，以搜索场景中的“启示”，匹配可能的接触关系，该姿势。我们进行了一项感知研究，显示出在这项任务上的最新技术水平的显着改善。其次，我们表明，POSA的学习表示的身体场景交互支持单眼人体姿态估计，是一致的3D场景，提高了最先进的。我们的模型和代码可用于研究目的在https://posa.is.tue.mpg.de。
2021-04-05 cs.CV
PLACE: Proximity Learning of Articulation and Contact in 3D Environments
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
近年来，已经提出了高保真数字3D环境，然而，它仍然是非常具有挑战性的自动装备这样的环境与真实的人体。现有的工作利用图像，深度或语义图来表示场景，和参数化的人体模型来表示3D身体。虽然简单，但它们生成的人-场景交互往往缺乏自然性和物理可扩展性。我们的主要观察是，人类通过身体场景接触与世界互动。为了合成逼真的人-场景交互，有效地表示身体与世界之间的物理接触和接近是至关重要的。为此，我们提出了一种新的交互生成方法，命名为PLACE（3D环境中的关节和接触的邻近学习），它显式地模拟人体和周围的3D场景之间的邻近度。具体来说，给定场景网格上的一组基点，我们利用条件变分自编码器来合成从基点到人体表面的最小距离。所生成的邻近关系展示场景的哪个区域与人接触。此外，基于这种合成的接近，我们能够有效地获得表现力的三维人体自然地与三维场景进行交互。我们的感知研究表明，PLACE显着提高了国家的最先进的方法，接近现实主义的真实的人-场景交互。我们相信，我们的方法使一个重要的一步，在3D场景中的逼真的3D人体的全自动合成。代码和模型可在https://sanweiliti.github.io/PLACE/PLACE.html上进行研究。
2020-11-12 cs.CV
VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction
Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身智能研究院）
针对视频编辑中物理后果未充分探索的问题，提出物理反事实视频编辑（PCVE）任务，并引入VideoPhysEdit免训练流水线，通过物理场景重建显式推理，结合新基准PCVE-RigidBench和物理编辑分数，在刚体场景中实现高物理编辑准确性。
2026-09-29 cs.CV
ReScene: Structured Indoor Scene Reconstruction from Multi-View Captures
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身智能研究院）
提出ReScene框架，通过层级视图选择和关系感知组装，解决多视角场景重建中跨视角关系融合与物理一致性难题，在ScanNet上实现几何、渲染和感知质量的最优性能。
2026-06-29 cs.CV
FLEX: Full-Body Grasping Without Full-Body Grasps
Columbia University（哥伦比亚大学）
合成与场景逼真交互的3D人类化身是AR/VR、视频游戏和机器人技术中应用的重要问题。为了实现这一目标，我们解决的任务是生成一个虚拟的人-手和整个身体-抓住日常物品。现有方法通过收集人类与对象交互的3D数据集并在此数据上进行训练来解决这个问题。然而，1）这些方法不能推广到不同的对象位置和方向，或者场景中家具的存在，以及2）它们生成的全身姿势的多样性非常有限。在这项工作中，我们解决了所有上述挑战，在日常场景中生成逼真的，多样化的全身抓握，而不需要任何3D全身抓握数据。我们的关键见解是利用全身姿势和手部抓握先验的存在，使用3D几何约束来组合它们以获得全身抓握。我们的经验验证，这些限制可以产生各种可行的人类掌握，优于基线定量和定性。更多详情请访问我们的网页：https://flex.cs.columbia.edu/。
2023-03-28 cs.CV cs.RO
Vision-based 3D Semantic Scene Completion via Capture Dynamic Representations
本文提出CDScene方法，通过多模态大模型提取2D语义并对齐到3D空间，将场景解耦为动态与静态特征并自适应融合，在多个基准上实现了鲁棒且准确的视觉语义场景补全。
2025-05-05 cs.CV
Before the Shutter: Aesthetic and Actionable Portrait Photography Planning in 3D Scenes
The Hong Kong Polytechnic University（香港理工大学）
提出在3D场景中生成人像姿态、相机、照明和曝光方案的方法，通过构建摄影场景图实现美学引导的规划，生成视觉上引人注目且几何与光度可行的人像。
2026-05-28 cs.AI cs.CV cs.GR
Preserving Privacy in Surgical Video Analysis Using Artificial Intelligence: A Deep Learning Classifier to Identify Out-of-Body Scenes in Endoscopic Videos
IHU Strasbourg（斯特拉斯堡大学医院研究所）；University of Bern（伯尔尼大学）；Inselspital, Bern University Hospital（伯尔尼大学医院因塞尔医院）；University of Strasbourg（斯特拉斯堡大学）；ICube（ICube实验室）；CNRS（法国国家科学研究中心）；Fondazione Policlinico Universitario Agostino Gemelli IRCCS（天主教大学 Gemelli 医院基金会）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
本文提出一种深度学习分类器，用于自动识别内窥镜手术视频中的体外隐私场景，并在内部及两个多中心数据集上实现接近满分的ROC AUC，模型已公开以支持隐私保护。
2023-06-07 cs.CV
Learning rigid-body simulators over implicit shapes for large-scale scenes and vision
Google Deepmind（谷歌DeepMind）
针对大规模刚体场景模拟难题，提出基于学习符号距离函数（SDF）的SDF-Sim模拟器，克服网格方法扩展瓶颈，支持数百物体和百万节点，并可从多视角图像应用于真实场景。
2024-05-22 cs.CV cs.LG
Body Size and Depth Disambiguation in Multi-Person Reconstruction from Single Images
Institut de Robòtica i Informàtica Industrial CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息学研究所）
我们解决的问题，多人的三维身体姿势和形状估计从一个单一的图像。虽然这个问题可以通过对同一场景多次应用单人方法来解决，但最近的工作已经显示了建立在深度架构上的优点，该深度架构通过强制执行例如深度顺序约束或最小化重建体之间的相互渗透。然而，现有的方法仍然无法捕捉的大小可变性的人所造成的固有的身体规模和深度的模糊性。在这项工作中，我们通过设计一种新的优化方案来应对这一挑战，该方案通过强制所有人的脚保持在地面上来学习适当的身体比例和相对相机姿势。对MuPoTS-3D和3DPW数据集的全面评估表明，我们的方法能够稳健地估计多个人的身体平移和形状，同时检索他们的空间排列，不断提高当前的最先进水平，特别是在高度非常不同的人的场景中
2021-12-08 cs.CV
Scene-Aware 3D Multi-Human Motion Capture from a Single Camera
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Freiburg（弗莱堡大学）
在这项工作中，我们考虑的问题，估计多个人在一个场景中的三维位置，以及他们的身体形状和关节从一个单一的RGB视频记录与静态相机。与昂贵的基于标记的或多视图系统相比，我们的轻量级设置非常适合私人用户，因为它可以实现经济实惠的3D运动捕捉，易于安装，不需要专业知识。为了应对这种具有挑战性的环境，我们利用计算机视觉的最新进展，使用大规模的预训练模型进行各种模式，包括2D身体关节，关节角度，归一化视差图和人类分割掩模。因此，我们引入了第一种基于非线性优化的方法，该方法联合解决了每个人的绝对3D位置，他们的关节姿势，他们的个人形状以及场景的规模。特别是，我们估计场景深度和人的独特规模从归一化的视差预测使用的2D身体关节和关节角度。给定每帧场景深度，我们在3D空间中重建静态场景的点云。最后，给定人和场景点云的每帧3D估计，我们对视频进行时空相干优化，以确保时间，空间和物理的可扩展性。我们在已建立的多人3D人体姿势基准上评估了我们的方法，我们始终优于以前的方法，并且我们定性地证明了我们的方法对野外条件具有鲁棒性，包括具有不同大小的人的具有挑战性的场景。
2023-03-27 cs.CV
Seeing the World and the Self from Egocentric Video
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（宁波工程学院）
该研究针对第一视角视频的三维感知难题，提出统一框架RESELF，结合几何重建与运动生成，在多项任务上优于现有最优方法，相关资源将公开。
2026-09-02 cs.CV
Deep scene-scale material estimation from multi-view indoor captures
Inria（法国国家信息与自动化研究所）
电影和视频游戏行业已经采用摄影测量作为从真实世界场景的多张照片创建数字3D资产的一种方式。但是摄影测量算法通常输出场景的RGB纹理图集，其仅用作熟练的艺术家创建适合于基于物理的渲染的材质贴图的视觉指导。我们提出了一种基于学习的方法，自动产生数字资产准备基于物理的渲染，通过估计近似的材质图，从多视图捕获的室内场景，使用重新拓扑几何。我们的方法基于我们对每个输入图像执行的材料估计卷积神经网络（CNN）。我们利用由场景的多次观察提供的依赖于视图的视觉线索，针对给定图像的每个像素，收集其他图像中对应点的颜色。这个图像空间CNN为我们提供了一个预测集合，我们将其合并到纹理空间中作为我们方法的最后一步。我们的研究结果表明，恢复的资产可以直接用于基于物理的渲染和编辑的真实室内场景从任何角度和新颖的照明。与之前最接近的解决方案相比，我们的方法可以在很短的时间内生成近似的材料图。
2022-11-15 cs.CV cs.GR
MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos with Depth Priors
City University of HongKong（香港城市大学）；HKUST（香港科技大学）；HKU（香港大学）；TAMU（德克萨斯大学奥斯汀分校）；CUHK(SZ)（香港城市大学（深圳））
MoDGS是基于深度先验的新管线，通过3D感知初始化与鲁棒深度损失，从相机静止或缓慢移动的随意单目视频渲染高质量动态场景新视角，性能优于现有方法且代码公开。
2026-09-01 cs.CV
FrankMocap: Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration
The Chinese University of Hong Kong（香港中文大学）；Facebook AI Research（Facebook人工智能研究院）；Facebook Reality Labs（Facebook现实实验室）
虽然人体运动的本质细微差别往往是通过身体运动和手势的组合来传达的，但现有的单目运动捕获方法大多集中在仅忽略手部的身体运动捕获或仅手部运动捕获而不考虑身体运动。在本文中，我们提出了FrankMocap，一个运动捕捉系统，可以估计3D手和身体运动从在野外单目输入更快的速度（9.5 fps）和更好的精度比以前的工作。我们的方法工作在近实时（9.5 fps），并产生3D身体和手部运动捕捉输出作为一个统一的参数化模型结构。我们的方法旨在从具有挑战性的野外单目视频中同时捕获3D身体和手部运动。为了构建FrankMocap，我们通过将手的一部分作为全身参数化模型（SMPL-X），构建了最先进的单目3D“手”运动捕获方法。我们的3D手部动作捕捉输出可以有效地集成到单目身体动作捕捉输出，在统一的参数模型结构中产生全身运动结果。我们在公开基准测试中展示了我们手部动作捕捉系统的最先进性能，并在各种具有挑战性的真实场景中展示了我们全身动作捕捉的高质量结果，包括现场演示场景。
2020-08-19 cs.CV
EgoCap: Egocentric Marker-less Motion Capture with Two Fisheye Cameras (Extended Abstract)
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究院）；University of Bath（巴斯大学）
基于标记和无标记的光学骨骼运动捕捉方法使用围绕场景放置的摄像机的由外向内布置，其中视点会聚在中心。他们经常会因可能需要的标记服而造成不适，并且他们的记录量受到严格限制，并且通常限于具有受控背景的室内场景。因此，我们提出了一种新的方法，用于实时，无标记和以自我为中心的运动捕捉，估计全身骨骼姿势从一个轻量级的立体对鱼眼相机，连接到头盔或虚拟现实耳机。它将鱼眼视图的新生成姿态估计框架的优势与基于ConvNet的身体部位检测器相结合，该检测器在新的自动注释和增强数据集上进行训练。我们的inside-in方法在一般室内和室外场景以及拥挤的场景中捕获全身运动。
2016-12-31 cs.CV
Leveraging the Learnable Vertex-Vertex Relationship to Generalize Human Pose and Mesh Reconstruction for In-the-Wild Scenes
Asilla Inc.（阿西拉公司）；Hanoi University of Science and Technology（河内理工大学）
我们提出了MeshLeTemp，一个强大的方法，三维人体姿势和网格重建从一个单一的图像。在人体先验编码方面，我们建议使用可学习的模板人体网格，而不是以前最先进的方法所使用的恒定模板。所提出的可学习模板不仅反映了顶点之间的交互，而且还反映了人类的姿势和体型，能够适应不同的图像。我们进行了广泛的实验，以显示我们的方法在看不见的情况下的推广。
2022-11-08 cs.CV
Robust Scene Inference under Noise-Blur Dual Corruptions
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Université Laval（拉瓦尔大学）
低光照下的场景推断是一个具有挑战性的问题，由于严重的噪声在捕获的图像。减少噪声的一种方法是在捕获期间使用更长的曝光时间。然而，在存在运动（场景或相机运动）的情况下，较长的曝光导致运动模糊，从而导致图像信息的丢失。这在这两种图像退化之间创建了一个折衷：运动模糊（由于长时间曝光）与噪声（由于短时间曝光），在本文中也称为双重图像损坏对。随着能够同时捕获同一场景的多个曝光的相机的兴起，有可能克服这种权衡。我们的主要观察结果是，尽管这些不同的图像捕获的退化量和性质不同，但所有图像的语义内容保持不变。为此，我们提出了一种方法来利用这些多曝光捕获在低光和运动下的鲁棒推理。我们的方法建立在特征一致性损失的基础上，以鼓励这些单独捕获的类似结果，并使用其最终预测的集合进行鲁棒的视觉识别。我们证明了我们的方法在模拟图像以及多次曝光的真实捕获上的有效性，以及目标检测和图像分类的任务。
2022-07-24 cs.CV cs.LG
IMU-Free Body-Frame State Estimation with Sparse Scene Flow for Quadcopters
该研究提出一种无IMU的四旋翼仅视觉状态估计系统，采用扩展卡尔曼滤波与4视图光束平差法，生成机体坐标系状态估计与稀疏场景流，无需GPS等世界坐标系基础设施。
2026-08-24 cs.CV cs.RO
ORDNet: Capturing Omni-Range Dependencies for Scene Parsing
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；National University of Singapore（新加坡国立大学）；YITU Technology（依图科技）
学习捕捉空间位置之间的依赖关系对许多视觉任务至关重要，特别是像场景解析这样的密集标记问题。现有方法利用自注意力机制可以有效地捕获长距离依赖，而利用局部卷积可以有效地捕获短距离依赖。然而，模型的长程相关性和短程相关性之间仍存在很大的差距，这在很大程度上降低了模型在复杂自然场景图像中应用于不同空间尺度和关系的灵活性。为了填补这一空白，我们开发了一个中程（MR）分支，通过将自我注意力限制在局部补丁中来捕获中程依赖关系。此外，我们观察到，空间区域具有较大的相关性与其他人可以强调更准确地利用远程依赖性，从而提出了一个重新加权远程（RLR）分支。基于提出的MR和RLR分支，我们建立了一个全范围依赖网络（ORDNet），可以有效地捕捉短，中，长范围的依赖关系。我们的ORDNet能够提取更全面的上下文信息，并很好地适应场景图像中复杂的空间变化。大量的实验表明，我们提出的ORDNet优于以前的国家的最先进的方法在三个场景解析基准，包括PASCAL上下文，COCO Stuff和ADE20K，展示了捕捉场景解析任务的深度模型中的全范围依赖关系的优越性。
2021-01-11 cs.CV
Using Scene and Semantic Features for Multi-modal Emotion Recognition
Australian National University（澳大利亚国立大学）
本文提出结合场景、语义和个人特征进行多模态情感识别，并使用修改后的EmbraceNet融合身体和姿态特征提升鲁棒性，在EMOTIC数据集上平均精度达40.39%，较前人提升5%。
2023-08-01 cs.CV
Nerfbusters: Removing Ghostly Artifacts from Casually Captured NeRFs
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
针对随意拍摄的NeRF在轨迹外渲染出现的漂浮物等伪影，提出新数据集、评估流程及基于3D扩散与密度分数蒸馏采样的方法，有效去除伪影并改善几何。
2023-10-17 cs.AI cs.CV cs.GR
Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；Shanghai Engineering Research Center of Energy Efficient and Custom AI IC（上海能效与定制人工智能集成电路工程技术研究中心）
在规范空间中对人体建模是捕捉和动画的常见做法。但是当涉及神经辐射场（NeRF）时，在规范空间中学习静态NeRF是不够的，因为即使场景照明是恒定的，当人移动时身体的照明也会改变。以前的方法通过学习每帧嵌入来减轻照明的不一致性，但是该操作不能推广到看不见的姿势。鉴于照明条件是静态的世界空间，而人体是一致的规范空间，我们提出了一个双空间NeRF模型的场景照明和人体在两个独立的空间中的两个MLP。为了连接这两个空间，以前的方法主要依赖于线性混合蒙皮（LBS）算法。然而，动态神经场的LBS的混合权重是难以处理的，因此通常与另一个MLP一起记忆，这并不能推广到新的姿势。虽然可以借用参数化网格（如SMPL）的混合权重，但插值操作会引入更多伪影。在本文中，我们建议使用重心映射，它可以直接推广到看不见的姿势，并且令人惊讶地实现了比带有神经混合权重的LBS更好的结果。在Human3.6M和ZJU-MoCap数据集上的定量和定性结果表明了该方法的有效性。
2022-08-31 cs.CV
Neural Rendering in a Room: Amodal 3D Understanding and Free-Viewpoint Rendering for the Closed Scene Composed of Pre-Captured Objects
Zhejiang University（浙江大学）；Google（谷歌）
作为人类，我们可以从给定的单个图像的任意视角理解和描绘熟悉的场景，而这对计算机来说仍然是一个巨大的挑战。因此，我们提出了一种新的解决方案，模仿这样的人类感知能力的基础上的一个新的范例的非模态三维场景理解与神经渲染的封闭场景。具体来说，我们首先通过离线阶段学习封闭场景中对象的先验知识，这有助于在线阶段理解具有不可见家具布置的房间。在在线阶段，给定不同布局的场景全景图像，我们利用基于整体神经渲染的优化框架来有效地估计正确的3D场景布局并提供逼真的自由视点渲染。为了处理离线和在线阶段之间的域间隙，我们的方法利用组合神经渲染技术在离线训练中进行数据增强。合成和真实数据集上的实验表明，我们的两个阶段的设计实现了强大的3D场景理解，并优于竞争方法的大幅度提高，我们也表明，我们的现实自由视点渲染，使各种应用，包括场景游览和编辑。代码和数据可在项目网页上获得：https://zju3dv.github.io/nr_in_a_room/。
2022-05-05 cs.CV cs.GR
Multi-Condition Latent Diffusion Network for Scene-Aware Neural Human Motion Prediction
Tencent AI Lab（腾讯 AI 实验室）；School of Engineering, Westlake University（西湖大学工程学院）；OPPO U.S. Research Center（OPPO 美国研究中心）
提出多条件潜在扩散网络（MCLD），将人体运动预测重新表述为基于历史3D身体运动和当前3D场景上下文的多条件联合推断问题，在潜在嵌入空间内执行条件扩散过程，实现跨模态映射，在真实和多样化预测上显著优于现有最先进方法。
2024-05-30 cs.CV
FullCircle: Effortless 3D Reconstruction from Casual 360$^\circ$ Captures
Simon Fraser University（西蒙弗雷泽大学）；Bilkent University（比尔肯特大学）；University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）
本文提出了一种直接从原始360度摄像机捕获数据进行3D重建的实用流程，无需特殊拍摄协议或预处理，且对人类操作员的干扰具有鲁棒性，展示了360度拍摄在随意重建中的优势。
2026-03-23 cs.CV
Learning to Understand Body Language from Flight through Robust 3D Avatar Placing
National University of Science and Technology “Politehnica” Bucharest（布加勒斯特理工国立大学）；“Simion Stoilow” Institute of Mathematics of the Romanian Academy（罗马尼亚科学院“西米翁·斯托伊洛夫”数学研究所）；NORCE Norwegian Research Centre AS（挪威NORCE研究中心）
该研究推出Drones2BodyLanguage数据集，结合轻量几何世界模型训练12种架构，可提升空中机器人对人类交际意图的感知准确率，为社交智能无人机提供数据支撑与方法。
2026-07-31 cs.CV
EgoCap: Egocentric Marker-less Motion Capture with Two Fisheye Cameras
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究所）；University of Bath（巴斯大学）
基于标记和无标记的光学骨骼运动捕捉方法使用围绕场景放置的摄像机的由外向内布置，其中视点会聚在中心。他们经常会因可能需要的标记服而造成不适，并且他们的记录量受到严格限制，并且通常限于具有受控背景的室内场景。替代的基于套装的系统使用几个惯性测量单元或外骨骼来捕获运动。这使得捕获独立于有限体积，但需要大量的，通常是约束性的，并且难以设置身体仪器。因此，我们提出了一种新的方法，用于实时，无标记和以自我为中心的运动捕捉，估计全身骨骼姿态从一个轻量级的立体对鱼眼相机，连接到头盔或虚拟现实耳机。它结合了鱼眼视图的新生成姿态估计框架的优势，以及在大型新数据集上训练的基于ConvNet的身体部位检测器。我们的inside-in方法在一般的室内和室外场景中捕捉全身运动，以及附近有许多人的拥挤场景。被捕获的用户可以自由地四处移动，这使得能够重建更大规模的活动，并且在虚拟现实中特别有用，以自由地漫游和交互，同时看到完全运动捕获的虚拟身体。
2016-09-23 cs.CV
CIRCLE: Capture In Rich Contextual Environments
Stanford University（斯坦福大学）；Meta AI
提出CIRCLE数据集及运动采集系统，通过虚拟环境捕捉高质量3D人体运动，并训练模型基于场景信息生成复杂环境下的全身伸展动作。
2023-03-31 cs.CV cs.GR
Sparse-to-Complete: From Sparse Image Captures to Complete 3D Scenes
State Key Lab of CAD\&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室）；University of Utah（犹他大学）；Hangzhou Research Institute of Holographic and AI Technology（杭州全息与人工智能技术研究院）
本文提出S2C-3D框架，通过六到八张图像实现高保真完整场景重建，结合专用扩散模型、视图一致性条件采样和相机轨迹规划，提升3D重建质量与鲁棒性。
2026-05-07 cs.CV
Neural Scene Decomposition for Multi-Person Motion Capture
EPFL（洛桑联邦理工学院）
学习一般的图像表示已被证明是许多计算机视觉任务成功的关键。例如，许多图像理解问题的方法依赖于最初在ImageNet上训练的深度网络，主要是因为学习的特征是从有限的标记数据中学习的有价值的起点。然而，当涉及到多个人的3D运动捕捉时，这些功能仅具有有限的用途。因此，在本文中，我们提出了一种方法来学习功能，这是有用的。为此，我们引入了一种自我监督的方法来学习我们所谓的神经场景分解（NSD），可以用于3D姿态估计。NSD包括三个抽象层来表示人类主体：根据边界框和相对深度的空间布局;根据实例分割掩模的2D形状表示;以及特定于主体的外观和3D姿态信息。通过利用来自多视图数据的自我监督，我们的NSD模型可以在没有任何2D或3D监督的情况下进行端到端训练。与以前的方法相比，它适用于多个人和全帧图像。由于NSD对3D几何形状进行编码，因此可以有效地利用NSD从少量注释数据中训练3D姿态估计网络。
2019-03-13 cs.CV
Fillerbuster: Unified Generative Scene Completion Model for Casual Captures
Meta Reality Labs；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
本文提出Fillerbuster，一种统一的生成模型，用于补全3D场景中未知区域。针对随意捕获中稀疏且缺失物体后方或上方内容的问题，模型通过多视图潜在扩散变换器处理大量输入帧，生成未知目标视图并恢复图像姿态。
2026-03-16 cs.CV cs.GR
Multi-body Non-rigid Structure-from-Motion
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Australian National University（澳大利亚国立大学）
传统的从运动恢复结构运动恢复结构（SFM）研究主要涉及由静态相机观察到的单个刚性运动物体的3D重建，或者由运动相机观察到的静态和刚性场景的3D重建-在这两种情况下，仅涉及一个相对刚性运动。最近的进展已经将SFM扩展到{多体SFM}（其中场景中存在{多个刚性}相对运动）以及{非刚性SFM}（其中存在单个非刚性可变形对象或场景）的领域。沿着这条思路，显然存在“多体非刚性SFM”的缺失缺口，其中任务将是从图像中联合重建和分割多个非刚性对象或可变形场景的多个3D结构。这种多体非刚性场景在现实中是常见的（例如，两个人握手，多人社交事件），并且如何解决它代表了SFM研究中的自然{下一步}。本文利用子空间聚类的最新成果，首次提出了一种有效的多体NRSFM框架，该框架同时将每个3D轨迹重建并分割到各自的低维子空间中。根据我们的公式，每个非刚性结构的3D轨迹可以很好地近似于来自相同结构的其他3D轨迹的稀疏仿射组合（自我表达）。我们用交替方向乘子法（ADMM）求解所得优化。我们证明了所提出的框架的有效性，通过广泛的实验合成和真实的数据序列。我们的方法明显优于其他替代方法，例如首先将2D特征轨迹聚类成组，然后在每组中进行非刚性重建，或者首先通过使用单个子空间假设进行3D重建，然后将3D轨迹聚类成组。
2016-07-15 cs.CV
