LASR: Learning Articulated Shape Reconstruction from a Monocular Video
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
从视频或图像集合中进行刚性结构的三维重建已经取得了显着的进展。然而，由于其约束不足的性质，从RGB输入重建非刚性结构仍然具有挑战性。虽然基于模板的方法，如参数化形状模型，在建模已知对象类别的“封闭世界”方面取得了巨大的成功，但它们不能很好地处理新颖对象类别或离群形状的“开放世界”。在这项工作中，我们引入了一种无模板的方法来从单个视频中学习3D形状。它采用了一种分析合成策略，向前渲染对象的轮廓，光流，和像素值与视频观察，生成梯度，以调整相机，形状和运动参数进行比较。在不使用特定类别的形状模板的情况下，我们的方法忠实地从人类，动物和未知类别的对象的视频中重建非刚性3D结构。代码将在lasr-google.github.io上提供。
2021-05-06 cs.CV cs.GR
Monocular pose estimation of articulated open surgery tools -- in the wild
Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology, Haifa, Israel（数据与决策科学学院，技术Ion-以色列理工学院，海法，以色列）
本文提出了一种基于合成数据和真实数据的单目手术工具姿态估计框架，通过域适应和伪标签提升实际应用性能。
2026-01-30 cs.CV cs.LG cs.RO
SPAGS: Sparse-View Articulated Object Reconstruction from Single State via Planar Gaussian Splatting
Hefei University of Technology（合肥工业大学）；Tencent RoboticsX（腾讯机器人院）
本文提出一种无需多视角观测的关节物体重建方法，通过平面高斯溅射实现稀疏视角下的高精度重建，结合视觉-语言模型实现开放词汇部分分割与参数估计。
2026-04-27 cs.CV
BAT3R: Bootstrapping Articulated 3D Reconstruction from 2D Image Collections
University of Edinburgh（爱丁堡大学）
研究从单张图像进行关节物体3D重建，利用未标注2D图像集和单个绑定规范网格，提出训练框架，通过拟合网格到预测点图迭代估计关节和相机姿态，提升模型性能。
2026-07-07 cs.CV
DressRecon: Freeform 4D Human Reconstruction from Monocular Video
Carnegie Mellon University（卡内基梅隆大学）
针对单目视频中宽松衣物、手持物体交互的人体重建难题，提出DressRecon方法，结合通用人体先验与视频专属骨袋变形，解耦身体与衣物变形，实现高保真时间一致4D重建，效果优于现有技术。
2024-10-08 cs.CV
MonoMobility: Zero-Shot 3D Mobility Analysis from Monocular Videos
National University of Defense Technology（国防科技大学）；Sun Yat-sen University（中山大学）；College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
针对现有3D移动性分析方法依赖多视图或标注的局限，提出零样本单目视频分析框架MonoMobility，结合深度估计、光流、点云配准与2D高斯泼溅及端到端优化算法，无标注解析铰接对象运动，在模拟与真实数据集上验证了其有效性与具身智能应用潜力。
2025-07-11 cs.CV
MorphGS: Morphology-Adaptive Articulated 3D Motion Transfer from Videos
本文提出MorphGS框架，通过图像空间监督直接优化目标形态和姿态，解决视频到3D角色动作迁移中的形态差异和姿态模糊问题，实验显示优于基线方法。
2026-07-08 cs.CV
SplatArmor: Articulated Gaussian splatting for animatable humans from monocular RGB videos
University of Pennsylvania（宾夕法尼亚大学）；Amazon.com, Inc（亚马逊公司）
提出SplatArmor方法，用3D高斯装甲化SMPL参数化人体模型，结合SE(3)场和神经颜色场，实现单目RGB视频中细节丰富且可动的人体重建与可控合成。
2023-11-17 cs.CV cs.GR cs.LG
ArtPro: Self-Supervised Articulated Object Reconstruction with Adaptive Integration of Mobility Proposals
Shandong University（山东大学）；Southwest University（西南大学）
ArtPro提出了一种自监督框架，通过自适应整合移动提案来解决传统方法在复杂多部件物体重建中的精度和稳定性问题，实验表明其在合成和真实物体上均表现优异。
2026-03-26 cs.CV
Temporal Consistency Loss for High Resolution Textured and Clothed 3DHuman Reconstruction from Monocular Video
University of Surrey（萨里大学）
我们提出了一种新的方法来学习时间上一致的3D重建的衣服的人从单目视频。用于使用体积、隐式或参数化人体形状模型从单目视频进行3D人体重建的最近方法在应用于视频时产生每帧重建，从而给出时间上不一致的输出和有限的性能。在本文中，我们介绍了一种方法来学习时间一致的功能，从单目视频的纹理重建的衣服三维人体序列提出了两个进步：一个新的时间一致性损失函数;和混合表示学习隐式三维重建从二维图像和粗糙的三维几何。所提出的进步提高了时间的一致性和准确性的3D重建和纹理预测从单目视频。对人体图像的综合比较性能评估表明，该方法在重建精度、完整性、质量和时间一致性等方面都明显优于基于学习的单图像三维人体形状估计方法。
2021-04-19 cs.CV
Skeleton Driven Non-rigid Motion Tracking and 3D Reconstruction
Queensland University of Technology (QUT)（昆士兰科技大学）
提出了一种利用运动的RGB-D摄像机对人体非刚体表面运动进行跟踪和三维重建的方法。由于大范围的关节运动和相当大的非刚性变形，无标记的人体性能的3D重建是一个具有挑战性的问题。目前的方法使用局部优化跟踪。这些方法需要多次迭代才能收敛，并且在突然的关节运动期间可能会陷入局部最小值。我们提出了一种基于木偶模型的跟踪方法，使用骨架先验，它提供了一个更好的初始化跟踪关节运动。所提出的方法使用对齐的木偶模型来估计人类表演捕获的正确对应关系。我们还贡献了一个合成数据集，它提供了地面实况位置逐帧的几何形状和骨骼关节的人类受试者。实验结果表明，我们的方法是更强大的，当面对突然的关节运动，并提供更好的三维重建相比，现有的国家的最先进的方法。
2018-10-09 cs.CV
EfficientHuman: Efficient Training and Reconstruction of Moving Human using Articulated 2D Gaussian
Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）；Minzu University of China（民族大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对3DGS重建动态人体时多视角不一致、冗余高斯导致训练慢的问题，提出EfficientHuman模型，通过关节化2D高斯表面元+LBS变换及姿态校准等模块，在ZJU-MoCap数据集上实现平均1分钟内重建且比SOTA快20秒，还减少冗余高斯。
2025-04-29 cs.CV
MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with Geometric Priors
BNRist（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；City University of Hong Kong（香港城市大学）；Tencent PCG（腾讯平台与内容事业群）
从单目视频中进行高保真3D场景重建仍然具有挑战性，特别是对于完整和细粒度的几何重建。以往的三维重建方法与神经隐式表示已显示出良好的能力，完整的场景重建，但他们的结果往往是过于光滑，缺乏足够的几何细节。本文介绍了一种新的神经隐式场景表示与体渲染高保真在线三维场景重建从单目视频。对于细粒度重建，我们的关键洞察力是将几何先验知识纳入神经隐式场景表示和神经体渲染，从而导致一个有效的几何学习机制的基础上体渲染优化。受益于此，我们提出了MonoNeuralFusion来执行单目视频的在线神经3D重建，通过该方法，在实时3D单目扫描过程中有效地生成和优化3D场景几何形状。与最先进的方法进行的广泛比较表明，我们的MonoNeuralFusion在定量和定性方面始终生成更好的完整和细粒度重建结果。
2022-09-30 cs.CV
Articulated 3D Human-Object Interactions from RGB Videos: An Empirical Analysis of Approaches and Challenges
Simon Fraser University（西蒙弗雷泽大学）
与铰接对象的人-对象交互在日常生活中很常见。尽管在单视图3D重建方面取得了很大进展，但从显示操纵对象的人的RGB视频中推断出铰接的3D对象模型仍然具有挑战性。我们规范化的任务铰接三维人-物体交互重建从RGB视频，并进行了系统的基准测试的五个家庭的方法：3D平面估计，3D长方体估计，CAD模型拟合，隐式场拟合，和自由形式的网格拟合。我们的实验表明，所有的方法都很难获得高精度的结果，即使在提供有关观测对象的地面实况信息时。我们确定的关键因素，使这项任务具有挑战性，并建议未来的工作方向，这一具有挑战性的3D计算机视觉任务。视频摘要：https://www.youtube.com/watch? v=5tAlKBojZwc
2022-09-12 cs.CV
Self-supervised Dense 3D Reconstruction from Monocular Endoscopic Video
The Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医疗机构）
我们提出了一种基于自监督学习的管道，用于从全长单目内窥镜视频进行密集3D重建，而无需解剖结构或阴影的先验建模。我们的方法仅依赖于未标记的单眼内窥镜视频和传统的多视图立体视觉算法，并且在训练和应用阶段都不需要手动交互或患者CT。在使用CT扫描作为地面实况的跨患者研究中，我们表明我们的方法能够从来自看不见的患者和范围的内窥镜视频中产生具有亚毫米平均残留误差的照片级逼真的密集3D重建。
2019-09-06 cs.CV
Hi-LASSIE: High-Fidelity Articulated Shape and Skeleton Discovery from Sparse Image Ensemble
UC Merced（加州大学默塞德分校）；Waymo（Waymo公司）；Google Research（谷歌研究院）；Yonsei University（延世大学）
自动估计三维骨架，形状，相机的观点，和部分关节稀疏在野生图像集成是一个严重的约束不足和具有挑战性的问题。大多数现有方法依赖于大规模图像数据集，密集的时间对应关系或人类注释，如相机姿势，2D关键点和形状模板。我们提出了Hi-LASSIE，它只从20-30个在线图像中进行3D关节重建，而不需要任何用户定义的形状或骨架模板。我们遵循LASSIE最近的工作，解决了类似的问题设置，并取得了两个重大进展。首先，我们不依赖于手动注释的3D骨架，而是从所选的参考图像自动估计特定于类别的骨架。其次，我们使用新的特定于实例的优化策略来改进形状重建，这些策略允许重建忠实地适合每个实例，同时保留在所有图像中学习的特定于类别的先验。在野外图像合奏的实验表明，Hi-LASSIE获得更高的保真度最先进的3D重建，尽管需要最少的用户输入。
2023-03-25 cs.CV
Knowledge NeRF: Few-shot Novel View Synthesis for Dynamic Articulated Objects
Southeast University（东南大学）；Northeastern University（东北大学）
本文提出 Knowledge NeRF，通过预训练 NeRF、融合历史知识与当前极少观测并引入投影模块，实现动态关节物体在单状态5张图像下的少样本新视角合成。
2024-04-07 cs.CV
Mono3R: Exploiting Monocular Cues for Geometric 3D Reconstruction
National University of Defence Technology（国防科技大学）
针对现有基于匹配的多视图3D重建模型在弱纹理、低光照等匹配线索有限区域重建质量下降的问题，提出Mono3R，通过引入单目引导细化模块整合单目几何先验，显著提升重建鲁棒性与精度。
2025-04-18 cs.CV
Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction
针对单目视频恢复大规模场景下4D人群运动的难题，提出Crowd4D框架，通过多阶段优化联合优化人群与场景，引入HSIP解决对齐问题、CSCR提升时间稳定性，实验证明其性能优于现有方法，可实现复杂场景下单目4D人群稳健重建。
2026-07-23 cs.CV
MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction
University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
近年来，神经隐式曲面重建方法已成为多视图三维重建的热门。与传统的多视图立体视觉方法相比，由于神经网络的归纳平滑偏差，这些方法倾向于产生更平滑和更完整的重建。最先进的神经隐式方法允许从许多输入视图对简单场景进行高质量的重建。然而，对于更大和更复杂的场景以及从稀疏视点捕获的场景，它们的性能显著下降。这主要是由RGB重建损失中的固有模糊性引起的，其没有提供足够的约束，特别是在较少观察和无纹理的区域中。受单眼几何预测领域的最新进展的启发，我们系统地探索了这些线索为改善神经隐式表面重建提供的效用。我们表明，深度和正常的线索，预测的通用单目估计，显着提高重建质量和优化时间。此外，我们分析和研究多种设计选择，代表神经隐式表面，从单片MLP模型单网格多分辨率网格表示。我们观察到，几何单目先验提高性能的小规模的单对象以及大规模的多对象场景，独立的选择表示。
2022-10-12 cs.CV
Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids
NVIDIA（英伟达）
提出基于全局稀疏局部密集体素块网格直接使用SDF的无MLP单目场景重建方法，结合尺度校准与可微渲染，训练速度提升10倍、渲染速度提升100倍且精度相当。
2023-05-22 cs.CV
HiMoR: Monocular Deformable Gaussian Reconstruction with Hierarchical Motion Representation
Waseda University（早稻田大学）；Preferred Networks, Inc.（Preferred Networks公司）
HiMoR 提出基于树结构的层次运动表示，用浅层节点建模粗粒度运动、深层节点捕捉精细运动，并结合共享运动基实现结构化形变，从而提升单目动态三维重建与新视角合成质量。
2025-04-08 cs.CV
IsMo-GAN: Adversarial Learning for Monocular Non-Rigid 3D Reconstruction
University of Kaiserslautern（凯泽斯劳滕大学）；DFKI（德国人工智能研究中心）；MPI for Informatics（马克斯·普朗克信息学研究所）
大多数现有的方法从单目2D图像的非刚性3D表面回归需要一个对象模板或多个帧上的点轨迹作为输入，并且仍然远离实时处理速率。在这项工作中，我们提出了Isometry-Aware Monocular生成对抗网络（IsMo-GAN）-一种从单个图像直接进行3D重建的方法，在轻量级合成数据集上以对抗方式训练变形模型。IsMo-GAN在超过250 Hz的不同照明，相机姿势，纹理和阴影下从真实图像重建表面。在多个实验中，它始终优于几种方法在重建精度，运行时间，推广到未知的表面和鲁棒性闭塞。与现有技术相比，我们将重建误差减少了10-30%，包括无纹理的情况，并且我们的表面定性地显示出更少的伪影。
2021-06-21 cs.CV
REACTO: Reconstructing Articulated Objects from a Single Video
Nanyang Technological University（南洋理工大学）；Institute for Inforcomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局））；Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心（新加坡科技研究局））
针对现有动态神经辐射场方法难以处理分段刚性通用关节式物体的问题，提出融合增强骨骼绑定、准稀疏蒙皮权重与测地学点分配的准刚性混合蒙皮模型，在真实与合成数据集上实现了更高保真的单视频三维重建。
2024-04-17 cs.CV
FreeArtGS: Articulated Gaussian Splatting Under Free-moving Scenario
CFCS, School of Computer Science, Peking University（计算机科学系，北京大学CFCS）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；PrimeBot
FreeArtGS通过自由移动部分分割、关节估计和端到端优化，实现高可扩展性的自由移动关节物体重建，实验表明其在真实资产生成中具有实用性。
2026-03-23 cs.CV cs.GR cs.RO
Learning Deeply Supervised Good Features to Match for Dense Monocular Reconstruction
University of Adelaide（阿德莱德大学）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）
视觉SLAM（同时定位与地图构建）方法通常依赖于手工制作的视觉特征或原始RGB值来建立图像之间的对应关系。这些特征虽然适用于稀疏映射，但由于孔径问题，在执行密集重建时通常会导致无纹理区域中的模糊匹配。在这项工作中，我们探讨了使用学习功能的匹配任务，在密集的单目重建。我们提出了一种新的卷积神经网络（CNN）架构，以及一个深度监督的特征学习方案，用于从图像中对视觉描述符进行逐像素回归，最适合于密集的单目SLAM。特别是，我们的学习方案最大限度地减少了多视图匹配的成本-体积损失相对于在网络内的多个阶段的回归功能，明确学习上下文功能，适合于由移动单目相机沿极线捕获的图像之间的密集匹配。我们将从我们的模型中学习到的特征整合到实时密集单目SLAM框架内进行深度估计，其中光度误差被我们学习到的描述符误差所取代。我们对几个具有挑战性的室内数据集进行了广泛的评估，结果表明，在DTAM等著名的密集SLAM系统的密集重建中，准确性大大提高，而不会影响其实时性能。
2018-11-20 cs.CV
Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing
Google Research（谷歌研究院）
我们提出了PHORHUM，一种新颖的，端到端的可训练的，深度神经网络方法，用于仅提供单目RGB图像的逼真的3D人体重建。我们的像素对齐方法估计详细的3D几何形状，并首次将未着色的表面颜色与场景照明一起估计。观察到，3D监督本身是不够的高保真度的颜色重建，我们引入基于补丁的渲染损失，使可靠的颜色重建的可见部分的人，和详细的和合理的颜色估计的不可见的部分。此外，我们的方法专门解决了先前工作的方法和实际局限性，在一个端到端的模型中，可以有效地解开因素，代表几何形状，光照和照明效果。在广泛的实验中，我们证明了我们的方法的通用性和鲁棒性。我们的国家的最先进的结果验证方法定性和不同的指标，几何和颜色重建。
2022-04-19 cs.CV
MAGiSt3R: Multi-Agent Feed-forward 3D Reconstruction from Monocular RGB Videos
University of Bologna（博洛尼亚大学）；The University of Hong Kong（香港大学）；Southeast University（东南大学）；Monash University（莫纳什大学）
研究基于单目RGB视频的多智能体3D重建问题，核心方法是用3R家族前馈模型和MAGMA合并模型，并进行姿态图优化，主要贡献是在合成和真实数据集上验证该框架相比现有方法有更高重建和相机跟踪精度。
2026-07-17 cs.CV
Monocular Dense 3D Reconstruction of a Complex Dynamic Scene from Two Perspective Frames
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；Australia Centre for Robotic Vision（澳大利亚机器人视觉中心）
本文提出了一种新的方法，从两个透视帧的单目密集三维重建的复杂动态场景。通过对图像应用超像素过分割，我们用分段平面和刚性近似来建模一般动态（因此非刚性）场景。通过这种方式，我们将动态重建问题简化为“3D拼图”问题，该问题从无组织的“超像素汤”中取出碎片。我们表明，我们的方法提供了一个有效的解决方案，固有的相对规模的模糊性，从运动的结构。由于我们的方法不假设模板先验，或每对象分割，或动态场景的刚性知识，它适用于广泛的场景。大量的实验上的合成和真正的单目序列证明了我们的方法相比，国家的最先进的方法的优越性。
2017-12-20 cs.CV
REArtGS++: Generalizable Articulation Reconstruction with Temporal Geometry Constraint via Planar Gaussian Splatting
Hefei Institutes of Physical Science, Chinese Academy of Sciences（合肥物理科学研究院，中国科学院）；University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；RoboticsX, Tencent（腾讯机器人院）；Shanghai Jiao Tong University（上海交通大学）
REArtGS++通过引入时序几何约束和平面高斯散射，提升关节物体在不同状态下的通用表面重建和参数估计能力。
2026-02-05 cs.CV
OP-Align: Object-level and Part-level Alignment for Self-supervised Category-level Articulated Object Pose Estimation
Tokyo Institute of Technology, Tokyo, Japan（东京技术大学）；Accenture Japan Ltd, Tokyo, Japan（Accenture日本有限公司）
OP-Align通过单帧点云实现自监督类别级 articulated 对象姿态估计，通过对象级和部分级对齐提升姿态估计性能。
2025-12-04 cs.CV
MOSAIC-GS: Monocular Scene Reconstruction via Advanced Initialization for Complex Dynamic Environments
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌公司）
MOSAIC-GS通过先进初始化实现复杂动态环境的单目场景重建，结合多种几何线索和刚性运动约束，提高重建效率与质量。
2026-01-08 cs.CV
MonoInstance: Enhancing Monocular Priors via Multi-view Instance Alignment for Neural Rendering and Reconstruction
School of Software, Tsinghua University（清华大学软件学院）；Kuaishou Technology（快手科技）；Wayne State University（韦恩州立大学）
提出MonoInstance方法，通过多视图实例对齐和不确定性估计增强单目深度先验，显著提升神经渲染与重建的性能。
2025-03-30 cs.CV
Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；KU Leuven（鲁汶大学）
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景，即使在无监督的情况下，基于学习的方法也提供了有希望的结果，但对于动态和可变形场景，几乎没有文献涉及同样的问题。在这项工作中，我们提出了一个无监督的单目框架密集的深度估计的动态场景，共同重建刚性和非刚性的部分，而不明确建模的相机运动。使用密集的对应关系，我们推导出一个训练目标，旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中，密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果，证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外，该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
Multi-view Reconstruction via SfM-guided Monocular Depth Estimation
Zhejiang University（浙江大学）；Beijing Normal Univeristy（北京师范大学）
针对单目深度存在尺度歧义、难以直接用于多视图几何重建的问题，本文提出将 SfM 多视图先验引入深度估计，显著提升深度质量，并在多类场景中超越现有 MVS 方法。
2025-03-18 cs.CV
DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction
Technical University of Munich（慕尼黑工业大学）；Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
本文提出DynOMo，利用在线3D高斯泼溅从单目未标定相机同时进行动态场景重建与2D/3D点跟踪，无需对应监督即可实现与现有方法相当的性能。
2025-03-12 cs.CV
HuPrior3R: Incorporating Human Priors for Better 3D Dynamic Reconstruction from Monocular Videos
HKUST（香港科技大学）；XMU（厦门大学）；SYSU（南方科技大学）
HuPrior3R通过融合SMPL人体模型与单目深度估计，提出混合几何先验方法，提升单目视频中动态人类3D重建的几何一致性和细节精度。
2025-12-09 cs.CV
DreaMo: Articulated 3D Reconstruction From A Single Casual Video
National Tsing Hua University（国立清华大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Merced（加州大学默塞德分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
针对单段随手拍摄互联网视频视角不全的问题，本文提出 DreaMo，结合视角条件扩散先验、定制正则化及骨架生成策略，实现高质量铰接式 3D 形状与可解释骨架重建。
2023-12-07 cs.CV cs.GR
ArtMesh: Part-Aware Articulated Mesh Fields with Motion-Consistent Dynamics
University of California San Diego（加州大学圣地亚哥分校）；University of North Texas（北卡罗来纳州立大学）
ArtMesh通过构建基于网格的可微渲染基础，实现了从多视角图像中重建可变形物体的连接三角网格，并在100个新基准数据集上超越了现有3DGS方法。
2026-05-15 cs.CV
LongDPM: Overlap-Aware 4D Reconstruction from Long Monocular Videos
Hangzhou Dianzi University（杭州电子科技大学）
本文提出LongDPM，一种基于重叠意识的长视频单目动态重建框架，通过分块处理、重登记和动态身份关联，实现长距离的3D重建和跟踪，提升了PointOdyssey、Kubric-F和Kubric-G等数据集上的密集跟踪精度和相机姿态估计性能。
2026-05-17 cs.CV
High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors
Tsinghua University（清华大学）；Tencent（腾讯）；Ant Group（蚂蚁集团）；Peng Cheng Laboratory（鹏城实验室）
从单目视频中重建高逼真度的人脸模型是计算机图形学和计算机视觉领域的一个重要研究课题。最近，神经辐射场（NeRF）显示了令人印象深刻的新颖的视图渲染结果，并已被考虑用于面部化身重建。然而，单目视频中复杂的面部动态和缺失的3D信息对真实的面部重建提出了重大挑战。在这项工作中，我们提出了一种新的方法，基于NeRF的面部化身重建，利用3D感知生成先验。与现有的依赖于条件变形场进行动态建模的工作不同，我们提出学习个性化的生成先验，该先验被制定为3D-GAN潜在空间中的局部和低维子空间。我们提出了一种有效的方法来构建基于一个给定的个人的面部图像的小集合的个性化生成先验。学习后，它允许照片真实感渲染与新的意见和人脸再现可以实现通过执行潜在空间中的导航。我们提出的方法适用于不同的驱动信号，包括RGB图像，3DMM系数，和音频。与现有的工作相比，我们获得了优越的新的视图合成的结果和忠实的人脸再现性能。
2023-03-04 cs.CV
MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction
Technical University of Munich（慕尼黑技术大学）；Google（谷歌）；Tsinghua University（清华大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
MonoGSDF通过结合高斯点与神经SDF，利用单目几何线索实现高效隐式表面重建，提升三维表面恢复的精度与效率。
2025-11-20 cs.CV
StructureGS: Structure-aware Gaussian Splatting for Articulated Object Reconstruction
POSTECH（浦项科技大学）
该研究针对关节物体重建中参数纠缠导致的部件分解缺陷，提出StructureGS框架，结合结构感知引导的3D高斯溅射，通过定向包围盒约束实现更优重建性能。
2026-07-30 cs.CV cs.GR cs.RO
MooMIns -- Monocular 3D Reconstruction and Object Pose Estimation from Multiple Instances
Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院摄影测量与遥感研究所）
提出MooMIns方法，利用单张图像中同一物体的多个实例提供隐式多视图几何，通过反向高斯泼溅实现3D重建和6D姿态估计，避免深度先验导致的幻觉。
2026-06-15 cs.CV
Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
针对现有单目4D重建方法难处理大变形、补全不准等问题，提出Ub4D方法，通过含三个新组件的可微体渲染实现无偏重建，在新数据集上精度和鲁棒性优于SOTA。
2023-05-04 cs.CV
Monocular 3D Fingerprint Reconstruction and Unwarping
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
与接触式指纹采集技术相比，非接触式指纹采集具有皮肤变形小、指纹面积大、采集卫生等优点。然而，透视失真是非接触式指纹识别中的一个挑战，它改变了脊线方向、频率和细节点位置，从而导致识别精度下降。我们提出了一种基于学习的纹理形状算法，从一个单一的图像重建三维手指形状和unwarp的原始图像，以抑制透视失真。在非接触式指纹数据库上的实验结果表明，该方法具有较高的三维重建精度。非接触-接触匹配和非接触-非接触匹配实验表明，该方法提高了匹配精度。
2022-05-02 cs.CV
REArtGS: Reconstructing and Generating Articulated Objects via 3D Gaussian Splatting with Geometric and Motion Constraints
Hefei Institutes of Physical Science Chinese Academy of Sciences（合肥物理研究所中国科学院）；University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）；Shanghai Jiao Tong University（上海交通大学）；ByteDance（字节跳动）
REArtGS通过引入几何和运动约束的3D高斯散点方法，实现姿态物体的高保真表面重建与生成。
2025-11-21 cs.CV cs.MM
HDM-Net: Monocular Non-Rigid 3D Reconstruction with Learned Deformation Model
DFKI（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）
变形物体的单目稠密三维重建是计算机视觉中的一个困难不适定问题。当前的技术要么需要密集的对应关系并依赖于运动和变形线索，要么假设预先给定的至少单个帧的高度准确的重建（称为模板）并以非刚性跟踪的方式操作。密集点轨迹的精确计算通常需要多个帧并且可能在计算上是昂贵的。模板的可用性是一个非常强的先决条件，它将系统操作限制在预定义的环境和场景中。在这项工作中，我们提出了一种新的混合方法，单目非刚性重建，我们称之为混合变形模型网络（HDM-Net）。在我们的方法中，变形模型是由一个深度神经网络学习的，具有特定领域的损失函数的组合。我们训练网络的多个状态的非刚性变形结构与已知的形状在休息。HDM-Net学习不同的重建线索，包括纹理相关的表面变形，阴影和轮廓。我们展示了HDM-Net对训练数据集中未呈现的状态的泛化能力，这些状态具有不可见的纹理和新的光照条件。噪声数据的实验和与其他方法的比较表明，所提出的方法的鲁棒性和准确性，并建议在介入诊断和增强现实的新技术的可能的应用场景。
2019-08-05 cs.CV
Learning Articulated Shape with Keypoint Pseudo-labels from Web Images
Rutgers University（罗格斯大学）；UC Berkeley（加州大学伯克利分校）
提出用50–150张2D关键点标注图像训练类别关键点估计器，并结合网络图像伪标签与数据选择，提升关节化对象单目3D重建性能。
2023-04-27 cs.CV
MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views
UC San Diego（加州大学圣地亚哥分校）；Qualcomm（高通公司）
本文提出MonoSelfRecon框架，利用体素-SDF、可泛化NeRF和新型自监督损失，首次从单目RGB实现纯自监督、显式且可泛化的室内三维网格重建。
2024-04-10 cs.CV
ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos
ETH Zürich（苏黎世联邦理工学院）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；University of Amsterdam（阿姆斯特丹大学）
针对单目野外视频人体-场景重建需预校准相机、长训练时间的问题，提出ODHSR在线统一框架，结合3D高斯溅射、重建基跟踪与姿态估计、变形模块及遮挡感知等技术，在EMDB等数据集上实现多任务性能提升。
2025-04-18 cs.CV
Dream-to-Recon: Monocular 3D Reconstruction with Diffusion-Depth Distillation from Single Images
Technical University of Munich（慕尼黑技术大学）；MCML；SE3 Labs（SE3实验室）
本文提出Dream-to-Recon方法，利用预训练二维扩散模型和深度预测模型从单张图像生成合成几何，蒸馏前馈重建模型，在KITTI-360和Waymo数据集上达到或超越多视图监督方法，尤其擅长动态场景。
2025-08-04 cs.CV
StrobeNet: Category-Level Multiview Reconstruction of Articulated Objects
ShanghaiTech University（上海科技大学）；NVIDIA（英伟达）；Brown University（布朗大学）；Stanford University（斯坦福大学）
我们提出了StrobeNet，一种从一个或多个未设定的RGB图像进行类别级三维重建的方法。重建一般的铰接对象类别具有重要的应用，但具有挑战性，因为对象可以在形状、铰接、外观和拓扑结构上具有广泛的变化。我们解决这个问题的基础上建立的概念，类别级别的衔接规范化-映射观察到一个规范的衔接，使对应自由的多视图聚合。我们的端到端可训练神经网络可从一个或多个对象的无姿态图像中估计特征丰富的规范3D点云、关节连接和部件分割。这些中间估计用于生成最终的隐式3D重建。我们的方法即使在具有大基线的图像中以不同的关节观察对象时也可以重建对象，并且可以重建形状的动画。对不同对象类别的定量和定性评价表明，我们的方法能够实现高的重建精度，特别是当添加更多的视图时。
2021-05-17 cs.CG cs.CV
EPRecon: An Efficient Framework for Real-Time Panoptic 3D Reconstruction from Monocular Video
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
EPRecon提出轻量级深度先验估计模块和双特征提取策略，实现单目视频实时高质量全景三维重建，在ScanNetV2上超越现有方法。
2024-09-20 cs.CV
