MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction
University of Tübingen(图宾根大学);ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Czech Technical University in Prague(布拉格捷克理工大学)
近年来,神经隐式曲面重建方法已成为多视图三维重建的热门。与传统的多视图立体视觉方法相比,由于神经网络的归纳平滑偏差,这些方法倾向于产生更平滑和更完整的重建。最先进的神经隐式方法允许从许多输入视图对简单场景进行高质量的重建。然而,对于更大和更复杂的场景以及从稀疏视点捕获的场景,它们的性能显著下降。这主要是由RGB重建损失中的固有模糊性引起的,其没有提供足够的约束,特别是在较少观察和无纹理的区域中。受单眼几何预测领域的最新进展的启发,我们系统地探索了这些线索为改善神经隐式表面重建提供的效用。我们表明,深度和正常的线索,预测的通用单目估计,显着提高重建质量和优化时间。此外,我们分析和研究多种设计选择,代表神经隐式表面,从单片MLP模型单网格多分辨率网格表示。我们观察到,几何单目先验提高性能的小规模的单对象以及大规模的多对象场景,独立的选择表示。
2022-10-12 cs.CV
Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids
NVIDIA(英伟达)
提出基于全局稀疏局部密集体素块网格直接使用SDF的无MLP单目场景重建方法,结合尺度校准与可微渲染,训练速度提升10倍、渲染速度提升100倍且精度相当。
2023-05-22 cs.CV
HiMoR: Monocular Deformable Gaussian Reconstruction with Hierarchical Motion Representation
Waseda University(早稻田大学);Preferred Networks, Inc.(Preferred Networks公司)
HiMoR 提出基于树结构的层次运动表示,用浅层节点建模粗粒度运动、深层节点捕捉精细运动,并结合共享运动基实现结构化形变,从而提升单目动态三维重建与新视角合成质量。
2025-04-08 cs.CV
IsMo-GAN: Adversarial Learning for Monocular Non-Rigid 3D Reconstruction
University of Kaiserslautern(凯泽斯劳滕大学);DFKI(德国人工智能研究中心);MPI for Informatics(马克斯·普朗克信息学研究所)
大多数现有的方法从单目2D图像的非刚性3D表面回归需要一个对象模板或多个帧上的点轨迹作为输入,并且仍然远离实时处理速率。在这项工作中,我们提出了Isometry-Aware Monocular生成对抗网络(IsMo-GAN)-一种从单个图像直接进行3D重建的方法,在轻量级合成数据集上以对抗方式训练变形模型。IsMo-GAN在超过250 Hz的不同照明,相机姿势,纹理和阴影下从真实图像重建表面。在多个实验中,它始终优于几种方法在重建精度,运行时间,推广到未知的表面和鲁棒性闭塞。与现有技术相比,我们将重建误差减少了10-30%,包括无纹理的情况,并且我们的表面定性地显示出更少的伪影。
2021-06-21 cs.CV
MonoCloth: Reconstruction and Animation of Cloth-Decoupled Human Avatars from Monocular Videos
针对单目视频重建3D人体化身的挑战,提出MonoCloth方法,通过部件分解策略分离身体、面部、手部与布料,重点恢复精细部位几何并设计布料模拟模块,提升重建质量与动画真实感,支持服装迁移等任务。
2025-11-15 cs.CV
Scalable Dense Monocular Surface Reconstruction
DFKI(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学)
提出了一种新的无模板单目非刚性曲面重建方法。使用运动和变形线索的现有技术依赖于多个先验假设,通常在计算上是昂贵的,并且在各种数据集上表现得不一样好。相比之下,所提出的可缩放单目表面重建(SMSR)结合了几种算法的优势,即,它可以根据点的数量进行缩放,可以处理稀疏和密集设置以及不同类型的运动和变形。我们估计相机的奇异值阈值和邻近梯度。我们的公式采用交替方向法的乘子,在线性时间收敛的大型点跟踪矩阵。在所提出的SMSR,轨迹空间的约束集成的平滑的测量矩阵。在广泛的实验中,SMSR被证明在各种数据集上始终达到最先进的精度。
2017-10-17 cs.CV
NGD: Neural Gradient Based Deformation for Monocular Garment Reconstruction
Indian Institute of Technology Jodhpur(印度理工学院贾尔普尔)
针对单目视频动态服装重建中隐式方法高频细节缺失、模板方法顶点位移产生伪影的问题,提出NGD基于神经梯度的变形方法与自适应重网格化策略,结合动态纹理图学习,显著优于现有SOTA方法,实现高质量重建。
2025-08-25 cs.CV
Learning Deeply Supervised Good Features to Match for Dense Monocular Reconstruction
University of Adelaide(阿德莱德大学);ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心)
视觉SLAM(同时定位与地图构建)方法通常依赖于手工制作的视觉特征或原始RGB值来建立图像之间的对应关系。这些特征虽然适用于稀疏映射,但由于孔径问题,在执行密集重建时通常会导致无纹理区域中的模糊匹配。在这项工作中,我们探讨了使用学习功能的匹配任务,在密集的单目重建。我们提出了一种新的卷积神经网络(CNN)架构,以及一个深度监督的特征学习方案,用于从图像中对视觉描述符进行逐像素回归,最适合于密集的单目SLAM。特别是,我们的学习方案最大限度地减少了多视图匹配的成本-体积损失相对于在网络内的多个阶段的回归功能,明确学习上下文功能,适合于由移动单目相机沿极线捕获的图像之间的密集匹配。我们将从我们的模型中学习到的特征整合到实时密集单目SLAM框架内进行深度估计,其中光度误差被我们学习到的描述符误差所取代。我们对几个具有挑战性的室内数据集进行了广泛的评估,结果表明,在DTAM等著名的密集SLAM系统的密集重建中,准确性大大提高,而不会影响其实时性能。
2018-11-20 cs.CV
Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing
Google Research(谷歌研究院)
我们提出了PHORHUM,一种新颖的,端到端的可训练的,深度神经网络方法,用于仅提供单目RGB图像的逼真的3D人体重建。我们的像素对齐方法估计详细的3D几何形状,并首次将未着色的表面颜色与场景照明一起估计。观察到,3D监督本身是不够的高保真度的颜色重建,我们引入基于补丁的渲染损失,使可靠的颜色重建的可见部分的人,和详细的和合理的颜色估计的不可见的部分。此外,我们的方法专门解决了先前工作的方法和实际局限性,在一个端到端的模型中,可以有效地解开因素,代表几何形状,光照和照明效果。在广泛的实验中,我们证明了我们的方法的通用性和鲁棒性。我们的国家的最先进的结果验证方法定性和不同的指标,几何和颜色重建。
2022-04-19 cs.CV
MAGiSt3R: Multi-Agent Feed-forward 3D Reconstruction from Monocular RGB Videos
University of Bologna(博洛尼亚大学);The University of Hong Kong(香港大学);Southeast University(东南大学);Monash University(莫纳什大学)
研究基于单目RGB视频的多智能体3D重建问题,核心方法是用3R家族前馈模型和MAGMA合并模型,并进行姿态图优化,主要贡献是在合成和真实数据集上验证该框架相比现有方法有更高重建和相机跟踪精度。
2026-07-17 cs.CV
Monocular Dense 3D Reconstruction of a Complex Dynamic Scene from Two Perspective Frames
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);Australia Centre for Robotic Vision(澳大利亚机器人视觉中心)
本文提出了一种新的方法,从两个透视帧的单目密集三维重建的复杂动态场景。通过对图像应用超像素过分割,我们用分段平面和刚性近似来建模一般动态(因此非刚性)场景。通过这种方式,我们将动态重建问题简化为“3D拼图”问题,该问题从无组织的“超像素汤”中取出碎片。我们表明,我们的方法提供了一个有效的解决方案,固有的相对规模的模糊性,从运动的结构。由于我们的方法不假设模板先验,或每对象分割,或动态场景的刚性知识,它适用于广泛的场景。大量的实验上的合成和真正的单目序列证明了我们的方法相比,国家的最先进的方法的优越性。
2017-12-20 cs.CV
PASTEL: Panoramic Alignment for Monocular 4D Scene Reconstruction
School of Data Science, Fudan University(复旦大学数据科学学院);Central Media Technology Institute, Huawei(华为中央媒体技术研究院)
PASTEL通过全景对齐将单目视频的4D重建扩展至不可见区域,利用2D方向轨迹规划优化探索,显著提升重建性能并超越现有方法。
2026-09-09 cs.CV
MOSAIC-GS: Monocular Scene Reconstruction via Advanced Initialization for Complex Dynamic Environments
ETH Zürich(苏黎世联邦理工学院);Google(谷歌公司)
MOSAIC-GS通过先进初始化实现复杂动态环境的单目场景重建,结合多种几何线索和刚性运动约束,提高重建效率与质量。
2026-01-08 cs.CV
MonoInstance: Enhancing Monocular Priors via Multi-view Instance Alignment for Neural Rendering and Reconstruction
School of Software, Tsinghua University(清华大学软件学院);Kuaishou Technology(快手科技);Wayne State University(韦恩州立大学)
提出MonoInstance方法,通过多视图实例对齐和不确定性估计增强单目深度先验,显著提升神经渲染与重建的性能。
2025-03-30 cs.CV
Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);KU Leuven(鲁汶大学)
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景,即使在无监督的情况下,基于学习的方法也提供了有希望的结果,但对于动态和可变形场景,几乎没有文献涉及同样的问题。在这项工作中,我们提出了一个无监督的单目框架密集的深度估计的动态场景,共同重建刚性和非刚性的部分,而不明确建模的相机运动。使用密集的对应关系,我们推导出一个训练目标,旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中,密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果,证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外,该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
Multi-view Reconstruction via SfM-guided Monocular Depth Estimation
Zhejiang University(浙江大学);Beijing Normal Univeristy(北京师范大学)
针对单目深度存在尺度歧义、难以直接用于多视图几何重建的问题,本文提出将 SfM 多视图先验引入深度估计,显著提升深度质量,并在多类场景中超越现有 MVS 方法。
2025-03-18 cs.CV
Link to the Past: Temporal Propagation for Fast 3D Human Reconstruction from Monocular Video
Department of Electrical and Computer Engineering, Inha University(电子与计算机工程系,釜山大学)
针对单目视频3D着装人体重建中效率与质量难以兼顾的问题,提出即插即用的 TemPoFast3D,利用时序一致性和规范外观表示减少冗余计算,在达到或超过SOTA质量的同时实现最高12 FPS。
2025-05-12 cs.CV
DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction
Technical University of Munich(慕尼黑工业大学);Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
本文提出DynOMo,利用在线3D高斯泼溅从单目未标定相机同时进行动态场景重建与2D/3D点跟踪,无需对应监督即可实现与现有方法相当的性能。
2025-03-12 cs.CV
HuPrior3R: Incorporating Human Priors for Better 3D Dynamic Reconstruction from Monocular Videos
HKUST(香港科技大学);XMU(厦门大学);SYSU(南方科技大学)
HuPrior3R通过融合SMPL人体模型与单目深度估计,提出混合几何先验方法,提升单目视频中动态人类3D重建的几何一致性和细节精度。
2025-12-09 cs.CV
LongDPM: Overlap-Aware 4D Reconstruction from Long Monocular Videos
Hangzhou Dianzi University(杭州电子科技大学)
本文提出LongDPM,一种基于重叠意识的长视频单目动态重建框架,通过分块处理、重登记和动态身份关联,实现长距离的3D重建和跟踪,提升了PointOdyssey、Kubric-F和Kubric-G等数据集上的密集跟踪精度和相机姿态估计性能。
2026-05-17 cs.CV
MOLTR: Multiple Object Localisation, Tracking, and Reconstruction from Monocular RGB Videos
University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Monash University(莫纳什大学)
对于未来的机器人和AR/VR应用来说,语义感知重建比仅几何重建更有优势,因为它不仅代表了事物的位置,而且还代表了事物的内容。以对象为中心的映射是构建对象级重建的任务,其中对象是传达几何和语义信息的单独且有意义的实体。在本文中,我们提出了MOLTR,一个解决方案,以对象为中心的映射只使用单目图像序列和相机构成。当RGB摄像头捕获周围环境的视频时,它能够以在线方式定位,跟踪和重建多个对象。给定一个新的RGB帧,MOLTR首先应用单目3D检测器来定位感兴趣的对象,并在学习的嵌入空间中提取表示对象形状的形状代码。在数据关联后,检测结果将合并到地图中的现有对象。通过多模型贝叶斯滤波器跟踪每个目标的运动状态(即运动学和运动状态),并通过融合多个形状代码来逐步细化目标形状。我们在室内和室外场景的基准数据集上评估了定位,跟踪和重建,并显示出优于以前方法的性能。
2021-02-15 cs.CV
Monocular 3D Object Detection Leveraging Accurate Proposals and Shape Reconstruction
University of Toronto(多伦多大学)
我们提出MonoPSR,一个单目3D目标检测方法,利用建议和形状重建。首先,使用针孔相机模型的基本关系,从一个成熟的2D对象检测器的检测被用来生成一个场景中的每个对象的3D建议。这些建议的3D位置被证明是相当准确的,这大大降低了回归最终的3D限界框检测的难度。同时,在以物体为中心的坐标系中预测点云,以学习局部尺度和形状信息。然而,关键的挑战是如何利用形状信息来指导3D定位。因此,我们设计了聚合损失,包括一种新的投影对齐损失,以联合优化神经网络中的这些任务,以提高3D定位精度。我们在KITTI基准上验证了我们的方法,在此基础上,我们在已发布的单目方法中设置了新的最先进的结果,包括更难的行人和骑自行车的类别,同时保持高效的运行时间。
2019-04-02 cs.CV
DRSM: efficient neural 4d decomposition for dynamic reconstruction in stationary monocular cameras
Xiamen University(厦门大学);National Institute for Data Science in Health and Medicine, Xiamen University(厦门大学健康与医学数据科学国家研究所);BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对固定单目相机动态场景重建约束少、病态性强及3D线索不足、遮挡等问题,提出基于分解静动态特征平面与密集光线投射的DRSM框架,结合深度监督优化策略,实现更高保真的单视角4D动态场景重建。
2024-02-01 cs.CV
High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors
Tsinghua University(清华大学);Tencent(腾讯);Ant Group(蚂蚁集团);Peng Cheng Laboratory(鹏城实验室)
从单目视频中重建高逼真度的人脸模型是计算机图形学和计算机视觉领域的一个重要研究课题。最近,神经辐射场(NeRF)显示了令人印象深刻的新颖的视图渲染结果,并已被考虑用于面部化身重建。然而,单目视频中复杂的面部动态和缺失的3D信息对真实的面部重建提出了重大挑战。在这项工作中,我们提出了一种新的方法,基于NeRF的面部化身重建,利用3D感知生成先验。与现有的依赖于条件变形场进行动态建模的工作不同,我们提出学习个性化的生成先验,该先验被制定为3D-GAN潜在空间中的局部和低维子空间。我们提出了一种有效的方法来构建基于一个给定的个人的面部图像的小集合的个性化生成先验。学习后,它允许照片真实感渲染与新的意见和人脸再现可以实现通过执行潜在空间中的导航。我们提出的方法适用于不同的驱动信号,包括RGB图像,3DMM系数,和音频。与现有的工作相比,我们获得了优越的新的视图合成的结果和忠实的人脸再现性能。
2023-03-04 cs.CV
MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction
Technical University of Munich(慕尼黑技术大学);Google(谷歌);Tsinghua University(清华大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
MonoGSDF通过结合高斯点与神经SDF,利用单目几何线索实现高效隐式表面重建,提升三维表面恢复的精度与效率。
2025-11-20 cs.CV
High-Quality Animatable Dynamic Garment Reconstruction from Monocular Videos
Tianjin University(天津大学);Cardiff University(卡迪夫大学)
本文提出首个不依赖扫描数据的单目视频方法,通过姿态驱动的可学习形变网络与多假设形变模块,重建可适配未见姿态的高质量动态服装。
2023-11-02 cs.CV
MooMIns -- Monocular 3D Reconstruction and Object Pose Estimation from Multiple Instances
Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院摄影测量与遥感研究所)
提出MooMIns方法,利用单张图像中同一物体的多个实例提供隐式多视图几何,通过反向高斯泼溅实现3D重建和6D姿态估计,避免深度先验导致的幻觉。
2026-06-15 cs.CV
Stability-driven Contact Reconstruction From Monocular Color Images
Southeast University(东南大学)
身体接触提供了额外的约束手对象状态重建,以及进一步理解的互动启示的基础。从单目图像中估计这些严重遮挡的区域提出了相当大的挑战。现有的方法优化的手-物体接触驱动的距离阈值或接触标记的数据集之前。然而,由于这些室内数据集中涉及的主体和对象的数量有限,学习到的接触模式不能容易地推广。我们的核心思想是直接从单目图像中重建接触模式,然后在仿真中利用物理稳定性准则对其进行优化,该准则由物理引擎计算的合力和接触分布来定义。与现有解决方案相比,我们的框架可以适应更个性化的手和更多样化的物体形状。此外,一个交互数据集与额外的物理属性被创建,以验证我们的方法的模拟到真实的一致性。通过综合评价,该框架可以重建手-物接触的准确性和稳定性。
2022-05-02 cs.CV
Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
针对现有单目4D重建方法难处理大变形、补全不准等问题,提出Ub4D方法,通过含三个新组件的可微体渲染实现无偏重建,在新数据集上精度和鲁棒性优于SOTA。
2023-05-04 cs.CV
ShapeGaussian: High-Fidelity 4D Human Reconstruction in Monocular Videos via Vision Priors
The University of Texas at Austin(德克萨斯大学奥斯汀分校);PAII Inc(PAII公司)
ShapeGaussian通过整合无模板的视觉先验,在单目视频中实现了高保真的4D人体重建,提高了重建的准确性和鲁棒性。
2026-02-05 cs.CV
Monocular 3D Fingerprint Reconstruction and Unwarping
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
与接触式指纹采集技术相比,非接触式指纹采集具有皮肤变形小、指纹面积大、采集卫生等优点。然而,透视失真是非接触式指纹识别中的一个挑战,它改变了脊线方向、频率和细节点位置,从而导致识别精度下降。我们提出了一种基于学习的纹理形状算法,从一个单一的图像重建三维手指形状和unwarp的原始图像,以抑制透视失真。在非接触式指纹数据库上的实验结果表明,该方法具有较高的三维重建精度。非接触-接触匹配和非接触-非接触匹配实验表明,该方法提高了匹配精度。
2022-05-02 cs.CV
OAHuman: Occlusion-Aware 3D Human Reconstruction from Monocular Images
本文提出OAHuman框架,通过解耦几何重建与纹理合成,提升遮挡环境下单目3D人体重建的鲁棒性和真实性。
2026-03-15 cs.CV
VGG-Tex: A Vivid Geometry-Guided Facial Texture Estimation Model for High Fidelity Monocular 3D Face Reconstruction
Renmin University of China(中国人民大学);Tsinghua University(清华大学);Beihang University(北京航空航天大学);Beijing Academy of Blockchain and Edge Computing(北京区块链与边缘计算研究院)
针对现有单目3D人脸重建方法忽视纹理预测的问题,提出融合多模块的VGG-Tex模型,借助3D参数先验与几何纹理互补机制提升纹理及整体重建保真度,效果优于现有最优方法。
2024-09-17 cs.CV
HDM-Net: Monocular Non-Rigid 3D Reconstruction with Learned Deformation Model
DFKI(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学)
变形物体的单目稠密三维重建是计算机视觉中的一个困难不适定问题。当前的技术要么需要密集的对应关系并依赖于运动和变形线索,要么假设预先给定的至少单个帧的高度准确的重建(称为模板)并以非刚性跟踪的方式操作。密集点轨迹的精确计算通常需要多个帧并且可能在计算上是昂贵的。模板的可用性是一个非常强的先决条件,它将系统操作限制在预定义的环境和场景中。在这项工作中,我们提出了一种新的混合方法,单目非刚性重建,我们称之为混合变形模型网络(HDM-Net)。在我们的方法中,变形模型是由一个深度神经网络学习的,具有特定领域的损失函数的组合。我们训练网络的多个状态的非刚性变形结构与已知的形状在休息。HDM-Net学习不同的重建线索,包括纹理相关的表面变形,阴影和轮廓。我们展示了HDM-Net对训练数据集中未呈现的状态的泛化能力,这些状态具有不可见的纹理和新的光照条件。噪声数据的实验和与其他方法的比较表明,所提出的方法的鲁棒性和准确性,并建议在介入诊断和增强现实的新技术的可能的应用场景。
2019-08-05 cs.CV
MonoFusion: Sparse-View 4D Reconstruction via Monocular Fusion
Carnegie Mellon University(卡内基梅隆大学)
MonoFusion通过单目融合技术,在稀疏视角下实现高质量的动态场景4D重建,优于传统密集多视角方法。
2026-03-01 cs.CV
Mesh4D: 4D Mesh Reconstruction and Tracking from Monocular Video
VGG, University of Oxford(视觉研究院、牛津大学);Nanyang Technological University(南洋理工大学);Naver Labs Europe(Naver欧洲实验室)
Mesh4D通过紧凑的潜在空间和潜在扩散模型,实现从单目视频中高效重建动态物体的4D网格和运动。
2026-01-08 cs.CV
MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views
UC San Diego(加州大学圣地亚哥分校);Qualcomm(高通公司)
本文提出MonoSelfRecon框架,利用体素-SDF、可泛化NeRF和新型自监督损失,首次从单目RGB实现纯自监督、显式且可泛化的室内三维网格重建。
2024-04-10 cs.CV
MonoNPHM: Dynamic Head Reconstruction from Monocular Videos
Technical University of Munich(慕尼黑工业大学);Synthesia;University College London(伦敦大学学院)
提出 MonoNPHM 模型,通过构建潜在外观空间和超维度变形场,利用基于符号距离场的体积渲染从单目 RGB 视频实现动态 3D 头部重建,显著优于基线方法。
2024-05-29 cs.CV
ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos
ETH Zürich(苏黎世联邦理工学院);HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);University of Amsterdam(阿姆斯特丹大学)
针对单目野外视频人体-场景重建需预校准相机、长训练时间的问题,提出ODHSR在线统一框架,结合3D高斯溅射、重建基跟踪与姿态估计、变形模块及遮挡感知等技术,在EMDB等数据集上实现多任务性能提升。
2025-04-18 cs.CV
Dream-to-Recon: Monocular 3D Reconstruction with Diffusion-Depth Distillation from Single Images
Technical University of Munich(慕尼黑技术大学);MCML;SE3 Labs(SE3实验室)
本文提出Dream-to-Recon方法,利用预训练二维扩散模型和深度预测模型从单张图像生成合成几何,蒸馏前馈重建模型,在KITTI-360和Waymo数据集上达到或超越多视图监督方法,尤其擅长动态场景。
2025-08-04 cs.CV
Monocular 3D Object Reconstruction with GAN Inversion
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院);Shanghai AI Laboratory(上海人工智能实验室)
从单目图像中恢复纹理化的3D网格是非常具有挑战性的,特别是对于缺乏3D地面实况的野外物体。在这项工作中,我们提出了MeshInversion,这是一种新的框架,通过利用3D GAN预训练的3D纹理网格合成的生成先验来改进重建。通过根据单视图观察在3D GAN中搜索与目标网格最相似的潜在空间来实现重建。由于预训练的GAN在网格几何形状和纹理方面封装了丰富的3D语义,因此在GAN流形内进行搜索自然地规范了重建的真实性和保真度。重要的是,这种正则化直接应用于3D空间,为2D空间中未观察到的网格部分提供了重要的指导。在标准基准上的实验表明,我们的框架获得了忠实的3D重建与一致的几何和纹理在观察和未观察到的部分。此外,它可以很好地推广到不太常见的网格,例如可变形对象的扩展关节。代码发布于https://github.com/junzhezhang/mesh-inversion
2022-07-20 cs.CV
FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction
Tianjin University(天津大学);Tsinghua University(清华大学);Cardiff University(卡迪夫大学)
提出傅里叶占据场(FOF),一种用2D场紧凑表示3D对象的表示方法,实现单目实时高保真人重建,首个30+FPS框架,在公共和真实数据上验证。
2023-09-04 cs.CV
EPRecon: An Efficient Framework for Real-Time Panoptic 3D Reconstruction from Monocular Video
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
EPRecon提出轻量级深度先验估计模块和双特征提取策略,实现单目视频实时高质量全景三维重建,在ScanNetV2上超越现有方法。
2024-09-20 cs.CV
Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth
针对单目视频深度估计中的尺度不一致问题,提出局部加权线性回归方法利用稀疏锚点恢复尺度偏移,结合630万RGBD图像训练的深度模型,构建了新型3D场景重建流程,在零样本基准上性能提升达50%。
2023-04-06 cs.CV
Exploiting Spatial-Temporal Context for Interacting Hand Reconstruction on Monocular RGB Video
University of Science and Technology of China(中国科学技术大学)
针对单目 RGB 视频中交互手部重建的遮挡等问题,提出利用时空上下文的框架,结合时间约束与穿透检测模块生成物理合理的平滑手部,在公开基准上达到最优性能。
2024-01-05 cs.CV
MorpheuS: Neural Dynamic 360° Surface Reconstruction from Monocular RGB-D Video
University College London(伦敦大学学院)
提出 MorpheuS 框架,结合规范场、形变场与视角相关扩散先验蒸馏,从单目 RGB-D 视频实现动态物体的高保真 360° 表面重建及未观测区域真实补全。
2024-04-04 cs.CV
AquaFlow: A Monocular Gaussian Splatting SLAM for Underwater Streaming Reconstruction
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学)
针对水下场景视觉退化导致的SLAM难题,提出AquaFlow框架,通过微调3D视觉基础模型等技术实现更优的水下重建,在62条水下轨迹数据集上相较WaterSplat-SLAM性能显著提升。
2026-08-25 cs.CV
3D Trajectory Reconstruction of Moving Points Based on a Monocular Camera
College of Aerospace Science and Engineering, National University of Defense Technology(国防科技大学航天科学与工程学院);National University of Defense Technology(国防科技大学)
本文针对单目相机在受限观测条件下重建运动点三维轨迹的病态问题,提出基于时间多项式和岭估计的算法,并引入自动定阶与可重建性定义,实验验证了其可行性、准确性和效率。
2025-02-27 cs.CV
SUP-NeRF: A Streamlined Unification of Pose Estimation and NeRF for Monocular 3D Object Reconstruction
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);Michigan State University(密歇根州立大学)
针对单目3D目标重建中尺度-深度歧义导致姿态优化易失败、依赖外部检测器的问题,提出SUP-NeRF统一框架,通过解耦尺寸与姿态估计、引入相机不变投影框表示,实现了最优重建与姿态估计效果及优异跨数据集泛化能力。
2024-07-14 cs.CV
DGNS: Deformable Gaussian Splatting and Dynamic Neural Surface for Monocular Dynamic 3D Reconstruction
Industrial Research Organisation, Canberra, ACT Australia;College of Engineering Computing \& Cybernetics, The Australian National University, Canberra, ACT Australia;Faculty of Engineering, The University of Hong Kong, Hong Kong SAR China;Industrial Research Organisation;College of Engineering Computing \& Cybernetics, The Australian National University;Faculty of Engineering, The University of Hong Kong
本文提出DGNS混合框架,结合可变形高斯泼溅与动态神经表面,通过深度图引导光线采样与几何监督,实现单目动态3D重建与新视角合成的最先进性能。
2025-08-14 cs.CV
Template-based Monocular 3D Shape Recovery using Laplacian Meshes
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们表明,通过扩展拉普拉斯形式主义,这是第一次在图形社区引入正则化3D网格,我们可以把单目3D形状重建的可变形表面给出对应的参考图像成一个更好的问题。这使我们能够通过简单地解决线性最小二乘问题来快速可靠地消除离群值。这产生初始3D形状估计,其不一定准确,但其2D投影是准确的。然后通过约束优化问题对初始形状进行细化,以输出最终的表面重建。我们的方法使我们能够降低表面重建问题的维数,而不牺牲精度,从而允许实时实现。
2015-05-06 cs.CV
Object Level Depth Reconstruction for Category Level 6D Object Pose Estimation From Monocular RGB Image
Renmin University of China(中国人民大学);Nanjing University of Science and Technology(南京理工大学);Nreal;Tsinghua University(清华大学)
最近,基于RGBD的类别级6D对象姿态估计在性能上取得了有希望的改进,然而,对深度信息的要求阻碍了更广泛的应用。为了解决这个问题,本文提出了一种新的方法命名为对象级深度重建网络(OLD-Net),仅以RGB图像作为输入的类别级6D对象位姿估计。我们建议通过将类别级形状变形为对象级深度和规范的NOCS表示来直接从单目RGB图像预测对象级深度。引入了两个新的模块,即归一化全球位置提示(NGPH)和形状感知解耦深度重建(SDDR)模块,以学习高保真的对象级深度和精细的形状表示。最后,通过将预测的规范表示与反向投影的对象级深度对齐来求解6D对象姿态。在具有挑战性的CAMERA 25和REAL 275数据集上进行的大量实验表明,我们的模型虽然简单,但具有最先进的性能。
2022-08-28 cs.CV
GeoHand: Unlocking Prior Geometry Knowledge for Monocular 3D Hand Reconstruction
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Zhongguancun Academy(中关村学院);School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
本文提出GeoHand框架,通过解锁冻结的基础单目几何估计器MoGe2中的高质量几何先验,结合地图级GeoAdapter和门控跨模态token融合策略,实现高精度手形重建,尤其在严重遮挡和手-物体交互场景中表现优异。
2026-05-17 cs.CV
RealDenseFace: Real-time Monocular 3D Face Reconstruction from Dense UV-space Priors
Zhejiang University(浙江大学)
RealDenseFace是一种基于优化的实时单目3D人脸重建方法,通过定制高斯-牛顿求解器实现快速收敛,在NeRSemble SVFR基准上精度顶尖,在线跟踪帧率超80 FPS,离线序列重建速度较基线快20倍以上。
2026-08-11 cs.CV