DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using Single-View Depth and Gradient Predictions
Imperial College London（伦敦帝国理工学院）；Dyson Technology Ltd.（戴森科技有限公司）
虽然由稀疏单目同时定位和映射（SLAM）系统创建的基于关键点的地图对于相机跟踪是有用的，但是对于许多机器人任务可能需要密集的3D重建。涉及深度相机的解决方案在范围和室内空间方面受到限制，并且基于使帧之间的光度误差最小化的密集重建系统通常受到不良约束并且遭受尺度模糊。为了解决这些问题，我们提出了一种3D重建系统，该系统利用卷积神经网络（CNN）的输出来为包括度量尺度的关键帧生成完全密集的深度图。我们的系统DeepFusion能够在GPU上生成实时的【形】密集重建。它使用网络产生的学习不确定性，以概率方式将半密集多视图立体算法的输出与CNN的深度和梯度预测融合在一起。虽然网络只需要在每个关键帧运行一次，但我们能够对每个新帧的深度图进行优化，以便不断利用新的几何约束。基于其在合成和真实世界数据集上的性能，我们证明了DeepFusion能够至少与其他类似系统一样好地执行。
2022-07-25 cs.CV cs.RO
SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields
Inria（法国国家信息与自动化研究所）
针对单目3D重建依赖深度监督的问题，提出SceneRF自监督方法，结合NeRF、显式深度优化与概率采样策略，仅用带位姿图像序列训练，在室内外数据集上的新深度视图合成与重建效果均优于基线。
2023-08-24 cs.AI cs.CV cs.GR
ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
从单目视频重建3D网格的关键要素之一是生成每帧的深度图。然而，在结肠镜视频重建的应用中，产生高质量的深度估计是具有挑战性的。神经网络很容易被光度干扰所欺骗，或者无法捕捉结肠表面的复杂形状，从而预测出导致网格破裂的缺陷形状。为了从根本上提高结肠镜3D重建的深度估计质量，在这项工作中，我们设计了一组训练损失来处理结肠镜数据的特殊挑战。为了更好地训练，开发了一组几何一致性目标，使用深度和表面法线信息。此外，经典的光度损失扩展与特征匹配，以补偿照明噪声。由于训练损失足够强大，与以前利用先验深度知识的工作相比，我们名为ColDE的自监督框架能够生成更好的结肠镜检查数据深度图。用于重建，我们的网络能够实时重建高质量的结肠网格，无需任何后处理，使其成为第一个临床应用。
2021-11-19 cs.CV cs.LG eess.IV
Accelerating Laue Depth Reconstruction Algorithm with CUDA
Argonne National Lab（阿贡国家实验室）
劳厄衍射显微镜实验使用多色劳厄微衍射技术来检查材料的结构，在所有三个维度上具有亚微米空间分辨率。在该实验期间，测量局部晶体学取向、取向梯度和应变作为将以HDF5图像格式记录的特性。记录的图像将用深度重建算法处理，用于未来的数据分析。但是目前的深度重建算法消耗了相当多的处理时间，并且可能需要长达2周的时间来重建从单个实验收集的数据。为了提高深度重建的计算速度，本文提出了一种可扩展的GPU程序解决方案的深度重建问题。测试结果表明，对于各种大小的输入数据，运行时间将比现有的CPU设计快10到20倍。
2022-01-20 cs.CV cs.PF physics.data-an
Biomedical Image Reconstruction: A Survey
HKUST（香港科技大学）
生物医学图像重建研究已经发展了五十多年，产生了各种技术，如中心和滤波反投影。随着深度学习技术的兴起，生物医学图像重建领域经历了从分析和迭代方法到深度学习方法的巨大范式转变为了推动对生物医学图像重建的先进深度学习技术的科学讨论，自2018年以来，每年都会举办一次专注于深度生物医学图像重建的研讨会MLMIR。本综述旨在提供生物医学图像重建的基础知识和生物医学图像重建的当前研究趋势的基础上发表的MLMIR。本综述旨在让机器学习研究人员对生物医学图像重建领域有一个大致的了解，并了解当前深度生物医学图像重建的研究趋势。
2023-01-04 cs.CV eess.IV
3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）
我们提出了一种方法，用于从输入视频中对放置在平面上的单个对象进行3D重建和分割。我们的方法是执行密集的深度图估计多个视图使用建议的目标函数，保留细节。然后，使用对估计误差具有鲁棒性的建议的隐式表面函数来融合所得到的深度图，从而产生整个场景的平滑表面重建。最后，使用建议的2D-3D分割，将图像和深度线索与先验和正则化的3D体积和2D分割从剩余的场景中分割出对象。我们在我们的Object-Videos数据集上定性评估3D重建，与融合，多视图立体和分割基线进行比较。我们还使用RGBD场景V2数据集[Henry et al. 2013]定量评估了密集深度估计，并使用Object-Videos数据集的关键帧注释进行了分割。
2016-07-27 cs.CV
3D Reconstruction of non-visible surfaces of objects from a Single Depth View -- Comparative Study
Poznan University of Technology（波兹南理工大学）
本文针对单RGB-D视图下的物体非可见表面重建问题，对比了DeepSDF和MirrorNet两种方法，实验表明MirrorNet在大多数类别中速度更快且重建误差更小。
2025-01-27 cs.CV cs.RO
Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction
Stanford University（斯坦福大学）
研究稀疏视图神经重建的单目深度监督，用Depth Anything V2作密集单目深度先验，经尺度变换拟合对齐预测，通过仅RGB基线模型生成的光度掩码选择性应用深度监督，在不同场景评估，结果表明应选择性适度加权应用。
2026-09-01 cs.CV cs.GR
3D Vessel Reconstruction in OCT-Angiography via Depth Map Estimation
Cixi Institute of Biomedical Engineering, Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences（中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所）；University of Liverpool（利物浦大学）；University of Southern California（南加州大学）；Southern University of Science and Technology（南方科技大学）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，光学相干断层扫描血管造影（OCTA）越来越多地用于眼部和全身疾病的管理。在临床实践中，通常使用手动或自动分析2D OCTA图像（正面血管造影片）中的血管，但这可能会丢失对临床决策有用的血管或毛细血管的丰富的3D空间分布信息。在本文中，我们介绍了一种新的三维血管重建框架的基础上估计血管深度图从OCTA图像。首先，我们设计了一个具有结构约束的网络来预测OCTA图像中血管的深度。为了提高预测深度图在整体结构和像素级别上的准确性，我们将MSE和SSIM损失组合为训练损失函数。最后，利用估计的深度图和2D血管分割结果实现3D血管重建。实验结果表明，该方法对OCTA图像的深度预测和血管三维重建是有效的。结果可用于指导随后的血管分析
2021-02-26 cs.CV cs.LG eess.IV
Multi-view Reconstruction via SfM-guided Monocular Depth Estimation
Zhejiang University（浙江大学）；Beijing Normal Univeristy（北京师范大学）
针对单目深度存在尺度歧义、难以直接用于多视图几何重建的问题，本文提出将 SfM 多视图先验引入深度估计，显著提升深度质量，并在多类场景中超越现有 MVS 方法。
2025-03-18 cs.CV
DepR: Depth Guided Single-view Scene Reconstruction with Instance-level Diffusion
ShanghaiTech University（上海科技大学）；UC San Diego（加州大学圣地亚哥分校）；Lambda, Inc.（Lambda公司）；Stanford University（斯坦福大学）
本研究提出深度引导的单视角场景重建框架DepR，通过在训练与推理全程利用深度信息，结合实例级扩散与组合式范式，在有限合成数据训练下实现了SOTA性能与强泛化性。
2025-07-30 cs.CV
Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction
PLA Strategic Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）
我们提出了一个有效的多视图立体视觉（MVS）网络的三维重建从多视图图像。虽然先前的基于学习的重建方法执行得相当好，但是它们中的大多数使用在每个平面处具有固定深度假设的平面扫描体积来以固定分辨率估计深度图，这需要密集采样的平面以获得期望的精度，因此难以实现高分辨率深度图。在本文中，我们介绍了一个粗到细的深度推理策略，以实现高分辨率的深度。该策略估计粗略级别的深度图，而更精细级别的深度图被认为是来自先前级别的具有逐像素深度残差的上采样深度图。因此，我们缩小了深度搜索范围与先验信息从以前的水平和构建新的成本量从像素级深度残差进行深度图细化。然后，由于所有参数在不同级别之间共享，因此可以迭代地实现最终的深度图。在每个层次上，自注意层被引入到特征提取块中，用于捕获深度推理任务的长程依赖关系，并且使用相似性度量而不是先前工作中使用的基于方差的方法来生成成本体积。实验在DTU基准数据集和最近发布的BlendedMVS数据集上进行。结果表明，我们的模型可以优于大多数最先进的（SOTA）方法。该项目的代码库位于https://github.com/ArthasMil/AACVP-MVSNet。
2020-11-25 cs.CV cs.LG eess.IV
S&CNet: Monocular Depth Completion for Autonomous Systems and 3D Reconstruction
Beihang University（北京航空航天大学）；Peking University（北京大学）；Institute for Infocomm Research（信息通信研究院）
密集深度完井对于自主系统和3D重建至关重要。在本文中，提出了一种轻量级而有效的网络（S\&CNet），以获得一个良好的权衡效率和精度之间的密集深度完成。引入双流注意模块（S\&C增强器）来度量提取特征的空间方向和通道方向的全局范围关系，以提高性能。设计了一个由粗到精的网络，并将所提出的S &C增强器插入到粗估计网络的编码器和解码器网络之间。实验结果表明，我们的方法实现了竞争力的性能与现有的作品KITTI数据集，但几乎快四倍。建议的S\&C增强器可以插入到其他现有的作品，并提高其性能显着与一个微不足道的额外的计算成本。
2019-08-29 cs.CV eess.IV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu（奥卢大学）；Aalto University（阿尔托大学）
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器（如Microsoft Kinect）生成，深度图都有噪声，并且可能具有较差的初始配准。在本文中，我们介绍了一种方法，这是能够处理离群值，特别是，甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中，以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后，将原始深度图重新配准到融合点云以细化原始相机外部参数。然后，再次使用细化的外部参数执行融合。重复此过程，直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
More Than Meets the Eye: Self-Supervised Depth Reconstruction From Brain Activity
The Weizmann Institute of Science（魏茨曼科学研究所）
在过去的几年里，使用深度学习工具从fMRI大脑记录中重建观察到的自然图像取得了重大进展。在这里，我们第一次表明，观察到的2D自然图像的密集3D深度图也可以直接从fMRI大脑记录中恢复。我们使用一种现成的方法来估计自然图像的未知深度图。这适用于以下两种情况：（1）在功能磁共振成像扫描仪中呈现给受试者的少量图像（我们有功能磁共振成像记录的图像-称为“配对”数据），以及（2）大量没有功能磁共振成像记录的自然图像（“非配对数据”）。然后将估计的深度图用作辅助重建标准，以直接从fMRI进行深度重建的训练。我们提出了两种主要的方法：仅深度恢复和联合图像深度RGBD恢复。由于可用的“配对”训练数据（具有fMRI的图像）的数量很少，我们通过对许多“未配对”数据（没有fMRI的自然图像和深度图）进行自监督循环一致性训练来丰富训练数据。这是使用我们新定义和训练的基于深度的感知相似性度量作为重建标准来实现的。我们表明，预测的深度图直接从功能磁共振成像优于其间接顺序恢复重建图像。我们进一步表明，从早期皮层视觉区的激活占主导地位，我们的深度重建结果，并提出手段来表征功能磁共振成像体素的深度信息调整的程度。这项工作增加了一个重要的解码信息层，扩展了目前视觉大脑解码能力的范围。
2022-03-22 cs.CV cs.LG q-bio.NC
UniFusion: Sparse-View 4D Reconstruction via Unified Spatio-temporal Depth Alignment
State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能全国重点实验室，北京通用人工智能研究院）
针对稀疏视角视频4D重建中单目深度不一致的问题，提出统一时空深度对齐框架，利用时空神经场联合解决跨视角和时间不一致，无需分割掩码，提升动态高斯溅射重建的精度与一致性。
2026-09-09 cs.CV
Matching-based Depth Camera and Mirrors for 3D Reconstruction
University of Montreal（蒙特利尔大学）；University of Science and Technology（科技大学）
三维物体模型的重建在计算机视觉的许多应用中起着重要的作用。本文提出了一种简单的方法来构建一个更便宜的系统，只使用一个深度相机和2个或更多的镜子进行3D重建，而不是像许多研究中那样使用一组相机和/或传感器。每个反射镜被等效地视为另一视点处的深度相机。由于所有场景数据仅由一个深度传感器提供，因此我们的方法可以应用于移动对象，并且不需要任何同步协议。一些实验进行了易于评估的对象，以确认我们所提出的系统的重建精度。
2019-08-17 cs.CV
Object Level Depth Reconstruction for Category Level 6D Object Pose Estimation From Monocular RGB Image
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；Nreal；Tsinghua University（清华大学）
最近，基于RGBD的类别级6D对象姿态估计在性能上取得了有希望的改进，然而，对深度信息的要求阻碍了更广泛的应用。为了解决这个问题，本文提出了一种新的方法命名为对象级深度重建网络（OLD-Net），仅以RGB图像作为输入的类别级6D对象位姿估计。我们建议通过将类别级形状变形为对象级深度和规范的NOCS表示来直接从单目RGB图像预测对象级深度。引入了两个新的模块，即归一化全球位置提示（NGPH）和形状感知解耦深度重建（SDDR）模块，以学习高保真的对象级深度和精细的形状表示。最后，通过将预测的规范表示与反向投影的对象级深度对齐来求解6D对象姿态。在具有挑战性的CAMERA 25和REAL 275数据集上进行的大量实验表明，我们的模型虽然简单，但具有最先进的性能。
2022-08-28 cs.CV
EndoPerfect: High-Accuracy Monocular Depth Estimation and 3D Reconstruction for Endoscopic Surgery via NeRF-Stereo Fusion
University of Washington（华盛顿大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；AIRS
针对内窥镜鼻窦手术中iCT的局限，提出基于NeRF的迭代在线学习方法，实现单目深度估计与三维重建，精度达亚毫米级，可作为iCT替代方案。
2025-02-28 cs.CV eess.IV
Canonical Pose Reconstruction from Single Depth Image for 3D Non-rigid Pose Recovery on Limited Datasets
Northern Border University（北方边境大学）；Cardiff University（卡迪夫大学）
针对非刚性物体3D重建需大量训练数据的问题，提出规范姿态重建模型，将单视角深度图转为规范形式以应用刚性重建技术，仅用约300样本即在动物和人类数据集上超越现有方法。
2025-05-23 cs.CV
SimpleRecon: 3D Reconstruction Without 3D Convolutions
Niantic（Niantic公司）；UCL（伦敦大学学院）；University of Oxford（牛津大学）；Google（谷歌）
传统的室内场景重建分为两个阶段：逐幅图像的深度估计、深度融合和表面重建。最近，出现了一系列直接在最终3D体积特征空间中执行重建的方法。虽然这些方法已经显示出令人印象深刻的重建结果，但它们依赖于昂贵的3D卷积层，限制了它们在资源受限环境中的应用。在这项工作中，我们反而回到了传统的路线，并展示了如何专注于高质量的多视图深度预测，从而使用简单的现成的深度融合实现高度准确的3D重建。我们提出了一种简单的最先进的多视图深度估计器，具有两个主要贡献：1）精心设计的2D CNN，其利用强图像先验以及平面扫描特征量和几何损失，结合2）将关键帧和几何元数据集成到成本量中，这允许知情的深度平面评分。我们的方法在深度估计和ScanNet和7-Scenes上的3D重建方面接近或优于当前最先进的技术，但仍然允许在线实时低内存重建。代码、模型和结果可在https://nianticlabs.github.io/simplerecon上获得
2022-08-31 cs.CV
Real-time Vision-based Depth Reconstruction with NVidia Jetson
Artificial Intelligence Research Institute, Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院联邦研究中心“计算机科学与控制”人工智能研究所）；Peoples’ Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
基于视觉的深度重建是计算机视觉中一个被广泛研究但仍缺乏通用解决方案的具有挑战性的问题。从单个图像重建深度对于移动机器人特别有价值，因为它可以嵌入到现代基于视觉的同时定位与地图构建（vSLAM）方法中，为它们提供构建真实比例尺的精确地图所需的度量信息。典型地，深度重建现在通过全卷积神经网络（FCNN）来完成。在这项工作中，我们对几种FCNN架构进行了实验，并引入了一些增强功能，旨在提高推理的有效性和效率。我们通过实验确定了提供最佳性能/精度权衡的解决方案，并且能够在NVidia Jetson上运行，对于320 x 240输入，帧速率超过16 FPS。我们还通过在NVidia Jetson TX 2上对未知室内环境进行实时的【形】单目vSLAM来评估所建议的模型。模型的开源实现和机器人操作系统（ROS）的推理节点可在https://github.com/CnnDepth/tx2_fcnn_node上获得。
2019-07-16 cs.CV cs.RO
Reconstruction of a 3D wireframe from a single line drawing via generative depth estimation
Creative Machines Lab, Columbia University（创意机器实验室，哥伦比亚大学）
本文提出一种生成方法，将线稿重建视为条件密集深度估计任务，利用Latent Diffusion Model和ControlNet风格的条件框架解决正投影的固有歧义，并通过图遍历的BFS掩码策略支持迭代的线稿-重建-线稿工作流，实现从稀疏2D线稿到密集3D表示的转换。
2026-09-11 cs.CV
On the Benefit of Adversarial Training for Monocular Depth Estimation
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3DUniversum）；Google Research（谷歌研究院）
在本文中，我们讨论了将对抗训练添加到单目深度估计任务中的好处。可以在立体图像对上的自监督设置中训练模型，其中深度（视差）是从右到左的图像重建流水线中的中间结果。对于图像重建和视差预测的质量，使用不同损失的组合，包括L1图像重建损失和左右视差平滑度。这些是局部像素损失，而深度预测需要全局一致性。因此，我们将自监督网络扩展为生成对抗网络（GAN），包括一个可以区分重建（假）图像和真实图像的神经网络。我们评估了Vanilla GANs，LSGAN和Wasserstein GANs，并结合不同的像素重建损失。基于广泛的实验评估，我们得出结论，对抗训练是有益的，当且仅当重建损失不太受约束。尽管对抗性训练看起来很有前途，因为它促进了全局一致性，但当约束重建损失与批量归一化结合使用时，非对抗性训练优于（或与）使用GAN训练的任何方法。基于我们的实验评估的见解，我们通过使用批量归一化和不同的输出尺度获得了最先进的单目深度估计结果。
2019-10-29 cs.CV eess.IV
EndoDDC: Learning Sparse to Dense Reconstruction for Endoscopic Robotic Navigation via Diffusion Depth Completion
Department of Electronic Engineering, The Chinese University of Hong Kong（电子工程系，香港中文大学）
EndoDDC通过扩散模型整合图像、稀疏深度信息和深度梯度特征，提升内窥镜环境下深度重建的准确性和鲁棒性。
2026-02-26 cs.CV
ActMVS: Active Scene Reconstruction with Monocular Multi-View Stereo
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）
提出ActMVS框架，通过视图因子图构建和全局深度优化，实现单目相机在线生成高质量、全局一致的密集深度图，支持机器人/UAV的主动场景重建与安全轨迹规划。
2026-05-31 cs.CV cs.RO
Environment reconstruction on depth images using Generative Adversarial Networks
Institute of Mathematic and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学学院）；Computer Science College, Federal University of Uberlândia（乌贝兰迪亚联邦大学计算机科学学院）
强大的感知系统对于自动驾驶汽车的安全性至关重要。为了在复杂的城市环境中导航，需要具有可靠数据的精确传感器。理解周围环境的任务本身就很难;对于智能车辆来说，由于车辆导航的高速，这一任务更加关键。为了在城市环境中成功导航，感知系统必须快速接收、处理和执行动作，以确保乘客和行人的安全。立体相机在许多级别收集环境信息，例如，深度，颜色，纹理，形状，这保证了对周围环境的充分了解。即便如此，与人类相比，计算方法缺乏处理缺失信息的能力，即，闭塞。对于许多感知任务，由于环境信息不完整，这种数据的缺乏可能是一个障碍。在本文中，我们解决这个问题，并讨论最近的方法来处理闭塞地区的推断。然后，我们引入了一个损失函数，重点是视差和环境深度数据重建，和生成对抗网络（GAN）架构能够处理闭塞信息推理。我们的研究结果提出了一个连贯的深度图重建，估计被不同的障碍物遮挡的区域。我们的最后贡献是一个损失函数集中在视差数据和GAN能够提取深度特征和估计深度数据的视差图像修复。
2019-12-09 cs.CV cs.RO
ArticulatedFusion: Real-time Reconstruction of Motion, Geometry and Segmentation Using a Single Depth Camera
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出了一种实时的【形】动态场景重建方法，能够再现运动，几何形状，并同时从一个单一的RGB-D相机的实时深度流分割。我们的方法融合几何帧的帧，并使用分割增强的节点图结构来驱动注册步骤中的几何变形。提出了一种两级节点运动优化算法。节点运动的优化空间和物理上合理的变形范围大大减少，利用关节运动的优势，这是解决了一个有效的节点图分割方法。与以往的基于融合的动态场景重建方法相比，我们的实验表明，鲁棒性和改进的切向和遮挡运动的重建结果。
2018-07-19 cs.CV
Sparse2Dense: From direct sparse odometry to dense 3D reconstruction
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出了一种基于深度学习的密集单目SLAM方法。与现有方法相比，该框架使用学习的表面法线通过稀疏到密集的映射来构建密集的3D模型。利用单视点学习的深度估计作为单目视觉里程计的先验，我们获得了精确的定位和高质量的深度重建。实验结果表明，与现有的单目密集SLAM方法相比，该方法显著提高了视觉跟踪和深度预测的性能.
2019-03-21 cs.CV cs.RO
Tabletop Transparent Scene Reconstruction via Epipolar-Guided Optical Flow with Monocular Depth Completion Prior
University of Michigan（密歇根大学）；Amazon Lab126（亚马逊Lab126）
针对RGB-D相机重建透明物体难题，提出两阶段流程：先利用单目深度补全获取形状先验，再通过极线引导光流融合多视角先验，实现高质量跨视角一致的3D重建。
2023-10-15 cs.CV cs.RO
Enhancing Glass Surface Reconstruction via Depth Prior for Robot Navigation
Shenzhen Key Laboratory of Robotics and Computer Vision（机器人与计算机视觉深圳重点实验室）；Southern University of Science and Technology（南方科技大学）；CKS Robotics Institute（CKS机器人研究院）
本文提出一种无需训练的框架，利用深度基础模型作为结构先验，结合鲁棒的局部RANSAC对齐方法，融合原始传感器深度数据，从而避免错误的玻璃测量污染，恢复准确的度量尺度，并引入新的RGB-D数据集用于玻璃区域的几何真实值。
2026-07-24 cs.CV cs.RO
Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors
School of Software, Tsinghua University（清华大学软件学院）；China Telecom（中国电信）；Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系）
研究稀疏视图的3D重建难题，提出基于3D高斯点云的方法，用法线引导深度传播扩展深度信息，引入异常深度边缘感知正则化处理深度不连续，实验表明该方法优于现有技术。
2026-07-07 cs.CV
Sparse Depth Sensing for Resource-Constrained Robots
Laboratory for Information & Decision Systems, Massachusetts Institute of Technology（麻省理工学院信息与决策系统实验室）
我们考虑机器人必须在未知环境中导航但没有足够的机载功率或有效载荷来携带传统深度传感器（例如，3D激光雷达），因此只能获取少量（逐点）深度测量。我们解决以下问题：是否有可能重建的几何形状的一个未知的环境，使用稀疏和不完整的深度测量？从不完整的数据重建通常是不可能的，但是当机器人在人造环境中操作时，深度表现出一定的规律性（例如，许多平面表面只有几个边缘）;我们利用这种规律性从少量测量中推断深度。我们的第一个贡献是制定的深度重建问题，桥梁机器人感知与压缩传感文献中的信号处理。第二个贡献包括一组正式的结果，确定在2D和3D问题的深度重建的准确性和稳定性，并完全表征的轮廓，我们可以重建的几何形状。我们的第三个贡献是一套实用的深度重建算法：我们的配方直接转化为基于凸规划的深度估计算法。在现实世界的问题中，这些凸规划非常大，通用求解器相对较慢。出于这个原因，我们讨论的ad-hoc求解器，使快速深度重建在实际问题中。最后一个贡献是在2D和3D问题中进行了广泛的实验评估，包括在模拟实例上运行Monte Carlo和在多个真实数据集上进行测试。实验结果证实，该方法确保了准确的深度重建，优于基于插值的策略，即使在结构化环境的假设被违反时也表现良好。
2017-10-15 cs.AI cs.CV cs.RO
Perspective-aware fusion of incomplete depth maps and surface normals for accurate 3D reconstruction
Austrian Institute of Technology（奥地利技术研究所）；Center for Vision, Automation and Control（视觉、自动化与控制中心）；Competence unit High-Performance Vision System（高性能视觉系统能力单元）
本文提出一种视角感知的对数深度融合方法，通过显式考虑透视投影，提升基于单视角相机的深度和法线图的3D重建精度，并利用法线信息填补缺失深度数据。
2026-02-07 cs.CV eess.SP
Depth Reconstruction of Translucent Objects from a Single Time-of-Flight Camera using Deep Residual Networks
Yonsei University（延世大学）
我们提出了一种新的方法来恢复半透明物体从一个单一的飞行时间（ToF）深度相机使用深残差网络。当使用ToF深度相机记录半透明对象时，由于与周围环境的复杂光交互，它们的深度值受到严重污染。虽然现有的方法建议新的捕获系统或开发的深度失真模型，他们的解决方案是不太实际的，因为严格的假设或沉重的计算复杂性。在本文中，我们采用深残差网络建模的ToF深度失真造成的不透明。为了充分利用目标的局部信息和语义信息，采用多尺度面片来预测深度值。基于我们的基准数据库的定量和定性评价，我们证明了该算法的有效性和鲁棒性。
2018-09-28 cs.CV
Variational Depth from Focus Reconstruction
Technische Universität München（慕尼黑工业大学）；Universität zu Lübeck（吕贝克大学）
本文讨论了从一系列不同聚焦的图像重建深度图的问题，也称为焦点深度或焦点形状。我们建议将焦点深度问题描述为一个变分问题，包括一个光滑但非凸的数据保真度项和一个凸的非光滑正则化，这使得该方法对噪声具有鲁棒性，并导致更真实的深度图。此外，我们提出了解决非凸最小化问题的线性交替方向的乘法器（ADMM），允许非常有效地最小化能量。模拟以及真实数据的经典方法的数值比较。
2014-11-05 cs.CV math.OC
Event-Based Structured Light for Depth Reconstruction using Frequency Tagged Light Patterns
本文提出了一种利用异步时间驱动图像传感器输出进行三维深度估计的新方法。与高速数字光处理投影系统相结合，我们的方法实现了高达数百赫兹的3D点云的实时重建。与现有技术的方法不同，我们引入了一种依赖于使用频率标记光图案的方法，该方法利用基于事件的传感器的高时间分辨率。这种方法简化了匹配，因为每个图案的唯一频率允许所显示的图案与基于事件的传感器之间的任何容易的匹配。结果显示在真实的场景。
2018-11-27 cs.CV
Depth Reconstruction from Sparse Samples: Representation, Algorithm, and Sampling
University of California at San Diego（加州大学圣迭戈分校）；Purdue University（普渡大学）
三维技术和计算机视觉应用的快速发展，推动了深度获取和估计方法的发展。然而，现有的大多数硬件和软件方法由于深度精度差、分辨率低和计算成本高而性能有限。在本文中，我们提出了一种计算效率高的方法来恢复密集的深度图从稀疏的测量。我们做了三个贡献。首先，我们提供的经验证据表明，深度图可以编码更稀疏比自然图像使用常见的字典，如小波和contourlet。我们还表明，一个组合的小波-轮廓波字典实现更好的性能比单独使用字典。其次，我们提出了交替方向的乘法器（ADMM），以实现快速重建。提出了一种多尺度温启动方法，以加快收敛速度。第三，我们提出了一个两阶段的随机抽样方案，以最佳选择的采样位置，从而最大限度地提高重建性能，为任何给定的采样预算。实验结果表明，该方法产生高质量的密集深度估计，并对噪声测量具有鲁棒性。在立体匹配的实际数据的应用程序进行了演示。
2015-02-12 cs.CV
Geometry-aware Two-scale PIFu Representation for Human Reconstruction
Zhejiang University（浙江大学）；City University of Hong Kong（香港城市大学）
虽然基于PIFu的三维人体重建方法很流行，但恢复的细节质量仍然不令人满意。在稀疏（例如，3个RGBD传感器）捕获设置，深度噪声通常在PIFu表示中被放大，导致平坦的面部表面和几何形状易出错的身体。在本文中，我们提出了一种新型的几何感知双尺度PIFu，用于根据稀疏、有噪输入进行3D人体重建。我们的关键思想是利用深度去噪和3D重建的互补特性，学习双尺度PIFU表示，以分别重建高频面部细节和一致的身体。为此，我们首先将深度去噪和3D重建作为一个多任务学习问题。深度去噪过程丰富了重建特征的局部几何信息，而重建过程利用全局拓扑信息增强了深度去噪。然后，我们建议使用基于去噪深度和几何感知特征的两个MLP来学习双尺度PIFu表示。大量的实验表明，我们的方法在重建面部细节和机构的不同姿态和国家的最先进的方法的优越性。
2022-09-27 cs.CV
Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction
University of Innsbruck（因斯布鲁克大学）；LEC GmbH（LEC有限公司）；INNIO Jenbacher GmbH & Co OG（INNIO颜巴赫两合公司）
实际物体深度的实时估计是各种自主系统任务（如3D重建、场景理解和状态评估）的基本模块。在机器学习的过去十年中，深度学习方法在计算机视觉任务中的广泛部署已经产生了成功地从简单的RGB模态实现逼真深度合成的方法。这些模型中的大多数基于成对的RGB深度数据和/或视频序列和立体图像的可用性。由于缺乏序列、立体数据和RGB深度对，使得深度估计成为一个完全无监督的单图像传输问题，迄今为止几乎没有被探索过。本研究建立在生成神经网络领域的最新进展，以建立完全无监督的单炮深度估计。RGB到深度和深度到RGB传输的两个生成器被实现，并使用Wasserstein-1距离，一种新的感知重建项和手工制作的图像滤波器同时优化。我们使用工业表面深度数据以及德克萨斯州3D人脸识别数据库，CelebAMask-HQ人像数据库和记录身体深度的SURREAL数据集对模型进行了全面评估。对于每个评估数据集，与最先进的单图像传输方法相比，所提出的方法显示出深度精度的显着增加。
2022-06-08 cs.CV cs.LG
NSL-SLAM: High-Fidelity Neural Structured-Light Depth for Practical SLAM and Reconstruction
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Computer Science and Technology, Beihang University（北京航空航天大学计算机科学与技术学院）；Yuanpei College, Peking University（北京大学元培学院）
研究针对高保真结构光深度定制实用SLAM系统，核心方法是强化深度感知并构建以深度为中心的管道，主要贡献是提升跟踪精度、降低轨迹偏差，实现实用稳健的SLAM且运行速度达20.9 FPS。
2026-09-14 cs.CV
360Recon: An Accurate Reconstruction Method Based on Depth Fusion from 360 Images
针对360度图像因宽视场畸变导致多视图重建几何一致性问题，提出360Recon算法，通过球面特征提取模块结合3D代价体与多尺度增强特征，在公开数据集上实现了高精度重建与先进性能。
2024-11-28 cs.CV
FineRecon: Depth-aware Feed-forward Network for Detailed 3D Reconstruction
Apple（苹果公司）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
本文提出FineRecon，通过分辨率无关TSDF监督、多视图深度引导及高分辨率图像特征条件化，提升前馈3D重建的几何细节与准确性。
2023-08-18 cs.CV
TSPE-GS: Probabilistic Depth Extraction for Semi-Transparent Surface Reconstruction via 3D Gaussian Splatting
针对3D高斯溅射难以重建半透明表面的问题，提出TSPE-GS方法，通过概率深度建模与渐进式TSDF融合实现半透明内外表面重建，可泛化且无额外训练开销，显著提升半透明场景重建效果。
2025-11-13 cs.CV
End-to-end Learning for Joint Depth and Image Reconstruction from Diffracted Rotation
University of Padova（帕多瓦大学）；Sony Europe B.V.（索尼欧洲有限公司）
单目深度估计仍然是一个开放的挑战，由于不适定的性质，手头的问题。基于深度学习的技术已经被广泛研究，并且被证明能够产生可接受的深度估计精度，即使在单个RGB输入图像内缺乏有意义和鲁棒的深度线索也会严重限制它们的性能。使用相位和振幅掩模的基于编码孔径的方法通过深度相关的点扩散函数（PSF）以降低的图像质量为代价对2D图像内的强深度线索进行编码。在本文中，我们提出了一种新的端到端的学习方法，从衍射旋转的深度。产生作为散焦函数的旋转点扩散函数（RPSF）的相位掩模与深度估计神经网络的权重联合优化。为此，我们引入了一个可微的物理模型的光圈掩模，并利用相机成像流水线的准确模拟。我们的方法需要一个明显不那么复杂的模型和较少的训练数据，但它优于现有的方法在室内基准的单目深度估计的任务。此外，我们解决了图像退化的问题，将一个非盲和非均匀的图像去模糊模块，以恢复清晰的全聚焦图像从其RPSF模糊的副本。
2022-04-14 cs.CV eess.IV
M3D: Dual-Stream Selective State Spaces and Depth-Driven Framework for High-Fidelity Single-View 3D Reconstruction
University of Tsukuba（筑波大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出M3D框架，通过基于选择性状态空间的双流特征提取与深度信息并行分支融合多尺度视觉和几何特征，解决单视图三维重建中全局与局部特征平衡难题，实现高保真重建。
2024-11-20 cs.CV
DENSER: Depth-Guided Ensemble with Staged EFA-GS Reconstruction for Soccer Novel View Synthesis
GameChanger by Dick’s Sporting Goods（Dick’s Sporting Goods 游戏变革）
提出DENSER方法，通过深度引导集成和分阶段EFA-GS重建，结合相机高度损失加权、单目深度监督和三模型像素平均集成，提升足球场景新视角合成质量。
2026-05-31 cs.CV
Introducing Unbiased Depth into 2D Gaussian Splatting for High-accuracy Surface Reconstruction
Visual Computing Research Center, CSSE, Shenzhen University（深圳大学视觉计算研究中心）
针对2DGS在光泽表面重建中因反射不连续性导致的孔洞问题，提出用深度收敛损失替换深度畸变损失并修正深度准则，显著提升了表面重建的完整性与准确性。
2025-08-15 cs.CV
FatesGS: Fast and Accurate Sparse-View Surface Reconstruction using Gaussian Splatting with Depth-Feature Consistency
Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University（北京信息科学与技术国家研究中心（BNRist），清华大学）；School of Software, Tsinghua University（清华大学软件学院）
针对 Gaussian Splatting 在稀疏视图下易过拟合、表面不完整的问题，提出 FatesGS 框架，融合单目深度排序、块内一致性与多视图投影特征约束，在 DTU 和 BlendedMVS 上以 60–200 倍加速超越现有方法。
2025-01-08 cs.CV
VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction
KAIST（韩国科学技术院）；DGIST（大邱庆北科学技术院）
传统的多视图立体视觉技术从一组标定的视图重建3D场景时，依赖于两个不同的阶段：局部深度图计算和全局深度图融合。最近的研究集中在通过使用传统深度融合方法或通过回归截断符号距离函数（TSDF）的直接3D重建网络进行深度估计的深度神经架构。在本文中，我们主张用深度神经网络复制传统的两阶段框架，以提高结果的可解释性和准确性。如前所述，我们的网络分两步操作：1）使用深度MVS技术对局部深度图进行局部计算，以及2）深度图和图像的特征融合以构建单个TSDF体积。为了提高从非常不同的视点（例如，大基线和旋转），我们引入了一个旋转不变的3D卷积核，称为PosedConv。通过在ScanNet数据集上进行的一系列实验，强调了所提出的架构的有效性，其中我们的方法与传统和深度学习技术相比具有优势。
2021-08-19 cs.CV
Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth
针对单目视频深度估计中的尺度不一致问题，提出局部加权线性回归方法利用稀疏锚点恢复尺度偏移，结合630万RGBD图像训练的深度模型，构建了新型3D场景重建流程，在零样本基准上性能提升达50%。
2023-04-06 cs.CV
Survey on Fundamental Deep Learning 3D Reconstruction Techniques
McMaster University（麦克马斯特大学）；City University of Hong Kong（香港城市大学）
该综述聚焦可生成照片级真实感三维内容的深度学习三维重建基础技术，剖析NeRFs、LDM、3D Gaussian Splatting的底层算法，评估其优势与权衡，预测研究方向并梳理应用与局限。
2024-07-11 cs.CV cs.GR
Dream-to-Recon: Monocular 3D Reconstruction with Diffusion-Depth Distillation from Single Images
Technical University of Munich（慕尼黑技术大学）；MCML；SE3 Labs（SE3实验室）
本文提出Dream-to-Recon方法，利用预训练二维扩散模型和深度预测模型从单张图像生成合成几何，蒸馏前馈重建模型，在KITTI-360和Waymo数据集上达到或超越多视图监督方法，尤其擅长动态场景。
2025-08-04 cs.CV
Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；KU Leuven（鲁汶大学）
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景，即使在无监督的情况下，基于学习的方法也提供了有希望的结果，但对于动态和可变形场景，几乎没有文献涉及同样的问题。在这项工作中，我们提出了一个无监督的单目框架密集的深度估计的动态场景，共同重建刚性和非刚性的部分，而不明确建模的相机运动。使用密集的对应关系，我们推导出一个训练目标，旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中，密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果，证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外，该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
