Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；KU Leuven（鲁汶大学）
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景，即使在无监督的情况下，基于学习的方法也提供了有希望的结果，但对于动态和可变形场景，几乎没有文献涉及同样的问题。在这项工作中，我们提出了一个无监督的单目框架密集的深度估计的动态场景，共同重建刚性和非刚性的部分，而不明确建模的相机运动。使用密集的对应关系，我们推导出一个训练目标，旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中，密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果，证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外，该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
RealMonoDepth: Self-Supervised Monocular Depth Estimation for General Scenes
University of Surrey（萨里大学）
我们提出了一种广义的自监督学习方法，用于在1- 100米的不同深度范围内对场景的真实深度进行单目估计。用于单目深度估计的现有监督方法需要精确的深度测量用于训练。这种限制导致引入了自监督方法，该方法在具有固定相机基线的立体图像对上进行训练，以估计视差，该视差在给定已知校准的情况下被变换为深度。自我监督的方法已经证明了令人印象深刻的结果，但并没有推广到具有不同深度范围或相机基线的场景。在本文中，我们介绍了RealMonoDepth一个自我监督的单目深度估计方法，学习估计真实场景深度的各种室内和室外场景。提出了一种新的基于相对深度缩放和扭曲的场景真实深度损失函数。这允许具有多个数据集的单个网络的自我监督训练，用于具有来自立体对和野生移动相机数据集的不同深度范围的场景。对五个基准数据集的全面性能评估表明，RealMonoDepth提供了一个经过训练的网络，可以在室内和室外场景中进行深度估计，始终优于以前的自监督方法。
2020-04-14 cs.CV
Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids
NVIDIA（英伟达）
提出基于全局稀疏局部密集体素块网格直接使用SDF的无MLP单目场景重建方法，结合尺度校准与可微渲染，训练速度提升10倍、渲染速度提升100倍且精度相当。
2023-05-22 cs.CV
SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields
Inria（法国国家信息与自动化研究所）
针对单目3D重建依赖深度监督的问题，提出SceneRF自监督方法，结合NeRF、显式深度优化与概率采样策略，仅用带位姿图像序列训练，在室内外数据集上的新深度视图合成与重建效果均优于基线。
2023-08-24 cs.AI cs.CV cs.GR
MOSAIC-GS: Monocular Scene Reconstruction via Advanced Initialization for Complex Dynamic Environments
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌公司）
MOSAIC-GS通过先进初始化实现复杂动态环境的单目场景重建，结合多种几何线索和刚性运动约束，提高重建效率与质量。
2026-01-08 cs.CV
Feed-Forward Bullet-Time Reconstruction of Dynamic Scenes from Monocular Videos
NVIDIA（英伟达）；University of Cambridge（剑桥大学）；Nanyang Technological University（南洋理工大学）；University of Toronto（多伦多大学）；MIT（麻省理工学院）；Vector Institute（向量研究所）
针对静态前馈场景重建模型泛化性差、无法有效处理动态内容的问题，提出首个运动感知前馈模型BTimer，利用3D高斯溅射表示聚合上下文帧信息重建子弹时间场景，实现实时性与最先进性能。
2025-09-21 cs.AI cs.CV cs.GR
Monocular Dense 3D Reconstruction of a Complex Dynamic Scene from Two Perspective Frames
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；Australia Centre for Robotic Vision（澳大利亚机器人视觉中心）
本文提出了一种新的方法，从两个透视帧的单目密集三维重建的复杂动态场景。通过对图像应用超像素过分割，我们用分段平面和刚性近似来建模一般动态（因此非刚性）场景。通过这种方式，我们将动态重建问题简化为“3D拼图”问题，该问题从无组织的“超像素汤”中取出碎片。我们表明，我们的方法提供了一个有效的解决方案，固有的相对规模的模糊性，从运动的结构。由于我们的方法不假设模板先验，或每对象分割，或动态场景的刚性知识，它适用于广泛的场景。大量的实验上的合成和真正的单目序列证明了我们的方法相比，国家的最先进的方法的优越性。
2017-12-20 cs.CV
CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
Vision and Image Processing Lab, University of Waterloo, Canada（滑铁卢大学视觉与图像处理实验室）
提出CoGS框架，通过组合式高斯泼溅将单目视频分解为人体、刚体物体和静态场景三个分支，并采用六阶段优化实现动态人-物交互场景的忠实重建。
2026-06-27 cs.CV
MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with Geometric Priors
BNRist（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；City University of Hong Kong（香港城市大学）；Tencent PCG（腾讯平台与内容事业群）
从单目视频中进行高保真3D场景重建仍然具有挑战性，特别是对于完整和细粒度的几何重建。以往的三维重建方法与神经隐式表示已显示出良好的能力，完整的场景重建，但他们的结果往往是过于光滑，缺乏足够的几何细节。本文介绍了一种新的神经隐式场景表示与体渲染高保真在线三维场景重建从单目视频。对于细粒度重建，我们的关键洞察力是将几何先验知识纳入神经隐式场景表示和神经体渲染，从而导致一个有效的几何学习机制的基础上体渲染优化。受益于此，我们提出了MonoNeuralFusion来执行单目视频的在线神经3D重建，通过该方法，在实时3D单目扫描过程中有效地生成和优化3D场景几何形状。与最先进的方法进行的广泛比较表明，我们的MonoNeuralFusion在定量和定性方面始终生成更好的完整和细粒度重建结果。
2022-09-30 cs.CV
EndoGMDE: Generalizable Monocular Depth Estimation with Mixture of Low-Rank Experts for Diverse Endoscopic Scenes
Department of Electronic Engineering, The Chinese University of Hong Kong（香港中文大学电子工程系）；College of Biomedical Engineering, Fudan University（复旦大学生物医学工程学院）；Shanghai Key laboratory of Medical Image Computing and Computer Assisted Intervention（上海医学影像计算与计算机辅助手术重点实验室）；ENT Institute and Department of Otolaryngology, Eye & ENT Hospital of Fudan University（复旦大学眼耳鼻喉科医院耳鼻喉科及耳鼻喉科研究所）
本文提出EndoGMDE框架，通过分块动态低秩专家混合高效微调基础模型，并设计自监督训练框架应对亮度与反射干扰，在多个内窥镜数据集上实现了最先进的深度估计与最佳零样本泛化性能。
2025-11-02 cs.AI cs.CV
Targeted Adversarial Perturbations for Monocular Depth Prediction
UCLA（加利福尼亚大学洛杉矶分校）
我们研究了对抗扰动对单目深度预测任务的影响。具体来说，我们探索的能力，小，难以察觉的添加剂扰动选择性地改变感知的几何场景。我们表明，这种扰动不仅可以在全球范围内重新调整预测的距离相机，但也改变了预测，以匹配不同的目标场景。我们还表明，当给定语义或实例信息时，扰动可以欺骗网络来改变场景中特定类别或实例的深度，甚至在保留场景其余部分的同时删除它们。为了了解目标扰动的影响，我们对最先进的单目深度预测方法进行了实验。我们的实验揭示了单目深度预测网络的漏洞，并揭示了它们所学到的偏见和背景。
2020-12-08 cs.CV
Always Clear Depth: Robust Monocular Depth Estimation under Adverse Weather
Harbin Institute of Technology（哈尔滨工业大学）；Dalian Maritime University（大连海事大学）
针对恶劣天气下单目深度估计性能下降的问题，提出ACDepth方法，通过扩散模型生成退化训练数据结合多粒度知识蒸馏策略，提升了恶劣天气下的深度估计精度。
2025-05-18 cs.AI cs.CV
Self-Supervised Monocular Scene Flow Estimation
TU Darmstadt（达姆施塔特工业大学）
场景流估计在三维环境感知中受到越来越多的关注。单目场景流估计-从两个时间上连续的图像中获得3D结构和3D运动-是一个高度不适定的问题，迄今为止缺乏实用的解决方案。我们提出了一种新的单目场景流方法，产生竞争力的准确性和实时性能。通过采取逆问题的观点，我们设计了一个单一的卷积神经网络（CNN），成功地估计深度和3D运动，同时从经典的光流成本量。我们采用具有3D损失函数和遮挡推理的自监督学习来利用未标记的数据。我们验证我们的设计选择，包括代理损失和增强设置。我们的模型实现了国家的最先进的无监督/自监督学习方法的单目场景流的准确性，并产生竞争力的结果的光流和单目深度估计子任务。半监督微调监督微调进一步提高了准确性，并实时产生有希望的结果。
2020-04-15 cs.CV cs.LG cs.RO
4D3R: Motion-Aware Neural Reconstruction and Rendering of Dynamic Scenes from Monocular Videos
National University of Singapore（新加坡国立大学）；Wuhan University（武汉大学）
4D3R提出一种无姿态动态神经渲染框架，通过运动感知束调整和高效高斯泼溅表示，在单目视频中实现高质量动态场景重建，PSNR提升达1.8dB且计算成本降低5倍。
2025-11-07 cs.AI cs.CV
SM4Depth: Seamless Monocular Metric Depth Estimation across Multiple Cameras and Scenes by One Model
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Trento（特伦托大学）
针对通用单目度量深度估计场景一致性差、训练数据需求大的问题，提出基于非归一化深度箱与分治策略的SM$^4$Depth模型，仅用15万数据在消费级GPU训练，即可在跨场景数据集上实现一致的高精度深度估计。
2024-08-15 cs.AI cs.CV
SaccadeCam: Adaptive Visual Attention for Monocular Depth Sensing
University of Florida（佛罗里达大学）
大多数单目深度感测方法使用在不考虑场景内容的情况下创建的常规捕获的图像。相比之下，动物的眼睛有快速的机械运动，称为扫视，控制场景如何通过中央凹成像，其中分辨率最高。在本文中，我们提出了SaccadeCam框架自适应分布到感兴趣的区域在场景中的分辨率。我们的自适应分辨率算法是一个自我监督的网络，我们展示了端到端的学习单目深度估计的结果。我们还展示了一个真正的SaccadeCam硬件原型的初步结果。
2021-08-16 cs.CV
MoD-SLAM: Monocular Dense Mapping for Unbounded 3D Scene Reconstruction
Columbia University（哥伦比亚大学）；Cloudspace Technology（云空间科技）；The University of Tokyo（东京大学）；Dianjing Ciyuan Culture（电境慈源文化）；Dalian University of Technology（大连理工大学）
针对现有单目SLAM仅适用于有界场景的局限，提出基于高斯无界表示与前端深度监督的MoD-SLAM方法，实现无界场景实时稠密重建，在标准数据集上重建与定位精度最高提升30%和15%。
2024-03-08 cs.CV cs.RO
Monocular Depth Distribution Alignment with Low Computation
Beijing University of Posts and Telecommunications（北京邮电大学）
单目深度估计的性能通常取决于参数的数量和计算成本。这导致了轻量级网络和重量级网络之间的巨大精度对比，限制了它们在现实世界中的应用。在本文中，我们将它们之间的大部分精度对比建模为深度分布的差异，我们称之为“分布漂移”。为此，提出了一种分布对准网络（DANet）。我们首先设计了一个金字塔场景Transformer（PST）模块来捕捉多尺度下的区域间交互。通过感知每两个区域之间的深度特征的差异，DANet倾向于预测一个合理的场景结构，它符合地面真实分布的形状。然后，我们提出了一个局部-全局优化（LGO）方案来实现监督的全局范围的场景深度。由于深度分布形状和场景深度范围的对齐，DANet大幅减少了分布漂移，并实现了与先前的重量级方法相当的性能，但每秒仅使用1%的浮点运算（FLOPs）。在广泛使用的NYUDv 2数据集和更具挑战性的iBims-1数据集上的实验证明了该方法的有效性。源代码可在https://github.com/YiLiM1/DANet上获得。
2022-03-09 cs.AI cs.CV
MetricHMSR:Metric Human Mesh and Scene Recovery from Monocular Images
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）；Beihang University（北京航空航天大学）
本文提出MetricHMSR框架，通过引入bounding camera ray map和HumanMoE模型，实现人体网格和场景的度量恢复，提升单目深度估计的准确性。
2026-07-01 cs.CV
Mono-Stixels: Monocular depth reconstruction of dynamic street scenes
Robert Bosch GmbH（罗伯特·博世有限公司）；Goethe University（歌德大学）
在本文中，我们提出了mono-stixels，一个紧凑的环境表示专门设计的动态街景。Mono-stixels是一种新的方法来估计stixels从单目相机序列，而不是传统上使用的立体深度测量。我们的方法联合推断的深度，运动和语义信息的动态场景作为一个一维能量最小化问题的基础上光流估计，逐像素语义分割和摄像机运动。用单应性描述了stixel的光流。通过应用单格素模型，格素单应性的自由度被减少到仅多达两个自由度。此外，我们利用场景模型和语义信息来处理移动对象。在我们的实验中，我们使用公共可用的DeepFlow进行光流估计，使用FCN 8进行语义信息作为输入，并在KITTI 2015数据集上显示，单stixels提供了场景静态和移动部分的紧凑和可靠的深度重建。因此，单stixels克服了以前的结构从运动的方法的静态场景的限制。
2019-08-07 cs.CV
Enhanced Scale-aware Depth Estimation for Monocular Endoscopic Scenes with Geometric Modeling
The Chinese University of Hong Kong（香港中文大学）
针对单目内窥镜深度估计缺乏绝对尺度、边界细节不准的问题，提出结合几何建模的增强尺度感知框架，通过多分辨率融合及器械3D位姿恢复尺度，在内部数据和模拟数据上验证了有效性。
2024-08-14 cs.CV cs.RO
MultiDepth: Multi-Sample Priors for Refining Monocular Metric Depth Estimations in Indoor Scenes
Silicon Valley Emerging Tech of LG Electronics CTO Office（LG电子首席技术官办公室硅谷新兴技术部门）
针对现有单目度量深度估计模型适配室内场景效果差的问题，提出MultiDepth轻量级优化框架，结合多样本先验优化深度预测，在四个数据集上实现超45%的准确率提升且计算开销更低。
2024-11-01 cs.CV
DBMovi-GS: Dynamic View Synthesis from Blurry Monocular Video via Sparse-Controlled Gaussian Splatting
Interdisciplinary Program in Neuroscience（神经科学跨学科项目）；IPAI；AIIS, Seoul National University（首尔国立大学人工智能研究所）
针对模糊单目视频动态视图合成难题，提出DBMovi-GS方法，通过生成密集3D高斯恢复清晰度并重建动态场景3D几何，在动态模糊场景下实现鲁棒的新视图合成性能。
2025-06-26 cs.CV
SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes
University of Oxford（牛津大学）；The University of Adelaide（阿德莱德大学）；OPPO US Research Center（OPPO美国研究中心）；DJI Technology（大疆科技）；Zhejiang University（浙江大学）
针对动态场景下自监督单目深度估计精度低、边界模糊的问题，提出SC-DepthV3，利用预训练模型生成的伪深度先验设计新损失函数，在6个数据集上取得显著优于现有方法的性能。
2023-10-05 cs.CV
Broadening View Synthesis of Dynamic Scenes from Constrained Monocular Videos
Northeastern University（东北大学）
ExpanDyNeRF通过高斯溅射先验和伪地面真实生成策略，实现从受限单目视频中高质量动态场景视图合成，并在SynDM数据集上验证其在极端视角偏移下的优越性能。
2025-12-16 cs.CV
Weakly Supervised 3D Multi-person Pose Estimation for Large-scale Scenes based on Monocular Camera and Single LiDAR
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
基于单目摄像机的三维多人姿态估计中，深度估计通常是病态的和模糊的。由于LiDAR可以在远距离场景中捕获精确的深度信息，因此它可以通过提供丰富的几何特征来帮助个体的全局定位和3D姿态估计。受此启发，我们提出了一个单目相机和单激光雷达为基础的方法，在大规模场景中的三维多人姿态估计，这是易于部署和不敏感的光。具体而言，我们设计了一种有效的融合策略，充分利用图像和点云等多模态输入数据，并充分利用时间信息指导网络学习自然连贯的人体运动。在不依赖于任何3D姿态注释的情况下，我们的方法利用点云的固有几何约束进行自我监督，并利用图像上的2D关键点进行弱监督。在公共数据集和新收集的数据集上的实验证明了该方法的优越性和泛化能力。
2022-11-30 cs.CV
Unsupervised Monocular Depth Learning in Dynamic Scenes
Google Research（谷歌研究院）；Robotics at Google（谷歌机器人）；Waymo LLC（Waymo有限责任公司）
我们提出了一种方法，用于联合训练的深度，自我运动，和密集的3D翻译领域的对象相对于场景的估计，与单目光度一致性的唯一来源的监督。我们表明，这显然是严重欠定的问题，可以通过施加以下先验知识的3D翻译领域：他们是稀疏的，因为大部分的场景是静态的，他们往往是恒定的刚性移动对象。我们表明，这种正则化本身就足以训练单眼深度预测模型，超过了在以前的工作中实现的动态场景的准确性，包括需要语义输入的方法。代码位于https://github.com/google-research/google-research/tree/master/depth_and_motion_learning。
2020-11-07 cs.CV cs.GR cs.LG
Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular Video Depth
针对单目视频深度估计中的尺度不一致问题，提出局部加权线性回归方法利用稀疏锚点恢复尺度偏移，结合630万RGBD图像训练的深度模型，构建了新型3D场景重建流程，在零样本基准上性能提升达50%。
2023-04-06 cs.CV
ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos
ETH Zürich（苏黎世联邦理工学院）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；University of Amsterdam（阿姆斯特丹大学）
针对单目野外视频人体-场景重建需预校准相机、长训练时间的问题，提出ODHSR在线统一框架，结合3D高斯溅射、重建基跟踪与姿态估计、变形模块及遮挡感知等技术，在EMDB等数据集上实现多任务性能提升。
2025-04-18 cs.CV
MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views
UC San Diego（加州大学圣地亚哥分校）；Qualcomm（高通公司）
本文提出MonoSelfRecon框架，利用体素-SDF、可泛化NeRF和新型自监督损失，首次从单目RGB实现纯自监督、显式且可泛化的室内三维网格重建。
2024-04-10 cs.CV
Accurate 3D Reconstruction of Dynamic Scenes from Monocular Image Sequences with Severe Occlusions
University of Kaiserslautern（凯泽斯劳滕大学）；DFKI（德国人工智能研究中心）
本文介绍了一种精确的解决方案，密集的正交非刚性运动恢复结构（NRSfM）的场景中严重的闭塞，或同样，不准确的对应关系。我们将形状先验项纳入变分优化框架。它允许在每像素级别上惩罚时变结构的不规则性，如果诸如遮挡张量的对应质量指示符可用的话。我们做了一个现实的假设，几个非遮挡视图的场景是足以估计一个初始形状之前，虽然整个观察到的场景可能会表现出非刚性变形。合成和真实图像数据上的实验表明，所提出的框架显着优于国家的最先进的方法对应关系的建立，结合国家的最先进的NRSfM方法。连同对优化方法的深刻见解，提供了异构平台的实施细节。
2017-12-20 cs.CV
Back2Color: Domain-Adaptive Synthetic-to-Real Monocular Depth Estimation for Dynamic Traffic Scenes
Back2Color通过域自适应和不确定性融合，提升动态交通场景下单目深度估计的鲁棒性和精度。
2026-01-20 cs.CV
SF3D-RGB: Scene Flow Estimation from Monocular Camera and Sparse LiDAR
Islamic University of Gaza（加沙伊斯兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
SF3D-RGB通过结合单目图像和稀疏LiDAR数据，提出了一种端到端深度学习架构，实现了更高效且准确的场景流估计。
2026-02-25 cs.CV
RM-Depth: Unsupervised Learning of Recurrent Monocular Depth in Dynamic Scenes
H-1 Research（H-1研究院）
无监督的方法在单目深度估计上显示出有希望的结果。然而，训练数据必须在没有移动对象的场景中捕获。为了提高精度，最近的方法倾向于增加它们的模型参数。本文提出了一种无监督学习框架，用于联合预测单目深度和完整的3D运动，包括运动物体和摄像机的运动。(1)递归调制单元用于自适应地和迭代地融合编码器和解码器特征。这不仅改善了单图像深度推断，而且不会过度消耗模型参数。(2)代替使用单个滤波器集合用于上采样，多个滤波器集合被设计用于残差上采样。这有助于边缘保留滤波器的学习并提高性能。(3)一个基于变形的网络被用来估计运动对象的运动场，而不使用语义先验。这打破了场景刚性的要求，并允许使用一般的视频进行无监督学习。运动场进一步通过异常感知训练损失来正则化。尽管深度模型在测试时间内只使用了一张图像和2.97M参数，但它在KITTI和Cityscapes基准测试中获得了最先进的结果。
2023-03-08 cs.CV
MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos with Depth Priors
City University of HongKong（香港城市大学）；HKUST（香港科技大学）；HKU（香港大学）；TAMU（德克萨斯大学奥斯汀分校）；CUHK(SZ)（香港城市大学（深圳））
MoDGS是基于深度先验的新管线，通过3D感知初始化与鲁棒深度损失，从相机静止或缓慢移动的随意单目视频渲染高质量动态场景新视角，性能优于现有方法且代码公开。
2026-09-01 cs.CV
GasMono: Geometry-Aided Self-Supervised Monocular Depth Estimation for Indoor Scenes
East China University of Science and Technology（华东理工大学）；University of Bologna（博洛尼亚大学）
针对室内自监督单目深度估计中的大旋转与低纹理难题，提出 GasMono，利用多视图几何位姿细化及过拟合感知迭代自蒸馏提升精度与泛化。
2023-09-26 cs.CV
Zero-Shot Monocular Scene Flow Estimation in the Wild
NVIDIA Research（英伟达研究院）；Brown University（布朗大学）
针对场景流预测泛化性差的问题，提出联合几何与运动估计、百万级合成数据配方及有效参数化方法，实现野外零样本单目场景流估计。
2025-01-20 cs.CV
Evaluating Robustness of Monocular Depth Estimation with Procedural Scene Perturbations
Princeton University（普林斯顿大学）
本文提出程序化深度评估基准PDE，通过程序化生成受控3D场景扰动，系统评估单目深度估计模型在物体、相机、材质和光照变化下的鲁棒性，揭示现有先进模型的薄弱环节。
2025-07-02 cs.CV
Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling
National University of Singapore（新加坡国立大学）
针对单目动态场景渲染中高斯冗余导致速度慢的问题，提出高效动态高斯泼溅（EDGS），通过稀疏时变属性建模与无监督静态锚点过滤，显著提升渲染速度并保持高质量。
2025-02-27 cs.CV
Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
针对现有单目4D重建方法难处理大变形、补全不准等问题，提出Ub4D方法，通过含三个新组件的可微体渲染实现无偏重建，在新数据集上精度和鲁棒性优于SOTA。
2023-05-04 cs.CV
PMPNet: Pixel Movement Prediction Network for Monocular Depth Estimation in Dynamic Scenes
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出PMPNet，通过三角约束损失和可变形支持窗口模块，解决动态场景单目深度估计中的运动任意性和边缘深度不一致问题，在KITTI、Make3D和NYU Depth V2数据集上验证了有效性。
2024-11-04 cs.CV
Unsupervised Learning of 3D Scene Flow from Monocular Camera
Shanghai Jiao Tong University（上海交通大学）
场景流表示3D空间中的点的运动，其是表示2D图像中的像素的运动的光流的对应物。然而，在真实场景中很难获得场景流的地面真值，目前的研究都是基于合成数据进行训练。因此，如何基于真实世界的数据，用无监督的方法对场景流网络进行训练就显得尤为重要。提出了一种新的场景流无监督学习方法，该方法利用单目摄像机拍摄的连续两帧图像进行训练，而不需要场景流的真实值。该方法实现了用真实数据训练场景流网络的目的，弥补了训练数据和测试数据之间的差距，拓宽了可用于训练的数据范围。本文场景流的无监督学习主要包括两部分：（i）深度估计和摄像机姿态估计，（ii）基于四种不同损失函数的场景流估计。深度估计和摄像机姿态估计获得两个连续帧之间的深度图和摄像机姿态，这为下一个场景流估计提供了进一步的信息。之后，我们使用深度一致性损失，动静态一致性损失，Chamfer损失和Laplacian正则化损失对场景流网络进行无监督训练。据我们所知，这是第一个文件，实现了无监督学习的三维场景流从单目相机。在KITTI上的实验结果表明，与传统的迭代最近点法（ICP）和快速全局配准法（FGR）相比，本文提出的场景流无监督学习方法具有更好的性能。源代码可在https://github.com/IRMVLab/3DUnMonoFlow上获得。
2022-06-08 cs.CV cs.RO
Towards Accurate Reconstruction of 3D Scene Shape from A Single Monocular Image
The University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）；Adobe（奥多比）
尽管在过去几年中取得了重大进展，但对于使用单个单目图像的深度估计仍然存在挑战。首先，主要由于有限的训练数据，训练可以很好地推广到不同场景的度量深度预测模型是不平凡的。因此，研究人员建立了大规模的相对深度数据集，这些数据集更容易收集，但是现有的相对深度估计模型往往由于使用相对深度数据进行训练而导致未知的深度偏移，从而无法恢复出准确的三维场景形状。我们在这里解决这个问题，并试图通过对大规模相对深度数据进行训练来估计准确的场景形状，并估计深度偏移。要做到这一点，我们提出了一个两阶段的框架，首先预测深度到一个未知的规模，并从一个单一的单目图像转移，然后利用3D点云数据来预测深度转移和相机的焦距，使我们能够恢复3D场景形状。由于这两个模块是单独训练的，因此我们不需要严格配对的训练数据。此外，我们提出了图像级归一化回归损失和基于法线的几何损失，以改善相对深度注释的训练。我们在九个看不见的数据集上测试了我们的深度模型，并在zero-shot评估上实现了最先进的性能。代码可在：https://git.io/Depth
2022-09-04 cs.CV
Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video
MPI for Informatics（马克斯·普朗克信息学研究所）；Facebook Reality Labs Research（Facebook现实实验室研究）
提出了一种非刚性神经辐射场（NR-NeRF）的动态场景重建和视图合成方法。我们的方法将动态场景的RGB图像作为输入（例如，从单目视频记录），并创建高质量的时空几何和外观表示。我们表明，一个单一的手持消费级相机是足以合成复杂的渲染的动态场景从新颖的虚拟相机的意见，例如，一个“子弹时间”的视频效果。NR-NeRF将动态场景分解为正则体及其变形。场景变形被实现为光线弯曲，其中直线光线被非刚性地变形。我们还提出了一种新的刚性网络，以更好地约束场景的刚性区域，从而获得更稳定的结果。射线弯曲和刚度网络在没有明确监督的情况下进行训练。我们的公式可以在视图和时间上进行密集的对应估计，以及引人注目的视频编辑应用程序，如运动夸张。我们的代码将是开源的。
2021-08-23 cs.CV cs.GR
TransformerFusion: Monocular RGB Scene Reconstruction using Transformers
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们介绍了TransformerFusion，基于变换的三维场景重建方法。从输入的单目RGB视频中，视频帧由Transformer网络处理，该网络将观察融合到表示场景的体积特征网格中;然后将该特征网格解码为隐式3D场景表示。我们的方法的关键是Transformer架构，它使网络能够学习关注场景中每个3D位置的最相关图像帧，仅由场景重建任务监督。特征以从粗到细的方式融合，仅在需要时存储精细级特征，需要更低的内存存储并以交互速率实现融合。然后，使用来自内插的从粗到细的3D特征的基于MLP的表面占用预测，将特征网格解码为更高分辨率的场景重建。我们的方法可以实现精确的表面重建，优于最先进的多视图立体视觉深度估计方法、全卷积3D重建方法以及使用基于LSTM或GRU的递归网络进行视频序列融合的方法。
2021-07-05 cs.CV cs.GR cs.LG
PCDepth: Pattern-based Complementary Learning for Monocular Depth Estimation by Best of Both Worlds
Tongji University（同济大学）；Chemnitz University of Technology（开姆尼茨工业大学）；Technical University of Munich（慕尼黑工业大学）
针对图像与事件数据像素级融合难以捕捉稀疏高级互补信息的问题，本文提出PCDepth，通过模式级互补表示学习和精细化深度估计提升单目深度预测性能。
2024-02-29 cs.CV
MonoNeRF: Learning a Generalizable Dynamic Radiance Field from Monocular Videos
Tsinghua University（清华大学）
针对单目动态 NeRF 泛化困难，本文提出 MonoNeRF，通过 Neural ODE 轨迹建模与基于流的特征聚合实现跨场景端到端学习。
2023-08-14 cs.CV
Learning to Fuse Monocular and Multi-view Cues for Multi-frame Depth Estimation in Dynamic Scenes
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）；DJI（大疆创新）；The University of New South Wales（新南威尔士大学）
本文提出跨线索融合模块，无需显式掩码即可融合多视角与单目线索，使静态区域几何感知与动态区域上下文信息相互增强，在真实数据集上显著提升动态场景多帧深度估计的精度与泛化能力。
2023-04-18 cs.CV
Channel-Wise Attention-Based Network for Self-Supervised Monocular Depth Estimation
State Key Laboratory for Manufacturing System Engineering（机械制造系统工程国家重点实验室）；School of Mechanical Engineering, Xi’an Jiaotong University（西安交通大学机械工程学院）
自监督学习在单目深度估计中已经显示出非常有前途的结果。场景结构和局部细节都是高质量深度估计的重要线索。最近的作品缺乏明确的场景结构建模和正确的细节信息处理，这导致了性能瓶颈和预测结果中的模糊伪影。本文提出了一种基于场景注意力的深度估计网络（CADepth-Net），该网络具有两个有效的贡献：1）结构感知模块采用自注意力机制捕获长距离依赖关系，并在通道维度上聚合判别特征，显式增强场景结构的感知，获得更好的场景理解和丰富的特征表示。2)细节强调模块重新校准逐通道特征图并选择性地强调信息特征，旨在突出关键的局部细节信息并更有效地融合不同级别的特征，从而产生更精确和更锐利的深度预测。此外，大量的实验验证了我们的方法的有效性，并表明我们的模型达到了最先进的KITTI基准测试和Make 3D数据集的结果。
2021-12-24 cs.AI cs.CV cs.LG
Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering
University of Maryland（马里兰大学）；NAVER LABS（NAVER实验室）
针对地面机器人数据集渲染中高斯泼溅漂移问题，提出Mode-GS算法，结合单目深度锚点与残差解码器，通过尺度校准提升渲染质量，在多个数据集上达到SOTA。
2024-10-06 cs.CV cs.RO
Monocular Depth Decomposition of Semi-Transparent Volume Renderings
Ulm University（乌尔姆大学）
神经网络在从彩色图像中提取几何信息方面取得了巨大的成功。特别是，单目深度估计网络在真实世界场景中越来越可靠。在这项工作中，我们调查的适用性，这样的单眼深度估计网络的半透明体渲染图像。由于深度是出了名的难以定义的体积场景中没有明确定义的表面，我们认为不同的深度计算已经出现在实践中，并比较国家的最先进的单眼深度估计方法，这些不同的解释在评估过程中考虑不同程度的不透明度的渲染。此外，我们研究如何扩展这些网络，以进一步获得颜色和不透明度信息，以创建一个分层表示的场景的基础上一个单一的彩色图像。该分层表示由空间上分离的半透明间隔组成，这些间隔与原始输入渲染合成。在我们的实验中，我们表明，现有的方法，单目深度估计可以适应执行良好的半透明体渲染，这有几个应用领域的科学可视化，如重新组合与额外的对象和标签或额外的阴影。
2023-02-18 cs.CV
NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种新的几何和光度3D映射管道精确和实时的【形】场景重建从单目图像。为了实现这一目标，我们利用了最近在密集单目SLAM和实时的【形】分层体积神经辐射场方面的进展。我们的见解是，密集单目SLAM提供正确的信息，以适应神经辐射场的场景在实时的【形】，通过提供准确的姿态估计和深度图与相关的不确定性。通过我们提出的基于不确定性的深度损失，我们不仅实现了良好的光度精度，而且还实现了很高的几何精度。事实上，我们提出的管道实现了比竞争方法更好的几何和光度精度（高达179%的PSNR和86%的L1深度），同时实时的【形】工作，只使用单目图像。
2022-10-24 cs.CV
360-DFPE: Leveraging Monocular 360-Layouts for Direct Floor Plan Estimation
National Tsing Hua University（台湾清华大学）；Phiar Technologies（Phiar科技公司）
我们提出了360-DFPE，一种顺序的平面图估计方法，直接将360图像作为输入，而不依赖于主动传感器或3D信息。我们的方法利用了单目视觉SLAM解决方案和单目360房间布局方法之间的松散耦合集成，分别估计相机姿态和布局几何形状。由于我们的任务是使用单目图像顺序捕获平面图，因此整个场景结构，房间实例和房间形状都是未知的。为了应对这些挑战，我们首先通过制定熵最小化过程来处理视觉里程计和布局几何之间的尺度差异，这使我们能够在不提前知道整个场景的情况下直接对齐360布局。其次，顺序识别各个房间，我们提出了一种新的房间识别算法，跟踪每个房间沿着相机探索使用几何信息。最后，为了估计房间的最终形状，我们提出了一个最短路径算法与迭代的粗到细的策略，提高了先前的配方具有更高的精度和更快的运行时间。此外，我们收集了一个新的平面图数据集，具有挑战性的大规模场景，提供点云和连续的360图像信息。实验结果表明，我们的单目解决方案实现了良好的性能对当前国家的最先进的算法，依赖于主动传感器，并需要整个场景重建数据提前。
2022-05-08 cs.CV
OrchardDepth: Precise Metric Depth Estimation of Orchard Scene from Monocular Camera Images
Centre for Automation and Robotic Engineering Science（自动化与机器人工程科学中心）；The University of Auckland（奥克兰大学）
针对果园/葡萄园缺乏单目度量深度估计基准的问题，提出 OrchardDepth 及稠密深度图与稀疏点一致性正则化再训练方法，显著降低深度估计 RMSE。
2025-02-20 cs.CV
