SLAM3R: Real-Time Dense Scene Reconstruction from Monocular RGB Videos
Peking University(北京大学);The University of Hong Kong(香港大学);Aalto University(阿尔托大学);VIVO(维沃(vivo))
针对单目RGB视频实时稠密三维重建需求,提出SLAM3R系统,通过前馈网络整合局部重建与全局配准,无需显式求解相机参数,在多数据集上实现SOTA精度且帧率超20FPS。
2025-03-23 cs.CV
Depth-Relative Self Attention for Monocular Depth Estimation
Seoul National University(首尔大学)
提出RED-T模型,在自注意力中引入相对深度引导,减轻单目深度估计对RGB视觉提示的偏置,并构建限制训练深度范围的新基准以评估未见深度鲁棒性。
2023-04-25 cs.CV
MonoGS++: Fast and Accurate Monocular RGB Gaussian SLAM
Advanced Micro Devices, Inc.(超威半导体公司)
MonoGS++是一种仅依赖RGB输入的快速准确SLAM方法,利用在线视觉里程计生成稀疏点云,并通过动态高斯插入、清晰度增强致密化和平面正则化提升重建质量,在Replica和TUM-RGBD数据集上取得与SOTA相当的跟踪精度,且速度比MonoGS快5.57倍。
2025-04-03 cs.CV
RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video
MPI Informatics(马克斯·普朗克信息学研究所);Technical University of Munich(慕尼黑工业大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
跟踪和重建交互中双手的3D姿态和几何形状是一个具有挑战性的问题,其与包括AR/VR、机器人或手语识别在内的若干人机交互应用高度相关。现有的工作要么局限于更简单的跟踪设置(例如,仅考虑单手或两个空间上分离的手),或者依赖于不太普遍的传感器,诸如深度相机。相比之下,在这项工作中,我们提出了第一个实时的【形】方法,从一个单一的RGB相机,明确考虑密切的相互作用的骨骼姿势和3D表面几何的手的运动捕捉。为了解决RGB数据中固有的深度模糊性,我们提出了一种新的多任务CNN,该CNN回归多个互补的信息片段,包括分割、与3D手模型的密集匹配和2D关键点位置,以及新提出的手内相对深度和手间距离图。这些预测随后用于生成模型拟合框架中,以便估计双手的3D手模型的姿势和形状参数。我们通过广泛的消融研究实验验证了我们的RGB双手跟踪和3D重建管道的各个组件。此外,我们证明了我们的方法提供了以前看不见的双手跟踪性能从RGB,并在定量和定性上优于现有的基于RGB的方法,没有明确设计的双手互动。此外,我们的方法甚至可以与基于深度实时的【形】方法相提并论。
2021-06-22 cs.CV
G2-MonoDepth: A General Framework of Generalized Depth Inference from Monocular RGB+X Data
本文提出单目深度推理统一任务及基础基准G2-MonoDepth,通过统一数据表示、损失函数、改进网络和数据增强流水线处理多源稀疏深度输入,在深度估计、补全和增强三个子任务上均优于SOTA基线。
2023-10-24 cs.CV
A Large RGB-D Dataset for Semi-supervised Monocular Depth Estimation
Yonsei University(延世大学);Ewha Womans University(梨花女子大学);Agency for Defense Development(国防发展局)
当前用于单目深度估计的自监督方法主要基于在训练阶段期间利用立体图像对或单目序列的深度嵌套卷积网络。然而,它们通常在遮挡区域和深度边界周围显示不准确的结果。在本文中,我们提出了一个简单而有效的方法,单目深度估计使用立体图像对。该研究旨在提出一种学生-教师策略,在该策略中,浅层学生网络使用从更深、更准确的教师网络获得的辅助信息进行训练。具体来说,我们首先训练立体教师网络充分利用双目感知的3-D几何,然后使用教师网络的深度预测训练学生网络的单眼深度推理。这使我们能够利用所有可用的深度数据,从大量的未标记的立体对。我们提出了一种策略,该策略涉及使用数据集成来合并教师网络的多个深度预测,以通过收集超出单个预测的非平凡知识来改进训练样本。为了改进训练学生网络时使用的不准确的深度估计,我们进一步提出了立体置信度引导的回归损失,该回归损失处理遮挡、无纹理区域和重复模式中不可靠的伪深度值。为了补充现有的户外驾驶场景数据集,我们建立了一个新的大规模数据集,由100万张使用手持立体相机拍摄的户外立体图像组成。最后,我们证明了单目深度估计网络提供了适合于高层次视觉任务的特征表示。各种户外场景的实验结果表明,我们的方法,它优于国家的最先进的方法的有效性和灵活性。
2021-10-22 cs.CV
SF3D-RGB: Scene Flow Estimation from Monocular Camera and Sparse LiDAR
Islamic University of Gaza(加沙伊斯兰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
SF3D-RGB通过结合单目图像和稀疏LiDAR数据,提出了一种端到端深度学习架构,实现了更高效且准确的场景流估计。
2026-02-25 cs.CV
ProDyG: Progressive Dynamic Scene Reconstruction via Gaussian Splatting from Monocular Videos
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);University of Amsterdam(阿姆斯特丹大学)
本文提出ProDyG,在SLAM系统中解耦静态与动态部分,结合运动掩蔽策略和Motion Scaffolds图的渐进式自适应,实现单目视频的在线动态场景重建,渲染与跟踪性能均达到领先水平。
2025-09-22 cs.CV
Self6D: Self-Supervised Monocular 6D Object Pose Estimation
Technical University of Munich(慕尼黑工业大学);Tsinghua University(清华大学);Google(谷歌)
目标的6维姿态估计是计算机视觉中的一个基本问题。卷积神经网络(CNN)最近已被证明能够甚至从单目图像预测可靠的6D姿态估计。尽管如此,CNN被认为是非常数据驱动的,并且获取足够的注释通常非常耗时和劳动密集型。为了克服这个缺点,我们提出了单目6D姿态估计的想法,通过自监督学习,消除了真正的注释的需要。在用合成RGB数据训练我们提出的完全监督的网络之后,我们利用神经渲染的最新进展,进一步在未注释的真实RGB-D数据上自我监督模型,寻求视觉和几何上的最佳对齐。广泛的评估表明,我们提出的自我监督是能够显着提高模型的原始性能,优于所有其他方法依赖于合成数据或采用精心设计的技术,从领域自适应领域。
2020-08-03 cs.CV
Structure-Attentioned Memory Network for Monocular Depth Estimation
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
单目深度估计是一项具有挑战性的任务,其目的是从给定的单个RGB图像预测对应的深度图。最近的深度学习模型已经被提出来通过学习RGB图像和深度域之间的深度特征的对准来预测来自图像的深度。在本文中,我们提出了一种新的方法,称为结构注意记忆网络,通过考虑到常见的结构特征(例如,重复结构模式、平面、对称性)。为此,我们引入了一个新的面向结构的记忆(SOM)模块来学习和记忆RGB图像域和深度域之间的结构特定信息。更具体地说,在SOM模块中,我们开发了一个可记忆的银行过滤器(MBF)单元学习一组过滤器,记住结构感知的图像深度残差模式,以及注意力引导控制器(AGC)单元,以控制过滤器的选择在MBF给定的图像特征查询。给定查询图像特征,训练好的SOM模块能够自适应地选择最佳的自定义滤波器用于跨域特征传输,具有图像和深度之间的最佳结构差异。总之,我们专注于解决这个结构特定的域适应的挑战,提出了一种新的端到端的多尺度难忘的网络,单目深度估计。实验表明,我们提出的模型表现出优越的性能相比,现有的监督单目深度估计方法上具有挑战性的KITTI和纽约大学深度V2基准。
2019-09-10 cs.CV
CDPR: Cross-modal Diffusion with Polarization for Reliable Monocular Depth Estimation
本文提出CDPR框架,通过融合RGB和极化图像信息提升单目深度估计鲁棒性,尤其在复杂场景中表现优异。
2026-04-13 cs.CV
NVS-MonoDepth: Improving Monocular Depth Prediction with Novel View Synthesis
University of Alicante(阿利坎特大学);ETH Zurich(苏黎世联邦理工学院);Microsoft(微软);University of Amsterdam(阿姆斯特丹大学)
基于新的视图合成的最新进展,我们提出了它的应用,以改善单目深度估计。特别是,我们提出了一种新的训练方法,分为三个主要步骤。首先,将单目深度网络的预测结果扭曲到附加视点。其次,我们应用了一个额外的图像合成网络,它纠正和改善扭曲的RGB图像的质量。该网络的输出需要通过最小化逐像素RGB重建误差来尽可能地与地面实况视图相似。第三,我们将相同的单目深度估计重新应用到合成的第二视点上,并确保深度预测与相关联的地面实况深度一致。实验结果证明,我们的方法在KITTI和NYU-Depth-v2数据集上实现了最先进或相当的性能,具有轻量级和简单的vanilla U-Net架构。
2021-12-22 cs.CV
In-Hand 3D Object Reconstruction from a Monocular RGB Video
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);OPPO US Research Center(OPPO美国研究中心)
提出一种结合2D遮挡阐明和物理接触约束的新方法,用于从单目RGB视频重建手持旋转物体,在HO3D和HOD数据集上分别提升52%和20%的表面质量。
2023-12-27 cs.CV
Monocular One-Shot Metric-Depth Alignment for RGB-Based Robot Grasping
Department of Computer Science, Rutgers University(计算机科学系,罗格斯大学)
提出MOMA框架,通过一次性自适应对齐从单张RGB图像恢复度量深度,无需额外训练,在透明物体和真实抓取任务中表现优异。
2025-06-20 cs.CV cs.RO
Domain Adaptive Monocular Depth Estimation With Semantic Information
Carnegie Mellon University(卡内基梅隆大学)
深度学习的出现为单目深度估计带来了令人印象深刻的进步,例如,已经彻底地研究了有监督的单目深度估计。然而,大量的RGB到深度数据集可能并不总是可用的,因为根据RGB图像收集准确的深度地面实况是耗时且昂贵的任务。虽然可以在替代数据集上训练网络以克服数据集规模问题,但由于域差异,训练的模型很难推广到目标域。对抗域对齐已经证明了其有效性,以减轻简单的图像分类任务在以前的作品的域转移。然而,传统的方法很难处理条件对齐,因为它们只考虑网络的特征图。在本文中,我们提出了一个对抗性训练模型,利用语义信息来缩小域差距。基于对包括KITTI和Cityscapes在内的单目深度估计任务的数据集进行的实验,所提出的紧凑模型实现了与复杂的最新模型相当的最先进的性能,并且在远距离的边界和对象上显示出有利的结果。
2021-04-12 cs.CV
RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images
Qing Yuan Research Institute(庆元研究院);MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);AI Institute(人工智能研究院);Shanghai Jiao Tong University(上海交通大学)
一般物体抓取是机器人领域中一个重要而尚未解决的问题。目前的大多数方法要么生成的抓取姿势很少的自由度,无法覆盖大部分的成功把握,或只采取不稳定的深度图像或点云作为输入,这可能会导致在某些情况下,穷人的结果。在本文中,我们提出了RGBD-Grasp,这是一个通过将7-DoF抓取检测解耦为两个子任务来解决这个问题的管道,其中RGB和深度信息分别处理。在第一阶段中,提出了一种类似于卷积神经网络的编码器-解码器的角度-视图网络(AVN)来预测图像的每个位置处的抓持器的SO(3)方向。因此,快速分析搜索(FAS)模块计算开口宽度和夹持器到夹持点的距离。通过解耦抓取检测问题并引入稳定的RGB模态,我们的流水线满足了对高质量深度图像的要求,并且对深度传感器噪声具有鲁棒性。我们在GraspNet-1Billion数据集上实现了最先进的结果,并与几个基线进行了比较。在配备英特尔Realsense摄像头和Robotiq双指夹持器的UR 5机器人上进行的真实机器人实验显示,无论是在单个物体场景还是在杂乱场景中,成功率都很高。我们的代码和训练模型将公开提供。
2021-03-03 cs.CV cs.RO
Dy3DGS-SLAM: Monocular 3D Gaussian Splatting SLAM for Dynamic Environments
School of Information and Communication Engineering, Dalian University of Technology(信息与通信工程学院,大连理工大学);School of Engineering Sciences, Saarland University of Applied Sciences(应用科学大学工程科学学院,萨尔兰应用科学大学);Fraunhofer Institute for Nondestructive Testing(非破坏性检测研究所,弗劳恩霍夫);College of Information Science and Technology, Beijing University of Chemical Technology(信息科学与技术学院,北京化工大学);Faculty of Science and Engineering, Laval University(科学与工程学院,拉瓦尔大学)
本文提出Dy3DGS-SLAM,首个面向动态场景的单目RGB 3D高斯泼溅SLAM方法,通过概率融合光流与深度掩码并设计运动损失,实现动态环境下最先进的跟踪与渲染性能。
2025-06-06 cs.CV
A Survey on RGB-D Datasets
University of Campinas(坎皮纳斯大学);University of Calgary(卡尔加里大学);Hotchkiss Brain Institute(霍奇基斯脑研究所)
RGB-D数据对于解决计算机视觉中的许多问题至关重要。已经提出了数百个包含各种场景的公共RGB-D数据集,例如室内,室外,空中,驾驶和医疗。这些数据集对不同的应用都很有用,并且是解决经典计算机视觉任务的基础,例如单目深度估计。本文对包含深度信息的图像数据集进行了回顾和分类。我们收集了203个包含可访问数据的数据集,并将其分为三类:场景/对象,身体和医疗。我们还概述了不同类型的传感器、深度应用,并研究了使用和创建包含深度数据的数据集的趋势和未来方向,以及如何将它们应用于研究单目深度估计领域中可推广的机器学习模型的开发。
2022-08-08 cs.CV
Rethinking Monocular Depth Estimation with Adversarial Training
Johns Hopkins University(约翰斯·霍普金斯大学)
单目深度估计是一个广泛研究的计算机视觉问题,具有广泛的应用。基于深度学习的方法已经证明了从单目图像进行监督和无监督深度估计的前景。大多数现有方法将深度估计视为具有局部逐像素损失函数的回归问题。在这项工作中,我们通过使用对抗训练来学习上下文感知的非本地损失函数,从而超越了现有的方法。这种方法在块级而不是像素级惩罚预测深度值的联合配置,这允许网络包含更多的全局信息。在这个框架中,生成器学习RGB图像与其对应的深度图之间的映射,而嵌入器学习区分深度图和RGB对与地面实况。该条件GAN深度估计框架使用谱归一化来稳定,以防止从不同数据集学习时的模式坍塌。我们使用包括U-Net和联合CNN-CRF在内的各种生成器来测试这种方法。我们在NYUv 2,Make 3D和KITTI数据集上对这种方法进行了基准测试,并观察到对抗训练将相对误差降低了数倍,实现了最先进的性能。
2019-06-15 cs.CV
Inferring Point Clouds from Single Monocular Images by Depth Intermediation
University of Amsterdam(阿姆斯特丹大学);DUniversum(3DUniversum)
在本文中,我们提出了一个管道,从单视图RGB图像生成三维点云的对象。以前的大多数工作直接从单个RGB图像预测3D点坐标。我们将这个问题分解为从单幅图像进行深度估计和从部分点云进行点云补全。我们的方法顺序预测的深度图从图像,然后推断出完整的3D对象点云的基础上预测的部分点云。我们明确地在我们的管道中施加相机模型几何约束,并强制对齐生成的点云和估计的深度图。单图像三维物体重建任务的实验结果表明,该方法优于现有的国家的最先进的方法。定性和定量的结果都证明了该方法的通用性和适用性。
2020-10-26 cs.CV
Depth Is All You Need for Monocular 3D Detection
Toyota Research Institute(丰田研究院)
从单个图像进行3D检测的最新进展的关键贡献者是单目深度估计。现有的方法集中在如何明确地利用深度,通过生成伪点云或提供图像特征的注意线索。最近的工作利用深度预测作为预训练任务,并在训练深度表示进行3D检测时对其进行微调。然而,这种适应是不够的,并且在规模上受到手动标签的限制。在这项工作中,我们建议以无监督的方式进一步将深度表示与目标域对齐。我们的方法在训练期间利用常用的LiDAR或RGB视频来微调深度表示,从而改进3D检测器。特别是在使用RGB视频时,我们表明,由于两个任务之间的损失分布不一致,我们首先生成伪深度标签的两阶段训练至关重要。无论使用哪种类型的参考数据,我们的多任务学习方法都在KITTI和NuScenes的最新技术水平上有所改进,同时匹配其单任务子网络的测试时间复杂度。
2022-10-05 cs.CV
TransformerFusion: Monocular RGB Scene Reconstruction using Transformers
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们介绍了TransformerFusion,基于变换的三维场景重建方法。从输入的单目RGB视频中,视频帧由Transformer网络处理,该网络将观察融合到表示场景的体积特征网格中;然后将该特征网格解码为隐式3D场景表示。我们的方法的关键是Transformer架构,它使网络能够学习关注场景中每个3D位置的最相关图像帧,仅由场景重建任务监督。特征以从粗到细的方式融合,仅在需要时存储精细级特征,需要更低的内存存储并以交互速率实现融合。然后,使用来自内插的从粗到细的3D特征的基于MLP的表面占用预测,将特征网格解码为更高分辨率的场景重建。我们的方法可以实现精确的表面重建,优于最先进的多视图立体视觉深度估计方法、全卷积3D重建方法以及使用基于LSTM或GRU的递归网络进行视频序列融合的方法。
2021-07-05 cs.CV cs.GR cs.LG
SingRef6D: Monocular Novel Object Pose Estimation with a Single RGB Reference
College of Design and Engineering, National University of Singapore(新加坡国立大学设计与工程学院);SIMTech, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局SIMTech)
SingRef6D提出仅用单张RGB参考图像实现单目新物体6D姿态估计,通过token-scaler微调Depth-Anything v2提升深度预测,并结合深度感知匹配增强LoFTR,在多个数据集上超越现有方法。
2025-09-26 cs.CV
Learning Personalized High Quality Volumetric Head Avatars from Monocular RGB Videos
Google(谷歌);Simon Fraser University(西蒙弗雷泽大学)
提出一种从单目RGB视频学习高质量隐式3D头部虚拟人的混合方法,结合3DMM与神经辐射场,通过预测3DMM几何上的局部特征实现细粒度控制与真实感,显著提升表情细节与泛化能力。
2023-04-04 cs.CV cs.GR
Back2Color: Domain-Adaptive Synthetic-to-Real Monocular Depth Estimation for Dynamic Traffic Scenes
Back2Color通过域自适应和不确定性融合,提升动态交通场景下单目深度估计的鲁棒性和精度。
2026-01-20 cs.CV
SAFT: Shape and Appearance of Fabrics from Template via Differentiable Physical Simulations from Monocular Video
University of Bonn(波恩大学)
本文提出SAFT系统,利用单目视频和可微物理模拟重建织物三维形状与外观,通过两个正则化项解决深度模糊,将重建误差降低2.64倍,并恢复清晰细节。
2025-09-10 cs.CV
Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
三维交互手的重建是促进人机交互和人类行为理解的关键。该领域的先前工作要么依赖于诸如深度图像的辅助输入,要么如果使用单目单RGB图像,则它们只能处理单手。单手方法在应用于紧密交互的手时,往往会生成碰撞的手网格,因为它们不能显式地对双手之间的交互进行建模。在本文中,我们首次尝试从单目RGB图像重建三维交互手。我们的方法可以生成具有精确3D姿态和最小碰撞的3D手部网格。这是通过一个两阶段框架实现的。具体而言,第一阶段采用卷积神经网络来生成粗略的预测,该预测容忍碰撞但鼓励姿势准确的手部网格。第二阶段通过一系列分解细化逐步改善碰撞,同时保持3D姿态的精确性。我们仔细研究潜在的实现因子分解细化,考虑效率和准确性之间的权衡。在InterHand2.6M等大规模数据集上的大量定量和定性结果证明了该方法的有效性。
2021-11-01 cs.CV
$S^3$Net: Semantic-Aware Self-supervised Depth Estimation with Monocular Videos and Synthetic Data
Rutgers University(罗格斯大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);Blue River Technology(蓝河科技)
用单目相机解决深度估计使得相机作为低成本深度估计传感器在诸如自动驾驶和机器人之类的应用中广泛使用成为可能。然而,学习这种可扩展的深度估计模型需要大量标记数据,收集成本很高。有两种流行的现有方法不需要注释深度图:(i)在对抗框架中使用标记的合成和未标记的真实数据来预测更准确的深度,以及(ii)利用单目视频帧中跨空间和时间的几何结构的无监督模型。理想情况下,我们希望利用这两种方法提供的功能,因为它们相互补充;然而,现有的方法没有充分利用这些附加的好处。我们提出了$S^3$ Net,这是一个结合了这些互补功能的自监督框架:我们使用合成和真实世界的图像进行训练,同时利用几何,时间和语义约束。我们新颖的整合架构提供了使用单目视频进行自监督深度估计的新的最先进技术。我们提出了一种独特的方式来训练这个自我监督的框架,并实现(i)超过$15\%$改进以前的合成监督的方法,使用领域自适应适应和(ii)超过$10\%$改进以前的自我监督的方法,利用几何约束的真实数据。
2020-07-28 cs.CV
SilhoNet: An RGB Method for 6D Object Pose Estimation
University of Michigan(密歇根大学)
自主机器人操作涉及估计要操作的对象的平移和取向作为6自由度(6D)姿势。使用RGB-D数据的方法在解决这个问题方面取得了巨大成功。然而,在某些情况下,成本约束或工作环境可能会限制RGB-D传感器的使用。当仅限于单目相机数据时,物体姿态估计问题是非常具有挑战性的。在这项工作中,我们介绍了一种新的方法,称为SilhoNet预测6D物体姿态从单目图像。我们使用卷积神经网络(CNN)管道,该管道采用感兴趣区域(ROI)建议,同时预测具有相关遮挡掩模和3D平移向量的对象的中间轮廓表示。然后从预测的轮廓回归3D取向。我们表明,我们的方法在YCB-Video数据集上实现了比两个最先进的网络更好的整体性能,用于从单目图像输入进行6D姿态估计。
2020-05-07 cs.CV cs.RO
CPS++: Improving Class-level 6D Pose and Shape Estimation From Monocular Images With Self-Supervised Learning
Technical University of Munich(慕尼黑工业大学);Tsinghua University(清华大学);Toyota Motor Europe(丰田汽车欧洲)
当代单目6D姿态估计方法只能处理少数对象实例。这自然会阻碍可能的应用,例如,无缝集成在日常流程中的机器人必须能够与数百个不同的对象一起工作。为了解决这个问题的immantly实际相关性,我们提出了一种新的方法类级单目6D姿态估计,再加上度量形状检索。不幸的是,获得足够的注释是非常耗时和劳动密集型的。这对于类级别的6D姿态估计尤其如此,因为需要为所有对象创建高度详细的重建,然后使用这些模型注释每个对象和场景。为了克服这一缺点,我们还提出了通过自监督学习将类级6D姿势的合成域转移到真实域的想法,这消除了收集大量手动注释的负担。从本质上讲,在用合成数据对我们提出的方法进行完全监督训练后,我们利用可微分渲染的最新进展,用未注释的真实RGB-D数据对模型进行自我监督,以改善后者的推理。我们的实验表明,我们可以从一个单一的RGB图像检索精确的6D姿态和度量形状。
2020-09-11 cs.CV
Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light
Hefei University of Technology(合肥工业大学);Orbbec(奥比中光);Sun Yat-sen University(中山大学)
众所周知,被动立体声系统不能很好地适应弱纹理对象,例如,白墙然而,这些弱纹理目标在室内环境中非常常见。在本文中,我们提出了一种新的立体系统,它包括两个摄像机(RGB摄像机和红外摄像机)和红外散斑投影仪。RGB相机用于深度估计和纹理获取。IR相机和散斑投影仪可以形成单目结构光(MSL)子系统,而两个相机可以形成双目立体子系统。由MSL子系统生成的深度图可以为立体匹配网络提供外部指导,这可以显著提高匹配精度。为了验证所提出的系统的有效性,我们建立了一个原型,并收集了测试数据集在室内场景。评估结果表明,当使用网络RAFT时,该系统的Bad 2.0误差为被动立体声系统的28.2%。数据集和训练模型可在https://github.com/YuhuaXu/MonoStereoFusion上获得。
2022-03-20 cs.CV
Learning Monocular Depth by Distilling Cross-domain Stereo Networks
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
单目深度估计的目的是估计单个图像的逐像素深度图,其在场景理解和自动驾驶中具有广泛的应用。现有的监督和非监督方法面临着巨大的挑战。有监督方法需要大量的深度测量数据,这些数据通常很难获得,而无监督方法通常在估计精度方面受到限制。由图形引擎生成的合成数据为收集大量深度数据提供了一种可能的解决方案。然而,合成数据和真实数据之间的巨大领域差距使得直接使用它们进行训练具有挑战性。在本文中,我们建议使用立体匹配网络作为代理,从合成数据中学习深度,并使用预测的立体视差图来监督单目深度估计网络。跨域合成数据可以充分利用在这个新的框架。提出了不同的策略,以确保学习的深度感知能力很好地转移到不同的领域。我们广泛的实验表明,国家的最先进的单目深度估计的KITTI数据集的结果。
2018-08-20 cs.CV
Accurate Monocular Object Detection via Color-Embedded 3D Reconstruction for Autonomous Driving
Dalian University of Technology(大连理工大学);Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province(辽宁省泛在网络与服务软件重点实验室);The University of Sydney(悉尼大学);SenseTime Computer Vision Research Group(商汤科技计算机视觉研究组)
在本文中,我们提出了一个单目三维目标检测框架,在自动驾驶领域。与以前的基于图像的方法,专注于从2D图像中提取的RGB特征,我们的方法解决了这个问题,在重建的3D空间,以明确地利用3D上下文。为此,我们首先利用一个独立的模块将输入数据从2D图像平面转换到3D点云空间以获得更好的输入表示,然后使用PointNet骨干网执行3D检测以获得对象的3D位置、尺寸和方向。为了增强点云的鉴别能力,我们提出了一个多模态特征融合模块,将互补RGB线索嵌入到生成的点云表示中。我们认为从生成的3D场景空间推断3D边界框(即,X,Y,Z空间)与图像平面(即,R、G、B图像平面)。在具有挑战性的KITTI数据集上的评估表明,我们的方法大大提高了最先进的单目方法的性能。
2021-03-30 cs.CV
DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid
University College London(伦敦大学学院)
DynamicSurf提出一种无模型神经隐式表面重建方法,利用可优化特征网格和深度、法线、RGB损失,从单目RGB-D视频重建非刚性表面,实现6倍加速并达到最先进精度。
2023-11-14 cs.CV
Lightweight Monocular Depth Estimation
University of Alberta(阿尔伯塔大学)
单目深度估计可以在解决从2D图像导出场景几何形状的问题中发挥重要作用。它已被用于各种行业,包括机器人,自动驾驶汽车,场景理解,3D重建等。我们的方法的目标是创建一个轻量级的机器学习模型,以预测每个像素的深度值,仅给定一个RGB图像作为图像分割网络的Unet结构的输入。我们使用NYU Depth V2数据集来测试结构,并将结果与其他方法进行比较。该方法实现了相对较高的精度和较低的均方根误差。
2022-12-21 cs.CV
Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
针对现有单目4D重建方法难处理大变形、补全不准等问题,提出Ub4D方法,通过含三个新组件的可微体渲染实现无偏重建,在新数据集上精度和鲁棒性优于SOTA。
2023-05-04 cs.CV
Keypoint-GraspNet: Keypoint-based 6-DoF Grasp Generation from the Monocular RGB-D input
Georgia Institute of Technology(佐治亚理工学院)
针对点云输入6自由度抓取计算成本高的问题,提出Keypoint-GraspNet,通过检测夹爪关键点投影结合PnP算法恢复SE(3)位姿,在合成数据集上表现优于基线,机器人实验成功率高。
2023-05-01 cs.CV cs.LG cs.RO
Fusing Monocular RGB Images with AIS Data to Create a 6D Pose Estimation Dataset for Marine Vessels
University of Hamburg(汉堡大学)
针对纯AIS位置信息的局限性,本文提出融合单目RGB图像(YOLOX-X检测)与AIS数据生成船舶6D位姿数据集的技术,通过PnP变换降低投影误差,构建公开BONK-pose数据集。
2025-08-20 cs.CV cs.RO
LivePose: Online 3D Reconstruction from Monocular Video with Dynamic Camera Poses
Apple(苹果公司);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对仅RGB场景下动态相机位姿的稠密三维重建难题,提出基于取消积分的适配框架与新型非线性取消积分模块,构建LivePose数据集,验证了位姿响应对重建质量的关键作用。
2023-08-18 cs.CV
Self-Supervised Perceptually Interpretable Monocular Depth Estimation
University of Thessaly(塞萨利大学)
本文提出自监督可感知解释的单目深度估计框架PIMDE,通过分解图像为感知特征图并独立估计后融合,在KITTI上实现与现有方法相当的精度,同时增强可解释性。
2026-09-28 cs.CV
SFE-VGGT: Source-Free VGGT Distillation for Event-Based Monocular Depth Estimation
Nanyang Technological University(南洋理工大学)
提出SFE-VGGT无源蒸馏框架,无需配对RGB数据,通过替代帧教师和可靠性感知蒸馏将VGGT几何先验迁移至事件域,夜间场景精度显著提升。
2026-09-30 cs.CV
StarryGazer: Leveraging Monocular Depth Estimation Models for Domain-Agnostic Single Depth Image Completion
IPAI, Seoul National University(IPAI,首尔国立大学);Department of Electrical and Computer Engineering, ASRI, Seoul National University(电气与计算机工程系,ASRI,首尔国立大学)
StarryGazer通过利用大单目深度估计模型,无需真实深度数据,从单张稀疏深度图和RGB图像生成密集深度图,提升补全效果。
2025-12-15 cs.CV
Ev4DGS: Novel-view Rendering of Non-Rigid Objects from Monocular Event Streams
Keio University Yokohama, Japan(Yokohama 京都大学);Max Planck Institute for Informatics Saarbrücken, Germany(Saarbrücken 最大平面研究所)
本文提出 Ev4DGS,首个仅基于单目事件流实现非刚性变形物体新视角渲染的方法,通过结合 2D 事件观测空间损失和从二值掩码训练的粗糙 3D 变形模型来回归可变形 3D Gaussian Splatting 表示,在合成与真实数据集上验证了其有效性及优于基线的性能。
2025-10-13 cs.CV
Monocular Depth Estimation with Augmented Ordinal Depth Relationships
The University of Adelaide(阿德莱德大学);Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学);Shanghai Institute for Advanced Communications and Data Science, Shanghai University(上海大学上海先进通信与数据科学研究院)
大多数现有的单目图像深度估计算法需要大量的度量地面实况深度用于监督学习。我们表明,相对深度可以是度量深度估计的信息线索,可以很容易地从大量的立体视频。由于缺少摄像机参数,从立体视频中获取度量深度有时是不切实际的。在本文中,我们提出了提高性能的度量深度估计与相对深度收集立体电影视频使用现有的立体匹配算法。我们引入了一个新的“相对立体深度”(RDIS)数据集密集标记的相对深度。我们首先在RDIS数据集上预训练ResNet模型。然后,我们在具有度量地面真实深度的RGB-D数据集上微调模型。在我们的微调,我们制定深度估计作为一个分类任务。这种重新制定方案使我们能够获得概率分布形式的深度预测的置信度。有了这种信心,我们提出了一个信息增益损失,以利用接近地面实况的预测。我们在室内和室外基准RGB-D数据集上评估了我们的方法,并实现了最先进的性能。
2019-07-11 cs.CV
Sparse and noisy LiDAR completion with RGB guidance and uncertainty
KU Leuven(鲁汶大学)
本文提出了一种新的方法来精确地完成稀疏激光雷达地图引导RGB图像。对于自动驾驶汽车和机器人来说,为了实现精确的深度预测,LiDAR的使用是必不可少的。许多应用程序依赖于对周围环境的感知,并使用深度线索来推理和做出相应的反应。一方面,单目深度预测方法无法生成绝对和精确的深度图。另一方面,立体方法仍然明显优于基于LiDAR的方法。深度完成任务的目标是从映射到2D平面的稀疏和不规则点云生成密集的深度预测。我们提出了一个新的框架,提取全局和局部信息,以产生适当的深度图。我们认为,简单的深度补全不需要深度网络。然而,我们还提出了一种融合方法,从单目相机的RGB指导,以利用对象信息和纠正稀疏输入中的错误。这大大提高了准确性。此外,利用置信度掩模,以考虑到从每个模态的深度预测中的不确定性。这种融合方法优于最先进的技术,在KITTI深度完成基准测试中排名第一。我们的可视化代码是可用的。
2019-02-14 cs.CV
Forest canopy height estimation from satellite RGB imagery using large-scale airborne LiDAR-derived training data and monocular depth estimation
Beijing Normal University(北京师范大学);CSIRO Environment(英联邦科学与工业研究组织环境部);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Wuhan University(武汉大学);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
本研究利用航空激光雷达数据训练单目深度估计模型,实现从卫星RGB影像高精度估计森林冠高。
2026-02-09 cs.CV cs.LG
MetaFE-DE: Learning Meta Feature Embedding for Depth Estimation from Monocular Endoscopic Images
本文提出MetaFE-DE方法,通过元特征嵌入和两阶段自监督学习范式,利用扩散模型与亮度校准实现单目内窥镜图像的高精度深度估计。
2025-02-05 cs.CV eess.IV
Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians
Google(谷歌);ETH Zürich(苏黎世联邦理工学院);INSAIT;University of Amsterdam(阿姆斯特丹大学);TU München(慕尼黑工业大学)
本文提出Splat-SLAM,首个利用全局优化和3D高斯地图的RGB-only SLAM系统,通过主动变形地图适应位姿与深度更新,并在不准确区域用单目深度细化,在多个数据集上达到领先的精度、小地图尺寸和快速运行。
2024-05-26 cs.CV
DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image
Technical University of Munich(慕尼黑工业大学)
DiffCAD提出首个弱监督概率性CAD检索与对齐方法,利用扩散模型从单张RGB图像生成多假设CAD重建,仅用合成数据训练即可在Scan2CAD上超越有监督SOTA 5.9%。
2024-06-06 cs.CV
Refined Geometry-guided Head Avatar Reconstruction from Monocular RGB Video
Michigan State University(密歇根州立大学);Qualcomm Technologies, Inc.(高通技术公司)
本文提出一种两阶段头部虚拟化身重建网络,利用精细3D网格表示和SDF细化,增强NeRF渲染,实现高保真重建,性能优于现有方法。
2025-03-27 cs.CV cs.GR
Improving Monocular Visual Odometry Using Learned Depth
The University of Adelaide(阿德莱德大学);The University of Hong Kong(香港大学);Northwest A&F University(西北农林科技大学);CSIRO Data61(联邦科学与工业研究组织数据61研究所);Zhejiang University(浙江大学)
单目视觉里程计(VO)是机器人学和计算机视觉中的一个重要课题。到目前为止,如何建立准确和强大的单目VO系统,可以很好地工作在不同的场景仍然在很大程度上没有解决。在本文中,我们提出了一个框架,利用单目深度估计,以改善VO。我们的框架的核心是一个单目深度估计模块,具有强大的泛化能力,为不同的场景。它由两个独立的工作模式组成,以协助定位和映射。利用单个单目图像输入,深度估计模块预测相对深度以帮助定位模块提高准确度。利用稀疏深度图和RGB图像输入,深度估计模块可以生成用于密集映射的精确的尺度一致深度。与现有的基于学习的VO方法相比,该方法对不同场景具有更强的泛化能力。更重要的是,我们的框架能够大幅提升现有基于几何的VO方法的性能。
2022-04-04 cs.CV
Active Perception with A Monocular Camera for Multiscopic Vision
Hong Kong University of Science and Technology(香港科技大学)
我们设计了一个多视角视觉系统,利用低成本的单目RGB摄像机,以获得准确的深度估计的机器人应用。与具有在不受约束的相机姿势处捕获的图像的多视图立体视觉不同,所提出的系统主动地控制具有安装的相机的机器人臂以捕获具有相同视差的水平或垂直对准位置中的图像序列。在这个系统中,我们结合的参考图像和周围的图像之间的立体匹配的成本体积,形成一个融合的成本体积,是强大的离群值。在Middlebury数据集上的实验和真实机器人实验表明,我们获得的视差图比两帧立体匹配更准确:在我们的实验中,平均绝对误差减少了50.2%。
2020-01-22 cs.CV
Monocular Depth Estimation: A Survey
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
单目深度估计通常被描述为一个病态的和固有的模糊问题。从二维图像中估计深度是场景重建、三维目标识别、分割和检测的关键步骤。这个问题可以定义为:给定一个RGB图像作为输入,预测每个像素的密集深度图。由于大多数场景具有较大的纹理和结构变化、对象遮挡和丰富的几何细节,这个问题变得更加严重。所有这些因素导致难以进行准确的深度估计。在本文中,我们回顾了五篇论文,试图解决深度估计问题的各种技术,包括监督,弱监督和无监督学习技术。然后,我们比较这些文件,并了解彼此的改进。最后,我们探讨潜在的改进,可以帮助更好地解决这个问题。
2019-01-27 cs.CV
Learnable Triangulation for Deep Learning-based 3D Reconstruction of Objects of Arbitrary Topology from Single RGB Images
Univ Evry(埃夫里大学);Université Paris-Saclay(巴黎萨克雷大学);Ausy(奥西公司);Université Orléans(奥尔良大学);Murdoch University(莫道克大学);University of South Australia(南澳大学)
我们提出了一种新的基于深度强化学习的方法,用于从单目图像重建3D对象。使用网格表示的先前作品是基于模板的。因此,它们仅限于重建与模板具有相同拓扑结构的对象。使用体积网格作为中间表示的方法在计算上是昂贵的,这限制了它们在实时场景中的应用。在本文中,我们提出了一种新的端到端的方法,从单目图像重建任意拓扑的3D对象。它由(1)顶点生成网络(VGN)组成,它从输入RGB图像预测对象顶点的初始3D位置,(2)可微分三角剖分层,它使用新颖的强化学习算法以非监督方式学习对象顶点的最佳三角剖分,最后,(3)使用图卷积来细化初始网格的分层网格细化网络。我们的主要贡献是可学习的三角剖分过程,它以无监督的方式恢复输入形状的拓扑结构。我们在ShapeNet和Pix3D基准测试上的实验表明,该方法在视觉质量、重建精度和计算时间方面优于最先进的方法。
2021-09-24 cs.CV