Self-supervised Monocular Depth Estimation: Let's Talk About The Weather
Aston University(阿斯顿大学);Loughborough University(拉夫堡大学)
针对自监督单目深度估计在恶劣天气下增强训练导致性能下降的问题,提出Robust-Depth,利用原始与增强图像对应关系构建深度和位姿伪监督损失,在多个恶劣条件基准上显著超越现有方法。
2023-07-17 cs.CV
Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular Depth Estimation in the Dark
Nanjing University of Science and Technology(南京理工大学);Tencent YouTu Lab(腾讯优图实验室);Hikvision Research Institute(海康威视研究院)
单目深度估计旨在从单个图像或视频预测深度。最近,自监督方法引起了人们的广泛关注,因为它们没有深度注释,并且在几个白天的基准测试中取得了令人印象深刻的性能。然而,它们在更具挑战性的夜间场景中产生奇怪的输出,因为低能见度和光照变化,分别带来弱纹理和打破亮度一致性假设。为了解决这些问题,本文提出了一个新的框架,并做了以下几个改进:(1)引入基于先验的正则化算法,从非成对深度图中学习分布知识,防止模型被错误训练;(2)利用映射一致性图像增强模块,在保持亮度一致性的同时增强图像的可见性和对比度;(3)提出了基于统计的Mask策略,利用动态统计的方法调整去除无纹理区域的像素个数。实验结果证明了每个组件的有效性。同时,我们的框架在两个夜间数据集上取得了显着的改进和最先进的结果。
2021-08-13 cs.CV
D$^2$NeRF: Self-Supervised Decoupling of Dynamic and Static Objects from a Monocular Video
University of Cambridge(剑桥大学);Google Research(谷歌研究院);Simon Fraser University(西蒙弗雷泽大学)
对于单目视频,在恢复静态环境的同时分割和解耦动态对象是机器智能中广泛研究的问题。现有的解决方案通常在图像域中解决这个问题,限制了它们的性能和对环境的理解。我们介绍了解耦动态神经辐射场(D $^2$ NeRF),一种自监督的方法,采用单目视频,并学习一个3D场景表示,从静态背景中提取移动对象,包括它们的阴影。我们的方法表示的运动物体和静态背景的两个单独的神经辐射场,只有一个允许时间的变化。这种方法的简单实现导致动态组件接管静态组件,因为前者的表示本质上更一般,并且易于过拟合。为此,我们提出了一种新的损失来促进现象的正确分离。我们进一步提出了一个阴影场网络来检测和解耦动态移动的阴影。我们引入了一个新的数据集,包含各种动态对象和阴影,并证明我们的方法可以实现更好的性能比国家的最先进的方法在解耦动态和静态的3D对象,遮挡和阴影去除,图像分割的移动对象。
2022-11-05 cs.CV
StableDPT: Temporal Stable Monocular Video Depth Estimation
ETH Zürich(苏黎世联邦理工学院);DisneyResearch|Studios(迪士尼研究|工作室)
StableDPT通过引入时间模块和高效的交叉注意力机制,提升单目视频深度估计的时序稳定性与处理效率。
2026-01-06 cs.CV
ODHSR: Online Dense 3D Reconstruction of Humans and Scenes from Monocular Videos
ETH Zürich(苏黎世联邦理工学院);HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);University of Amsterdam(阿姆斯特丹大学)
针对单目野外视频人体-场景重建需预校准相机、长训练时间的问题,提出ODHSR在线统一框架,结合3D高斯溅射、重建基跟踪与姿态估计、变形模块及遮挡感知等技术,在EMDB等数据集上实现多任务性能提升。
2025-04-18 cs.CV
EC-Depth: Exploring the consistency of self-supervised monocular depth estimation in challenging scenes
University of Science and Technology of China(中国科学技术大学)
针对现有自监督单目深度估计在恶劣场景下性能下降的问题,提出EC-Depth两阶段框架,通过深度一致性正则化和基于一致性的伪标签过滤,在多个基准上实现鲁棒且准确的深度预测。
2024-03-18 cs.CV
Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud
Carnegie Mellon University(卡内基梅隆大学)
单目3D场景理解任务,如目标尺寸估计、航向角估计和3D定位,是具有挑战性的。用于3D场景理解的成功的现代方法需要使用3D传感器。另一方面,基于单个图像的方法具有明显较差的性能。在这项工作中,我们的目标是通过增强基于激光雷达的算法来使用单个图像输入来弥合3D感知和2D感知之间的性能差距,以进行3D目标检测。具体来说,我们执行单目深度估计,并将输入图像提升为点云表示,我们称之为伪激光雷达点云。然后,我们可以用我们的伪LiDAR端到端训练基于LiDAR的3D检测网络。遵循两阶段3D检测算法的流水线,我们检测输入图像中的2D对象提案,并从每个提案的伪LiDAR中提取点云截头体。然后,针对每个平截头体检测定向的3D限界框。针对伪激光雷达中存在的大量噪声问题,本文提出了两个创新点:(1)使用二维-三维限界框一致性约束,调整预测的三维限界框,使其在投影到图像上后与对应的二维边界框具有较高的重叠度;(2)使用实例掩码而不是限界框作为2D建议的表示,以便减少点云平截头体中不属于对象的点的数量。通过我们对KITTI基准的评估,我们在所有单目方法中实现了鸟瞰图和3D目标检测的顶级性能,有效地将性能提高了四倍。我们的代码可在https://github.com/xinshuoweng/Mono3D_PLiDAR上获得。
2019-08-31 cs.CV
An Embedded Real-time Object Alert System for Visually Impaired: A Monocular Depth Estimation based Approach through Computer Vision
Department of Electrical & Computer Engineering(电气与计算机工程系);North South University(北南大学)
本研究提出一种基于单目深度估计和物体检测的嵌入式实时警报系统,利用迁移学习和量化技术构建轻量级模型,帮助孟加拉国视障人士在繁忙街道安全通勤,避免碰撞,模型mAP50达0.801。
2025-07-10 cs.CV cs.RO
Depth Estimation from Monocular Images and Sparse radar using Deep Ordinal Regression Network
KU Leuven(鲁汶大学)
我们将稀疏的雷达数据整合到一个单目深度估计模型中,并引入一种新的预处理方法,以减少雷达提供的稀疏性和有限的视野。我们探讨了不同的雷达模态的固有误差,并表明我们提出的方法的结果,在更多的数据点,减少错误。我们进一步提出了一种新的方法,用于从单目2D图像和稀疏雷达测量使用基于深度有序回归网络的深度学习来估计密集深度图。首先将稀疏2D点转换为高度扩展的3D测量,然后使用后期融合方法将其包含到网络中,从而整合雷达数据。实验在nuScenes数据集上进行。我们的实验展示了在白天和夜晚场景中最先进的性能。
2021-07-15 cs.AI cs.CV eess.IV
DepthDark: Robust Monocular Depth Estimation for Low-Light Environments
Hangzhou Dianzi University(杭州电子科技大学);Intel Labs China(英特尔中国实验室)
针对低光照单目深度估计缺乏数据与微调策略的问题,本文提出 DepthDark,通过夜间成像模拟生成成对数据集,并结合光照引导与多尺度融合的 PEFT 方法,在两个夜间基准上达到 SOTA。
2025-07-24 cs.AI cs.CV
GGAvatar: Reconstructing Garment-Separated 3D Gaussian Splatting Avatars from Monocular Video
Jinan University-University of Birmingham Joint Institute(暨南大学-伯明翰大学联合学院)
本文提出GGAvatar,基于单目视频和参数化模板及分阶段训练,实现穿衣人体服装与身体解耦的高质量、可编辑3D高斯泼染化身重建,在质量与效率上优于高成本模型并支持服装编辑。
2024-11-15 cs.AI cs.CV cs.MM
SRFNet: Monocular Depth Estimation with Fine-grained Structure via Spatial Reliability-oriented Fusion of Frames and Events
AI Thrust, HKUST(GZ)(香港科技大学(广州)AI thrust);Dept. of CSE, HKUST(香港科技大学计算机科学与工程系)
本文提出SRFNet,通过基于注意力的交互融合模块和可靠性导向深度细化模块,利用帧和事件的空间先验进行模态融合,在无预训练情况下实现了昼夜场景下具有细粒度结构的单目深度估计。
2024-07-24 cs.CV
Understanding Depth Map Progressively: Adaptive Distance Interval Separation for Monocular 3d Object Detection
Fudan University(复旦大学);Baidu Inc.(百度公司)
提出自适应距离间隔分离网络(ADISN),将深度图按距离划分为子图并作为图像处理,结合不确定性模块和双分支学习,提升单目3D目标检测性能。
2023-06-19 cs.CV
3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting
ETH Zürich(苏黎世联邦理工学院);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
提出基于可变形 3DGS 的单目视频可动画着装化身方法,结合非刚性变形与等距正则化,实现 30 分钟训练、50+ FPS 渲染及更优泛化。
2024-04-04 cs.CV
Pixel-Accurate Depth Evaluation in Realistic Driving Scenarios
Daimler AG(戴姆勒股份公司);Ulm University(乌尔姆大学);Algolux(Algolux公司);Princeton University(普林斯顿大学)
这项工作介绍了一个评估基准深度估计和完成使用高分辨率深度测量与角分辨率高达25”(角秒),类似于一个50万像素的相机与每像素的深度可用。现有的数据集,如KITTI基准,只提供稀疏的参考测量与一个数量级较低的角度分辨率-这些稀疏的测量被视为地面实况由现有的深度估计方法。我们提出了一个评估方法,在四个特征汽车场景记录在不同的天气条件下(白天,夜晚,雾,雨)。因此,我们的基准允许我们评估深度传感方法在恶劣天气和不同驾驶条件下的鲁棒性。使用建议的评估数据,我们表明,目前的立体声方法提供了显着更稳定的深度估计比单目方法和激光雷达完成在恶劣天气。数据和代码可在https://github.com/gruberto/PixelAccurateDepthBenchmark.git上获得。
2019-08-16 cs.CV
${S}^{2}$Net: Accurate Panorama Depth Estimation on Spherical Surface
Alibaba Group(阿里巴巴集团)
单目深度估计是一个模糊的问题,因此全局结构线索在当前数据驱动的单视图深度估计方法中起着重要作用。全景图像利用等矩形投影获取其周围环境的完整空间信息,这会引入大的失真。这要求深度估计方法能够处理失真并从图像中提取全局上下文信息。在本文中,我们提出了一个端到端的深度网络的单目全景深度估计的单位球面。具体地说,我们从等距矩形图像中提取的特征映射到均匀分布的网格采样的单位球面上,解码器网络可以从失真减少的特征映射中聚合信息。同时,我们提出了一个基于全局交叉注意的融合模块来融合跳过连接的特征图,增强了全局上下文的获取能力。在5个全景图深度估计数据集上进行了实验,结果表明,该方法的效果明显优于现有的方法。所有相关代码将在未来几天开放。
2023-01-14 cs.CV cs.GR cs.RO
Sun Off, Lights On: Photorealistic Monocular Nighttime Simulation for Robust Semantic Perception
ETH Zürich(苏黎世联邦理工学院);University of Toronto(多伦多大学);KU Leuven(鲁汶大学);INSAIT
本文提出SOLO方法,首次在单张白天图像上通过三维几何、材质与光源估计及语义感知的光源概率实例化和光线追踪,生成真实感夜间图像,并在昼夜自适应的夜间语义分割中验证其有效性。
2024-07-29 cs.CV
NPSim: Nighttime Photorealistic Simulation From Daytime Images With Monocular Inverse Rendering and Ray Tracing
Department of Information Technology and Electrical Engineering(信息技术与电气工程系)
本文提出 NPSim 方法,通过单目逆渲染与光线追踪从日间图像生成逼真夜间图像,重点实现并评估网格重建组件,并规划了定量与感知实验以验证其在自动驾驶语义分割中的价值。
2025-03-10 cs.CV cs.GR
Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection
Fudan University(复旦大学);Baidu Inc(百度公司)
本文的目的是学习上下文和深度感知的特征表示,以解决单目三维目标检测的问题。我们做出以下贡献:(i)我们提出了一种深度条件动态消息传播(DSPs)网络,以有效地将多尺度深度信息与图像上下文相结合,而不是采用复杂的基于伪激光雷达的方法;(ii)这是通过首先自适应地对图像上下文中的上下文感知节点进行采样,然后动态地预测用于传播信息的混合深度相关滤波器权重和亲和矩阵来实现的;(iii)通过增强中心感知深度编码(CDE)任务,我们的方法成功地消除了不准确的深度先验;(iv)我们彻底证明了我们提出的方法的有效性,并在KITTI基准数据集上显示了基于单眼的方法中的最新结果。特别是,我们在提交日(2020年11月16日)将$1^{st}$评为竞争激烈的KITTI单眼3D目标检测赛道。代码和模型在\url{https://github.com/fudan-zvg/DDMP}发布
2021-03-30 cs.CV
DASP: Self-supervised Nighttime Monocular Depth Estimation with Domain Adaptation of Spatiotemporal Priors
College of Computer Science and Technology, Guangdong University of Technology(广东工业大学计算机科学与技术学院);Digital Future Lab, Flanders Make, Hasselt University(数字未来实验室,弗拉芒制造,哈塞尔特大学);College of Engineering, Shantou University(汕头大学工程学院);Hasselt University(哈塞尔特大学)
DASP通过结合时空先验学习和自监督方法,实现了夜间单目深度估计的高效准确恢复。
2025-12-16 cs.CV
Synthetic-to-Real Self-supervised Robust Depth Estimation via Learning with Motion and Structure Priors
National University of Singapore(新加坡国立大学);ASUS Intelligent Cloud Services(华硕智能云服务);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));University of Electronic Science and Technology of China(电子科技大学);School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院)
提出首个合成到真实的鲁棒深度估计框架,利用运动与结构先验及一致性重加权策略,在多种恶劣天气条件下显著提升自监督单目深度估计精度。
2025-03-26 cs.CV cs.RO
SplitGaussian: Reconstructing Dynamic Scenes via Visual Geometry Decomposition
SplitGaussian将场景表示分解为静态与动态分量,解耦运动建模与背景几何,提升动态场景重建的时间一致性、保真度与收敛速度,性能优于现有SOTA方法。
2026-08-11 cs.CV
All-day Depth Completion via Thermal-LiDAR Fusion
Pusan National University(釜山国立大学);Carnegie Mellon University(卡内基梅隆大学)
针对恶劣环境下RGB深度补全不可靠及监督不足的问题,提出利用热成像-LiDAR融合的COPS框架,通过深度感知对比损失和伪监督增强边界清晰度与补全精度。
2025-04-03 cs.CV cs.RO
PI-Net: Pose Interacting Network for Multi-Person Monocular 3D Pose Estimation
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业信息技术研究所)
最近的文献解决了单目三维姿态估计任务非常令人满意。在这些研究中,不同的人通常被视为独立的姿态实例来估计。然而,在许多日常情况下,人们正在交互,并且个体的姿势取决于他/她的被交互者的姿势。在本文中,我们研究如何利用这种依赖性来增强当前和未来可能的深度网络,以进行3D单目姿态估计。我们的姿势交互网络,或PI-Net,将可变数量的交互对象的初始姿势估计输入到用于改进感兴趣的人的姿势的循环架构中。由于公共注释的多人3D人体姿态数据集的有限可用性,评估这样的方法是具有挑战性的。我们在MuPoTS数据集上证明了我们方法的有效性,并在其上设置了新的最新技术。其他多人数据集(3D姿态地面实况不可用)上的定性结果展示了所提出的PI-Net。PI-Net在PyTorch中实现,代码将在论文被接受后提供。
2020-10-11 cs.CV
Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video
Huawei London Research Center(华为伦敦研究中心);Technical University of Munich(慕尼黑工业大学)
本文提出完全可微分管线ReCaLaB,仅从单一RGB视频学习高保真3D人类虚拟化身,结合可变形NeRF与文本提示控制位姿、纹理等,并利用扩散模型生成未见运动视频,在图像质量上超越以往单目方法。
2024-03-24 cs.CV
Depth-Synergized Mamba Meets Memory Experts for All-Day Image Reflection Separation
Huazhong University of Science and Technology(华中科技大学);University of Science and Technology of China(中国科学技术大学)
DMDNet通过深度感知扫描和记忆专家补偿模块,提升全天图像反射分离性能,尤其在夜间表现更优。
2026-01-01 cs.CV
ObjectCarver: Semi-automatic segmentation, reconstruction and separation of 3D objects
Cornell University(康奈尔大学)
本文提出ObjectCarver方法,仅通过单视图点击输入即可实现3D场景中对象的分离与高质量重建,引入防遮挡误删的损失函数和加速初始化方法,无需真实掩码即优于基线。
2024-07-26 cs.CV
Towards Monocular Digital Elevation Model (DEM) Estimation by Convolutional Neural Networks - Application on Synthetic Aperture Radar Images
University of Perugia(佩鲁贾大学);University of L’Aquila(拉奎拉大学)
合成孔径雷达(SAR)干涉测量(InSAR)是使用重复通过几何。干涉合成孔径雷达(InSAR)技术是用来估计地表地形重建的。距离-多普勒聚焦技术的主要问题是二维SAR结果的性质,受停留不确定性的影响。为了解决这个问题,需要至少两个传感器采集,由基线分开并在交叉斜距中扩展。然而,由于其多时间的性质,这些技术是脆弱的大气和地球环境参数的变化,除了物理平台的不稳定性。此外,要么需要两个雷达,要么需要一个干涉周期(从几天到几周),这使得实时DEM估计是不可能的。在这项工作中,作者提出了一种新的实验替代InSAR方法,该方法使用单次采集,使用由深度神经网络实现的数据驱动方法。我们提出了一个完全卷积神经网络(CNN)编码器-解码器架构,在雷达图像上对其进行训练,以便从单次图像采集中估计DEM。我们的一组哨兵图像上的结果表明,这种方法是能够在一定程度上学习的DEM的统计特性。这种探索性的分析结果是令人鼓舞的,并开辟了一条道路,以解决单通DEM估计问题的数据驱动的方法。
2018-03-14 cs.CV eess.SP
Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们提出了Vid2Avatar,一种从单眼野外视频中学习人类化身的方法。从单目野外视频中重建自然移动的人类是困难的。解决这个问题需要准确地将人类从任意背景中分离出来。此外,它需要从短视频序列中重建详细的3D表面,这使得它更具挑战性。尽管存在这些挑战,但我们的方法不需要任何地面实况监督或从穿着人体扫描的大型数据集中提取的先验,也不依赖于任何外部分割模块。相反,它通过对场景中的人类和背景进行联合建模,并通过两个独立的神经场进行参数化,直接在3D中解决场景分解和表面重建的任务。具体来说,我们定义了一个时间上一致的人表示在规范空间和制定一个全局优化的背景模型,规范的人的形状和纹理,每帧的人的姿态参数。提出了一种由粗到细的体渲染采样策略和新的目标,实现了动态人体和静态背景的清晰分离,得到了细节丰富、鲁棒的三维人体几何重建。我们在公开可用的数据集上评估了我们的方法,并显示了对现有技术的改进。
2023-02-22 cs.CV
Denoising Diffusion for 3D Hand Pose Estimation from Images
University of Surrey(萨里大学)
本文提出融合扩散模型与正向运动学约束的端到端框架,并在时序数据中加入Transformer,实现从单目图像或序列准确估计3D手部姿态。
2023-08-18 cs.CV
Nose, eyes and ears: Head pose estimation by locating facial keypoints
Centre for Visual Information Technology, KCIS, IIIT Hyderabad(国际信息技术研究所(海得拉巴)KCIS 视觉信息技术中心)
单目头部姿态估计需要学习从人脸的输入图像计算姿态(偏航、俯仰、滚动)的固有欧拉角的模型。注释野外图像的地面真实头部姿势角度是困难的,并且需要专门的拟合过程(其仅提供粗略和近似的注释)。这突出了对可以在受控环境中捕获的数据上进行训练并在野外(具有不同的面部外观和照明)的图像上进行概括的方法的需要。目前大多数直接在输入图像上学习回归函数的深度学习方法都无法做到这一点。为此,我们建议在使用深度学习架构时使用更高级别的表示来回归头部姿势。更具体地说,我们使用五个面部关键点(即左耳、右耳、左眼、右眼和鼻子)上的2D软定位热图图像形式的不确定性图,并将它们通过卷积神经网络来回归头部姿势。我们在两个具有挑战性的基准BIWI和AFLW上显示了头部姿态估计结果,并且我们的方法在这两个数据集上都超越了最先进的水平。
2018-12-03 cs.CV
Robust Gyroscope-Aided Camera Self-Calibration
Aalto University(阿尔托大学)
摄像机标定是单目视觉应用中的一个重要环节,它可以用来估计摄像机的内参数和镜头畸变。这篇应用论文提出了一种通过融合陀螺仪和相机数据来估计动态参数的模型,这两种数据都可以在现代智能手机中使用。该模型是基于联合估计的视觉特征位置,摄像机参数,和摄像机的姿态,其运动被假定为遵循由陀螺仪预测的运动。我们的模型假设相机运动是自由的,但连续和可微的,并且假设单个特征保持静止。估计在线使用扩展的卡尔曼滤波器,它被证明优于现有的方法在鲁棒性和不敏感的初始化。我们使用模拟数据和来自iPad的经验数据来演示该方法。
2018-05-31 cs.CV cs.RO
MetricGold: Leveraging Text-To-Image Latent Diffusion Models for Metric Depth Estimation
IIIT Hyderabad(印度信息技术研究所海得拉巴分校)
本文提出 MetricGold,融合潜在扩散、对数尺度深度表示与合成数据训练,以借助生成式扩散先验提升单目度量深度估计的零样本泛化和预测质量。
2024-12-05 cs.AI cs.CV cs.GR