StereoPilot: Learning Unified and Efficient Stereo Conversion via Generative Priors
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);CUHK(香港中文大学)
StereoPilot通过生成先验学习实现高效立体转换,提升视觉保真度和计算效率。
2025-12-18 cs.CV
Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference
The Hong Kong University of Science and Technology(香港科技大学);Shenzhen Zhuke Innovation Technology(深圳珠科创新科技)
深度学习最近展示了其在多视图立体视觉(MVS)方面的出色性能。然而,目前的学习MVS方法的一个主要限制是可扩展性:消耗内存的成本体积正则化使得学习MVS难以应用于高分辨率场景。本文提出了一种基于递归神经网络的可扩展多视图立体视觉框架。所提出的递归多视图立体视觉网络(R-MVSNet)通过门控递归单元(GRU)沿着深度方向顺序地正则化2D成本图,而不是一次正则化整个3D成本量。这大大减少了内存消耗,使高分辨率重建成为可能。我们首先展示了在最近的MVS基准测试中所提出的R-MVSNet所实现的最先进的性能。然后,我们进一步证明了所提出的方法在几个大规模的情况下,以前的学习方法往往会失败,由于内存限制的可扩展性。代码可在https://github.com/YoYo000/MVSNet上获得。
2019-02-27 cs.CV
Sparse Depth-Guided Attention for Accurate Depth Completion: A Stereo-Assisted Monitored Distillation Approach
Huawei Cloud Computing Technology Co., Ltd.(华为云计算技术有限公司);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人学会);Institute of Robotics and Intelligent Manufacturing, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)机器人与智能制造研究院)
本文提出一种立体辅助的监督蒸馏深度补全方法,通过引入立体教师模型和注意力稀疏到稠密模块,利用多视角一致性自监督信号,显著提升深度图精度。
2023-09-03 cs.CV
DynamicStereo: Consistent Dynamic Depth from Stereo Videos
Meta AI;University of Oxford(牛津大学)
针对立体视频深度预测时间一致性差的问题,提出基于transformer的DynamicStereo架构,通过相邻帧信息聚合和分组注意力层提升一致性,同时构建Dynamic Replica基准数据集,有效提升方法性能并提供评测基准。
2023-05-03 cs.AI cs.CV
FIReStereo: Forest InfraRed Stereo Dataset for UAS Depth Perception in Visually Degraded Environments
Carnegie Mellon University(卡内基梅隆大学)
针对视觉退化环境下无人机系统热成像深度感知缺乏大规模数据集的问题,本文提出FIReStereo立体热成像深度数据集,覆盖多场景多条件,基准测试验证了热成像深度感知的鲁棒性,可提升灾害场景机器人感知能力。
2024-09-12 cs.AI cs.CV cs.RO
A-TVSNet: Aggregated Two-View Stereo Network for Multi-View Stereo Depth Estimation
Shenzhen Evomotion Co., Ltd(深圳进化动力科技有限公司)
提出了一种基于学习的多视图立体视觉(MVS)图像深度图估计网络。我们提出的网络由三个子网络组成:1)用于从非结构化立体图像对进行初始深度图估计的基础网络,2)利用光度和几何信息的新型细化网络,以及3)注意力多视图聚合框架,该框架能够在不同立体图像对之间进行有效的信息交换和集成。该网络被称为A-TVSNet,在各种MVS数据集上进行了评估,并显示出产生高质量深度图的能力,优于竞争方法。我们的代码可在https://github.com/daiszh/A-TVSNet上获得。
2020-03-02 cs.CV
Depth Estimation maps of lidar and stereo images
The Australian National University(澳大利亚国立大学)
本文作为技术报告,重点介绍了基于激光雷达数据和立体图像(前左和前右)的深度估计的评估和性能。激光雷达三维云数据和立体图像由福特公司提供。此外,本文还将对深度估计性能优化的一些细节进行说明。还有一些原因是为什么不用机器学习来做深度估计,而用纯数学来做立体深度估计。本文的结构如下:(1)性能:讨论和评价由立体图像和三维云点生成的深度图,以及对齐和误差的关系分析;(2)立体图像的深度估计:说明如何利用立体图像估计深度的方法;(3)激光雷达的深度估计:说明如何利用三维云数据估计深度的方法;总之,本报告主要是展示深度图的性能及其方法,并对它们进行分析。
2022-12-22 cs.CV
2T-UNET: A Two-Tower UNet with Depth Clues for Robust Stereo Depth Estimation
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
立体对应匹配是多步立体深度估计过程的重要部分。本文重新审视了深度估计问题,避免了显式立体匹配步骤,使用一个简单的双塔卷积神经网络。该算法被命名为2 T-UNet。2 T-UNet背后的想法是用双卷积塔取代成本体积建设。这些塔允许不同的重量。此外,与现有的立体声方法相比,2 T-UNet中的双编码器的输入是不同的。通常,立体网络将右图像和左图像对作为输入以确定场景几何形状。然而,在2 T-UNet模型中,右立体图像被作为一个输入,而左立体图像连同其单目深度线索信息被作为另一个输入。深度线索提供补充建议,有助于提高预测场景几何体的质量。在具有挑战性的场景流数据集上,2 T-UNet在定量和定性方面都超越了最先进的单眼和立体深度估计方法。该架构在复杂的自然场景中表现出色,突出了其对各种实时应用的实用性。预先训练的权重和代码将随时可用。
2022-10-27 cs.CV
Non-learning Stereo-aided Depth Completion under Mis-projection via Selective Stereo Matching
Institute of Industrial Science, the University of Tokyo(东京大学生产技术研究所);Human Informatics Laboratories, Nippon Telegraph and Telephone Corporation(日本电信电话株式会社人类信息学实验室)
我们提出了一种非学习的深度完成方法,用于使用光检测和测距(LiDAR)传感器由一对立体图像引导捕获的稀疏深度图。通常,常规的立体辅助深度完井方法具有两个局限性。(i)他们假设给定的稀疏深度图与输入图像精确对齐,而这种对齐在实践中很难实现。(ii)它们在长范围内具有有限的精度,因为深度是通过像素视差来估计的。为了解决上述限制,我们提出了选择性立体匹配(SSM),搜索最合适的深度值为每个图像像素从其相邻的投影激光雷达点的基础上的能量最小化框架。这种深度选择方法可以处理任何类型的误投影。此外,SSM在远程深度精度方面具有优势,因为它直接使用LiDAR测量而不是从立体声获取的深度。SSM是一个离散过程;因此,我们应用具有二元各向异性扩散张量(B-ADT)的变分平滑来生成连续的深度图,同时保持跨对象边界的深度不连续性。实验上,与先前的最先进的立体辅助深度完成相比,所提出的方法将深度估计的平均绝对误差(MAE)降低到0.65倍,并且在长范围内展示了大约两倍的更准确的估计。此外,在不同的激光雷达相机校准误差下,所提出的方法将深度估计MAE降低到以前的深度完成方法的0.34-0.93倍。
2022-10-04 cs.CV
Obtaining Depth Maps From Color Images By Region Based Stereo Matching Algorithms
本文提出了一种基于区域的立体匹配算法,用于从双色立体图像对中提取深度信息。为了提高视差图的可靠性,采用了一种消除不可靠视差估计的滤波器。通过算法得到的结果表示和比较。
2009-02-03 cs.CV
Revisiting Depth Completion from a Stereo Matching Perspective for Cross-domain Generalization
University of Bologna(博洛尼亚大学)
针对深度补全的域偏移问题,提出一种基于虚拟图案投影生成虚构立体对、可兼容各类立体匹配器的框架,经跨域实验验证有效,可拓展深度补全的部署场景。
2023-12-14 cs.CV
Fisheye Stereo Vision: Depth and Range Error
NODAR Inc.(NODAR公司)
本文研究了鱼眼立体视觉系统中深度和范围误差的解析表达式,重点分析了大角度下的准确性问题。
2026-02-03 cs.CV
A Learning-based Framework for Hybrid Depth-from-Defocus and Stereo Matching
ShanghaiTech University(上海科技大学);University of Delaware(特拉华大学)
散焦测距(DfD)和立体匹配是两种研究最多的无源深度传感方案。这些技术基本上是互补的:DfD可以鲁棒地处理重复的纹理,这对于立体匹配是有问题的,而立体匹配对散焦模糊不敏感,并且可以处理大的深度范围。在本文中,我们提出了一个统一的基于学习的技术进行混合DfD和立体匹配。我们的输入是图像三元组:一个立体对和一个立体视图的散焦图像。我们首先应用深度引导光场渲染来构建这种混合传感设置的综合训练数据集。接下来,我们采用沙漏网络架构,分别从DfD和立体声进行深度推理。最后,我们利用两个独立的网络之间的不同连接方法,将它们集成到一个统一的解决方案中,以产生高保真的3D视差图。对真实数据和合成数据的综合实验表明,我们新的基于学习的混合三维传感技术可以显着提高三维重建的精度和鲁棒性。
2018-08-06 cs.CV
Confidence Guided Stereo 3D Object Detection with Split Depth Estimation
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
准确可靠的3D目标检测对于安全自动驾驶至关重要。尽管最近的发展,基于立体的方法和基于激光雷达的方法之间的性能差距仍然相当大。准确的深度估计对于基于立体的3D目标检测方法的性能是至关重要的,特别是对于与前景中的对象相关联的那些像素。此外,基于立体的方法遭受深度估计精度的高变化,这在目标检测流水线中通常不被考虑。为了解决这两个问题,我们提出了CG-立体声,一个置信度引导的立体3D目标检测流水线,它在深度估计过程中对前景和背景像素使用单独的解码器,并利用来自深度估计网络的置信度估计作为3D对象检测器中的软注意力机制。我们的方法在KITTI基准上优于所有最先进的基于立体的3D探测器。
2020-03-11 cs.CV
Gated Stereo: Joint Depth Estimation from Gated and Wide-Baseline Active Stereo Cues
Mercedes-Benz(梅赛德斯-奔驰);Princeton University(普林斯顿大学);Algolux(Algolux公司)
提出Gated Stereo深度估计技术,结合单目与立体预测分支并利用门控自监督损失,在160米距离内MAE较现有方法最高提升74%。
2023-05-22 cs.CV
DEFOM-Stereo: Depth Foundation Model Based Stereo Matching
Insta360 Research(Insta360研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
DEFOM-Stereo将单目深度基础模型融入循环立体匹配框架,通过特征整合与尺度更新提升视差估计,在多个基准上取得顶尖性能,并展现出强零样本泛化能力。
2025-04-23 cs.CV
StereoDiff: Stereo-Diffusion Synergy for Video Depth Estimation
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Pennsylvania(宾夕法尼亚大学)
StereoDiff将立体匹配与视频深度扩散协同,针对视频静态和动态区域分别采用对应技术,在真实世界动态视频深度基准上实现了当前最优的零样本估计性能。
2026-08-25 cs.CV
MEStereo-Du2CNN: A Novel Dual Channel CNN for Learning Robust Depth Estimates from Multi-exposure Stereo Images for HDR 3D Applications
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
显示技术已经发展了多年。开发实用的HDR捕获、处理和显示解决方案至关重要,可以将3D技术提升到一个新的水平。多重曝光立体图像序列的深度估计是开发具有成本效益的3D HDR视频内容中的基本任务。在本文中,我们开发了一种新的多曝光立体深度估计的深度架构。所提出的架构有两个新的组件。首先,改进了传统立体深度估计中的立体匹配技术。对于我们架构的立体声深度估计组件,部署了单声道到立体声的迁移学习方法。所提出的公式规避了成本体积构造要求,其被基于ResNet的双编码器单解码器CNN取代,具有不同的特征融合权重。基于EfficientNet的块用于学习视差。其次,我们结合视差图从立体图像在不同的曝光水平,使用一个强大的视差特征融合方法。使用针对不同质量度量计算的权重图来合并在不同曝光下获得的视差图。得到的最终预测视差图更鲁棒,并且保留了保留深度不连续性的最佳特征。建议的CNN提供了灵活性,训练使用标准的动态范围立体声数据或与多曝光低动态范围立体声序列。在性能方面,所提出的模型超越国家的最先进的单眼和立体深度估计方法,定量和定性,具有挑战性的场景流和不同暴露的Middlebury立体数据集。该架构在复杂的自然场景中表现出色,证明了其对各种3D HDR应用的实用性。
2022-06-21 cs.CV
StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision
University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学)
在本文中,我们提出了StereoPIFu,它集成了立体视觉的几何约束与隐式函数表示的PIFu,恢复的三维形状的穿着的人从一对低成本的纠正图像。首先,我们从基于立体视觉的网络中引入有效的体素对齐特征,以实现深度感知重建。此外,新的相对z偏移被用来关联预测的高保真人体深度和占用推断,这有助于恢复精细的表面细节。其次,设计了一种充分利用立体图像几何信息的网络结构,以提高人体重建质量。因此,我们的StereoPIFu可以自然地推断人体在相机空间中的空间位置,并保持人体不同部位的正确相对位置,这使得我们的方法能够捕捉人体的表现。与以前的作品相比,我们的StereoPIFu显着提高了服装人体重建的鲁棒性,完整性和准确性,这是由大量的实验结果证明。
2021-04-13 cs.CV
Noise in Structured-Light Stereo Depth Cameras: Modeling and its Applications
Indian Institute of Science(印度科学学院)
从商业上可获得的基于结构光立体的深度相机(诸如Kinect)获得的深度图易于使用,但是受到大量噪声的影响。本文致力于研究这种深度图的固有噪声特性,即估计深度中的噪声的标准偏差随着对象与深度相机的距离二次变化。我们验证了这个理论模型对经验的观察,并证明了这个噪声模型在三个流行的应用程序的效用:深度图去噪,体积扫描合并的3D建模,并确定深度图中的3D平面。
2015-05-08 cs.CV
On the Importance of Stereo for Accurate Depth Estimation: An Efficient Semi-Supervised Deep Neural Network Approach
NVIDIA(英伟达)
我们重新审视自主车辆的背景下的视觉深度估计的问题。尽管近年来在单目深度估计方面取得了进展,但我们发现,单目和立体深度精度之间的差距仍然很大,这是一个特别相关的结果,因为预计将自动驾驶的车辆普遍依赖单目相机。我们认为,消除这一差距的挑战是显着的,由于单眼视觉的基本限制。因此,我们集中精力在立体声深度估计。我们提出了一种新的半监督学习方法来训练深度立体神经网络,以及一种新的架构,其中包含机器学习的argmax层和自定义运行时(将公开共享),使我们的立体DNN的较小版本能够在嵌入式GPU上运行。竞争结果显示在KITTI 2015立体数据集上。我们还评估了立体声算法的最新进展,通过测量各种设计标准的准确性的影响。
2020-07-08 cs.CV
Nighttime Stereo Depth Estimation using Joint Translation-Stereo Learning: Light Effects and Uninformative Regions
National University of Singapore(新加坡国立大学);DSO National Laboratories(新加坡国防科技研究院);Yale-NUS College(耶鲁-新加坡国立大学学院)
夜间立体声深度估计仍然具有挑战性,因为与日间照明条件相关联的假设不再成立。夜间不仅是低光和密集的噪声,而且是辉光/眩光,耀斑,光的非均匀分布等可能的解决方案之一是训练网络上的夜间立体图像在一个完全监督的方式。然而,要获得密集的、独立于眩光/辉光并且具有足够远的深度范围的适当视差地面实况是极其棘手的。为了解决这个问题,我们介绍了一个网络加入白天/夜间翻译和立体声。在训练网络时,我们的方法不需要夜间图像或成对的白天/夜间图像的地面真实差异。我们利用一个翻译网络,可以从白天立体图像渲染逼真的夜间立体图像。然后,我们使用来自对应的日间立体图像的可用视差监督,在渲染的夜间立体图像上训练立体网络,并且同时也训练日/夜转换网络。我们处理由于无监督/未配对翻译而发生的伪深度问题,用于灯光效果(例如,辉光/眩光)和无信息区域(例如,低光和饱和区域),通过添加结构保持和加权平滑度约束。实验结果表明,该方法在夜间图像上的性能优于基线方法。
2020-10-09 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich(慕尼黑工业大学);Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移,并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中,我们提出利用深单目深度预测,以克服基于几何的单目视觉里程计的局限性。为此,我们将深度预测直接稀疏测距法(DSO)作为直接的虚拟立体测量。对于深度预测,我们设计了一种新的深度网络,它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外,我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能,同时仅依赖于单个相机。
2018-07-25 cs.CV
Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency
Hyndai Motor Company(现代汽车公司);KAIST(韩国科学技术院)
本文提出一种无需真值和训练、利用多视差图一致性过滤伪深度图错误的自监督单目深度估计知识蒸馏方法,在无纹理、遮挡边界和反射表面等困难区域优于现有方法。
2024-01-23 cs.CV
Stereo-LiDAR Depth Estimation with Deformable Propagation and Learned Disparity-Depth Conversion
Shanghai Jiao Tong University(上海交通大学);Midea Corporate Research Center(美的集团中央研究院);Midea Group(美的集团)
针对LiDAR稀疏提示密度低、分布不均及远距离深度三角测量误差大的问题,提出带半稠密提示引导的SDG-Depth网络,通过可变形传播生成引导图优化代价聚合,结合学习型视差-深度转换提升精度,在基准测试中表现优异。
2024-04-11 cs.CV
StereoSpace: Depth-Free Synthesis of Stereo Geometry via End-to-End Diffusion in a Canonical Space
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学);HUAWEI Bayer Lab(华为贝加尔实验室)
StereoSpace通过端到端扩散模型在规范空间中实现无深度的立体几何合成,采用视角条件化方法,无需显式深度或变形,通过端到端生成对应关系和填补遮挡区域,提升立体生成的清晰度和鲁棒性。
2026-04-29 cs.CV
Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种深度估计的方法,融合来自立体对的信息与来自激光雷达传感器或测距相机的稀疏距离测量。这项工作的目标是利用两种传感器形式的互补优势,准确但稀疏的距离测量和模糊但密集的立体信息。通过结合各向异性扩散和半全局匹配的思想,这两个源被有效地和高效地融合。我们在KITTI 2015和Middlebury 2014数据集上评估了我们的方法,使用随机采样的地面真值范围测量作为我们的稀疏深度输入。我们实现了显着的性能改进,在两个数据集上的距离测量的一小部分。我们还提供了使用PMDTec Monstar传感器的平台的定性结果。我们的整个流水线在NVIDIA TX-2平台上以5 Hz的频率运行,具有128个视差级别的1280 x1024立体图像。
2018-09-20 cs.CV
DepthVanish: Optimizing Adversarial Interval Structures for Stereo-Depth-Invisible Patches
University of Alberta(阿尔伯塔大学);VCIP, CS, Nankai University(VCIP、计算机科学系、南开大学);NKIARI, Shenzhen Futian(NKIARI、深圳福田);The University of Tokyo(东京大学);CFAR and IHPC, Agency for Science, Technology and Research (A*STAR)(CFAR和IHPC、科技研究局(A*STAR));Nanyang Technological University(南洋理工大学)
本文提出 DepthVanish 方法,通过在重复纹理间引入规则间隔形成网格结构并联合优化间隔与纹理,生成可攻击立体深度估计系统的对抗性补丁,成功在数字和物理环境中误导先进模型及商用 RGB-D 相机。
2025-11-03 cs.CV
Learning Monocular Depth Estimation via Selective Distillation of Stereo Knowledge
Hyundai Motor Company(现代汽车公司);KAIST(韩国科学技术院)
基于深度学习的单目深度估计已经得到了广泛的探索,但其准确性和泛化能力仍然远远落后于基于立体的方法。为了解决这个问题,最近的一些研究提出了通过提取视差图作为代理地面实况来监督单目深度估计网络。然而,这些研究天真地提取立体知识,而没有考虑基于立体和单目深度估计方法的比较优势。在本文中,我们建议选择性地提取视差图,以实现更可靠的代理监督。具体来说,我们首先设计一个解码器(MaskDecoder),它学习两个二进制掩码,这些掩码被训练为在代理视差图和每个像素的估计深度图之间进行最佳选择。然后,将学习到的掩码馈送到另一个解码器(DepthDecoder),以强制估计的深度仅从代理视差图中的掩蔽区域学习。此外,还设计了一个教师-学生模块,将StereoNet的几何知识转移到MonoNet。大量的实验验证了我们的方法在KITTI数据集上实现了最先进的自监督和代理监督单目深度估计性能,甚至超过了一些半监督方法。
2022-05-18 cs.CV
Fast Hierarchical Depth Map Computation from Stereo
IIT Delhi(德里印度理工学院)
块匹配立体视差通常用于计算能力有限的应用中,以便获得深度估计。然而,对简单立体方法的研究一直少于基于能量的方法,基于能量的方法保证了更好质量的深度图,具有更大的未来改进潜力。半全局匹配(SGM)方法具有良好的性能和易于实现,但由于它是在全视差空间图像上工作,因此存在非常高的内存占用问题。另一方面,块匹配立体需要更少的内存。在本文中,我们介绍了一种新的多尺度层次块匹配方法,使用金字塔的深度和成本函数的变体,大大提高了标准块匹配立体技术的结果,同时保持低内存占用,进一步降低标准块匹配的复杂性。我们测试了我们的新的多块匹配方案的米德尔伯里立体声基准。对于Middlebury基准测试,我们得到的结果只比最先进的SGM实现略差。
2019-01-28 cs.CV
3D LiDAR and Stereo Fusion using Stereo Matching Network with Conditional Cost Volume Normalization
主动和被动深度感测技术的互补特性促使Li-DAR传感器和立体相机的融合以改善深度感知。我们没有直接融合LiDAR和立体模式的估计深度,而是利用立体匹配网络的两种增强技术:LiDAR信息的输入融合和条件成本体积归一化(CCVNorm)。所提出的框架是通用的,并与通常用于立体匹配神经网络的成本体积组件紧密集成。我们通过实验验证了我们的方法在KITTI立体和深度完成数据集上的有效性和鲁棒性,获得了对各种融合策略的良好性能。此外,我们证明,与层次扩展的CCVNorm,所提出的方法只带来轻微的开销的立体匹配网络的计算时间和模型大小。有关项目页面,请参见https://zswang666.github.io/Stereo-LiDAR-CCVNorm-Project-Page/
2019-04-05 cs.CV
Depth Refinement for Improved Stereo Reconstruction
Technion - Israel Institute of Technology(以色列理工学院)
深度估计是需要对环境进行3D评估的大量应用的基石,例如机器人、增强现实和自动驾驶等。用于深度估计的一个突出技术是立体匹配,其具有若干优点:它被认为比其他深度感测技术更容易获得,可以实时产生密集的深度估计,并且近年来大大受益于深度学习的进步。然而,用于从立体图像进行深度估计的当前技术仍然遭受固有缺陷。为了重建深度,立体匹配算法在应用几何三角测量之前首先估计左图像和右图像之间的视差图。简单的分析表明,深度误差与物体的距离成二次正比。因此,对于远离相机的物体,恒定的视差误差会转化为较大的深度误差。为了减轻这种二次关系,我们提出了一种简单但有效的方法,使用细化网络的深度估计。我们的分析和实证结果表明,建议的学习过程减少了这种二次关系。我们在知名的基准测试和数据集(如Sceneflow和KITTI数据集)上评估了所提出的改进过程,并证明了深度精度度量的显着改进。
2021-12-15 cs.CV
H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry
The Hamlyn Centre for Robotic Surgery, Imperial College London(伦敦帝国理工学院哈姆林机器人手术中心);The Kennedy Institute of Rheumatology, University of Oxford(牛津大学肯尼迪风湿病学研究所)
立体图像对的深度估计已经成为计算机视觉中最受关注的应用之一,其中大多数先前的方法依赖于完全监督学习设置。然而,由于难以获得准确和可扩展的地面实况数据,完全监督方法的训练具有挑战性。作为替代方案,自我监督方法越来越受欢迎,以减轻这一挑战。在本文中,我们介绍了H-Net,这是一种用于无监督立体深度估计的深度学习框架,它利用对极几何来改进立体匹配。第一次,暹罗自动编码器架构用于深度估计,其允许提取校正立体图像之间的互信息。为了加强对极线的约束,设计了相互对极线注意力机制,在学习输入立体声对之间的互信息的同时,更加强调位于同一对极线上的特征的对应性。通过将语义信息结合到所提出的注意力机制中来进一步增强立体对应。更具体地说,最优传输算法用于抑制注意力并消除两个相机中不可见的区域中的离群值。在KITTI 2015和Cityscapes上的大量实验表明,我们的方法优于最先进的无监督立体深度估计方法,同时缩小了与全监督方法的差距。
2021-04-22 cs.CV
Learning monocular depth estimation infusing traditional stereo knowledge
University of Bologna(博洛尼亚大学)
从单个图像的深度估计代表了一个迷人的,但具有挑战性的问题与无数的应用。最近的工作证明,这项任务可以在没有地面实况标签的直接监督下学习,利用序列或立体对的图像合成。针对这第二种情况,在本文中,我们利用立体匹配,以提高单目深度估计。为此,我们提出了monoResMatch,一种新的深度架构,旨在通过从不同的角度合成特征,与输入图像水平对齐,在两个线索之间进行立体匹配,从单个输入图像中推断深度。与之前分享这一原理的作品相比,我们的网络是第一个从头开始训练的端到端网络。此外,我们展示了如何通过传统的立体算法(如半全局匹配)获得代理地面实况注释,从而实现更准确的单目深度估计,同时通过保持自监督方法来对抗对昂贵深度标签的需求。详尽的实验结果证明了i)所提出的monoResMatch架构与ii)代理监督之间的协同如何达到自监督单目深度估计的最新技术水平。该代码可在https://github.com/fabiotosi92/monoResMatch-Tensorflow上公开获取。
2019-04-08 cs.CV
Edge-preserving Near-light Photometric Stereo with Neural Surfaces
Osaka University(大阪大学);Peking University(北京大学)
本文提出了一种近光光度立体方法,可以在3D重建中忠实地保留尖锐的深度边缘。与以前的方法,依赖于有限差分近似深度偏导数和表面法线,我们引入了一个解析可微的神经表面在近光光度立体,以避免差分误差在尖锐的深度边缘,其中的深度表示为图像坐标的神经函数。通过进一步制定的朗伯函数作为一个因变量,从表面法线和深度,我们的方法是不易受不准确的深度初始化。合成和真实场景的实验证明了我们的方法的有效性,详细的形状恢复与边缘保护。
2022-07-11 cs.CV
SIDE: Center-based Stereo 3D Detector with Structure-aware Instance Depth Estimation
ShanghaiTech University(上海科技大学);The Chinese University of Hong Kong(香港中文大学)
三维检测在环境感知中起着不可或缺的作用。由于常用的激光雷达传感器成本较高,基于立体视觉的三维检测作为一种经济而有效的设置,近年来受到越来越多的关注。对于这些基于二维图像的方法,准确的深度信息是实现三维检测的关键,并且大多数现有方法都采取了初步的深度估计阶段。它们主要关注全局深度,而忽略了深度信息在这个特定任务中的属性,即稀疏性和局部性,其中精确的深度只需要这些3D边界框。基于这一发现,我们提出了一种基于立体图像的无锚3D检测方法,称为结构感知立体3D检测器(简称SIDE),其中我们通过从每个对象的ROI构建成本体积来探索实例级深度信息。针对局部代价体的信息稀疏性,进一步引入匹配权重调整和结构感知注意,使深度信息更加集中。在KITTI数据集上进行的实验表明,与没有深度图监督的现有方法相比,我们的方法实现了最先进的性能。
2021-08-24 cs.CV
Unsupervised monocular stereo matching
Northeastern University(东北大学)
目前,深度学习在单目图像深度估计中的应用越来越多,并已显示出可喜的成果。目前较为理想的单目深度估计方法是基于地面真值深度的监督学习,但该方法需要大量昂贵的地面真值深度作为监督标签。因此,研究人员开始致力于无监督的深度估计方法。尽管无监督深度估计方法的精度仍低于有监督方法,但它是一个很有前途的研究方向。本文基于在相同的无监督深度估计模型下,立体匹配模型优于单目深度估计模型的实验结果,提出了一种无监督单目视觉立体匹配方法。为了实现单目立体匹配,我们构建了两个无监督的深度卷积网络模型,一个是从左视图重建右视图,另一个是利用重建的右视图和原始左视图估计深度图。这两个网络模型在测试阶段通过管道连接在一起。在具有挑战性的KITTI数据集上,该方法的输出结果优于当前主流的无监督深度估计方法。
2018-12-31 cs.CV
Learning Monocular Depth by Distilling Cross-domain Stereo Networks
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
单目深度估计的目的是估计单个图像的逐像素深度图,其在场景理解和自动驾驶中具有广泛的应用。现有的监督和非监督方法面临着巨大的挑战。有监督方法需要大量的深度测量数据,这些数据通常很难获得,而无监督方法通常在估计精度方面受到限制。由图形引擎生成的合成数据为收集大量深度数据提供了一种可能的解决方案。然而,合成数据和真实数据之间的巨大领域差距使得直接使用它们进行训练具有挑战性。在本文中,我们建议使用立体匹配网络作为代理,从合成数据中学习深度,并使用预测的立体视差图来监督单目深度估计网络。跨域合成数据可以充分利用在这个新的框架。提出了不同的策略,以确保学习的深度感知能力很好地转移到不同的领域。我们广泛的实验表明,国家的最先进的单目深度估计的KITTI数据集的结果。
2018-08-20 cs.CV
Self-Evolving Depth-Supervised 3D Gaussian Splatting from Rendered Stereo Pairs
Koç University(科奇大学);University of Bologna(博洛尼亚大学)
针对3D高斯溅射场景几何表征不准、深度渲染有伪影的问题,提出利用GS自渲染虚拟立体对、结合立体网络深度线索的自进化监督策略,在三个数据集上首次验证了其深度精度提升效果。
2024-09-11 cs.CV
Efficient Stereo Depth Estimation for Pseudo LiDAR: A Self-Supervised Approach Based on Multi-Input ResNet Encoder
Ontario Tech University(安大略理工大学)
感知和定位对于自动运载工具至关重要,由于其精确的距离测量能力,主要通过3D LiDAR传感器进行估计。本文提出了一种从图像传感器获取实时伪点云代替激光传感器的策略。我们提出了一种方法,使用不同的深度估计,以获得伪点云,如激光雷达,以获得更好的性能。此外,深度估计器的训练和验证策略采用立体图像数据来估计更精确的深度估计以及点云结果。我们生成深度图的方法优于KITTI基准,同时产生点云的速度明显快于其他方法。
2022-05-17 cs.CV
MonSter++: Unified Stereo Matching, Multi-view Stereo, and Real-time Stereo with Monodepth Priors
School of Electronic Information and Communications, Huazhong University of Science and Technology(电子信息与通讯学院,华中科技大学);Meta;AI Chip Center, Hong Kong University of Science and Technology(香港科技大学人工智能芯片中心);Nanjing Forestry University(南京林业大学);Autel Robotics
MonSter++通过双分支架构融合单目深度先验与多视点线索,迭代互增强解决病态区域匹配难题,在立体匹配、实时立体和多视点立体八个基准上达到最先进水平。
2025-09-25 cs.CV
Integrating Disparity Confidence Estimation into Relative Depth Prior-Guided Unsupervised Stereo Matching
College of Electronics and Information Engineering, Tongji University(同济大学电子信息工程学院);Harbin Institute of Technology Suzhou Research Institute(哈尔滨工业大学苏州研究院);Department of Computer Science and Technology, Tongji University(同济大学计算机科学与技术系);Multimedia Technology and Telecom Department, Telecommunications Center, Moscow Institute of Physics(莫斯科物理技术学院多媒体技术与电信系、电信中心)
针对无监督立体匹配中模糊性和噪声问题,提出集成视差置信度估计与深度先验引导损失的新框架,在KITTI Stereo上达到最优精度。
2025-08-02 cs.CV
Depth-Map Generation using Pixel Matching in Stereoscopic Pair of Images
Insight Centre for Data Analytics(洞察数据分析中心);National University of Ireland(爱尔兰国立大学);Software Research Institute(软件研究院);Athlone Institute of Technology(阿斯隆理工学院)
现代多媒体内容的制作和传播正朝着呈现越来越“现实”的情景的方向发展。从二维(2D)到三维(3D)的转换一直是该方向的主要驱动力。在最近的过去,已经提出了大量的方法来创建3D图像/视频,其中大多数是基于深度图的生成。本文提出了一种新的算法,用于从一组可用的立体图像对中获取与所描绘的场景有关的深度信息。所提出的算法进行像素到像素的立体对中的两个图像的深度估计匹配。结果表明,所获得的深度图显示出比所报道的同行的改进。
2019-05-15 cs.CV
MonSter: Awakening the Mono in Stereo
Tel-Aviv University(特拉维夫大学);Toronto University(多伦多大学)
被动深度估计是计算机视觉中研究最久的领域之一。用于被动深度估计的最常见的方法是立体或单目系统。使用前者需要精确的校准过程,并且具有有限的有效范围。后者不需要外部校准,但通常实现较差的深度精度,可以进行调整,以在部分深度范围内实现更好的结果。在这项工作中,我们建议结合这两个框架。我们提出了一个双摄像机系统,其中的摄像机联合使用,以提取立体深度和单独提供从每个摄像机的单眼深度。这些深度图的组合导致更准确的深度估计。此外,强制执行提取的地图之间的一致性导致一种新的在线自校准策略。我们提出了一个原型相机,展示了所提出的组合的好处,在现实世界的场景中的自校准和深度重建。
2019-10-30 cs.CV
StereoCrafter-Zero: Zero-Shot Stereo Video Generation with Noisy Restart
KAUST(阿卜杜拉国王科技大学)
本文提出 StereoCrafter-Zero 零样本立体视频生成框架,通过噪声重启、迭代细化和溶解深度图增强时空与深度一致性。
2025-03-12 cs.CV
Normal Assisted Stereo Depth Estimation
University of California San Diego(加州大学圣迭戈分校);Tsinghua University(清华大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
准确的立体深度估计在室内和室外环境中的各种3D任务中起着关键作用。最近,基于学习的多视图立体视觉方法已经证明了具有有限数量视图的竞争性能。然而,在具有挑战性的情况下,特别是当建立跨视图对应是困难的,这些方法仍然不能产生令人满意的结果。在本文中,我们研究了如何利用法线估计模型和预测的法线映射来提高深度质量。我们将多视图法线估计模块和多视图深度估计模块的学习耦合。此外,我们提出了一种新的一致性损失训练一个独立的一致性模块,细化深度/正常对的深度。我们发现,联合学习可以提高法线和深度的预测,并且通过加强一致性可以进一步提高准确性和平滑性。在MVS、SUN 3D、RGBD和Scenes 11上的实验证明了该方法的有效性和最先进的性能。
2020-06-01 cs.CV
SpatialMe: Stereo Video Conversion Using Depth-Warping and Blend-Inpainting
针对单目转立体视频的稳定性和数据不足问题,提出基于深度扭曲与混合修复的SpatialMe框架,含掩码层级特征更新精炼器和视差扩展策略,并构建StereoV1K数据集,实验优于现有方法。
2024-12-16 cs.CV
Edge-aware Consistent Stereo Video Depth Estimation
K|Lens GmbH(K|Lens有限公司);Saarland Informatics Campus(萨尔兰信息学园区);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));MPI Informatics(马克斯·普朗克信息学研究所)
针对视频深度估计的一致性与细节模糊问题,提出面向立体视频的边缘感知深度估计方法,结合左右一致性损失、SLAM位姿估计与边缘保持损失,实现准确的稠密深度估计。
2023-05-04 cs.CV
MCL-3D: a database for stereoscopic image quality assessment using 2D-image-plus-depth source
Xidian University(西安电子科技大学);University of Southern California(南加州大学)
一个新的立体图像质量评估数据库渲染使用的2D图像加深度源,称为MCL-3D,描述和性能基准测试的几个已知的2D和3D图像质量指标使用的MCL-3D数据库在这项工作中。首先选择九个图像加深度源,并且使用基于深度图像的渲染(DIBR)技术来渲染立体图像对。在立体图像渲染之前施加到纹理图像或深度图像的失真包括:高斯模糊、加性白噪声、下采样模糊、JPEG和JPEG-2000(JP 2K)压缩和传输误差。此外,不完美的渲染所造成的失真也被检查。MCL-3D数据库包含693个立体图像对,其中三分之一的分辨率为1024 x728,三分之二的分辨率为1920 x1080。在用户友好性的主观测试中采用了成对比较,并可以相应地计算平均意见得分(MOS)。最后,我们评估了应用于MCL-3D的几个2D和3D图像质量指标的性能。MCL-3D中的所有纹理图像、深度图像、渲染图像对及其在主观测试中获得的MOS值可供公众(http://mcl.usc.edu/mcl-3d-database/)用于未来的研究和开发。
2014-03-23 cs.CV
Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers
Johns Hopkins University(约翰斯·霍普金斯大学)
立体深度估计依赖于左图像和右图像中的核线上的像素之间的最佳对应匹配来推断深度。在这项工作中,我们重新审视这个问题,从序列到序列对应的角度来取代成本量建设密集像素匹配使用位置信息和注意。这种方法称为STTR(STEreo Transformer),具有以下几个优点:1)放宽了固定视差范围的限制,2)识别遮挡区域并提供置信度估计,以及3)在匹配过程中施加唯一性约束。我们在合成和真实世界的数据集上报告了有希望的结果,并证明STTR即使没有微调也能在不同的领域中推广。
2021-08-25 cs.CV
Depth Super-Resolution Meets Uncalibrated Photometric Stereo
Computer Vision Group, Technical University of Munich(慕尼黑工业大学计算机视觉组);Erasmus Mundus Masters in Vision and Robotics (VIBOT)(伊拉斯谟世界计划视觉与机器人硕士项目(VIBOT))
提出了一种新的RGB-D传感器深度超分辨率方法。它通过高分辨率光度线索消除深度超分辨率的歧义,并且对称地,它通过低分辨率深度线索消除未校准的光度立体。为此,从相同的视角获取RGB-D序列,同时从各种未校准的方向照射场景。这个序列是由一个变分框架,适合高分辨率的形状和反射率,以及照明,低分辨率的深度测量和高分辨率的RGB的。关键的新颖之处在于一个新的基于PDE的光度立体正则化隐式确保表面的规则性。这允许以纯数据驱动的方式执行深度超分辨率,而不需要任何特定的先前或材料校准。使用开箱即用的RGB-D传感器和手持式LED光源进行真实世界的实验。
2017-08-24 cs.CV
Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light
Hefei University of Technology(合肥工业大学);Orbbec(奥比中光);Sun Yat-sen University(中山大学)
众所周知,被动立体声系统不能很好地适应弱纹理对象,例如,白墙然而,这些弱纹理目标在室内环境中非常常见。在本文中,我们提出了一种新的立体系统,它包括两个摄像机(RGB摄像机和红外摄像机)和红外散斑投影仪。RGB相机用于深度估计和纹理获取。IR相机和散斑投影仪可以形成单目结构光(MSL)子系统,而两个相机可以形成双目立体子系统。由MSL子系统生成的深度图可以为立体匹配网络提供外部指导,这可以显著提高匹配精度。为了验证所提出的系统的有效性,我们建立了一个原型,并收集了测试数据集在室内场景。评估结果表明,当使用网络RAFT时,该系统的Bad 2.0误差为被动立体声系统的28.2%。数据集和训练模型可在https://github.com/YuhuaXu/MonoStereoFusion上获得。
2022-03-20 cs.CV
Depth from a polarisation + RGB stereo pair
University of York(约克大学)
在本文中,我们提出了一种混合深度成像系统,其中偏振相机是由标准数码相机的第二个图像增强。对于这种设备复杂性的适度增加,超过了传统的形状从偏振,我们获得了许多好处,使我们能够克服长期存在的问题与偏振形状线索。立体声提示提供了一个深度图,虽然粗糙,但在度量上是准确的。这被用作使用高阶图形模型的偏振表面法线估计的消歧的引导表面。反过来,这些被用来估计弥漫性脑水肿。通过扩展以前的形状从偏振方法的角度来看的情况下,我们展示了如何计算密集,详细的绝对深度的地图,同时保留一个线性公式。我们表明,我们的混合方法是能够恢复密集的3D几何形状,优于国家的最先进的形状从偏振或两个视图立体单独。
2019-04-03 cs.CV
Entropy-difference based stereo error detection
University of Alberta(阿尔伯塔大学);National Institute of Technology Karnataka(卡纳塔克邦国家理工学院)
立体深度估计是容易出错的;因此,需要有效的错误检测方法。大多数这样的现有方法依赖于立体匹配成本曲线的特性,使得它们过度依赖于匹配算法的功能细节。作为补救措施,我们提出了一种新的错误检测方法,完全基于输入图像及其深度图。我们的假设是,图像上任何点的熵都将显著高于图像深度图上对应点的熵。在本文中,我们提出了一个信心的措施,熵差(ED)的立体声深度估计和二进制分类方法来识别不正确的深度。在Middlebury数据集上的实验表明了我们方法的有效性。我们提出的立体声置信度优于17个现有的措施,在所有方面,除了遮挡检测。已建立的指标,如精度,准确性,召回率和曲线下面积来证明我们的方法的有效性。
2017-11-28 cs.CV