Fisheye Stereo Vision: Depth and Range Error
NODAR Inc.（NODAR公司）
本文研究了鱼眼立体视觉系统中深度和范围误差的解析表达式，重点分析了大角度下的准确性问题。
2026-02-03 cs.CV
A Learning-based Framework for Hybrid Depth-from-Defocus and Stereo Matching
ShanghaiTech University（上海科技大学）；University of Delaware（特拉华大学）
散焦测距（DfD）和立体匹配是两种研究最多的无源深度传感方案。这些技术基本上是互补的：DfD可以鲁棒地处理重复的纹理，这对于立体匹配是有问题的，而立体匹配对散焦模糊不敏感，并且可以处理大的深度范围。在本文中，我们提出了一个统一的基于学习的技术进行混合DfD和立体匹配。我们的输入是图像三元组：一个立体对和一个立体视图的散焦图像。我们首先应用深度引导光场渲染来构建这种混合传感设置的综合训练数据集。接下来，我们采用沙漏网络架构，分别从DfD和立体声进行深度推理。最后，我们利用两个独立的网络之间的不同连接方法，将它们集成到一个统一的解决方案中，以产生高保真的3D视差图。对真实数据和合成数据的综合实验表明，我们新的基于学习的混合三维传感技术可以显着提高三维重建的精度和鲁棒性。
2018-08-06 cs.CV
Confidence Guided Stereo 3D Object Detection with Split Depth Estimation
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
准确可靠的3D目标检测对于安全自动驾驶至关重要。尽管最近的发展，基于立体的方法和基于激光雷达的方法之间的性能差距仍然相当大。准确的深度估计对于基于立体的3D目标检测方法的性能是至关重要的，特别是对于与前景中的对象相关联的那些像素。此外，基于立体的方法遭受深度估计精度的高变化，这在目标检测流水线中通常不被考虑。为了解决这两个问题，我们提出了CG-立体声，一个置信度引导的立体3D目标检测流水线，它在深度估计过程中对前景和背景像素使用单独的解码器，并利用来自深度估计网络的置信度估计作为3D对象检测器中的软注意力机制。我们的方法在KITTI基准上优于所有最先进的基于立体的3D探测器。
2020-03-11 cs.CV
Gated Stereo: Joint Depth Estimation from Gated and Wide-Baseline Active Stereo Cues
Mercedes-Benz（梅赛德斯-奔驰）；Princeton University（普林斯顿大学）；Algolux（Algolux公司）
提出Gated Stereo深度估计技术，结合单目与立体预测分支并利用门控自监督损失，在160米距离内MAE较现有方法最高提升74%。
2023-05-22 cs.CV
Stereo Matching With Color-Weighted Correlation, Hierarchical Belief Propagation And Occlusion Handling
本文设计了一种立体匹配算法，对视差、不连续性和遮挡进行了细致的处理。该算法采用基于能量最小化的全局匹配立体模型。全局能量包括两项，首先是数据项，其次是平滑项。在许多分层循环置信传播算法的应用中，数据项通过颜色加权相关来近似，然后在遮挡和低纹理区域进行细化。在Middlebury数据集上对实验结果进行了评估，结果表明，我们的算法是所有算法中表现最好的
2017-08-30 cs.CV
DEFOM-Stereo: Depth Foundation Model Based Stereo Matching
Insta360 Research（Insta360研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
DEFOM-Stereo将单目深度基础模型融入循环立体匹配框架，通过特征整合与尺度更新提升视差估计，在多个基准上取得顶尖性能，并展现出强零样本泛化能力。
2025-04-23 cs.CV
StereoDiff: Stereo-Diffusion Synergy for Video Depth Estimation
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Pennsylvania（宾夕法尼亚大学）
StereoDiff将立体匹配与视频深度扩散协同，针对视频静态和动态区域分别采用对应技术，在真实世界动态视频深度基准上实现了当前最优的零样本估计性能。
2026-08-25 cs.CV
MEStereo-Du2CNN: A Novel Dual Channel CNN for Learning Robust Depth Estimates from Multi-exposure Stereo Images for HDR 3D Applications
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
显示技术已经发展了多年。开发实用的HDR捕获、处理和显示解决方案至关重要，可以将3D技术提升到一个新的水平。多重曝光立体图像序列的深度估计是开发具有成本效益的3D HDR视频内容中的基本任务。在本文中，我们开发了一种新的多曝光立体深度估计的深度架构。所提出的架构有两个新的组件。首先，改进了传统立体深度估计中的立体匹配技术。对于我们架构的立体声深度估计组件，部署了单声道到立体声的迁移学习方法。所提出的公式规避了成本体积构造要求，其被基于ResNet的双编码器单解码器CNN取代，具有不同的特征融合权重。基于EfficientNet的块用于学习视差。其次，我们结合视差图从立体图像在不同的曝光水平，使用一个强大的视差特征融合方法。使用针对不同质量度量计算的权重图来合并在不同曝光下获得的视差图。得到的最终预测视差图更鲁棒，并且保留了保留深度不连续性的最佳特征。建议的CNN提供了灵活性，训练使用标准的动态范围立体声数据或与多曝光低动态范围立体声序列。在性能方面，所提出的模型超越国家的最先进的单眼和立体深度估计方法，定量和定性，具有挑战性的场景流和不同暴露的Middlebury立体数据集。该架构在复杂的自然场景中表现出色，证明了其对各种3D HDR应用的实用性。
2022-06-21 cs.CV
StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
在本文中，我们提出了StereoPIFu，它集成了立体视觉的几何约束与隐式函数表示的PIFu，恢复的三维形状的穿着的人从一对低成本的纠正图像。首先，我们从基于立体视觉的网络中引入有效的体素对齐特征，以实现深度感知重建。此外，新的相对z偏移被用来关联预测的高保真人体深度和占用推断，这有助于恢复精细的表面细节。其次，设计了一种充分利用立体图像几何信息的网络结构，以提高人体重建质量。因此，我们的StereoPIFu可以自然地推断人体在相机空间中的空间位置，并保持人体不同部位的正确相对位置，这使得我们的方法能够捕捉人体的表现。与以前的作品相比，我们的StereoPIFu显着提高了服装人体重建的鲁棒性，完整性和准确性，这是由大量的实验结果证明。
2021-04-13 cs.CV
Noise in Structured-Light Stereo Depth Cameras: Modeling and its Applications
Indian Institute of Science（印度科学学院）
从商业上可获得的基于结构光立体的深度相机（诸如Kinect）获得的深度图易于使用，但是受到大量噪声的影响。本文致力于研究这种深度图的固有噪声特性，即估计深度中的噪声的标准偏差随着对象与深度相机的距离二次变化。我们验证了这个理论模型对经验的观察，并证明了这个噪声模型在三个流行的应用程序的效用：深度图去噪，体积扫描合并的3D建模，并确定深度图中的3D平面。
2015-05-08 cs.CV
On the Importance of Stereo for Accurate Depth Estimation: An Efficient Semi-Supervised Deep Neural Network Approach
NVIDIA（英伟达）
我们重新审视自主车辆的背景下的视觉深度估计的问题。尽管近年来在单目深度估计方面取得了进展，但我们发现，单目和立体深度精度之间的差距仍然很大，这是一个特别相关的结果，因为预计将自动驾驶的车辆普遍依赖单目相机。我们认为，消除这一差距的挑战是显着的，由于单眼视觉的基本限制。因此，我们集中精力在立体声深度估计。我们提出了一种新的半监督学习方法来训练深度立体神经网络，以及一种新的架构，其中包含机器学习的argmax层和自定义运行时（将公开共享），使我们的立体DNN的较小版本能够在嵌入式GPU上运行。竞争结果显示在KITTI 2015立体数据集上。我们还评估了立体声算法的最新进展，通过测量各种设计标准的准确性的影响。
2020-07-08 cs.CV
Nighttime Stereo Depth Estimation using Joint Translation-Stereo Learning: Light Effects and Uninformative Regions
National University of Singapore（新加坡国立大学）；DSO National Laboratories（新加坡国防科技研究院）；Yale-NUS College（耶鲁-新加坡国立大学学院）
夜间立体声深度估计仍然具有挑战性，因为与日间照明条件相关联的假设不再成立。夜间不仅是低光和密集的噪声，而且是辉光/眩光，耀斑，光的非均匀分布等可能的解决方案之一是训练网络上的夜间立体图像在一个完全监督的方式。然而，要获得密集的、独立于眩光/辉光并且具有足够远的深度范围的适当视差地面实况是极其棘手的。为了解决这个问题，我们介绍了一个网络加入白天/夜间翻译和立体声。在训练网络时，我们的方法不需要夜间图像或成对的白天/夜间图像的地面真实差异。我们利用一个翻译网络，可以从白天立体图像渲染逼真的夜间立体图像。然后，我们使用来自对应的日间立体图像的可用视差监督，在渲染的夜间立体图像上训练立体网络，并且同时也训练日/夜转换网络。我们处理由于无监督/未配对翻译而发生的伪深度问题，用于灯光效果（例如，辉光/眩光）和无信息区域（例如，低光和饱和区域），通过添加结构保持和加权平滑度约束。实验结果表明，该方法在夜间图像上的性能优于基线方法。
2020-10-09 cs.CV
Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for Monocular Direct Sparse Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense
单纯依赖于几何线索的单目视觉里程计方法易于尺度漂移，并且需要连续帧中的足够运动视差以用于运动估计和3D重建。在本文中，我们提出利用深单目深度预测，以克服基于几何的单目视觉里程计的局限性。为此，我们将深度预测直接稀疏测距法（DSO）作为直接的虚拟立体测量。对于深度预测，我们设计了一种新的深度网络，它可以在两个阶段的过程中从单个图像中细化预测深度。我们训练我们的网络在立体图像中的光一致性和与立体DSO的精确稀疏深度重建的一致性上以半监督的方式。我们的深度预测优于KITTI基准上最先进的单眼深度方法。此外，我们的深度虚拟立体测距法在准确性上明显超过了以前的单目和基于深度学习的方法。它甚至实现了与最先进的立体方法相当的性能，同时仅依赖于单个相机。
2018-07-25 cs.CV
Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency
Hyndai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
本文提出一种无需真值和训练、利用多视差图一致性过滤伪深度图错误的自监督单目深度估计知识蒸馏方法，在无纹理、遮挡边界和反射表面等困难区域优于现有方法。
2024-01-23 cs.CV
Stereo-LiDAR Depth Estimation with Deformable Propagation and Learned Disparity-Depth Conversion
Shanghai Jiao Tong University（上海交通大学）；Midea Corporate Research Center（美的集团中央研究院）；Midea Group（美的集团）
针对LiDAR稀疏提示密度低、分布不均及远距离深度三角测量误差大的问题，提出带半稠密提示引导的SDG-Depth网络，通过可变形传播生成引导图优化代价聚合，结合学习型视差-深度转换提升精度，在基准测试中表现优异。
2024-04-11 cs.CV
StereoSpace: Depth-Free Synthesis of Stereo Geometry via End-to-End Diffusion in a Canonical Space
ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）；HUAWEI Bayer Lab（华为贝加尔实验室）
StereoSpace通过端到端扩散模型在规范空间中实现无深度的立体几何合成，采用视角条件化方法，无需显式深度或变形，通过端到端生成对应关系和填补遮挡区域，提升立体生成的清晰度和鲁棒性。
2026-04-29 cs.CV
Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种深度估计的方法，融合来自立体对的信息与来自激光雷达传感器或测距相机的稀疏距离测量。这项工作的目标是利用两种传感器形式的互补优势，准确但稀疏的距离测量和模糊但密集的立体信息。通过结合各向异性扩散和半全局匹配的思想，这两个源被有效地和高效地融合。我们在KITTI 2015和Middlebury 2014数据集上评估了我们的方法，使用随机采样的地面真值范围测量作为我们的稀疏深度输入。我们实现了显着的性能改进，在两个数据集上的距离测量的一小部分。我们还提供了使用PMDTec Monstar传感器的平台的定性结果。我们的整个流水线在NVIDIA TX-2平台上以5 Hz的频率运行，具有128个视差级别的1280 x1024立体图像。
2018-09-20 cs.CV
DepthVanish: Optimizing Adversarial Interval Structures for Stereo-Depth-Invisible Patches
University of Alberta（阿尔伯塔大学）；VCIP, CS, Nankai University（VCIP、计算机科学系、南开大学）；NKIARI, Shenzhen Futian（NKIARI、深圳福田）；The University of Tokyo（东京大学）；CFAR and IHPC, Agency for Science, Technology and Research (A*STAR)（CFAR和IHPC、科技研究局（A*STAR））；Nanyang Technological University（南洋理工大学）
本文提出 DepthVanish 方法，通过在重复纹理间引入规则间隔形成网格结构并联合优化间隔与纹理，生成可攻击立体深度估计系统的对抗性补丁，成功在数字和物理环境中误导先进模型及商用 RGB-D 相机。
2025-11-03 cs.CV
Learning Monocular Depth Estimation via Selective Distillation of Stereo Knowledge
Hyundai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
基于深度学习的单目深度估计已经得到了广泛的探索，但其准确性和泛化能力仍然远远落后于基于立体的方法。为了解决这个问题，最近的一些研究提出了通过提取视差图作为代理地面实况来监督单目深度估计网络。然而，这些研究天真地提取立体知识，而没有考虑基于立体和单目深度估计方法的比较优势。在本文中，我们建议选择性地提取视差图，以实现更可靠的代理监督。具体来说，我们首先设计一个解码器（MaskDecoder），它学习两个二进制掩码，这些掩码被训练为在代理视差图和每个像素的估计深度图之间进行最佳选择。然后，将学习到的掩码馈送到另一个解码器（DepthDecoder），以强制估计的深度仅从代理视差图中的掩蔽区域学习。此外，还设计了一个教师-学生模块，将StereoNet的几何知识转移到MonoNet。大量的实验验证了我们的方法在KITTI数据集上实现了最先进的自监督和代理监督单目深度估计性能，甚至超过了一些半监督方法。
2022-05-18 cs.CV
Self-Supervised Depth Completion for Active Stereo
Technical University of Denmark（丹麦技术大学）；SLAMcore（SLAMcore公司）
主动立体声系统用于许多需要3D信息的机器人应用中。然而，这些深度传感器，遭受立体声伪影，并不提供密集的深度estimations.In这项工作中，我们提出了第一个自我监督的深度完成方法，主动立体声系统，预测准确的密集深度图。我们的系统利用基于特征的视觉惯性SLAM系统来产生运动估计和准确（但稀疏）的3D地标。3D地标既用作模型输入，也用作训练期间的监督。运动估计被用于我们的新的重建损失，依赖于被动和主动立体帧的组合，从而显着改善在室内环境中常见的无纹理区域。由于不存在公开可用的活动立体数据集，我们发布了一个真实的数据集以及活动深度完成和预测所需的公开可用的合成数据集（TartanAir [42]）的附加信息。通过严格的评估，我们表明我们的方法在两个数据集上都优于最先进的方法。此外，我们展示了我们的方法如何获得更完整，因此更安全，3D地图时，在机器人平台上使用。
2022-01-20 cs.CV
3D LiDAR and Stereo Fusion using Stereo Matching Network with Conditional Cost Volume Normalization
主动和被动深度感测技术的互补特性促使Li-DAR传感器和立体相机的融合以改善深度感知。我们没有直接融合LiDAR和立体模式的估计深度，而是利用立体匹配网络的两种增强技术：LiDAR信息的输入融合和条件成本体积归一化（CCVNorm）。所提出的框架是通用的，并与通常用于立体匹配神经网络的成本体积组件紧密集成。我们通过实验验证了我们的方法在KITTI立体和深度完成数据集上的有效性和鲁棒性，获得了对各种融合策略的良好性能。此外，我们证明，与层次扩展的CCVNorm，所提出的方法只带来轻微的开销的立体匹配网络的计算时间和模型大小。有关项目页面，请参见https://zswang666.github.io/Stereo-LiDAR-CCVNorm-Project-Page/
2019-04-05 cs.CV
Depth Refinement for Improved Stereo Reconstruction
Technion - Israel Institute of Technology（以色列理工学院）
深度估计是需要对环境进行3D评估的大量应用的基石，例如机器人、增强现实和自动驾驶等。用于深度估计的一个突出技术是立体匹配，其具有若干优点：它被认为比其他深度感测技术更容易获得，可以实时产生密集的深度估计，并且近年来大大受益于深度学习的进步。然而，用于从立体图像进行深度估计的当前技术仍然遭受固有缺陷。为了重建深度，立体匹配算法在应用几何三角测量之前首先估计左图像和右图像之间的视差图。简单的分析表明，深度误差与物体的距离成二次正比。因此，对于远离相机的物体，恒定的视差误差会转化为较大的深度误差。为了减轻这种二次关系，我们提出了一种简单但有效的方法，使用细化网络的深度估计。我们的分析和实证结果表明，建议的学习过程减少了这种二次关系。我们在知名的基准测试和数据集（如Sceneflow和KITTI数据集）上评估了所提出的改进过程，并证明了深度精度度量的显着改进。
2021-12-15 cs.CV
H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry
The Hamlyn Centre for Robotic Surgery, Imperial College London（伦敦帝国理工学院哈姆林机器人手术中心）；The Kennedy Institute of Rheumatology, University of Oxford（牛津大学肯尼迪风湿病学研究所）
立体图像对的深度估计已经成为计算机视觉中最受关注的应用之一，其中大多数先前的方法依赖于完全监督学习设置。然而，由于难以获得准确和可扩展的地面实况数据，完全监督方法的训练具有挑战性。作为替代方案，自我监督方法越来越受欢迎，以减轻这一挑战。在本文中，我们介绍了H-Net，这是一种用于无监督立体深度估计的深度学习框架，它利用对极几何来改进立体匹配。第一次，暹罗自动编码器架构用于深度估计，其允许提取校正立体图像之间的互信息。为了加强对极线的约束，设计了相互对极线注意力机制，在学习输入立体声对之间的互信息的同时，更加强调位于同一对极线上的特征的对应性。通过将语义信息结合到所提出的注意力机制中来进一步增强立体对应。更具体地说，最优传输算法用于抑制注意力并消除两个相机中不可见的区域中的离群值。在KITTI 2015和Cityscapes上的大量实验表明，我们的方法优于最先进的无监督立体深度估计方法，同时缩小了与全监督方法的差距。
2021-04-22 cs.CV
Learning monocular depth estimation infusing traditional stereo knowledge
University of Bologna（博洛尼亚大学）
从单个图像的深度估计代表了一个迷人的，但具有挑战性的问题与无数的应用。最近的工作证明，这项任务可以在没有地面实况标签的直接监督下学习，利用序列或立体对的图像合成。针对这第二种情况，在本文中，我们利用立体匹配，以提高单目深度估计。为此，我们提出了monoResMatch，一种新的深度架构，旨在通过从不同的角度合成特征，与输入图像水平对齐，在两个线索之间进行立体匹配，从单个输入图像中推断深度。与之前分享这一原理的作品相比，我们的网络是第一个从头开始训练的端到端网络。此外，我们展示了如何通过传统的立体算法（如半全局匹配）获得代理地面实况注释，从而实现更准确的单目深度估计，同时通过保持自监督方法来对抗对昂贵深度标签的需求。详尽的实验结果证明了i）所提出的monoResMatch架构与ii）代理监督之间的协同如何达到自监督单目深度估计的最新技术水平。该代码可在https://github.com/fabiotosi92/monoResMatch-Tensorflow上公开获取。
2019-04-08 cs.CV
Edge-preserving Near-light Photometric Stereo with Neural Surfaces
Osaka University（大阪大学）；Peking University（北京大学）
本文提出了一种近光光度立体方法，可以在3D重建中忠实地保留尖锐的深度边缘。与以前的方法，依赖于有限差分近似深度偏导数和表面法线，我们引入了一个解析可微的神经表面在近光光度立体，以避免差分误差在尖锐的深度边缘，其中的深度表示为图像坐标的神经函数。通过进一步制定的朗伯函数作为一个因变量，从表面法线和深度，我们的方法是不易受不准确的深度初始化。合成和真实场景的实验证明了我们的方法的有效性，详细的形状恢复与边缘保护。
2022-07-11 cs.CV
SIDE: Center-based Stereo 3D Detector with Structure-aware Instance Depth Estimation
ShanghaiTech University（上海科技大学）；The Chinese University of Hong Kong（香港中文大学）
三维检测在环境感知中起着不可或缺的作用。由于常用的激光雷达传感器成本较高，基于立体视觉的三维检测作为一种经济而有效的设置，近年来受到越来越多的关注。对于这些基于二维图像的方法，准确的深度信息是实现三维检测的关键，并且大多数现有方法都采取了初步的深度估计阶段。它们主要关注全局深度，而忽略了深度信息在这个特定任务中的属性，即稀疏性和局部性，其中精确的深度只需要这些3D边界框。基于这一发现，我们提出了一种基于立体图像的无锚3D检测方法，称为结构感知立体3D检测器（简称SIDE），其中我们通过从每个对象的ROI构建成本体积来探索实例级深度信息。针对局部代价体的信息稀疏性，进一步引入匹配权重调整和结构感知注意，使深度信息更加集中。在KITTI数据集上进行的实验表明，与没有深度图监督的现有方法相比，我们的方法实现了最先进的性能。
2021-08-24 cs.CV
Unsupervised monocular stereo matching
Northeastern University（东北大学）
目前，深度学习在单目图像深度估计中的应用越来越多，并已显示出可喜的成果。目前较为理想的单目深度估计方法是基于地面真值深度的监督学习，但该方法需要大量昂贵的地面真值深度作为监督标签。因此，研究人员开始致力于无监督的深度估计方法。尽管无监督深度估计方法的精度仍低于有监督方法，但它是一个很有前途的研究方向。本文基于在相同的无监督深度估计模型下，立体匹配模型优于单目深度估计模型的实验结果，提出了一种无监督单目视觉立体匹配方法。为了实现单目立体匹配，我们构建了两个无监督的深度卷积网络模型，一个是从左视图重建右视图，另一个是利用重建的右视图和原始左视图估计深度图。这两个网络模型在测试阶段通过管道连接在一起。在具有挑战性的KITTI数据集上，该方法的输出结果优于当前主流的无监督深度估计方法。
2018-12-31 cs.CV
Learning Monocular Depth by Distilling Cross-domain Stereo Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
单目深度估计的目的是估计单个图像的逐像素深度图，其在场景理解和自动驾驶中具有广泛的应用。现有的监督和非监督方法面临着巨大的挑战。有监督方法需要大量的深度测量数据，这些数据通常很难获得，而无监督方法通常在估计精度方面受到限制。由图形引擎生成的合成数据为收集大量深度数据提供了一种可能的解决方案。然而，合成数据和真实数据之间的巨大领域差距使得直接使用它们进行训练具有挑战性。在本文中，我们建议使用立体匹配网络作为代理，从合成数据中学习深度，并使用预测的立体视差图来监督单目深度估计网络。跨域合成数据可以充分利用在这个新的框架。提出了不同的策略，以确保学习的深度感知能力很好地转移到不同的领域。我们广泛的实验表明，国家的最先进的单目深度估计的KITTI数据集的结果。
2018-08-20 cs.CV
Self-Evolving Depth-Supervised 3D Gaussian Splatting from Rendered Stereo Pairs
Koç University（科奇大学）；University of Bologna（博洛尼亚大学）
针对3D高斯溅射场景几何表征不准、深度渲染有伪影的问题，提出利用GS自渲染虚拟立体对、结合立体网络深度线索的自进化监督策略，在三个数据集上首次验证了其深度精度提升效果。
2024-09-11 cs.CV
Efficient Stereo Depth Estimation for Pseudo LiDAR: A Self-Supervised Approach Based on Multi-Input ResNet Encoder
Ontario Tech University（安大略理工大学）
感知和定位对于自动运载工具至关重要，由于其精确的距离测量能力，主要通过3D LiDAR传感器进行估计。本文提出了一种从图像传感器获取实时伪点云代替激光传感器的策略。我们提出了一种方法，使用不同的深度估计，以获得伪点云，如激光雷达，以获得更好的性能。此外，深度估计器的训练和验证策略采用立体图像数据来估计更精确的深度估计以及点云结果。我们生成深度图的方法优于KITTI基准，同时产生点云的速度明显快于其他方法。
2022-05-17 cs.CV
MonSter++: Unified Stereo Matching, Multi-view Stereo, and Real-time Stereo with Monodepth Priors
School of Electronic Information and Communications, Huazhong University of Science and Technology（电子信息与通讯学院，华中科技大学）；Meta；AI Chip Center, Hong Kong University of Science and Technology（香港科技大学人工智能芯片中心）；Nanjing Forestry University（南京林业大学）；Autel Robotics
MonSter++通过双分支架构融合单目深度先验与多视点线索，迭代互增强解决病态区域匹配难题，在立体匹配、实时立体和多视点立体八个基准上达到最先进水平。
2025-09-25 cs.CV
Integrating Disparity Confidence Estimation into Relative Depth Prior-Guided Unsupervised Stereo Matching
College of Electronics and Information Engineering, Tongji University（同济大学电子信息工程学院）；Harbin Institute of Technology Suzhou Research Institute（哈尔滨工业大学苏州研究院）；Department of Computer Science and Technology, Tongji University（同济大学计算机科学与技术系）；Multimedia Technology and Telecom Department, Telecommunications Center, Moscow Institute of Physics（莫斯科物理技术学院多媒体技术与电信系、电信中心）
针对无监督立体匹配中模糊性和噪声问题，提出集成视差置信度估计与深度先验引导损失的新框架，在KITTI Stereo上达到最优精度。
2025-08-02 cs.CV
Depth-Map Generation using Pixel Matching in Stereoscopic Pair of Images
Insight Centre for Data Analytics（洞察数据分析中心）；National University of Ireland（爱尔兰国立大学）；Software Research Institute（软件研究院）；Athlone Institute of Technology（阿斯隆理工学院）
现代多媒体内容的制作和传播正朝着呈现越来越“现实”的情景的方向发展。从二维（2D）到三维（3D）的转换一直是该方向的主要驱动力。在最近的过去，已经提出了大量的方法来创建3D图像/视频，其中大多数是基于深度图的生成。本文提出了一种新的算法，用于从一组可用的立体图像对中获取与所描绘的场景有关的深度信息。所提出的算法进行像素到像素的立体对中的两个图像的深度估计匹配。结果表明，所获得的深度图显示出比所报道的同行的改进。
2019-05-15 cs.CV
MonSter: Awakening the Mono in Stereo
Tel-Aviv University（特拉维夫大学）；Toronto University（多伦多大学）
被动深度估计是计算机视觉中研究最久的领域之一。用于被动深度估计的最常见的方法是立体或单目系统。使用前者需要精确的校准过程，并且具有有限的有效范围。后者不需要外部校准，但通常实现较差的深度精度，可以进行调整，以在部分深度范围内实现更好的结果。在这项工作中，我们建议结合这两个框架。我们提出了一个双摄像机系统，其中的摄像机联合使用，以提取立体深度和单独提供从每个摄像机的单眼深度。这些深度图的组合导致更准确的深度估计。此外，强制执行提取的地图之间的一致性导致一种新的在线自校准策略。我们提出了一个原型相机，展示了所提出的组合的好处，在现实世界的场景中的自校准和深度重建。
2019-10-30 cs.CV
StereoCrafter-Zero: Zero-Shot Stereo Video Generation with Noisy Restart
KAUST（阿卜杜拉国王科技大学）
本文提出 StereoCrafter-Zero 零样本立体视频生成框架，通过噪声重启、迭代细化和溶解深度图增强时空与深度一致性。
2025-03-12 cs.CV
Normal Assisted Stereo Depth Estimation
University of California San Diego（加州大学圣迭戈分校）；Tsinghua University（清华大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
准确的立体深度估计在室内和室外环境中的各种3D任务中起着关键作用。最近，基于学习的多视图立体视觉方法已经证明了具有有限数量视图的竞争性能。然而，在具有挑战性的情况下，特别是当建立跨视图对应是困难的，这些方法仍然不能产生令人满意的结果。在本文中，我们研究了如何利用法线估计模型和预测的法线映射来提高深度质量。我们将多视图法线估计模块和多视图深度估计模块的学习耦合。此外，我们提出了一种新的一致性损失训练一个独立的一致性模块，细化深度/正常对的深度。我们发现，联合学习可以提高法线和深度的预测，并且通过加强一致性可以进一步提高准确性和平滑性。在MVS、SUN 3D、RGBD和Scenes 11上的实验证明了该方法的有效性和最先进的性能。
2020-06-01 cs.CV
Web Stereo Video Supervision for Depth Prediction from Dynamic Scenes
Carnegie Mellon University（卡内基梅隆大学）；Adobe Inc.（奥多比公司）
我们提出了一个完全数据驱动的方法来计算深度从不同的单目视频序列，包含大量的非刚性对象，例如，人为了学习非刚性场景的重建线索，我们引入了一个新的数据集，包括立体视频刮在野外。该数据集具有各种场景类型，并具有大量非刚性对象，特别是人。由此，我们计算视差图以用作训练我们的方法的监督。我们提出了一个损失函数，使我们能够生成一个深度预测，即使未知的相机内在和立体基线的数据集。我们验证了大量的互联网视频的使用，通过评估我们的方法对现有的视频数据集与深度监督，包括SINTEL和KITTI，并表明我们的方法更好地推广到自然场景。
2019-04-25 cs.CV
SpatialMe: Stereo Video Conversion Using Depth-Warping and Blend-Inpainting
针对单目转立体视频的稳定性和数据不足问题，提出基于深度扭曲与混合修复的SpatialMe框架，含掩码层级特征更新精炼器和视差扩展策略，并构建StereoV1K数据集，实验优于现有方法。
2024-12-16 cs.CV
Edge-aware Consistent Stereo Video Depth Estimation
K|Lens GmbH（K|Lens有限公司）；Saarland Informatics Campus（萨尔兰信息学园区）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；MPI Informatics（马克斯·普朗克信息学研究所）
针对视频深度估计的一致性与细节模糊问题，提出面向立体视频的边缘感知深度估计方法，结合左右一致性损失、SLAM位姿估计与边缘保持损失，实现准确的稠密深度估计。
2023-05-04 cs.CV
Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers
Johns Hopkins University（约翰斯·霍普金斯大学）
立体深度估计依赖于左图像和右图像中的核线上的像素之间的最佳对应匹配来推断深度。在这项工作中，我们重新审视这个问题，从序列到序列对应的角度来取代成本量建设密集像素匹配使用位置信息和注意。这种方法称为STTR（STEreo Transformer），具有以下几个优点：1）放宽了固定视差范围的限制，2）识别遮挡区域并提供置信度估计，以及3）在匹配过程中施加唯一性约束。我们在合成和真实世界的数据集上报告了有希望的结果，并证明STTR即使没有微调也能在不同的领域中推广。
2021-08-25 cs.CV
StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction
Google Inc.（谷歌公司）
本文介绍StereoNet，这是第一个用于实时的【形】立体匹配的端到端深度架构，在NVidia Titan X上以60 fps运行，生成高质量，边缘保留，无量化视差图。本文的一个关键见解是，该网络实现了亚像素匹配精度比是一个数量级高于传统的立体匹配方法。这使我们能够通过使用非常低的分辨率成本来实现实时的【形】性能，该分辨率成本对实现高视差精度所需的所有信息进行编码。空间精度是通过采用学习的边缘感知上采样函数来实现的。我们的模型使用Siamese网络从左右图像中提取特征。视差的第一估计是在非常低的分辨率成本体积中计算的，然后模型通过使用紧凑的像素到像素细化网络的学习的上采样函数分层地重新引入高频细节。利用颜色输入作为指导，该功能能够产生高质量的边缘感知输出。我们在多个基准测试中取得了令人信服的结果，展示了所提出的方法如何在可接受的计算预算下提供极大的灵活性。
2018-07-24 cs.CV
Saliency Detection for Stereoscopic Images Based on Depth Confidence Analysis and Multiple Cues Fusion
Tianjin University（天津大学）；Chinese Academy of Sciences（中国科学院）
立体知觉是人类视觉系统的重要组成部分，它使大脑能够感知深度。然而，在现有的显著性检测模型中，深度信息没有得到很好的探索。在这封信中，提出了一种新的立体图像显著性检测方法。首先，我们提出了一个衡量深度图可靠性的指标，并利用它来减少深度图不佳对显著性检测的影响。然后，将输入图像表示为图，并将深度信息引入到图构造中。在此基础上，提出了一种新的基于颜色和深度信息的紧致度定义，并用于计算紧致度显著图。为了补偿紧凑性显著性检测在显著区域与背景外观相似时的检测误差，基于深度细化的前景种子选择机制和多线索对比度计算前景显著性图。最后，根据两个显著图的重要性，通过加权和的方法将它们合成一个最终的显著图。两个公开的立体数据集上的实验表明，该方法的性能优于其他10个国家的最先进的方法。
2017-10-14 cs.CV
Depth Super-Resolution Meets Uncalibrated Photometric Stereo
Computer Vision Group, Technical University of Munich（慕尼黑工业大学计算机视觉组）；Erasmus Mundus Masters in Vision and Robotics (VIBOT)（伊拉斯谟世界计划视觉与机器人硕士项目（VIBOT））
提出了一种新的RGB-D传感器深度超分辨率方法。它通过高分辨率光度线索消除深度超分辨率的歧义，并且对称地，它通过低分辨率深度线索消除未校准的光度立体。为此，从相同的视角获取RGB-D序列，同时从各种未校准的方向照射场景。这个序列是由一个变分框架，适合高分辨率的形状和反射率，以及照明，低分辨率的深度测量和高分辨率的RGB的。关键的新颖之处在于一个新的基于PDE的光度立体正则化隐式确保表面的规则性。这允许以纯数据驱动的方式执行深度超分辨率，而不需要任何特定的先前或材料校准。使用开箱即用的RGB-D传感器和手持式LED光源进行真实世界的实验。
2017-08-24 cs.CV
Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light
Hefei University of Technology（合肥工业大学）；Orbbec（奥比中光）；Sun Yat-sen University（中山大学）
众所周知，被动立体声系统不能很好地适应弱纹理对象，例如，白墙然而，这些弱纹理目标在室内环境中非常常见。在本文中，我们提出了一种新的立体系统，它包括两个摄像机（RGB摄像机和红外摄像机）和红外散斑投影仪。RGB相机用于深度估计和纹理获取。IR相机和散斑投影仪可以形成单目结构光（MSL）子系统，而两个相机可以形成双目立体子系统。由MSL子系统生成的深度图可以为立体匹配网络提供外部指导，这可以显著提高匹配精度。为了验证所提出的系统的有效性，我们建立了一个原型，并收集了测试数据集在室内场景。评估结果表明，当使用网络RAFT时，该系统的Bad 2.0误差为被动立体声系统的28.2%。数据集和训练模型可在https://github.com/YuhuaXu/MonoStereoFusion上获得。
2022-03-20 cs.CV
Depth from a polarisation + RGB stereo pair
University of York（约克大学）
在本文中，我们提出了一种混合深度成像系统，其中偏振相机是由标准数码相机的第二个图像增强。对于这种设备复杂性的适度增加，超过了传统的形状从偏振，我们获得了许多好处，使我们能够克服长期存在的问题与偏振形状线索。立体声提示提供了一个深度图，虽然粗糙，但在度量上是准确的。这被用作使用高阶图形模型的偏振表面法线估计的消歧的引导表面。反过来，这些被用来估计弥漫性脑水肿。通过扩展以前的形状从偏振方法的角度来看的情况下，我们展示了如何计算密集，详细的绝对深度的地图，同时保留一个线性公式。我们表明，我们的混合方法是能够恢复密集的3D几何形状，优于国家的最先进的形状从偏振或两个视图立体单独。
2019-04-03 cs.CV
Entropy-difference based stereo error detection
University of Alberta（阿尔伯塔大学）；National Institute of Technology Karnataka（卡纳塔克邦国家理工学院）
立体深度估计是容易出错的;因此，需要有效的错误检测方法。大多数这样的现有方法依赖于立体匹配成本曲线的特性，使得它们过度依赖于匹配算法的功能细节。作为补救措施，我们提出了一种新的错误检测方法，完全基于输入图像及其深度图。我们的假设是，图像上任何点的熵都将显著高于图像深度图上对应点的熵。在本文中，我们提出了一个信心的措施，熵差（ED）的立体声深度估计和二进制分类方法来识别不正确的深度。在Middlebury数据集上的实验表明了我们方法的有效性。我们提出的立体声置信度优于17个现有的措施，在所有方面，除了遮挡检测。已建立的指标，如精度，准确性，召回率和曲线下面积来证明我们的方法的有效性。
2017-11-28 cs.CV
Learning Inverse Depth Regression for Multi-View Stereo with Correlation Cost Volume
Huazhong University of Science and Technology（华中科技大学）
深度学习已被证明对于多视图立体视觉（MVS）中的深度推断是有效的。然而，在这个领域的可扩展性和准确性仍然是一个悬而未决的问题。这可以归因于内存消耗成本体积表示和不适当的深度推断。受立体匹配中组间相关性的启发，我们提出了一种平均组间相关性相似性度量来构造一个轻量级的代价体积。这不仅可以减少内存消耗，而且还可以减少成本卷过滤中的计算负担。基于我们的有效成本体积表示，我们提出了一个级联的3D U-网络模块，以规范的成本体积，以进一步提高性能。与将多视图深度推断处理为深度回归问题或逆深度分类问题的先前方法不同，我们将多视图深度推断重铸为逆深度回归任务。这使得我们的网络能够实现亚像素估计，并适用于大规模场景。通过对DTU数据集和Tanks and Temples数据集的广泛实验，我们表明我们提出的具有相关成本体积和逆深度回归（CIDER）的网络实现了最先进的结果，证明了其在可扩展性和准确性方面的优越性能。
2019-12-26 cs.CV
Direct Depth Learning Network for Stereo Matching
Dalian University of Technology（大连理工大学）；Beijing Institute of Technology（北京理工大学）；The University of Sydney（悉尼大学）
立体匹配作为自动驾驶的一项重要任务，近年来取得了很大的进展。现有的立体匹配方法估计视差而不是深度。它们将视差误差视为深度估计误差的评估度量，因为可以根据三角测量原理从视差计算深度。然而，我们发现，深度的误差不仅取决于视差的误差，而且还取决于点的深度范围。因此，即使视差误差低，深度误差仍然大，特别是对于远点。本文提出了一种新的直接深度学习网络（DDL-Net）用于立体匹配。DDL-Net由两个阶段组成：粗深度估计阶段和自适应粒度深度细化阶段，它们都由深度而不是视差监督。具体地，粗深度估计阶段根据深度范围对匹配候选进行均匀采样，以构造成本体积并输出粗深度。自适应粒度深度细化阶段在粗略深度附近执行进一步匹配，以纠正不精确匹配和错误匹配。为了使自适应粒度深度细化阶段对粗深度具有鲁棒性并适应于点的深度范围，将粒度不确定性引入自适应粒度深度细化阶段。粒度不确定性根据粗预测置信度和深度范围调整匹配范围并选择候选特征。我们通过不同的深度度量在SceneFlow数据集和DrivingStereo数据集上验证了DDL-Net的性能。结果表明，与经典方法相比，DDL-Net在SceneFlow数据集和$12\%$在DrivingStereo数据集上平均提高了25%。更重要的是，我们在大距离上实现了最先进的精度。
2020-12-10 cs.CV
How Good MVSNets Are at Depth Fusion
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
我们研究了以低质量传感器深度的形式对深度多视图立体视觉方法的附加输入的影响。我们修改了两个国家的最先进的深多视图立体视觉的方法与输入深度使用。我们表明，额外的输入深度可以提高深度多视图立体视觉的质量。
2020-11-30 cs.CV
Detail-aware multi-view stereo network for depth estimation
School of Automation, Southeast University（东南大学自动化学院）
提出细节感知多视图立体网络DA-MVSNet，利用几何深度线索和图像合成损失增强边界与细节深度恢复，并采用自适应深度区间调整策略提升重建精度，在DTU和Tanks & Temples数据集上取得有竞争力的结果。
2025-03-31 cs.CV
Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels
Google Research（谷歌研究院）
计算立体已经达到了很高的精度水平，但在存在遮挡、重复纹理和沿边缘的对应错误的情况下会降低。我们提出了一种基于神经网络的深度估计新方法，该方法将来自双摄像头的立体声与来自双像素传感器的立体声相结合，这在消费者相机上越来越常见。我们的网络使用了一种新的架构来融合这两个信息源，可以克服纯双目立体匹配的上述局限性。我们的方法提供了一个密集的深度图与尖锐的边缘，这是至关重要的计算摄影应用程序，如合成浅景深或3D照片。此外，我们避免了固有的模糊性，由于立体相机的孔径问题，通过设计的立体基线是正交的双像素基线。我们目前的实验和比较与国家的最先进的方法表明，我们的方法提供了一个实质性的改进，比以前的作品。
2020-03-31 cs.CV
Non-local Recurrent Regularization Networks for Multi-view Stereo
ETH Zurich（苏黎世联邦理工学院）
在深度多视图立体视觉网络中，代价正则化对于实现精确的深度估计至关重要。由于3D成本体积过滤通常是消耗内存的，经常性的2D成本地图正则化最近变得流行，并在重建不同尺度的3D模型中显示出巨大的潜力。然而，现有的递归方法仅在深度域中对局部依赖进行建模，这极大地限制了沿深度维度捕获全局场景上下文的能力。为了解决这个问题，我们提出了一种新的非局部递归正则化网络的多视图立体视觉，命名为NR 2-Net。具体来说，我们设计了一个深度注意模块来捕获滑动深度块内的非局部深度交互。然后，不同块之间的全局场景上下文被建模在一个门控递归的方式。这样，沿着深度维度的长程依赖性被捕获以促进成本正则化。此外，我们设计了一个动态的深度图融合策略，以提高算法的鲁棒性。我们的方法在DTU和Tanks and Temples数据集上实现了最先进的重建结果。
2021-10-13 cs.CV
Hierarchical Prior Mining for Non-local Multi-View Stereo
Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）
多视图立体视觉（MVS）是计算机视觉中的一个基本问题，其目标是从一组二维图像中恢复出目标的三维几何形状。MVS的最新进展表明，感知非局部结构化信息对于在低纹理区域恢复几何形状非常重要。在这项工作中，我们提出了一个分层先验挖掘非本地多视图立体视觉（HPM-MVS）。关键特征是利用非局部信息来辅助MVS的以下技术：1）非局部可扩展采样模式（NESP），其能够自适应地改变采样区域的大小而不会陷入局部最优解。2)一种新的方法，利用非局部可靠点，并构建一个平面先验模型的基础上K-最近邻（KNN），以获得潜在的假设的区域，先验建设是具有挑战性的。3)HPM（Hierarchical Prior Mining）框架，用于挖掘不同尺度下广泛的非局部先验信息以辅助三维模型恢复，该策略可以在细节重建和低纹理区域重建之间取得相当大的平衡。在ETH 3D和Tanks \& Temples上的实验结果验证了该方法的优越性能和较强的泛化能力。我们的代码将被释放。
2023-03-17 cs.CV
Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos
Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院）
针对现有视频手术技能评估忽视三维空间信息的问题，提出语义RGB-深度融合框架，结合深度融合与分层注意力，在33例喉显微手术中技能分类F1达0.938，优于单一模态。
2026-10-02 cs.CV
