Semi-dense Stereo Matching using Dual CNNs
Memorial University of Newfoundland(纽芬兰纪念大学);Dalian University of Technology(大连理工大学)
提出了一种鲁棒的半稠密立体匹配算法。它利用两个CNN模型计算立体匹配成本和执行基于置信度的过滤,分别。与现有的基于CNN的匹配成本生成方法相比,我们的方法将额外的全局信息馈送到网络中,以便学习的模型可以更好地处理具有挑战性的情况,例如照明变化和缺乏纹理。通过利用非参数变换,我们的方法也比大多数现有的半密集立体方法更具自力更生性,后者高度依赖于参数的调整。基于Middlebury Stereo数据集的实验结果表明,该方法优于现有的半密集立体方法。
2018-10-02 cs.CV
Obtaining Depth Maps From Color Images By Region Based Stereo Matching Algorithms
本文提出了一种基于区域的立体匹配算法,用于从双色立体图像对中提取深度信息。为了提高视差图的可靠性,采用了一种消除不可靠视差估计的滤波器。通过算法得到的结果表示和比较。
2009-02-03 cs.CV
Stereo Matching with Cost Volume based Sparse Disparity Propagation
College of Big Data and Internet, Shenzhen Technology University(深圳技术大学大数据与互联网学院);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院)
立体匹配是双目立体视觉的关键技术。现有的方法主要集中在简单的视差图融合,以提高立体匹配,这需要多个密集或稀疏的视差图。在本文中,我们提出了一个简单而新颖的计划,称为特征视差传播,以改善一般的立体匹配匹配的基础上匹配成本量和稀疏匹配特征点。具体来说,我们的计划首先计算一个可靠的稀疏视差图的局部特征匹配,然后细化视差图传播可靠的视差到匹配成本域中的相邻像素。此外,考虑到局部视差区域的梯度和多尺度信息,本文在著名的AD-Census的基础上提出了一种$ρ$ -Census代价度量,该代价度量在不进行代价聚合的情况下也能保证代价量的鲁棒性.在Middlebury立体声基准测试V3上进行的大量实验表明,我们的方案与最先进的方法相比具有良好的性能。
2022-01-28 cs.CV
WAFT-Stereo: Warping-Alone Field Transforms for Stereo Matching
Department of Computer Science, Princeton University(普林斯顿大学计算机科学系)
WAFT-Stereo通过仅使用变形场替代传统代价体,实现了高效的立体匹配,在多个数据集上取得最佳性能,速度提升显著。
2026-07-01 cs.CV
Detecting Ground Control Points via Convolutional Neural Network for Stereo Matching
Xiamen University(厦门大学)
本文提出了一种新的方法来检测地面控制点(GCPs)的立体匹配问题。首先,我们训练一个卷积神经网络(CNN)在一个大的立体集,并通过使用训练的CNN模型计算每个像素的匹配置信度。其次,提出了一种基于最大匹配置信度的地面控制点选取方法。最后,我们使用选定的GCPs来细化匹配成本,并应用新的匹配成本进行半全局匹配算法的优化,以改善最终的视差图。我们在KITTI 2012立体基准数据集上评估了我们的方法。实验结果表明,该方法显著提高了视差图的精度。
2016-05-08 cs.CV
MaDis-Stereo: Enhanced Stereo Matching via Distilled Masked Image Modeling
Ewha W. University(梨花女子大学)
本文提出 MaDis-Stereo,利用 MIM 联合重建与深度预测,并通过 EMA 教师伪标签蒸馏稳定训练,从而增强 Transformer 立体模型的局部归纳偏置,在 ETH3D、KITTI 2015 上达到 SOTA。
2024-09-04 cs.CV
DEFOM-Stereo: Depth Foundation Model Based Stereo Matching
Insta360 Research(Insta360研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
DEFOM-Stereo将单目深度基础模型融入循环立体匹配框架,通过特征整合与尺度更新提升视差估计,在多个基准上取得顶尖性能,并展现出强零样本泛化能力。
2025-04-23 cs.CV
Comparison of Stereo Matching Algorithms for the Development of Disparity Map
Tarbiat Modares University(塔比阿特·莫达雷斯大学)
立体匹配是计算机视觉中提取三维信息的经典问题之一,但在精度和处理成本方面仍存在争议。匹配技术和成本函数的使用在视差图的开发中至关重要。本文对块匹配(BM)、块匹配动态规划(BMDP)、置信度传播(BP)、梯度特征匹配(GF)、梯度直方图(HOG)等六种立体匹配算法进行了比较研究,并提出了一种新的立体匹配方法。还使用了三个成本函数,即均方误差(MSE),绝对差之和(SAD),归一化互相关(NCC),并进行了比较。本研究中使用的立体图像来自Middlebury立体数据集,提供了完美和不完美的校准。结果表明,匹配函数的选择是相当重要的,也取决于图像的属性。结果表明,BP算法在大多数情况下提供了更好的结果,达到95%以上的准确率。
2022-10-28 cs.CV
A Learning-based Framework for Hybrid Depth-from-Defocus and Stereo Matching
ShanghaiTech University(上海科技大学);University of Delaware(特拉华大学)
散焦测距(DfD)和立体匹配是两种研究最多的无源深度传感方案。这些技术基本上是互补的:DfD可以鲁棒地处理重复的纹理,这对于立体匹配是有问题的,而立体匹配对散焦模糊不敏感,并且可以处理大的深度范围。在本文中,我们提出了一个统一的基于学习的技术进行混合DfD和立体匹配。我们的输入是图像三元组:一个立体对和一个立体视图的散焦图像。我们首先应用深度引导光场渲染来构建这种混合传感设置的综合训练数据集。接下来,我们采用沙漏网络架构,分别从DfD和立体声进行深度推理。最后,我们利用两个独立的网络之间的不同连接方法,将它们集成到一个统一的解决方案中,以产生高保真的3D视差图。对真实数据和合成数据的综合实验表明,我们新的基于学习的混合三维传感技术可以显着提高三维重建的精度和鲁棒性。
2018-08-06 cs.CV
StereoDiffuer: Diffusion-based Progressive Geometry Modeling with Saliency Attention Perception for Stereo Matching
Shanghai Jiaotong University(上海交通大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(宁波东方理工大学数字孪生研究院)
针对现有立体匹配方法难以保留细粒度几何细节的问题,提出基于扩散的StereoDiffuer框架,通过显著性注意力感知模块提取几何线索,结合迭代去噪扩散过程优化视差,在Scene Flow与KITTI基准上表现具竞争力。
2026-08-25 cs.CV
Learning Dense Wide Baseline Stereo Matching for People
University of Surrey(萨里大学);Vicon Motion Systems Ltd.(Vicon运动系统有限公司)
用于窄基线图像对上的立体工作的现有方法在宽基线视图之间给出有限的性能。本文提出了一个框架,学习和估计密集立体声的人从宽基线图像对。引入合成的人立体面片数据集(S2P2)来学习宽基线密集的人立体匹配。所提出的框架不仅从合成数据中学习人类特定的特征,而且还利用池化层和数据增强来适应真实数据。该网络从所提出的数据集中的人类特定立体补丁中学习,以进行宽基线立体估计。除了补丁匹配学习,立体约束的框架中引入解决宽基线的人体立体重建。定量和定性的性能评估对国家的最先进的方法,所提出的方法证明了改进的宽基线立体重建具有挑战性的数据集。我们表明,它是可能的,从合成的人的数据集学习立体匹配和提高性能的真实数据集的立体重建的人从窄和宽的基线立体数据。
2019-10-02 cs.CV
URS-Stereo: Uncertainty-Guided Residual Search for Real-Time Stereo Matching
本文针对实时立体匹配中前阶段视差估计不准确导致后续匹配失败的问题,提出URS-Stereo框架,通过不确定性引导残差搜索模块,动态调整搜索区域,提高局部对应估计稳健性,保持实时推理速度,提升视差估计效果。
2026-07-09 cs.CV
Stereo Anywhere: Robust Zero-Shot Deep Stereo Matching Even Where Either Stereo or Mono Fail
Advanced Research Center on Electronic System (ARCES)(电子系统高级研究中心);Department of Computer Science and Engineering (DISI)(计算机科学与工程系);University of Bologna(博洛尼亚大学)
本文提出 Stereo Anywhere 框架,通过双分支架构将立体几何约束与单目深度视觉基础模型的先验相融合,并引入新型成本体积融合机制,仅用合成数据训练即在零样本立体匹配中取得最先进结果,对无纹理、遮挡、镜面和透明等困难场景表现鲁棒。
2025-05-07 cs.CV
Match-Stereo-Videos: Bidirectional Alignment for Consistent Dynamic Stereo Matching
Imperial College London(帝国理工学院)
针对动态立体视频匹配中的时间不一致问题,提出双向对齐机制和BiDAStereo框架,通过局部三帧匹配与全局运动传播聚合,实现一致且高质量的视差估计,并在多个基准上达到最优性能。
2024-03-16 cs.CV
Stereo Matching Based on Visual Sensitive Information
Beijing University of Technology(北京工业大学);University College Dublin(都柏林大学);ADAPT SFI Research Centre(ADAPT科学基金会爱尔兰研究中心);Beijing-Dublin International College(北京-都柏林国际学院)
计算机视觉是计算机视觉领域的研究热点之一,立体匹配是其中最重要的一个子领域。视差图转化为深度图后,可以应用到很多智能领域。本文利用来自Middlebury数据集的标准图像,提出了一种基于视觉敏感信息的立体匹配算法。针对传统立体匹配算法在代价窗口方面的局限性,提出了一种基于动态窗口的代价聚合算法,并利用左右一致性检测对视差图进行优化,进一步降低误匹配率。实验结果表明,该算法能有效地增强图像的立体匹配效果,与经典的普查算法相比,在精度上有明显的提高。所提出的模型代码、数据集和实验结果可在www.example.com上获得。
2021-05-23 cs.CV
A Comparison of Stereo-Matching Cost between Convolutional Neural Network and Census for Satellite Images
The Ohio State University(俄亥俄州立大学)
立体密集图像匹配根据其匹配代价度量可分为基于底层特征的匹配和基于深层特征的匹配。Census是一种有效的基于底层特征的匹配方法,而快速卷积神经网络(fst-CNN)作为一种基于深层特征的匹配方法,具有计算时间短、对卫星图像鲁棒性强等优点。因此,fst-CNN和普查之间的比较对于立体密集图像匹配的进一步研究至关重要。利用fst-CNN的代价函数和census进行立体匹配,然后利用半全局匹配方法获得最优视差图像。这些图像用于产生数字表面模型以与地面实况点进行比较。它解决了fstCNN在绝对匹配精度,误差分布直方图和匹配完整性方面的表现优于census,但这两种算法仍然表现在同一数量级。
2019-05-22 cs.CV
Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective
Beihang University(北京航空航天大学);RIKEN AIP(理化学研究所先进智能项目中心);The University of Tokyo(东京大学);Griffith University(格里菲斯大学);University of York(约克大学)
尽管最近的立体匹配网络在给定足够的训练数据的情况下实现了令人印象深刻的性能,但是它们遭受域移位并且难以推广到看不见的域。我们认为,保持匹配像素之间的特征一致性是促进立体匹配网络泛化能力的一个重要因素,这一点尚未得到充分考虑。在这里,我们解决这个问题,提出了一个简单的像素明智的对比学习的观点。立体对比特征损失函数明确地约束作为相同3D点的观测的匹配像素对的学习特征之间的一致性。进一步引入立体选择性白化损失以更好地保持立体特征跨域的一致性,其将立体特征与立体视点特定样式信息去相关。与直觉相反,同一场景中的两个视点之间的特征一致性的概括转化为立体匹配性能到看不见的域的概括。我们的方法本质上是通用的,因为它可以很容易地嵌入到现有的立体声网络中,并且不需要访问目标域中的样本。当在合成数据上训练并推广到四个真实世界的测试集时,我们的方法在几个最先进的网络上实现了卓越的性能。
2022-03-21 cs.CV
MC-Stereo: Multi-peak Lookup and Cascade Search Range for Stereo Matching
SenseTime Research(商汤科技研究院);Rutgers University(罗格斯大学);School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);Google Research(谷歌研究院);Academy of Military Sciences, Beijing, China(中国人民解放军军事科学院)
针对立体匹配迭代框架的单峰查找难处理多峰问题、固定搜索范围限制收敛的缺陷,提出MC-Stereo架构,结合多峰查找、级联搜索范围与预训练特征提取器,在多个基准上取得最优性能。
2024-01-27 cs.CV
Stereo Any Video: Temporally Consistent Stereo Matching
Imperial College London(伦敦帝国学院)
本文提出视频立体匹配框架 Stereo Any Video,融合单目视频深度先验、全对全对相关性和时间凸上采样,在不依赖相机位姿或光流的情况下实现空间准确且时间一致的视差估计,并在零样本多数据集上取得最先进性能。
2025-07-21 cs.CV
Binary Stereo Matching
Tsinghua University(清华大学)
在本文中,我们提出了一种新的基于二进制的成本计算和聚合方法的立体匹配问题。成本量是通过对一系列二进制字符串进行按位运算来构造的。然后将该方法与传统的赢者通吃策略相结合,提出了一种新的局部立体匹配算法--二值立体匹配(BSM)。由于BSM的核心算法是基于二进制和整数计算的,因此它比以往的方法具有更高的计算效率。在Middlebury基准上的实验结果表明,BSM在质量和速度方面与最先进的局部立体声方法具有相当的性能。此外,辐射差异的图像上的实验表明,BSM是更强大的比以前的方法在这些变化下,这是常见的真实光照。
2014-02-10 cs.CV
Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended Reality
Tencent XR Vision Labs(腾讯XR视觉实验室);Australian National University(澳大利亚国立大学)
针对扩展现实应用中低功耗设备实时高精度立体匹配的挑战,本文提出包含6-DoF运动室内场景的视频立体合成数据集,并开发基于时间维度迭代代价聚合特征重用的新型视频立体匹配框架,在台式机达134fps、HMD达30fps,精度优于现有SOTA。
2023-09-08 cs.CV
MoCha-Stereo: Motif Channel Attention Network for Stereo Matching
College of Software, Northwest Polytechnical University(西北工业大学软件学院)
针对现有立体匹配方法易丢失几何结构信息导致边缘细节失配的问题,提出MoCha-Stereo网络,通过MCCV和REMP模块优化视差估计,在KITTI相关基准上排名第一且在多视图立体匹配中表现优异。
2025-03-24 cs.CV
Iterative Geometry Encoding Volume for Stereo Matching
Huazhong University of Science and Technology(华中科技大学)
递归全对场变换(RAFT)在匹配任务中显示出巨大的潜力。然而,所有对相关性缺乏非局部几何知识,并且难以解决不适定区域中的局部模糊性。在本文中,我们提出了迭代几何编码体(IGEV-Stereo),这是一种新的立体匹配深度网络架构。建议IGEV-Stereo建立一个组合的几何编码体积,编码的几何和上下文信息以及本地匹配的细节,并迭代索引它更新视差图。为了加快收敛速度,我们利用GEV来回归ConvGRUs迭代的准确起点。我们的IGEV-Stereo将$1^{st}$在KITTI 2015和2012(反射)上列为所有已发布方法中最快的,并且是前10名方法中最快的。此外,IGEV-Stereo具有很强的跨数据集泛化能力和很高的推理效率。我们还扩展了我们的IGEV多视图立体视觉(MVS),即IGEV-MVS,它达到了竞争力的精度DTU基准。代码可在https://github.com/gangweiX/IGEV上获得。
2023-03-14 cs.CV
Selective-Stereo: Adaptive Frequency Information Selection for Stereo Matching
Huazhong University of Science and Technology(华中科技大学)
针对迭代立体匹配难以兼顾边缘高频与平滑区域低频信息的问题,提出 SRU 与 CSA 自适应融合多频率隐式视差,Selective-Stereo 在四个权威基准均位列已发表方法第一。
2024-03-01 cs.CV
Iterative Volume Fusion for Asymmetric Stereo Matching
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Research and Development Center, Sony (China) Ltd(索尼(中国)有限公司研发中心)
针对非对称多相机系统破坏立体匹配中成本体积计算的问题,提出两阶段迭代体积融合网络IVF-AStereo,通过融合拼接体积与相关性体积增强细节,在分辨率和颜色退化场景下表现稳健。
2025-08-14 cs.CV
Object-Centric Stereo Matching for 3D Object Detection
University of Toronto(多伦多大学)
安全的自动驾驶需要可靠的3D目标检测-确定感兴趣对象的6自由度姿态和尺寸。使用立体摄像机来解决这一任务是广泛使用的LiDAR传感器的一种具有成本效益的替代方案。立体3D目标检测的当前技术水平采用现有的PSMNet立体匹配网络,没有修改,并将估计的视差转换为3D点云,并将该点云馈送到基于LiDAR的3D目标检测器中。现有的立体匹配网络的问题在于,它们被设计用于视差估计,而不是3D目标检测;对象点云的形状和精度不是焦点。立体匹配网络通常在对象边界处遭受不准确的深度估计,我们将其定义为条纹,因为背景和前景点是联合估计的。现有的网络也惩罚视差,而不是在其损失函数中的对象点云的估计位置。我们提出了一种新的2D框关联和以对象为中心的立体匹配方法,只估计感兴趣的对象的差异,以解决这两个问题。我们的方法在KITTI 3D和BEV基准测试中获得了最先进的结果。
2020-03-10 cs.CV
Lite Any Stereo: Efficient Zero-Shot Stereo Matching
Imperial College London(伦敦帝国学院)
本文提出Lite Any Stereo框架,通过紧凑且表达能力强的主干网络和混合成本聚合模块,实现高效零样本立体匹配,达到四个广泛使用的现实基准的第一名。
2026-04-15 cs.CV
Unsupervised Cross-spectral Stereo Matching by Learning to Synthesize
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
无监督互谱立体匹配的目的是恢复给定的互谱图像对的视差,而不需要以地面真实视差或深度的形式进行任何监督。估计的深度提供了补充个体语义特征的附加信息,这可以有助于其他视觉任务,例如跟踪、识别和检测。然而,来自不同光谱带的图像之间存在较大的外观变化,这对于跨光谱立体匹配是一个挑战。现有的深度无监督立体匹配方法对外观变化敏感,并且在交叉光谱数据上表现不佳。我们提出了一种新的无监督跨光谱立体匹配框架的基础上图像到图像的翻译。首先,风格自适应网络通过周期一致性和对抗性学习在不同光谱波段上变换图像,在此期间外观变化最小化。然后,使用视图重建损失用来自相同光谱的图像对训练立体匹配网络。最后,利用估计的视差以端到端的方式监督频谱转换网络。此外,提出了一种新的风格自适应网络F-cycleGAN,以提高光谱转换的鲁棒性。我们的方法可以解决外观变化,并提高无监督的跨光谱立体匹配的鲁棒性。实验结果表明,该方法在不使用深度监督或显式语义信息的情况下取得了良好的性能。
2019-03-04 cs.CV
Fast Hierarchical Depth Map Computation from Stereo
IIT Delhi(德里印度理工学院)
块匹配立体视差通常用于计算能力有限的应用中,以便获得深度估计。然而,对简单立体方法的研究一直少于基于能量的方法,基于能量的方法保证了更好质量的深度图,具有更大的未来改进潜力。半全局匹配(SGM)方法具有良好的性能和易于实现,但由于它是在全视差空间图像上工作,因此存在非常高的内存占用问题。另一方面,块匹配立体需要更少的内存。在本文中,我们介绍了一种新的多尺度层次块匹配方法,使用金字塔的深度和成本函数的变体,大大提高了标准块匹配立体技术的结果,同时保持低内存占用,进一步降低标准块匹配的复杂性。我们测试了我们的新的多块匹配方案的米德尔伯里立体声基准。对于Middlebury基准测试,我们得到的结果只比最先进的SGM实现略差。
2019-01-28 cs.CV
Bilateral Grid Learning for Stereo Matching Networks
Orbbec Research(奥比中格研究院);Hefei University of Technology(合肥工业大学);Sun Yat-sen University(中山大学)
立体匹配网络的实时性在自动驾驶、机器人导航和增强现实等领域有着重要的应用。虽然近年来立体匹配网络取得了重大进展,但平衡实时性能和准确性仍然具有挑战性。在本文中,我们提出了一种新的边缘保持成本体积上采样模块的基础上学习的双边网格切片操作。切片层是无参数的,这使得我们能够在学习的指导图的指导下有效地从低分辨率的成本体积获得高分辨率的高质量成本体积。所提出的成本体积上采样模块可以无缝地嵌入到许多现有的立体匹配网络中,例如GCNet、PSMNet和GANet。由此产生的网络在保持相当精度的同时加速了几倍。此外,我们设计了一个实时网络(名为BGNet)的基础上,这个模块,它优于现有的实时深度立体匹配网络,以及一些复杂的网络上的KITTI立体数据集。该代码可在https://github.com/YuhuaXu/BGNet上获得。
2021-03-29 cs.CV
A Comparative Study on Deep-Learning Methods for Dense Image Matching of Multi-angle and Multi-date Remote Sensing Stereo Images
The Ohio State University(俄亥俄州立大学)
深度学习(DL)立体匹配方法在遥感卫星数据集中得到了极大的关注。然而,大多数现有的研究得出结论,评估的基础上,只有少数/单一的立体图像缺乏系统的评价如何强大的DL方法是卫星立体图像与不同的辐射和几何配置。本文通过数百个具有不同几何配置的多数据多站点卫星立体对,对传统的Census-SGM(半全球匹配)进行了四种DL立体匹配方法的评估,以全面了解其准确性,鲁棒性,泛化能力及其实用潜力。DL方法包括通过卷积神经网络(MC-CNN)的基于学习的成本度量,然后是SGM,以及使用几何和上下文网络(GCNet)、金字塔立体匹配网络(PSMNet)和LEASero 3个端到端(E2 E)学习模型。我们的实验表明,E2 E算法可以达到上限的几何精度,而可能无法推广以及看不见的数据。基于学习的成本指标和Census-SGM相当稳健,可以始终如一地实现可接受的结果。所有DL算法对立体对的几何配置都具有鲁棒性,并且与Census-SGM相比不太敏感,而基于学习的成本度量在不同数据集(机载或地面视图)上训练时可以在卫星图像上推广。
2022-10-25 cs.CV
Modeling Stereo-Confidence Out of the End-to-End Stereo-Matching Network via Disparity Plane Sweep
KAIST(韩国科学技术院);Hyundai Motor Company(现代汽车公司)
本文提出一种基于视差平面扫描的外部立体置信度方法,通过构建预测视差体并比较理想与预测视差分布量化匹配模糊度,实验证明其独立性能具竞争力且可稳定增强学习型方法。
2024-01-23 cs.CV
Attention Concatenation Volume for Accurate and Efficient Stereo Matching
Huazhong University of Science & Technology(华中科技大学);Wuhan National Laboratory for Optoelectronics(武汉国家光电实验室)
立体匹配是许多视觉和机器人应用的基本构建块。一个信息丰富、简洁的代价体积表示对于高精度、高效率的立体匹配是至关重要的。在本文中,我们提出了一种新的成本卷构造方法,该方法从相关线索中生成注意力权重,以抑制冗余信息,增强级联卷中的匹配相关信息。为了产生可靠的注意力权重,我们提出了多层次的自适应补丁匹配,以提高在不同的差异,即使是无纹理区域的匹配成本的独特性。所提出的成本体积被命名为注意力级联体积(ACV),其可以无缝地嵌入到大多数立体匹配网络中,所得到的网络可以使用更轻量级的聚合网络,同时实现更高的精度,例如,仅使用聚合网络的1/25参数可以实现GwcNet的更高精度。此外,我们设计了一个高精度的网络(ACVNet)基于我们的ACV,它实现了最先进的性能在几个基准。
2022-06-23 cs.CV
UniTT-Stereo: Unified Training of Transformer for Enhanced Stereo Matching
Ewha W. University(梨花女子大学)
本文提出UniTT-Stereo,通过统一自监督预训练与监督立体匹配框架,并引入可变掩蔽比例训练策略,在有限真值数据下提升Transformer立体匹配性能,在ETH3D和KITTI等基准上达到最先进水平。
2024-09-04 cs.CV
Generalizable Novel-View Synthesis using a Stereo Camera
POSTECH(浦项科技大学);GSAI(人工智能研究生院);CSE(计算机科学与工程系)
本文提出首个针对多视图立体相机图像的泛化视图合成框架StereoNeRF,通过集成立体匹配技术实现高质量几何重建,并构建首个立体相机多视图数据集StereoNVS,实验证明其超越现有方法。
2024-04-21 cs.CV
Genetic Stereo Matching Algorithm with Fuzzy Fitness
École Supérieure de Technologie et d’Informatique(高等技术与信息学院);Université de Carthage(迦太基大学)
提出了一种具有模糊评价函数的遗传立体匹配算法。该算法提出了一种新的编码方案,其中的染色体表示的视差矩阵。进化是由一个模糊适应度函数能够处理噪声和不确定的相机测量,并使用经典的进化算子。实验结果表明,该算法在合理的计算时间内获得了精确的稠密视差图,适合于实时应用。
2014-10-09 cs.CV
Ghost-Stereo: GhostNet-based Cost Volume Enhancement and Aggregation for Stereo Matching Networks
School of Computer and Software Engineering, Xihua University(西华大学计算机与软件工程学院)
本文提出Ghost-Stereo,一种基于GhostNet的端到端立体匹配网络,通过Ghost-CVE增强代价体空间感知和Ghost-CVA轻量聚合,在多个公开基准上达到与最先进实时方法相当的性能,并具有更好的泛化能力。
2024-05-23 cs.CV
Object-Centric Stereo Ranging for Autonomous Driving: From Dense Disparity to Census-Based Template Matching
本文提出一种综合立体测距系统,结合密集BM/SGM视差、基于census的目标中心模板匹配和单目几何先验,实现实时测距。核心贡献是新的基于census的目标中心模板匹配算法,通过GPU加速稀疏立体匹配,提升远距离测距鲁棒性。
2026-04-09 cs.CV
OpenStereo: A Comprehensive Benchmark for Stereo Matching and Strong Baseline
School of Computer Science, Wuhan University(武汉大学计算机学院);Waytous GigaAI(万图思睿GigaAI);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对立体匹配领域缺乏面向实际应用的统一评估基准的问题,本文提出包含10余种模型的综合基准工具库OpenStereo,据此构建的强基线模型StereoBase在多个主流数据集上取得SOTA性能且跨数据集泛化能力优异。
2024-12-11 cs.CV
A Survey on Deep Stereo Matching in the Twenties
University of Bologna(博洛尼亚大学)
本综述聚焦2020年代深度立体匹配领域,梳理最新架构创新与研究范式,分析伴随而来的关键挑战并分类探讨现有最优解决方案,同时配套维护定期更新的相关论文收录项目页面。
2024-07-10 cs.CV
Stereo Matching With Color-Weighted Correlation, Hierarchical Belief Propagation And Occlusion Handling
本文设计了一种立体匹配算法,对视差、不连续性和遮挡进行了细致的处理。该算法采用基于能量最小化的全局匹配立体模型。全局能量包括两项,首先是数据项,其次是平滑项。在许多分层循环置信传播算法的应用中,数据项通过颜色加权相关来近似,然后在遮挡和低纹理区域进行细化。在Middlebury数据集上对实验结果进行了评估,结果表明,我们的算法是所有算法中表现最好的
2017-08-30 cs.CV
Revisiting Depth Completion from a Stereo Matching Perspective for Cross-domain Generalization
University of Bologna(博洛尼亚大学)
针对深度补全的域偏移问题,提出一种基于虚拟图案投影生成虚构立体对、可兼容各类立体匹配器的框架,经跨域实验验证有效,可拓展深度补全的部署场景。
2023-12-14 cs.CV
Shift Convolution Network for Stereo Matching
Hefei University of Technology(合肥工业大学)
在本文中,我们提出了移位卷积网络(ShiftConvNet),以提供两个特征图之间的匹配能力,用于立体声估计。所提出的方法可以快速地产生一个高精度的视差图从立体图像。提出了一种称为移位卷积层的模块来代替传统的相关层,以执行两个特征图之间的补丁比较。通过使用卷积网络的新架构来学习匹配过程,ShiftConvNet可以产生比DispNet-C更好的结果[1],并且运行速度更快,每秒5帧。此外,提出了自动移位卷积细化部分,得到了进一步的改善。该方法在FlyingThings 3D上进行了评估。它在基准数据集上实现了最先进的结果。代码将在github上提供。
2019-11-20 cs.CV
Integrating Disparity Confidence Estimation into Relative Depth Prior-Guided Unsupervised Stereo Matching
College of Electronics and Information Engineering, Tongji University(同济大学电子信息工程学院);Harbin Institute of Technology Suzhou Research Institute(哈尔滨工业大学苏州研究院);Department of Computer Science and Technology, Tongji University(同济大学计算机科学与技术系);Multimedia Technology and Telecom Department, Telecommunications Center, Moscow Institute of Physics(莫斯科物理技术学院多媒体技术与电信系、电信中心)
针对无监督立体匹配中模糊性和噪声问题,提出集成视差置信度估计与深度先验引导损失的新框架,在KITTI Stereo上达到最优精度。
2025-08-02 cs.CV
Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency
Hyndai Motor Company(现代汽车公司);KAIST(韩国科学技术院)
本文提出一种无需真值和训练、利用多视差图一致性过滤伪深度图错误的自监督单目深度估计知识蒸馏方法,在无纹理、遮挡边界和反射表面等困难区域优于现有方法。
2024-01-23 cs.CV
Stereo Matching by Joint Energy Minimization
Zhejiang University(浙江大学)
在[18]中,Mozerov等人提出将立体匹配作为两步能量最小化问题来执行。第一步,他们解决了一个完全连接的MRF模型。在下一步骤中,边际产量被用作局部连通MRF模型的一元成本。在本文中,我们打算结合这两个步骤的能量最小化,以改善立体匹配的结果。我们观察到,完全连接的MRF导致更平滑的视差图,而局部连接的MRF在精细结构区域中实现了更好的结果。因此,我们建议联合解决全连接和局部连接模型,同时考虑它们的优点。联合模型求解平均场近似。在保持高效的同时,我们的联合模型在Middlebury立体声基准测试V3上的时间和估计误差方面都优于两步能量最小化方法。
2016-02-12 cs.CV
CGI-Stereo: Accurate and Real-Time Stereo Matching via Context and Geometry Interaction
Huazhong University of Science and Technology(华中科技大学)
在本文中,我们提出了CGI-Stereo,一种新的神经网络架构,可以同时实现实时的【形】性能,有竞争力的精度,和强大的泛化能力。我们的CGI-Stereo的核心是一个上下文和几何融合(CGF)块,它自适应地融合上下文和几何信息,以实现更有效的成本聚合,同时为特征学习提供反馈,以指导更有效的上下文特征提取。CGF可以很容易地嵌入到许多现有的立体匹配网络,如PSMNet,GwcNet和ACVNet。由此产生的网络显示出显着的准确性提高。特别是,将我们的CGF与ACVNet相结合的模型将$1^{st}$排在KITTI 2012和2015排行榜上。我们进一步提出了一个信息丰富和简洁的成本体积,命名为注意力特征体积(AFV),它利用相关体积作为注意力权重来过滤特征体积。基于CGF和AFV的CGI-Stereo算法在KITTI测试中的性能优于其他实时的【形】算法,并且具有更好的泛化能力。代码可在https://github.com/gangweiX/CGI-Stereo上获得。
2023-03-08 cs.CV
Geometry-based Occlusion-Aware Unsupervised Stereo Matching for Autonomous Driving
近年来,出现了许多基于无监督学习的自动驾驶立体匹配方法。它们中的大多数利用重建损失来消除对视差地面实况的依赖。遮挡处理是立体匹配中的一个具有挑战性的问题,特别是对于无监督的方法。以前的无监督方法未能充分利用几何属性的遮挡处理。在本文中,我们介绍了一种有效的方法来检测遮挡区域,并提出了一种新的无监督训练策略来处理遮挡,只使用预测的左视差图,通过利用其几何特征,在一个迭代的方式。在训练过程中,我们将预测的左视差图视为伪地面实况,并使用几何特征来推断遮挡区域。然后将所得的遮挡掩模用于训练、后处理或两者中作为指导。实验结果表明,该方法能有效地解决遮挡问题,并明显优于其他无监督的立体匹配方法。此外,我们的遮挡感知策略可以方便地扩展到其他立体方法,并提高其性能。
2020-10-21 cs.CV
What Makes Good Synthetic Training Data for Zero-Shot Stereo Matching?
Princeton University(普林斯顿大学)
本文研究了合成数据集对零样本立体匹配性能的影响,通过参数调整和大规模数据集验证,发现其性能优于混合数据集并具有开源代码支持。
2026-02-27 cs.CV
DCVSMNet: Double Cost Volume Stereo Matching Network
Atlantic Technological University(大西洋理工大学);York College of Pennsylvania(宾夕法尼亚约克学院)
提出双代价体立体匹配网络DCVSMNet,通过两个小型代价体单独处理+耦合模块融合几何信息,实现67ms推理速度与强泛化性,在基准数据集上精度优于CGI-Stereo等方法。
2024-12-04 cs.CV
Self-Supervised Learning for Stereo Matching with Self-Improving Ability
Australian National University(澳大利亚国立大学);Data61;Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
现有的基于深度学习的密集立体匹配方法通常依赖于地面实况视差图作为训练信号,然而在许多情况下并不总是可用。在本文中,我们设计了一个简单的卷积神经网络架构,能够学习直接从立体输入计算密集视差图。训练以端到端的方式进行,而不需要地面实况视差图。其思想是使用图像扭曲误差(而不是灰度图残差)作为损失函数来驱动学习过程,旨在找到使扭曲误差最小化的深度图。虽然这是一个在立体匹配中众所周知的简单概念,但要使其在深度学习框架中工作,必须克服许多重要的挑战,在这项工作中,我们提供了有效的解决方案。我们的网络是自适应不同的看不见的图像,以及不同的相机设置。在KITTI和Middlebury立体基准数据集上的实验表明,该方法的性能优于许多最先进的立体匹配方法,同时速度明显更快。
2017-09-04 cs.CV
ES-Net: An Efficient Stereo Matching Network
University of Michigan(密歇根大学);TuSimple, Inc.(图森未来公司)
利用深度神经网络进行密集立体匹配是研究界非常感兴趣的。现有的立体匹配网络通常使用缓慢且计算昂贵的3D卷积来提高性能,这对自动驾驶等现实应用并不友好。在本文中,我们提出了高效立体网络(ESNet),它实现了高性能和高效的推理在同一时间。ESNet仅依赖于2D卷积,并使用基于扭曲的方法有效地计算多尺度成本体积,以提高具有精细细节的区域的性能。此外,我们通过提出ESNet-M(ESNet的一种变体,它在没有监督的情况下额外估计遮挡掩模)来解决遮挡区域中的匹配模糊问题。我们通过提出一种新的训练方案来进一步提高网络性能,该方案包括数据集调度和无监督预训练。与其他低成本密集立体深度估计方法相比,我们提出的方法在Scene Flow [1],DrivingStereo [2]和KITTI-2015数据集[3]上实现了最先进的性能。我们的代码将提供。
2021-03-05 cs.CV
Widening siamese architectures for stereo matching
University College London(伦敦大学学院)
计算立体是计算机视觉中的经典问题之一。近年来已经报道了许多算法和解决方案,重点是开发计算相似性的方法,聚合它以获得空间支持,并最终优化能量函数以找到最终的差异。在本文中,我们专注于立体匹配架构的特征提取组件,我们表明标准CNN操作可以用于提高用于查找点对应的特征的质量。此外,我们提出了一个简单的空间聚合,大大简化了相关学习问题。我们在基准数据上的结果是令人信服的,即使没有改进解决方案,也显示出有希望的潜力。
2017-11-01 cs.CV
Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
Alibaba A.I. Labs(阿里巴巴人工智能实验室);Simon Fraser University(西蒙弗雷泽大学)
深度多视图立体视觉(MVS)和立体匹配方法通常构造3D成本体积以正则化和回归输出深度或视差。当需要高分辨率输出时,这些方法是有限的,因为存储器和时间成本随着体积分辨率的增加而立方地增长。在本文中,我们提出了一个内存和时间效率的成本体积制定现有的多视图立体视觉和立体匹配方法的基础上,3D成本体积的补充。首先,建议的成本量是建立在一个标准的特征金字塔编码的几何形状和上下文在逐渐精细的尺度。然后,我们可以通过来自前一阶段的深度(或视差)图来缩小每个阶段的深度(或视差)范围。随着成本体积分辨率逐渐提高以及深度(或视差)间隔的自适应调整,以从粗到细的方式恢复输出。我们将级联成本量应用于代表性的MVS-Net,并在DTU基准测试(第一名)上获得了23.1%的改进,GPU内存和运行时间分别减少了50.6%和74.2%。它也是最先进的基于学习的坦克和寺庙基准方法。其他代表性立体CNN的准确性,运行时间和GPU内存的统计数据也验证了我们提出的方法的有效性。
2020-06-05 cs.CV