Integrating Disparity Confidence Estimation into Relative Depth Prior-Guided Unsupervised Stereo Matching
College of Electronics and Information Engineering, Tongji University（同济大学电子信息工程学院）；Harbin Institute of Technology Suzhou Research Institute（哈尔滨工业大学苏州研究院）；Department of Computer Science and Technology, Tongji University（同济大学计算机科学与技术系）；Multimedia Technology and Telecom Department, Telecommunications Center, Moscow Institute of Physics（莫斯科物理技术学院多媒体技术与电信系、电信中心）
针对无监督立体匹配中模糊性和噪声问题，提出集成视差置信度估计与深度先验引导损失的新框架，在KITTI Stereo上达到最优精度。
2025-08-02 cs.CV
ImmersePro: End-to-End Stereo Video Synthesis Via Implicit Disparity Learning
KAUST（阿卜杜拉国王科技大学）
ImmersePro 提出基于隐式视差引导和时空注意力的双分支端到端框架，将单视角视频合成为立体视频，并构建 YouTube-SBS 大规模数据集，在 L1、SSIM、PSNR 上显著超越现有方法。
2024-09-30 cs.CV
Fast Non-local Stereo Matching based on Hierarchical Disparity Prediction
Shanghai Jiao Tong University（上海交通大学）；Waseda University（早稻田大学）
立体匹配是从两幅或多幅图像中估计深度的关键步骤。近年来，一些基于树的非局部立体匹配方法被提出，并取得了很好的效果。该算法采用了一些树结构来聚合代价，从而提高了立体匹配的性能，降低了运算量。然而，这些基于树的算法的计算复杂性仍然很高，因为它们在整个视差范围上搜索。此外，最小生成树（MST）的极端贪婪导致性能较差的大面积相似的颜色，但不同的差距。在本文中，我们提出了一种有效的立体匹配方法，使用分层视差预测（HDP）框架，大大减少视差搜索范围，以加快基于树的非局部立体方法。我们的视差预测方案的工作原理上的图形金字塔来自图像的视差估计。我们利用上图的视差来预测下图的小视差范围。生成一些独立的视差树（DT）以形成视差预测森林（HDPF），在该视差预测森林上进行成本聚合。当与最先进的基于树的方法相结合时，我们的方案不仅大大加快了原始方法的速度，而且通过减轻基于树的方法的第二个缺点来提高它们的性能。这部分是因为我们的DT克服了MST的极端贪婪。在一些基准数据集上的大量实验结果证明了该框架的有效性和效率。例如，基于段树的立体匹配比Middlebury 2006全尺寸数据集快25.57倍，准确率高2.2%。
2015-09-28 cs.CV
Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation
East China Normal University（华东师范大学）
在立体环境下，图像超分辨率（SR）和视差估计问题相互关联，每个问题的结果可以帮助解决另一个问题。不同视图之间的对应关系的有效利用有利于SR性能，而具有更丰富细节的高分辨率（HR）特征有利于对应关系估计。基于这一动机，本文提出了一种立体图像超分辨率和视差估计反馈网络（SSRDE-FNet），该网络在统一的框架下同时处理立体图像超分辨率和视差估计，并将它们相互作用，以进一步提高它们的性能。具体来说，SSRDE-FNet由两个用于左视图和右视图的双重递归子网络组成。除了在低分辨率（LR）空间中的跨视图信息开发，由SR过程产生的HR表示被用来执行HR视差估计具有更高的精度，通过该HR特征可以被聚合以生成更精细的SR结果。然后，提出的HR视差信息反馈（HRDIF）机制将HR视差携带的信息传递回先前的层，以进一步细化SR图像重建。大量的实验证明了SSRDE-FNet的有效性和先进性。
2021-06-02 cs.CV
A Disparity Refinement Framework for Learning-based Stereo Matching Methods in Cross-domain Setting for Laparoscopic Images
Rochester Institute of Technology（罗切斯特理工学院）
目的：能够进行深度估计的立体匹配方法对于计算机辅助手术（CAS）中的可视化增强应用是至关重要的。基于学习的立体匹配方法有希望预测腹腔镜图像的准确结果。然而，它们需要大量的训练数据，并且它们的性能可能由于域移位而降级。方法：保持鲁棒性和提高基于学习的方法的准确性仍然是开放的问题。为了克服基于学习的方法的局限性，我们提出了一个视差细化框架，包括局部视差细化方法和全局视差细化方法，以改善基于学习的立体匹配方法在跨域设置的结果。这些基于学习的立体匹配方法在大型公共自然图像数据集上进行了预训练，并在两个腹腔镜图像数据集上进行了测试。结果如下：定性和定量结果表明，我们提出的视差框架可以有效地改进视差图，当它们在看不见的数据集上被噪声破坏时，而不会影响预测精度，当网络可以在看不见的数据集上很好地泛化时。结论：我们提出的视差细化框架可以与基于学习的方法一起工作，以实现鲁棒和准确的视差预测。然而，由于不存在用于训练基于学习的方法的大型腹腔镜数据集，并且网络的泛化能力仍有待提高，因此将所提出的视差细化框架并入现有网络将有助于提高与深度估计相关的整体准确性和鲁棒性。
2023-02-05 cs.CV
URS-Stereo: Uncertainty-Guided Residual Search for Real-Time Stereo Matching
本文针对实时立体匹配中前阶段视差估计不准确导致后续匹配失败的问题，提出URS-Stereo框架，通过不确定性引导残差搜索模块，动态调整搜索区域，提高局部对应估计稳健性，保持实时推理速度，提升视差估计效果。
2026-07-09 cs.CV
Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo
Faculty of Electrical Engineering and Computer Science, Coburg University of Applied Science（电气工程与计算机科学学院，科堡应用科学大学）
针对球面立体图像中极线对应呈曲线导致二维位移的问题，采用球面到等距柱状投影预处理将极线拉直恢复单轴视差，结合RAFT+EACS框架实现实时高精度视差估计。
2026-06-24 cs.CV
Neural Disparity Refinement for Arbitrary Resolution Stereo
University of Bologna（博洛尼亚大学）
我们介绍了一种新的架构，神经差异细化，旨在促进部署3D计算机视觉的廉价和广泛的消费设备，如手机。我们的方法依赖于一个连续的配方，使估计在任何任意输出分辨率的细化视差图。因此，它可以有效地处理当今手机典型的不平衡相机设置，这些手机在同一设备中具有高分辨率和低分辨率RGB传感器。此外，我们的神经网络可以无缝地处理各种立体方法的输出，并且通过改进由传统匹配算法（如SGM）计算的视差图，与最先进的端到端立体模型相比，它可以实现不成对的zero-shot泛化性能。
2021-10-28 cs.CV
Learning Stereo Matchability in Disparity Regression Networks
The Hong Kong University of Science and Technology（香港科技大学）；Everest Innovation Technology Ltd.（珠峰创新科技有限公司）
基于学习的立体匹配最近取得了可喜的成果，但仍然遭受困难，建立可靠的匹配弱匹配的区域是无纹理，非朗伯，或闭塞。在本文中，我们提出了一个立体匹配网络，认为像素匹配解决这一挑战。具体来说，该网络通过期望和熵操作从3D概率体积联合回归视差和匹配性图。接着，应用学习的衰减作为鲁棒损失函数，以减轻训练中弱匹配像素的影响。最后，匹配意识的视差细化，以改善在弱匹配区域的深度推断。提出的深度立体匹配（DSM）框架可以改善匹配结果或加速计算，同时仍然保证质量。此外，DSM框架可移植到许多最近的立体声网络。在场景流和KITTI立体数据集上进行了大量的实验，以证明所提出的框架在最先进的基于学习的立体方法上的有效性。
2020-08-11 cs.CV
MSDC-Net: Multi-Scale Dense and Contextual Networks for Automated Disparity Map for Stereo Matching
Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）
立体图像视差预测对于自动驾驶、三维模型重建和目标检测等计算机视觉应用至关重要。为了预测准确的视差图，我们提出了一种新的深度学习架构，用于从校正的立体图像对中检测视差图，称为MSDC-Net。MSDC-Net包含两个模块：多尺度融合2D卷积和多尺度残差3D卷积模块。多尺度融合2D卷积模块充分利用了图像中潜在的多尺度特征，通过密度网络提取并融合不同尺度的特征。多尺度残差3D卷积模块从多尺度融合2D卷积模块聚集的成本体积中学习不同尺度的几何上下文。场景流和KITTI数据集上的实验结果表明，我们的MSDC-Net显着优于其他方法在非遮挡区域。
2019-04-30 cs.CV
Learning the Distribution of Errors in Stereo Matching for Joint Disparity and Uncertainty Estimation
Stevens Institute of Technology（史蒂文斯理工学院）
提出一种用于深度立体匹配联合视差与不确定性估计的新损失函数，通过KL散度项使不确定性分布匹配视差误差分布，并采用可微软直方图技术近似分布，在大型数据集上显著提升了视差与不确定性预测性能。
2023-03-31 cs.CV
Object-Centric Stereo Ranging for Autonomous Driving: From Dense Disparity to Census-Based Template Matching
本文提出一种综合立体测距系统，结合密集BM/SGM视差、基于census的目标中心模板匹配和单目几何先验，实现实时测距。核心贡献是新的基于census的目标中心模板匹配算法，通过GPU加速稀疏立体匹配，提升远距离测距鲁棒性。
2026-04-09 cs.CV
Dense Scene Flow from Stereo Disparity and Optical Flow
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心（DFKI））
场景流描述3D场景中的3D运动。它可以被建模为单个任务，或者可以从立体深度和光流估计的辅助任务中重建。虽然第二种方法可以通过使用实时辅助方法来实现实时性能，但它通常会产生非密集结果。在这种表示的场景流估计的基本组合方法中，我们将通过插值来解决非密度问题。
2018-08-30 cs.CV
Comparison of Stereo Matching Algorithms for the Development of Disparity Map
Tarbiat Modares University（塔比阿特·莫达雷斯大学）
立体匹配是计算机视觉中提取三维信息的经典问题之一，但在精度和处理成本方面仍存在争议。匹配技术和成本函数的使用在视差图的开发中至关重要。本文对块匹配（BM）、块匹配动态规划（BMDP）、置信度传播（BP）、梯度特征匹配（GF）、梯度直方图（HOG）等六种立体匹配算法进行了比较研究，并提出了一种新的立体匹配方法。还使用了三个成本函数，即均方误差（MSE），绝对差之和（SAD），归一化互相关（NCC），并进行了比较。本研究中使用的立体图像来自Middlebury立体数据集，提供了完美和不完美的校准。结果表明，匹配函数的选择是相当重要的，也取决于图像的属性。结果表明，BP算法在大多数情况下提供了更好的结果，达到95%以上的准确率。
2022-10-28 cs.CV
ADCPNet: Adaptive Disparity Candidates Prediction Network for Efficient Real-Time Stereo Matching
Xi’an Jiaotong University（西安交通大学）
有效的实时的【形】视差估计是立体视觉系统在各个领域应用的关键。近年来，基于由粗到细方法的立体网络在很大程度上缓解了大规模网络模型的内存限制和速度限制。然而，所有先前的粗到细设计都采用恒定偏移和三个或更多个阶段来逐步细化粗视差图，当部署在移动设备上时，仍然导致不令人满意的计算精度和推断时间。本文提出了一种新的视差匹配方法，只要能提供更准确的视差候选，就能以更少的步骤有效地校正粗匹配误差。因此，我们提出了一个动态偏移预测模块，以满足不同对象的不同校正要求，并设计了一个有效的两阶段框架。此外，我们提出了一个独立的卷积，以进一步提高性能，因为它是更符合当地的统计特性的紧凑的成本卷。在多个数据集和平台上的评估结果清楚地表明，所提出的网络在准确性和速度方面优于最先进的轻量级模型，特别是对于移动设备。代码将提供。
2020-11-18 cs.CV
Combining Stereo Disparity and Optical Flow for Basic Scene Flow
DFKI – German Research Center for Artificial Intelligence（德国人工智能研究中心）
场景流是对3D中真实世界运动的描述，它包含比光流更多的信息。由于其复杂性，在汽车或商用车辆背景下不存在足够鲁棒和准确的实时场景流估计的适用变体。因此，许多应用替代地估计2D光流。在本文中，我们研究了最高性能的最先进的光流和立体视差算法的组合，以实现一个基本的场景流。在公开的KITTI场景流基准测试中，我们证明了组合方法的合理精度，并显示了其计算速度。
2018-01-15 cs.CV
Disparity Has a Sign: Stereo Matching Beyond the Zero-Disparity Plane
KAUST（阿卜杜拉国王科技大学）
针对视差跨越零值时立体匹配模型失效的问题，提出ZDPShift基准，证明预训练特征已具备负视差能力，仅需训练解码器即可修复，且不损失正值精度。
2026-09-09 cs.CV
Sparse LiDAR Assisted Self-supervised Stereo Disparity Estimation
Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；Institute for Infocomm Research（资讯通信研究院）
近年来，深度立体匹配取得了重大进展。然而，最先进的方法是基于昂贵的4D成本体积，这限制了它们在现实世界中的应用。为了解决这个问题，已经提出了3D相关图和迭代视差更新。在现实世界的平台上，如自动驾驶汽车和机器人，通常会安装激光雷达。因此，我们进一步将稀疏激光雷达点引入迭代更新中，从而减轻了网络从零状态更新视差的负担。此外，我们建议以自我监督的方式训练网络，以便它可以在任何捕获的数据上进行训练，以获得更好的泛化能力。实验和比较表明，该方法是有效的，并取得了与相关方法相当的结果。
2021-12-31 cs.CV
Stereo-Matching Knowledge Distilled Monocular Depth Estimation Filtered by Multiple Disparity Consistency
Hyndai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
本文提出一种无需真值和训练、利用多视差图一致性过滤伪深度图错误的自监督单目深度估计知识蒸馏方法，在无纹理、遮挡边界和反射表面等困难区域优于现有方法。
2024-01-23 cs.CV
Rethinking Disparity: A Depth Range Free Multi-View Stereo Based on Disparity
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；XGRIDS；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
现有的基于学习的多视图立体视觉（MVS）方法依赖于深度范围来构建3D成本体积，并且当范围太大或不可靠时可能失败。为了解决这个问题，我们提出了一种基于对极视差流（E-flow）的MVS方法，称为DispMVS，它从两个视图之间的像素移动推断深度信息。DispMVS的核心是在图像平面上沿着每对图像之间（参考图像和几个源图像之间）的极线构建一个2D成本体积，用于像素匹配，并通过多视图几何融合从每对图像三角测量的不可数深度，以确保多视图一致性。为了保持鲁棒性，DispMVS从随机初始化的深度图开始，并在粗到精策略的帮助下迭代地细化深度图。在DTUMVS和Tanks\&Temple数据集上的实验表明，DispMVS对深度范围不敏感，并且在较低的GPU内存下实现了最先进的结果。
2022-12-04 cs.CV
Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching
Southeast University（东南大学）；The University of Melbourne（墨尔本大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）；Imperial College London（伦敦帝国学院）；Alibaba Group（阿里巴巴集团）
针对现有立体匹配研究中不确定性估计与分析不足、难以分解数据与模型两类不确定性的问题，提出基于贝叶斯风险的不确定性感知立体匹配框架，可高效准确估计两类不确定性且不降低视差预测精度。
2025-03-19 cs.CV
Stereo-LiDAR Depth Estimation with Deformable Propagation and Learned Disparity-Depth Conversion
Shanghai Jiao Tong University（上海交通大学）；Midea Corporate Research Center（美的集团中央研究院）；Midea Group（美的集团）
针对LiDAR稀疏提示密度低、分布不均及远距离深度三角测量误差大的问题，提出带半稠密提示引导的SDG-Depth网络，通过可变形传播生成引导图优化代价聚合，结合学习型视差-深度转换提升精度，在基准测试中表现优异。
2024-04-11 cs.CV
GeoStereo: A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal
Beijing Institute of Technology（北京理工大学）；School of Computer Science, Wuhan University（武汉大学计算机科学学院）；Beihang University（北京航空航天大学）；INSAIT, Sofia University（索非亚大学INSAIT）；BAAI AIR, Tsinghua University（清华大学BAAI AIR）
本文针对立体匹配和表面法线估计问题，提出统一框架GeoStereo，结合前馈立体匹配与基于扩散的法线估计分支，引入初始化策略与扭曲条件，实现有效交互，在多场景表现可靠，零样本设置下视差和法线估计精度高。
2026-08-04 cs.CV
These Maps Are Made by Propagation: Adapting Deep Stereo Networks to Road Scenarios with Decisive Disparity Diffusion
本文提出决定性视差扩散（D3Stereo）策略，通过成本体积金字塔和递归双边滤波，将预训练深度网络适配至道路场景，实验证明其优于现有显式编程算法，并具通用性。
2024-11-06 cs.CV
Left-Right Comparative Recurrent Model for Stereo Matching
National University of Singapore（新加坡国立大学）；University of British Columbia（英属哥伦比亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent AI Lab（腾讯人工智能实验室）
利用来自左视图和右视图的视差信息对于立体视差估计是至关重要的。左右一致性检查是一种有效的方法，通过参考来自相反视图的信息来增强视差估计。然而，传统的左右一致性检查是一个孤立的后处理步骤，并且是手工制作的。本文提出了一种新的左右比较递归模型，以执行左右一致性检查和视差估计联合。在每个循环步骤中，模型为两个视图产生视差结果，然后执行在线左右比较以识别可能包含错误标记的像素的不匹配区域。引入了一种软注意力机制，该机制利用学习的错误映射来更好地引导模型在下一个递归步骤中选择性地集中于细化不可靠区域。以这种方式，所生成的视差图被所提出的递归模型逐步改进。KITTI 2015、Scene Flow和Middlebury基准测试验证了该模型的有效性，表明该模型可以获得最先进的立体视差估计结果。
2018-04-03 cs.CV
Learned Collaborative Stereo Refinement
Institute for Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形与视觉研究所）
在这项工作中，我们提出了一个基于学习的方法去噪和细化视差图的一个给定的立体方法。所提出的变分网络自然产生于展开应用于在联合视差、颜色和置信度图像空间中定义的变分能量的邻近梯度方法的迭代。我们的方法允许学习一个强大的协作正则化器，利用彩色图像，置信度图和视差图的联合统计。由于我们的方法的变分结构，各个步骤可以很容易地可视化，从而使该方法的可解释性。因此，我们可以提供有趣的见解，我们的方法如何细化和去噪视差图。公开的立体声基准Middlebury 2014和Kitti 2015证明了我们方法的效率。
2019-07-31 cs.CV
Obtaining Depth Maps From Color Images By Region Based Stereo Matching Algorithms
本文提出了一种基于区域的立体匹配算法，用于从双色立体图像对中提取深度信息。为了提高视差图的可靠性，采用了一种消除不可靠视差估计的滤波器。通过算法得到的结果表示和比较。
2009-02-03 cs.CV
Temporally Consistent Stereo Matching
Beijing Institute of Technology（北京理工大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Horizon Robotics（地平线机器人）
本文提出利用时间信息进行视频立体匹配，通过时间视差补全与双空间迭代细化，提升时间一致性、准确性和效率。
2024-07-16 cs.CV
StereoDiffuer: Diffusion-based Progressive Geometry Modeling with Saliency Attention Perception for Stereo Matching
Shanghai Jiaotong University（上海交通大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波东方理工大学数字孪生研究院）
针对现有立体匹配方法难以保留细粒度几何细节的问题，提出基于扩散的StereoDiffuer框架，通过显著性注意力感知模块提取几何线索，结合迭代去噪扩散过程优化视差，在Scene Flow与KITTI基准上表现具竞争力。
2026-08-25 cs.CV
Parallax Attention for Unsupervised Stereo Correspondence Learning
College of Electronic Science and Technology, Nation University of Defense Technology (NUDT)（国防科技大学电子科学学院）；School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）
立体图像对将3D场景线索编码为左图像和右图像之间的立体对应。为了利用立体图像内的3D线索，最近的基于CNN的方法通常使用成本体积技术来捕获大视差上的立体对应。然而，由于视差可以显著变化的立体相机与不同的基线，焦距和分辨率，固定的最大视差使用的成本量技术阻碍了他们处理不同的立体图像对大的视差变化。在本文中，我们提出了一个通用的视差-注意力机制（PAM）捕捉立体对应，而不管视差变化。我们的PAM集成了极线约束与注意力机制来计算沿极线的特征相似性，以捕获立体对应。基于我们的PAM，我们提出了一个松弛注意立体匹配网络（PASMnet）和松弛注意立体图像超分辨率网络（PASSRnet）的立体匹配和立体图像超分辨率任务。此外，我们引入了一个新的大规模数据集名为Flickr 1024立体图像超分辨率。实验结果表明，我们的PAM是通用的，可以有效地学习立体对应下大的视差变化在无监督的方式。比较结果表明，我们的PASMnet和PASSRnet达到了最先进的性能。
2021-10-12 cs.CV
MEStereo-Du2CNN: A Novel Dual Channel CNN for Learning Robust Depth Estimates from Multi-exposure Stereo Images for HDR 3D Applications
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
显示技术已经发展了多年。开发实用的HDR捕获、处理和显示解决方案至关重要，可以将3D技术提升到一个新的水平。多重曝光立体图像序列的深度估计是开发具有成本效益的3D HDR视频内容中的基本任务。在本文中，我们开发了一种新的多曝光立体深度估计的深度架构。所提出的架构有两个新的组件。首先，改进了传统立体深度估计中的立体匹配技术。对于我们架构的立体声深度估计组件，部署了单声道到立体声的迁移学习方法。所提出的公式规避了成本体积构造要求，其被基于ResNet的双编码器单解码器CNN取代，具有不同的特征融合权重。基于EfficientNet的块用于学习视差。其次，我们结合视差图从立体图像在不同的曝光水平，使用一个强大的视差特征融合方法。使用针对不同质量度量计算的权重图来合并在不同曝光下获得的视差图。得到的最终预测视差图更鲁棒，并且保留了保留深度不连续性的最佳特征。建议的CNN提供了灵活性，训练使用标准的动态范围立体声数据或与多曝光低动态范围立体声序列。在性能方面，所提出的模型超越国家的最先进的单眼和立体深度估计方法，定量和定性，具有挑战性的场景流和不同暴露的Middlebury立体数据集。该架构在复杂的自然场景中表现出色，证明了其对各种3D HDR应用的实用性。
2022-06-21 cs.CV
Realtime Time Synchronized Event-based Stereo
University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们提出了一种新的基于事件的立体方法，解决了运动模糊的问题，移动事件相机。我们的方法使用相机的速度和一系列的差异来同步事件的位置，就好像它们是在一个时间点被捕获的一样。我们表示这些事件使用一对新的时间同步的事件视差卷，我们表明，删除运动模糊的像素在正确的视差量，而进一步模糊的像素在错误的视差。然后，我们在这些时间同步的事件差异卷上应用新的匹配成本，这两者都奖励卷之间的相似性，同时惩罚模糊。我们表明，我们的方法优于更昂贵的，基于平滑的事件立体方法，通过评估多车辆立体事件相机数据集。
2018-10-18 cs.CV
ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching
Center for Mathematical Modelling and Intelligent Systems for Health and Environment (MISHE)（数学建模与智能系统用于健康和环境的中心（MISHE））；Atlantic Technological University（大西洋技术大学）；Department of Engineering and Physics（工程与物理系）
提出增强型Shuffle Mixer（ESM）模块，通过融合主特征与视差上采样单元，以低计算成本恢复小尺度代价体丢失的细节，实现实时高精度立体匹配。
2026-06-25 cs.CV
A new stereo formulation not using pixel and disparity models
Nagasaki University（长崎大学）
我们引入了一个新的立体制定不使用像素和视差模型。视觉中的许多问题都被视为给每个像素分配一个标签。视差是立体声的标签。这样的像素标记问题自然地用能量最小化来表示，其中能量函数有两项：一项惩罚与观测数据不一致的解决方案，另一项强制空间平滑。图割是求解能量最小化问题的有效方法之一。然而，多标号问题的精确最小化只能在光滑项为凸的情况下通过图割来实现。在像素视差公式化中，凸平滑项不能生成良好的重建3D结果。因此，使用截断的线性或二次平滑项等，其中近似能量最小化是必要的。在本文中，我们介绍了一种新的网站标记公式，其中网站不是像素，但在3D空间中的线，标签不是视差，但深度数。对于该公式，可见性推理自然包括在能量函数中。此外，该公式允许我们使用小的平滑项，这不会对3D结果产生太大影响。这使得优化步骤非常简单，因此我们可以开发一种用于图切割本身的近似方法（而不是能量最小化）和高性能GPU图切割程序。对于Middlebury数据集上的Tsukuba立体声对，我们使用GTX 1080 GPU在5ms内得到了结果，使用GTX 660 GPU在19ms内得到了结果。
2018-03-05 cs.CV
CFNet: Cascade and Fused Cost Volume for Robust Stereo Matching
Northwestern Polytechnical University（西北工业大学）；Peking University（北京大学）
近年来，大规模标注数据集的容量不断增加，使得立体匹配技术取得了长足的进步。然而，大多数成功都局限于特定的数据集，不能很好地推广到其他数据集。目前的深度立体匹配模型存在的主要困难是区域差异大，视差分布不均衡，这极大地限制了深度立体匹配模型的实际应用。在本文中，我们提出CFNet，级联和融合的成本体积为基础的网络，以提高立体匹配网络的鲁棒性。首先，我们提出了一种融合的成本体积表示来处理大的域差异。通过融合多个低分辨率密集代价体来扩大感受野，我们可以提取鲁棒的结构表示用于初始视差估计。其次，我们提出了一个级联的成本体积表示，以减轻不平衡的视差分布。具体来说，我们采用基于方差的不确定性估计来自适应地调整下一阶段的视差搜索空间，以这种方式驱动网络逐步修剪出不可能对应的空间。通过迭代地缩小视差搜索空间并提高成本体积分辨率，视差估计以由粗到细的方式逐渐细化。当在相同的训练图像上进行训练并使用固定的模型参数和超参数在KITTI，ETH3D和Middlebury数据集上进行评估时，我们提出的方法实现了最先进的整体性能，并在Robust Vision Challenge 2020的立体任务中获得第一名。该代码将在https://github.com/gallenszl/CFNet上提供。
2021-04-09 cs.CV
Self-Supervised Learning for Stereo Matching with Self-Improving Ability
Australian National University（澳大利亚国立大学）；Data61；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
现有的基于深度学习的密集立体匹配方法通常依赖于地面实况视差图作为训练信号，然而在许多情况下并不总是可用。在本文中，我们设计了一个简单的卷积神经网络架构，能够学习直接从立体输入计算密集视差图。训练以端到端的方式进行，而不需要地面实况视差图。其思想是使用图像扭曲误差（而不是灰度图残差）作为损失函数来驱动学习过程，旨在找到使扭曲误差最小化的深度图。虽然这是一个在立体匹配中众所周知的简单概念，但要使其在深度学习框架中工作，必须克服许多重要的挑战，在这项工作中，我们提供了有效的解决方案。我们的网络是自适应不同的看不见的图像，以及不同的相机设置。在KITTI和Middlebury立体基准数据集上的实验表明，该方法的性能优于许多最先进的立体匹配方法，同时速度明显更快。
2017-09-04 cs.CV
Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
Alibaba A.I. Labs（阿里巴巴人工智能实验室）；Simon Fraser University（西蒙弗雷泽大学）
深度多视图立体视觉（MVS）和立体匹配方法通常构造3D成本体积以正则化和回归输出深度或视差。当需要高分辨率输出时，这些方法是有限的，因为存储器和时间成本随着体积分辨率的增加而立方地增长。在本文中，我们提出了一个内存和时间效率的成本体积制定现有的多视图立体视觉和立体匹配方法的基础上，3D成本体积的补充。首先，建议的成本量是建立在一个标准的特征金字塔编码的几何形状和上下文在逐渐精细的尺度。然后，我们可以通过来自前一阶段的深度（或视差）图来缩小每个阶段的深度（或视差）范围。随着成本体积分辨率逐渐提高以及深度（或视差）间隔的自适应调整，以从粗到细的方式恢复输出。我们将级联成本量应用于代表性的MVS-Net，并在DTU基准测试（第一名）上获得了23.1%的改进，GPU内存和运行时间分别减少了50.6%和74.2%。它也是最先进的基于学习的坦克和寺庙基准方法。其他代表性立体CNN的准确性，运行时间和GPU内存的统计数据也验证了我们提出的方法的有效性。
2020-06-05 cs.CV
A Decomposition Model for Stereo Matching
Beijing Institute of Technology（北京理工大学）
在本文中，我们提出了一个立体匹配的分解模型，以解决计算成本（时间和内存成本）的过度增长的问题，随着分辨率的增加。为了减少在原始分辨率下进行立体匹配的巨大成本，我们的模型只在很低的分辨率下运行密集匹配，并在不同的更高分辨率下使用稀疏匹配来逐尺度地恢复丢失细节的视差。立体匹配分解后，我们的模型迭代地融合稀疏和密集的视差图从相邻的尺度与闭塞感知的面具。一个细化网络也被用来改善融合结果。与PSMNet和GANet等高性能方法相比，我们的方法实现了$10-100\times$速度的提高，同时获得了相当的视差估计结果。
2021-04-15 cs.CV
EdgeStereo: A Context Integrated Residual Pyramid Network for Stereo Matching
Shanghai Jiao Tong University（上海交通大学）
最近的卷积神经网络，特别是端到端视差估计模型，在立体匹配任务中取得了显着的性能。然而，现有的方法，即使是复杂的级联结构，可能会失败的非纹理区域，边界和微小的细节。针对这些问题，本文提出了一种多任务网络EdgeStereo，它由主干视差网络和边缘子网络组成。给定一个双目图像对，我们的模型可以实现视差图和边缘图的端到端预测。基本上，我们设计了一个上下文金字塔来编码视差分支中的多尺度上下文信息，然后是一个紧凑的残差金字塔用于级联细化。为了进一步保留微妙的细节，我们的EdgeStereo模型通过特征嵌入和边缘感知平滑损失正则化来集成边缘线索。对比结果表明，在统一的模型中，立体匹配和边缘检测可以互相帮助。此外，我们的方法在KITTI Stereo和Scene Flow基准测试中都达到了最先进的性能，这证明了我们设计的有效性。
2018-09-23 cs.CV
PlantStereo: A Stereo Matching Benchmark for Plant Surface Dense Reconstruction
Zhejiang University（浙江大学）
立体匹配是计算机视觉中的一项重要任务，几十年来一直受到人们的关注。而公共立体数据集在视差精度、密度和数据量等方面难以满足模型的要求。在本文中，我们的目标是解决数据集和模型之间的问题，并提出了一个大规模的立体数据集与高精度视差地面真相命名为PlantStereo。我们使用半自动的方式来构建数据集：经过摄像机校准和图像配准，可以从深度图像中获得高精度的视差图像。PlantStereo总共包含812个图像对，涵盖了各种植物：菠菜、番茄、辣椒和南瓜。我们首先评估了四种不同立体匹配方法的PlantStereo数据集。在不同模型和植物上进行的大量实验表明，与整数精度的地面真值相比，PlantStereo提供的高精度视差图像可以显著提高深度学习模型的训练效果。为实现植物表面密集化改造提供了一种可行可靠的方法。PlantStereo数据集和相关代码可在https://www.github.com/wangqingyu985/PlantStereo上获得
2021-11-30 cs.CV
Learning Monocular Depth Estimation via Selective Distillation of Stereo Knowledge
Hyundai Motor Company（现代汽车公司）；KAIST（韩国科学技术院）
基于深度学习的单目深度估计已经得到了广泛的探索，但其准确性和泛化能力仍然远远落后于基于立体的方法。为了解决这个问题，最近的一些研究提出了通过提取视差图作为代理地面实况来监督单目深度估计网络。然而，这些研究天真地提取立体知识，而没有考虑基于立体和单目深度估计方法的比较优势。在本文中，我们建议选择性地提取视差图，以实现更可靠的代理监督。具体来说，我们首先设计一个解码器（MaskDecoder），它学习两个二进制掩码，这些掩码被训练为在代理视差图和每个像素的估计深度图之间进行最佳选择。然后，将学习到的掩码馈送到另一个解码器（DepthDecoder），以强制估计的深度仅从代理视差图中的掩蔽区域学习。此外，还设计了一个教师-学生模块，将StereoNet的几何知识转移到MonoNet。大量的实验验证了我们的方法在KITTI数据集上实现了最先进的自监督和代理监督单目深度估计性能，甚至超过了一些半监督方法。
2022-05-18 cs.CV
DispSegNet: Leveraging Semantics for End-to-End Learning of Disparity Estimation from Stereo Imagery
University of Michigan（密歇根大学）
最近的工作表明，卷积神经网络（CNN）可以成功地应用于视差估计，但这些方法仍然遭受低纹理，遮挡和反射区域的错误。同时，用于语义分割的深度学习近年来取得了很大进展。在本文中，我们设计了一个结合这两项任务的CNN架构，以提高视差估计的质量和准确性的帮助下，语义分割。具体来说，我们提出了一个网络结构，这两个任务是高度耦合的。这种方法的一个关键的新颖性是两阶段的细化过程。初始视差估计是用从网络的语义分割分支学习的嵌入来细化的。该模型使用无监督方法进行训练，其中来自立体对的一半的图像被扭曲并与来自另一个相机的图像进行比较。所提出的方法的另一个关键优点是，单个网络能够输出视差估计和语义标签。这些输出在自动驾驶汽车操作中非常有用;由于实时约束是关键，这种性能改进提高了驾驶应用的可行性。在KITTI和Cityscapes数据集上的实验表明，我们的模型可以实现最先进的结果，并且利用从语义分割中学习的嵌入提高了视差估计的性能。
2019-01-15 cs.CV
Stereo Endoscopic Image Super-Resolution Using Disparity-Constrained Parallel Attention
Institute of Image Processing（图像处理研究所）；Pattern Recognition Institute of Medical Robotics（医学机器人模式识别研究所）；Shanghai Jiao Tong University（上海交通大学）
随着立体摄像机在计算机辅助手术技术中的普及，第二个视点将在手术中提供额外的信息。然而，如何有效地访问和使用立体信息的超分辨率（SR）的目的往往是一个挑战。在本文中，我们提出了一个立体约束的立体超分辨率网络（DCSSRnet），同时计算一个超分辨率图像的立体图像对。特别是，我们将基于属性的约束机制纳入深度神经网络框架中SR图像的生成中，并添加了额外的atrous注意力模块。腹腔镜图像的实验结果表明，该框架优于目前的SR方法的定量和定性评价。我们的DCSSRnet提供了一个很有前途的解决方案，提高立体图像对的空间分辨率，这将是非常有益的内窥镜手术。
2020-03-19 cs.CV eess.IV
Non-Learning Low-Light Stereo Vision
Department of Computer Sciences, Purdue University（普渡大学计算机科学系）；Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫夫家庭电气与计算机工程学院）
提出一种非学习立体框架，利用Field of Junctions (FoJ)提取粗视觉特征，结合边界感知半全局匹配(SGM)从严重噪声图像中估计视差，在基准数据集上获得比近期立体算法更准确的稀疏视差图。
2026-05-29 cs.CV
Stereo Computation for a Single Mixture Image
Australian National University（澳大利亚国立大学）；Data61 CSIRO（联邦科学与工业研究组织Data61）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Northwestern Polytechnical University（西北工业大学）
提出了一个\emph{stereo computation from a single mixture image}的原始问题--一个以前没有研究过的具有挑战性的问题。目标是将单个混合图像分离（\ie，解混合）成两个构成图像层，使得这两个层形成左右立体图像对，从该左右立体图像对可以恢复有效视差图。这是一个严重不适定的问题，从一个输入图像有效地恢复三个（\ie、左图像、右图像和视差图）。在这项工作中，我们给出了一种新的基于深度学习的解决方案，通过联合解决图像层分离和立体匹配这两个子任务。训练我们的深度网络是一项简单的任务，因为它不需要视差图。大量的实验证明了我们的方法的有效性。
2018-08-27 cs.CV
EdgeStereo: An Effective Multi-Task Learning Network for Stereo Matching and Edge Detection
Shanghai Jiao Tong University（上海交通大学）
最近，利用端到端卷积神经网络（CNN）的发展，深度立体匹配网络已经取得了远远超过传统方法的显著性能。然而，国家的最先进的立体框架仍然有困难，在寻找正确的对应，在纹理较少的地区，详细的结构，小对象和附近的边界，这可以缓解的几何线索，如边缘轮廓和相应的约束。为了提高这些具有挑战性的领域中的视差估计的质量，我们提出了一个有效的多任务学习网络EdgeStereo，由视差估计分支和边缘检测分支组成，它可以实现视差图和边缘图的端到端预测。为了有效地结合边缘线索，我们提出了边缘感知的平滑损失和边缘特征嵌入任务间的相互作用。实验结果表明，基于统一模型，边缘检测任务和立体匹配任务可以相互促进。此外，我们设计了一个紧凑的模块称为残留金字塔，以取代目前立体匹配网络中常用的多级级联结构或基于三维卷积的正则化模块。截至论文提交时，EdgeStereo在FlyingThings3D数据集、KITTI 2012和KITTI 2015立体基准测试中达到了最先进的性能，显著优于其他已发布的立体匹配方法。EdgeStereo还实现了相当的泛化性能的视差估计，因为边缘线索的结合。
2019-12-11 cs.CV
Genetic Stereo Matching Algorithm with Fuzzy Fitness
École Supérieure de Technologie et d’Informatique（高等技术与信息学院）；Université de Carthage（迦太基大学）
提出了一种具有模糊评价函数的遗传立体匹配算法。该算法提出了一种新的编码方案，其中的染色体表示的视差矩阵。进化是由一个模糊适应度函数能够处理噪声和不确定的相机测量，并使用经典的进化算子。实验结果表明，该算法在合理的计算时间内获得了精确的稠密视差图，适合于实时应用。
2014-10-09 cs.CV
Disparity Estimation Using a Quad-Pixel Sensor
Institute of Science Tokyo（东京科学大学）；Olympus Medical Systems Corporation（奥林巴斯医疗系统公司）
本文提出QPDNet，通过融合四像素传感器垂直与水平立体匹配相关性进行视差估计，并构建合成训练数据流程，实验证明其优于现有立体和双像素方法。
2024-09-01 cs.CV
Geometry-based Occlusion-Aware Unsupervised Stereo Matching for Autonomous Driving
近年来，出现了许多基于无监督学习的自动驾驶立体匹配方法。它们中的大多数利用重建损失来消除对视差地面实况的依赖。遮挡处理是立体匹配中的一个具有挑战性的问题，特别是对于无监督的方法。以前的无监督方法未能充分利用几何属性的遮挡处理。在本文中，我们介绍了一种有效的方法来检测遮挡区域，并提出了一种新的无监督训练策略来处理遮挡，只使用预测的左视差图，通过利用其几何特征，在一个迭代的方式。在训练过程中，我们将预测的左视差图视为伪地面实况，并使用几何特征来推断遮挡区域。然后将所得的遮挡掩模用于训练、后处理或两者中作为指导。实验结果表明，该方法能有效地解决遮挡问题，并明显优于其他无监督的立体匹配方法。此外，我们的遮挡感知策略可以方便地扩展到其他立体方法，并提高其性能。
2020-10-21 cs.CV
H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System
Shanghai Jiao Tong University（上海交通大学）；Cooperative Medianet Innovation Center（未来媒体网络协同创新中心）；University of California at Riverside（加州大学河滨分校）；Nanjing University（南京大学）
高速、高分辨率立体（H2-Stereo）视频使我们能够以精细的粒度感知动态3D内容。然而，H2-Stereo视频的获取对于商品相机仍然具有挑战性。现有的空间超分辨率或时间帧内插方法分别提供缺乏时间或空间细节的折衷解决方案。为了缓解这个问题，我们提出了一个双摄像头系统，其中一个摄像头捕获高空间分辨率低帧速率（HSR-LFR）视频丰富的空间细节，和其他捕获低空间分辨率高帧速率（LSR-HFR）视频平滑的时间细节。然后，我们设计了一个学习信息融合网络（LIFnet），利用跨相机冗余，以提高两个相机的意见，以高时空分辨率（HSTR）重建H2立体视频有效。我们利用视差网络来跨视图传输时空信息，即使在大视差场景中也是如此，在此基础上，我们提出了LSR-HFR视图的视差引导的基于流的变形和HSR-LFR视图的补充变形。提出了一种基于特征域的多尺度融合方法，以最大限度地减少HSR-LFR视图中遮挡引起的扭曲重影和孔洞。LIFnet使用我们从YouTube收集的高质量立体视频数据集以端到端的方式进行训练。大量的实验表明，我们的模型优于现有的国家的最先进的方法，无论是对合成数据和相机捕获的实际数据的意见，具有很大的差距。消融研究探讨了我们系统的各个方面，包括时空分辨率、相机基线、相机去散射、长/短曝光和应用，以充分了解其潜在应用的能力。
2022-08-04 cs.CV
IRS: A Large Naturalistic Indoor Robotics Stereo Dataset to Train Deep Models for Disparity and Surface Normal Estimation
Hong Kong Baptist University（香港浸会大学）；Wuhan University（武汉大学）
室内机器人定位、导航和交互在很大程度上依赖于场景理解和重建。与通常不显式引入任何几何约束的单目视觉相比，基于立体视觉的方案更有前途和鲁棒性，以产生精确的几何信息，如表面法线和深度/视差。此外，用大规模数据集训练的深度学习模型在许多立体视觉任务中表现出了优异的性能。然而，现有的立体数据集很少包含高质量的表面法线和视差地面真相，这很难满足训练室内场景的预期深度模型的需求。为此，我们引入了一个大规模的合成但自然的室内机器人立体（IRS）数据集，具有超过100 K的立体RGB图像和高质量的表面法线和视差图。利用我们定制的渲染引擎的先进渲染技术，数据集是相当接近现实世界的捕获图像，并涵盖了几个视觉效果，如亮度变化，光反射/透射，镜头光斑，生动的阴影，等我们比较IRS的数据分布与现有的立体数据集，以说明室内场景的典型视觉属性。此外，我们提出了DTN-Net，一个两阶段的深度模型表面法线估计。大量的实验表明了IRS在训练深度模型进行视差估计方面的优势和有效性，与现有方法相比，DTN-Net为正常估计提供了最先进的结果。
2021-03-26 cs.CV cs.RO
SMD-Nets: Stereo Mixture Density Networks
University of Bologna（博洛尼亚大学）；MPI-IS（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
尽管立体匹配精度在过去几年中通过深度学习大大提高，但有效恢复清晰边界和高分辨率输出仍然具有挑战性。在本文中，我们提出了立体混合密度网络（SMD-Nets），这是一个简单而有效的学习框架，与广泛的2D和3D架构兼容，可以改善这两个问题。具体来说，我们利用双峰混合密度作为输出表示，并表明，这允许尖锐和精确的差距估计附近的不连续性，同时明确建模的任意性的不确定性固有的意见。此外，我们制定的视差估计作为一个连续的问题，在图像域中，允许我们的模型查询在任意空间精度的差异。我们进行了全面的实验，一个新的高分辨率和高度逼真的合成立体数据集，包括立体对在8 Mpx分辨率，以及在现实世界的立体数据集。我们的实验表明，在标准GPU上提高了物体边界附近的深度精度和超高分辨率视差图的预测。我们证明了我们的技术的灵活性，通过提高各种立体声骨干的性能。
2021-04-08 cs.CV
Cascade Residual Learning: A Two-stage Convolutional Neural Network for Stereo Matching
SenseTime Group Limited（商汤集团有限公司）
利用卷积神经网络（CNN）的最新发展，匹配来自立体对的密集对应关系已被视为学习问题，其性能超过传统方法。然而，要为本来就处境不利的区域创造高质量的差距仍然具有挑战性。为了解决这个问题，我们提出了一种新的级联CNN架构组成的两个阶段。第一阶段通过为其配备额外的上卷积模块来推进最近提出的DispNet，从而产生具有更多细节的视差图像。第二级明确纠正由第一级初始化的视差;它与第一级耦合并生成跨多个尺度的残差信号。来自两个级的输出的总和给出最终视差。相对于直接学习的差距在第二阶段，我们表明，剩余学习提供了更有效的细化。此外，它也有利于整个级联网络的训练。实验表明，我们的级联残差学习方案提供了最先进的性能匹配立体对应。在提交本文时，我们的方法在KITTI 2015立体声基准中排名第一，远远超过了之前的作品。
2018-07-30 cs.CV
A Multi-modal Garden Dataset and Hybrid 3D Dense Reconstruction Framework Based on Panoramic Stereo Images for a Trimming Robot
Shenzhen Amigaga Technology Co. Ltd.（深圳阿米嘎嘎科技有限公司）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；The University of Sydney（悉尼大学）
提出一种基于全景立体相机和三个融合模块的混合框架，用于修剪机器人室外花园场景的三维稠密重建，并在真实数据集上验证了优越性能。
2023-05-10 cs.CV
