Multi-scale interaction network for stereo image super-resolution
Ocean University of China（中国海洋大学）
本文提出了一种多尺度交互网络，用于立体图像超分辨率，通过改进视内特征提取和视间匹配精度，实现了更优的超分辨率效果。
2026-05-21 cs.CV
NAFSSR: Stereo Image Super-Resolution Using NAFNet
Peking University（北京大学）；MEGVII Technology（旷视科技）
立体图像超分辨率的目的是利用双目系统提供的互补信息来提高超分辨率结果的质量。为了获得合理的性能，大多数方法集中于精细地设计模块、损失函数等，以从另一个角度利用信息。这有增加系统复杂性的副作用，使研究人员难以评估新的想法和比较方法。本文继承了NAFNet这一简单而强大的单视点特征提取图像复原模型，并对其进行了扩展，增加了交叉注意模块，融合了视点间的特征，以适应双目场景。立体图像超分辨率的建议基线被标记为NAFSSR。此外，提出了训练/测试策略，以充分利用NAFSSR的性能。大量的实验证明了我们的方法的有效性。特别是，NAFSSR在KITTI 2012、KITTI 2015、Middlebury和Flickr 1024数据集上的表现优于最先进的方法。凭借NAFSSR，我们在NTIRE 2022立体图像超分辨率挑战赛中获得第一名。代码和模型将在https://github.com/megvii-research/NAFNet上发布。
2022-04-26 cs.CV
Hybrid Transformer and CNN Attention Network for Stereo Image Super-resolution
ByteDance Inc（字节跳动公司）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对立体图像超分辨率中Transformer无法利用立体信息且依赖数据的问题，提出混合Transformer和CNN注意力网络（HTCAN），结合多块训练等技术，在NTIRE 2023挑战赛Track 1中获胜。
2023-05-09 cs.CV
Perception-Oriented Stereo Image Super-Resolution
Fudan University（复旦大学）
近年来基于深度学习的立体图像超分辨率（StereoSR）研究推动了立体图像超分辨率的发展。然而，现有的StereoSR模型主要集中在提高定量评价指标，忽略了超分辨率立体图像的视觉质量。为了提高感知性能，本文提出了第一个面向感知的立体图像超分辨率的方法，利用反馈，通过对StereoSR结果的感知质量的评价提供。为了给StereoSR模型提供准确的指导，我们开发了第一个特殊的立体图像超分辨率质量评估（StereoSRQA）模型，并进一步构建了StereoSRQA数据库。大量的实验表明，我们的StereoSR方法显着提高了感知质量，提高了立体图像的视差估计的可靠性。
2022-07-14 cs.CV eess.IV
Parallax Attention for Unsupervised Stereo Correspondence Learning
College of Electronic Science and Technology, Nation University of Defense Technology (NUDT)（国防科技大学电子科学学院）；School of Electronics and Communication Engineering, Sun Yat-sen University（中山大学电子与通信工程学院）
立体图像对将3D场景线索编码为左图像和右图像之间的立体对应。为了利用立体图像内的3D线索，最近的基于CNN的方法通常使用成本体积技术来捕获大视差上的立体对应。然而，由于视差可以显著变化的立体相机与不同的基线，焦距和分辨率，固定的最大视差使用的成本量技术阻碍了他们处理不同的立体图像对大的视差变化。在本文中，我们提出了一个通用的视差-注意力机制（PAM）捕捉立体对应，而不管视差变化。我们的PAM集成了极线约束与注意力机制来计算沿极线的特征相似性，以捕获立体对应。基于我们的PAM，我们提出了一个松弛注意立体匹配网络（PASMnet）和松弛注意立体图像超分辨率网络（PASSRnet）的立体匹配和立体图像超分辨率任务。此外，我们引入了一个新的大规模数据集名为Flickr 1024立体图像超分辨率。实验结果表明，我们的PAM是通用的，可以有效地学习立体对应下大的视差变化在无监督的方式。比较结果表明，我们的PASMnet和PASSRnet达到了最先进的性能。
2021-10-12 cs.CV
Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation
East China Normal University（华东师范大学）
在立体环境下，图像超分辨率（SR）和视差估计问题相互关联，每个问题的结果可以帮助解决另一个问题。不同视图之间的对应关系的有效利用有利于SR性能，而具有更丰富细节的高分辨率（HR）特征有利于对应关系估计。基于这一动机，本文提出了一种立体图像超分辨率和视差估计反馈网络（SSRDE-FNet），该网络在统一的框架下同时处理立体图像超分辨率和视差估计，并将它们相互作用，以进一步提高它们的性能。具体来说，SSRDE-FNet由两个用于左视图和右视图的双重递归子网络组成。除了在低分辨率（LR）空间中的跨视图信息开发，由SR过程产生的HR表示被用来执行HR视差估计具有更高的精度，通过该HR特征可以被聚合以生成更精细的SR结果。然后，提出的HR视差信息反馈（HRDIF）机制将HR视差携带的信息传递回先前的层，以进一步细化SR图像重建。大量的实验证明了SSRDE-FNet的有效性和先进性。
2021-06-02 cs.CV
ASteISR: Adapting Single Image Super-resolution Pre-trained Model for Efficient Stereo Image Super-resolution
Fuzhou University（福州大学）；University of Edinburgh（爱丁堡大学）；Imperial Vision Technology（英视科技）
本文提出ASteISR方法，通过冻结预训练单图像超分辨率Transformer并仅微调立体适配器与空间适配器，以4.8%参数量在四个SteISR基准上达到最优性能，同时显著降低训练时间和内存消耗。
2024-07-04 cs.CV
Cross-View Hierarchy Network for Stereo Image Super-Resolution
South China University of Technology（华南理工大学）；Fujian Normal University（福建师范大学）；GAC R&D Center（广汽研究院）
本文提出跨视图层次网络CVHSSR，通过视图内跨层次信息挖掘与跨视图交互模块，在更少参数下实现最优立体图像超分辨率性能。
2023-04-13 cs.CV
Multi-Level Feature Fusion Network for Lightweight Stereo Image Super-Resolution
Fuzhou University（福州大学）；South China University of Technology（华南理工大学）；Chengdu University of Information Technology（成都信息工程大学）
针对立体图像超分辨率中级联模块导致参数多、冗余高的问题，提出轻量级MFFSSR，通过HAFEB与通道分离实现多级特征及跨视角信息高效融合，以更少参数取得优越性能。
2024-05-09 cs.CV
StereoINR: Cross-View Geometry Consistent Stereo Super Resolution with Implicit Neural Representation
School of Remote Sensing and Information Engineering, Wuhan University, Hubei, China（遥感与信息工程学院，武汉大学，湖北，中国）
本文提出 StereoINR，将立体图像对建模为连续隐式表示，结合空间变形与交叉注意力机制，实现任意倍率且跨视图几何一致的立体图像超分辨率重建。
2025-07-05 cs.CV eess.IV
SwinFSR: Stereo Image Super-Resolution using SwinIR and Frequency Domain Knowledge
McMaster University（麦克马斯特大学）
提出 SwinFSR 立体图像超分辨率方法，通过 FFC 将频域知识引入 SwinIR 的 RSTB 形成 RSFTB，并设计低成本高性能 RCAM 融合立体视图。
2023-04-25 cs.CV
Learning Accurate and Enriched Features for Stereo Image Super-Resolution
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
针对现有立体图像超分辨率方法上下文捕获不足、易受无关信息干扰的问题，提出含混合尺度模块、选择性融合注意力模块与快速傅里叶卷积模块的MSSFNet，实现了性能的显著提升。
2024-06-23 cs.CV
Toward Real World Stereo Image Super-Resolution via Hybrid Degradation Model and Discriminator for Implied Stereo Image Information
Fuzhou University（福州大学）；University of Edinburgh（爱丁堡大学）；Beijing Radio and TV Station（北京广播电视台）；Imperial Vision Technology（帝视科技）
针对现有单图像超分辨率方法应用于立体图像时会破坏视差一致性的问题，本文提出融合隐含立体信息判别器与混合退化模型的新方法，可在提升视觉效果的同时维持视差一致性，在合成与真实数据集上均表现优异。
2023-12-13 cs.CV eess.IV
PFT-SSR: Parallax Fusion Transformer for Stereo Image Super-Resolution
The Chinese University of Hong Kong（香港中文大学）；Shanghai University（上海大学）；Jiangsu Key Laboratory of Image and Video Understanding for Social Safety（江苏省社会安全图像与视频理解重点实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）；East China Normal University（华东师范大学）
立体图像超分辨率是利用双目系统提供的辅助信息来提高图像超分辨率的性能。虽然以前的方法取得了可喜的成果，但他们没有充分利用跨视图和视图内的信息。为了进一步释放双目图像的潜力，在这封信中，我们提出了一种新的Transformerbased视差融合模块称为视差融合Transformer（PFT）。PFT采用交叉视图融合Transformer（CVFT）来利用交叉视图信息，并采用视图内细化Transformer（IVRT）来进行视图内特征细化。同时，我们采用Swin Transformer作为特征提取和SR重构的骨干，形成了一个纯Transformer架构，称为PFT-SSR。大量的实验和烧蚀研究表明，PFT-SSR取得了有竞争力的结果，并优于大多数SOTA方法。源代码可在https://github.com/MIVRC/PFT-PyTorch上获得。
2023-03-24 cs.CV
Stereo Endoscopic Image Super-Resolution Using Disparity-Constrained Parallel Attention
Institute of Image Processing（图像处理研究所）；Pattern Recognition Institute of Medical Robotics（医学机器人模式识别研究所）；Shanghai Jiao Tong University（上海交通大学）
随着立体摄像机在计算机辅助手术技术中的普及，第二个视点将在手术中提供额外的信息。然而，如何有效地访问和使用立体信息的超分辨率（SR）的目的往往是一个挑战。在本文中，我们提出了一个立体约束的立体超分辨率网络（DCSSRnet），同时计算一个超分辨率图像的立体图像对。特别是，我们将基于属性的约束机制纳入深度神经网络框架中SR图像的生成中，并添加了额外的atrous注意力模块。腹腔镜图像的实验结果表明，该框架优于目前的SR方法的定量和定性评价。我们的DCSSRnet提供了一个很有前途的解决方案，提高立体图像对的空间分辨率，这将是非常有益的内窥镜手术。
2020-03-19 cs.CV eess.IV
Cross-MPI: Cross-scale Stereo for Image Super-Resolution using Multiplane Images
Tsinghua University（清华大学）；ZhuoHe Tech（卓合科技）；Northeastern University（东北大学）；Beijing Institute of Technology（北京理工大学）；Tianjin University（天津大学）
相机的各种组合丰富了计算摄影，其中基于参考的超分辨率（RefSR）在多尺度成像系统中起着至关重要的作用。然而，现有的RefSR方法不能在大分辨率间隙下实现高保真度超分辨率，例如，8倍放大，由于对底层场景结构的考虑较少。在本文中，我们的目标是解决实际的多尺度相机系统中的RefSR问题的启发多平面图像（MPI）表示。具体来说，我们提出了交叉MPI，一个端到端RefSR网络组成的一个新的平面感知的注意力为基础的MPI机制，多尺度引导上采样模块，以及一个超分辨率（SR）的合成和融合模块。所提出的平面感知注意力机制充分利用隐藏的场景结构进行有效的基于注意力的对应搜索，而不是使用跨尺度立体之间的直接和穷举匹配。进一步结合一个温和的粗到细的指导上采样策略，建议交叉MPI可以实现一个强大的和准确的细节传输。数字合成和光学变焦跨尺度数据的实验结果表明，交叉MPI框架可以实现优于现有的RefSR方法的性能，是一个真正适合实际的多尺度相机系统，即使有大规模的差异。
2021-03-29 cs.CV
Improving Multi-View Stereo via Super-Resolution
Politecnico di Milano（米兰理工大学）
如今，多视图立体视觉技术能够重建稳健且详细的3D模型，尤其是从高分辨率图像开始时。然而，存在输入图像的分辨率相对较低的情况，例如，当处理旧照片时，或者当硬件限制可以获取的数据量时。在本文中，我们调查，如果，如何，以及有多少通过超分辨率技术提高这些输入图像的分辨率反映在重建的3D模型的质量改进，尽管有时这可能会产生的文物。我们表明，在大多数情况下，在恢复深度图之前应用超分辨率步骤，在基于PatchMatch和基于深度学习的算法的情况下，都会产生更好的3D模型。超分辨率的使用特别提高了重建模型的完整性，并且在纹理场景的情况下特别有效。
2021-07-28 cs.AI cs.CV
DIffSteISR: Harnessing Diffusion Prior for Superior Real-world Stereo Image Super-Resolution
Fuzhou University（福州大学）；Imperial Vision Technology（帝国视界科技）；Macao Polytechnic University（澳门理工大学）
本研究提出DiffSteISR框架，借助预训练文生图模型的扩散先验，通过TASCATA、SOA ControlNet和SSE模块，在保持左右视图语义与纹理高一致性的同时，实现真实世界低分辨率立体图像的高质量超分辨率重建。
2024-08-15 cs.CV eess.IV
SEGSRNet for Stereo-Endoscopic Image Super-Resolution and Surgical Instrument Segmentation
Chulalongkorn University（朱拉隆功大学）；Mahidol University（玛希隆大学）
SEGSRNet通过在分割前应用超分辨率技术，结合特征提取、注意力机制与空间处理，解决了低分辨率立体内窥镜图像中手术器械精确识别问题，在多项指标上优于现有模型，显著提升了图像清晰度、分割精度及手术准确性。
2024-04-26 cs.CV eess.IV
MCL-3D: a database for stereoscopic image quality assessment using 2D-image-plus-depth source
Xidian University（西安电子科技大学）；University of Southern California（南加州大学）
一个新的立体图像质量评估数据库渲染使用的2D图像加深度源，称为MCL-3D，描述和性能基准测试的几个已知的2D和3D图像质量指标使用的MCL-3D数据库在这项工作中。首先选择九个图像加深度源，并且使用基于深度图像的渲染（DIBR）技术来渲染立体图像对。在立体图像渲染之前施加到纹理图像或深度图像的失真包括：高斯模糊、加性白噪声、下采样模糊、JPEG和JPEG-2000（JP 2K）压缩和传输误差。此外，不完美的渲染所造成的失真也被检查。MCL-3D数据库包含693个立体图像对，其中三分之一的分辨率为1024 x728，三分之二的分辨率为1920 x1080。在用户友好性的主观测试中采用了成对比较，并可以相应地计算平均意见得分（MOS）。最后，我们评估了应用于MCL-3D的几个2D和3D图像质量指标的性能。MCL-3D中的所有纹理图像、深度图像、渲染图像对及其在主观测试中获得的MOS值可供公众（http：//mcl.usc.edu/mcl-3d-database/）用于未来的研究和开发。
2014-03-23 cs.CV
DiffStereo: High-Frequency Aware Diffusion Model for Stereo Image Restoration
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Chinese University of Hong Kong（香港中文大学）
针对扩散模型应用于立体图像恢复时计算成本高、易丢失高频细节的问题，提出高频感知模型DiffStereo，通过学习潜空间高频表示并融合到transformer恢复网络，在多项立体图像恢复任务上性能优于现有最优方法。
2025-01-17 cs.CV
FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras
KAIST（韩国科学技术院）；Brown University（布朗大学）
高精度的每像素深度对于计算摄影至关重要，因此智能手机现在具有多模式相机系统，具有飞行时间（ToF）深度传感器和多种彩色相机。然而，由于ToF传感器的低分辨率和有限的主动照明功率，产生精确的高分辨率深度仍然具有挑战性。融合RGB立体和ToF信息是克服这些问题的一个很有前途的方向，但仍然存在一个关键问题：为了提供高质量的2D RGB图像，主颜色传感器的镜头是光学稳定的，导致浮动镜头的未知姿态打破了多模态图像传感器之间的几何关系。利用ToF深度估计和广角RGB相机，我们设计了一种基于密集2D/3D匹配的自动校准技术，该技术可以从单个快照中估计稳定的主RGB传感器的相机外部，内部和失真参数。这使我们能够通过相关体积融合立体声和ToF线索。对于融合，我们通过真实世界的训练数据集应用深度学习，并通过神经重建方法估计深度监督。为了进行评估，我们使用商业高功率深度相机获取测试数据集，并表明我们的方法比现有基线实现了更高的准确性。
2022-10-06 cs.CV
Self-Supervised Intensity-Event Stereo Matching
The University of Sydney（悉尼大学）；Carnegie Mellon University（卡内基梅隆大学）；SenseTime Research（商汤科技研究院）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
事件摄像机是一种新颖的生物视觉传感器，可输出微秒级精度的像素级强度变化，具有高动态范围和低功耗。尽管有这些优点，但由于无法同时获得高质量的强度和事件，事件相机不能直接应用于计算成像任务。本文旨在连接一个独立的事件相机和一个现代强度相机，以便应用程序可以利用这两个传感器。我们通过多模态立体匹配任务建立这种连接。我们首先将事件转换为重建图像，并将现有的立体声网络扩展到这种多模态条件。我们提出了一种自监督的方法来训练多模态立体声网络，而不使用地面真实视差数据。在图像梯度上计算的结构损失被用于使得能够对这样的多模态数据进行自监督学习。利用不同模态视图之间的内部立体约束，我们引入了一般的立体损失函数，包括视差交叉一致性损失和内部视差损失，从而提高了性能和鲁棒性相比，现有的方法。实验结果表明，所提出的方法，特别是所提出的一般立体损失函数，在合成和真实数据集的有效性。最后，我们阐明了在下游任务中使用对齐的事件和强度图像，例如，视频插值应用。
2022-11-01 cs.CV
M3D-Stereo: A Multiple-Medium and Multiple-Degradation Dataset for Stereo Image Restoration
Shenzhen University（深圳大学）；Chongqing Normal University（重庆师范大学）
本文提出M3D-Stereo数据集，包含7904对高分辨率图像，涵盖四种退化场景，用于评估图像恢复和立体匹配方法在复杂退化环境中的性能。
2026-04-14 cs.CV
Stereo Image Rain Removal via Dual-View Mutual Attention
Hefei University of Technology（合肥工业大学）；Zhejiang University（浙江大学）
包含具有视差的左视图图像和右视图图像的立体图像最近被用于解决低视力任务，例如，除雨和超分辨率。立体图像复原方法通常通过隐式或显式地学习双视图之间的视差来获得比单目方法更好的性能。然而，现有的立体雨消除方法仍然不能充分利用两视图间的互补信息，这主要是因为：1）雨条纹在方向和密度上的分布较为复杂，严重破坏了互补信息，对两视图间的视差估计提出了更大的挑战; 2）两视图间特征融合机制不完善，视差估计不够准确。为了克服这些局限性，我们提出了一种新的\underline{Stereo} \underline{I}图像\underline{R} ain \underline{R}去除方法（StereoIRR），其包括：1）新的双视图相互注意（DMA）机制，其通过将左视图和右视图作为彼此的关键信息来生成相互注意图，以促进跨视图特征融合; 2）通过基本分块和双视点相互关注，构建了一种远距离、跨视点的交互机制，可以缓解雨水对互补信息的不利影响，帮助立体图像特征实现远距离、跨视点的交互融合。值得注意的是，StereoIRR在几个数据集上优于其他相关的单目和立体图像雨水去除方法。我们的代码和数据集将被发布。
2022-12-20 cs.CV
PIRM2018 Challenge on Spectral Image Super-Resolution: Dataset and Study
DATA61 - CSIRO（联邦科学与工业研究组织 DATA61）；Deakin University（迪肯大学）；ETH Zurich（苏黎世联邦理工学院）
本文介绍了一个新收集的和新的数据集（StereoMSI）的例子为基础的单一和彩色引导光谱图像超分辨率。该数据集在PIRM2018光谱图像超分辨率挑战期间首次发布和推广。据我们所知，该数据集是第一个此类数据集，包括350个注册的彩色光谱图像对。该数据集已用于挑战的两个轨道，对于每一个轨道，我们都提供了训练，验证和测试的划分。这种布置是挑战结构和阶段的结果，其中第一轨道聚焦于基于示例的光谱图像超分辨率，而第二轨道旨在利用配准的立体彩色图像来提高光谱图像的分辨率。每个轨道和分割都被选择为在多个图像质量指标上保持一致。该数据集是相当一般的性质，可以用于各种各样的应用程序，除了光谱图像超分辨率方法的发展。
2019-05-01 cs.CV
NAFRSSR: a Lightweight Recursive Network for Efficient Stereo Image Super-Resolution
South China Normal University（华南师范大学）；Nanjing University（南京大学）
针对现有立体图像超分辨率模型计算复杂度高的问题，提出基于NAFSSR改进的轻量级递归网络NAFRSSR，通过模块轻量化与可训练边缘检测算子实现参数量减少、性能提升与推理加速。
2024-05-14 cs.CV eess.IV
Multispectral Stereo-Image Fusion for 3D Hyperspectral Scene Reconstruction
Fraunhofer HHI（弗劳恩霍夫HHI研究所）；Humboldt University（洪堡大学）
本文提出将两台覆盖不同光谱范围的实时多光谱快照相机组成立体系统，通过去马赛克与光谱数据融合，同时实现三维重建和高光谱视频流获取，并验证其在手术辅助监测中的可行性。
2023-12-15 cs.CV eess.IV
A New Dataset and Transformer for Stereoscopic Video Super-Resolution
Bahcesehir University（巴赫切谢希尔大学）；American University of Malta（马耳他美国大学）；Multimedia University（多媒体大学）
立体视频超分辨率（SVSR）是通过重构高分辨率视频来提高低分辨率视频的空间分辨率。SVSR的关键挑战是保持立体一致性和时间一致性，否则观众可能会经历3D疲劳。立体图像超分辨率的研究已经有了一些成果，但立体视频超分辨率的研究还很少。在本文中，我们提出了一种新的基于transformer的SVSR模型，即trans-SVSR。trans-SVSR包括两个关键的新颖组件：时空卷积自注意层和基于光流的前馈层，该前馈层发现不同视频帧之间的相关性并对齐特征。视差注意力机制（PAM），使用跨视图的信息来考虑显着的差异被用来融合的立体视图。由于缺乏适合SVSR任务的基准数据集，我们收集了一个新的立体视频数据集SVSR-Set，其中包含71个使用专业立体摄像机捕获的全高清（HD）立体视频。在收集的数据集上进行的大量实验以及另外两个数据集表明，与最先进的方法相比，Trans-SVSR可以实现具有竞争力的性能。项目代码和其他结果可在https://github.com/H-deep/Trans-SVSR/上获得
2022-04-21 cs.CV
Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
Alibaba A.I. Labs（阿里巴巴人工智能实验室）；Simon Fraser University（西蒙弗雷泽大学）
深度多视图立体视觉（MVS）和立体匹配方法通常构造3D成本体积以正则化和回归输出深度或视差。当需要高分辨率输出时，这些方法是有限的，因为存储器和时间成本随着体积分辨率的增加而立方地增长。在本文中，我们提出了一个内存和时间效率的成本体积制定现有的多视图立体视觉和立体匹配方法的基础上，3D成本体积的补充。首先，建议的成本量是建立在一个标准的特征金字塔编码的几何形状和上下文在逐渐精细的尺度。然后，我们可以通过来自前一阶段的深度（或视差）图来缩小每个阶段的深度（或视差）范围。随着成本体积分辨率逐渐提高以及深度（或视差）间隔的自适应调整，以从粗到细的方式恢复输出。我们将级联成本量应用于代表性的MVS-Net，并在DTU基准测试（第一名）上获得了23.1%的改进，GPU内存和运行时间分别减少了50.6%和74.2%。它也是最先进的基于学习的坦克和寺庙基准方法。其他代表性立体CNN的准确性，运行时间和GPU内存的统计数据也验证了我们提出的方法的有效性。
2020-06-05 cs.CV
High-Resolution Depth Maps Based on TOF-Stereo Fusion
Inria（法国国家信息与自动化研究所）
距离传感器与彩色摄像机的组合对于机器人导航、语义感知、操纵和远程呈现非常有用。结合范围和颜色数据的几种方法已被研究，并成功地用于各种机器人应用。这些系统中的大多数遭受距离数据中的噪声和距离传感器与彩色相机之间的分辨率失配的问题，因为当前距离传感器的分辨率远小于彩色相机的分辨率。可以使用立体匹配来获得高分辨率深度图，但是这通常无法构建弱/重复纹理场景的准确深度图，或者如果场景表现出复杂的自遮挡。距离传感器提供粗略的深度信息，而不管是否存在纹理。使用由飞行时间（TOF）相机和立体相机对组成的校准系统允许数据融合，从而克服两个单独传感器的弱点。我们提出了一种新的飞行时间立体融合方法的基础上，一个有效的种子生长算法，使用的飞行时间数据投影到立体图像对作为一个初始的对应关系。然后，这些初始的“种子”基于贝叶斯模型进行传播，该贝叶斯模型将图像相似性得分与从低分辨率范围数据计算的粗略深度先验相结合。总体结果是在手头的彩色相机的分辨率下获得密集而准确的深度图。我们表明，所提出的算法优于基于2D图像的立体算法，并且结果比现成的颜色范围传感器具有更高的分辨率，例如，Kinect此外，该算法潜在地表现出在单个CPU上的实时性能。
2021-07-30 cs.CV
Neural Disparity Refinement for Arbitrary Resolution Stereo
University of Bologna（博洛尼亚大学）
我们介绍了一种新的架构，神经差异细化，旨在促进部署3D计算机视觉的廉价和广泛的消费设备，如手机。我们的方法依赖于一个连续的配方，使估计在任何任意输出分辨率的细化视差图。因此，它可以有效地处理当今手机典型的不平衡相机设置，这些手机在同一设备中具有高分辨率和低分辨率RGB传感器。此外，我们的神经网络可以无缝地处理各种立体方法的输出，并且通过改进由传统匹配算法（如SGM）计算的视差图，与最先进的端到端立体模型相比，它可以实现不成对的zero-shot泛化性能。
2021-10-28 cs.CV
A Decomposition Model for Stereo Matching
Beijing Institute of Technology（北京理工大学）
在本文中，我们提出了一个立体匹配的分解模型，以解决计算成本（时间和内存成本）的过度增长的问题，随着分辨率的增加。为了减少在原始分辨率下进行立体匹配的巨大成本，我们的模型只在很低的分辨率下运行密集匹配，并在不同的更高分辨率下使用稀疏匹配来逐尺度地恢复丢失细节的视差。立体匹配分解后，我们的模型迭代地融合稀疏和密集的视差图从相邻的尺度与闭塞感知的面具。一个细化网络也被用来改善融合结果。与PSMNet和GANet等高性能方法相比，我们的方法实现了$10-100\times$速度的提高，同时获得了相当的视差估计结果。
2021-04-15 cs.CV
Sub-pixel matching method for low-resolution thermal stereo images
Univ Rennes（雷恩大学）；Inserm（法国国家健康与医学研究院）；Neotec Vision（Neotec视觉公司）；ECAM Rennes - Louis de Broglie（雷恩ECAM-路易·德布罗意学院）
在定位和跟踪应用的背景下，我们开发了一个立体视觉系统的基础上廉价的低分辨率80 × 60像素的热成像相机。提出了一种三重亚像素立体匹配框架（ST for Subpixel Thermal）：1）基于相位一致性的鲁棒特征提取方法; 2）像素级精度的特征粗匹配; 3）基于局部相位一致性的亚像素级精度的精匹配。我们对我们的非常低分辨率的热图像（使用我们制造的立体系统获取）进行了实验，作为来自基准数据集的高分辨率图像。即使相位一致性计算时间很高，它也能够提取比最先进的方法（如ORB或SURF）多两倍的特征。我们提出了一种改进的相位相关应用在相位一致特征空间的亚像素匹配。利用模拟立体视觉，研究了相位一致性阈值和亚像素匹配子图像大小对匹配精度的影响。然后，我们证明了给定我们的立体设置和图像的分辨率，1个像素的错误会导致点的Z位置出现500 mm的误差。最后，我们证明了我们的方法可以在低分辨率图像上提取比基线方法ORB + OpenCV KNN匹配多四倍的匹配。此外，我们的比赛更加强劲。更准确地说，当投影站着的人的点时，当ORB + OpenCV KNN给出超过1000 mm时，ST得到300 mm的标准差。
2019-11-30 cs.CV
Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference
The Hong Kong University of Science and Technology（香港科技大学）；Shenzhen Zhuke Innovation Technology（深圳珠科创新科技）
深度学习最近展示了其在多视图立体视觉（MVS）方面的出色性能。然而，目前的学习MVS方法的一个主要限制是可扩展性：消耗内存的成本体积正则化使得学习MVS难以应用于高分辨率场景。本文提出了一种基于递归神经网络的可扩展多视图立体视觉框架。所提出的递归多视图立体视觉网络（R-MVSNet）通过门控递归单元（GRU）沿着深度方向顺序地正则化2D成本图，而不是一次正则化整个3D成本量。这大大减少了内存消耗，使高分辨率重建成为可能。我们首先展示了在最近的MVS基准测试中所提出的R-MVSNet所实现的最先进的性能。然后，我们进一步证明了所提出的方法在几个大规模的情况下，以前的学习方法往往会失败，由于内存限制的可扩展性。代码可在https://github.com/YoYo000/MVSNet上获得。
2019-02-27 cs.CV
Comparative Analysis of Advanced Feature Matching Algorithms in Challenging High Spatial Resolution Optical Satellite Stereo Scenarios
Sun Yat-sen University（中山大学）
本文构建覆盖五颗卫星与六类困难场景的HSROSS Dataset，系统比较SIFT及三种深度学习特征匹配方法，发现SuperPoint + LightGlue综合表现最佳。
2024-05-10 cs.CV
SMD-Nets: Stereo Mixture Density Networks
University of Bologna（博洛尼亚大学）；MPI-IS（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
尽管立体匹配精度在过去几年中通过深度学习大大提高，但有效恢复清晰边界和高分辨率输出仍然具有挑战性。在本文中，我们提出了立体混合密度网络（SMD-Nets），这是一个简单而有效的学习框架，与广泛的2D和3D架构兼容，可以改善这两个问题。具体来说，我们利用双峰混合密度作为输出表示，并表明，这允许尖锐和精确的差距估计附近的不连续性，同时明确建模的任意性的不确定性固有的意见。此外，我们制定的视差估计作为一个连续的问题，在图像域中，允许我们的模型查询在任意空间精度的差异。我们进行了全面的实验，一个新的高分辨率和高度逼真的合成立体数据集，包括立体对在8 Mpx分辨率，以及在现实世界的立体数据集。我们的实验表明，在标准GPU上提高了物体边界附近的深度精度和超高分辨率视差图的预测。我们证明了我们的技术的灵活性，通过提高各种立体声骨干的性能。
2021-04-08 cs.CV
UAVStereo: A Multiple Resolution Dataset for Stereo Matching in UAV Scenarios
PLA Strategic Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）；Shenzhen University（深圳大学）
立体匹配是三维场景重建的一项基本任务。最近，基于深度学习的方法已经在一些基准数据集上被证明是有效的，例如KITTI和Scene Flow。无人机（UAV）通常用于地面观测，并且由于其高分辨率和低空采集，其捕获的图像经常用于详细的3D重建。目前，主流的监督学习网络需要大量的具有真实标签的训练数据来学习模型参数。然而，由于无人机立体匹配数据集的稀缺性，基于学习的网络不能应用于无人机图像。为了便于进一步的研究，本文提出了一种新的流水线，使用无人机图像和激光雷达点云重建的详细网格来生成准确和密集的视差图。通过提出的流水线，本文构建了一个多分辨率的无人机场景数据集，称为UAVStereo，超过34k立体图像对，覆盖3个典型场景。据我们所知，UAVStereo是第一个无人机低空场景的立体匹配数据集。该数据集包括合成和真实立体对，以实现从合成域到真实域的泛化。此外，我们的UAVStereo数据集提供多分辨率和多场景图像对，以适应各种传感器和环境。在本文中，我们评估了传统和最先进的深度学习方法，强调了它们在应对无人机场景挑战方面的局限性，并为未来的研究提供了建议。该数据集可在www.example.com上获得
2023-02-20 cs.CV
Fusion of Range and Stereo Data for High-Resolution Scene-Modeling
INRIA Grenoble Rhône-Alpes（法国国立信息与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；Queen Mary, University of London（伦敦大学玛丽女王学院）
本文讨论了距离立体融合的问题，高分辨率的深度图的建设。特别是，我们结合低分辨率的深度数据与高分辨率的立体数据，在最大后验概率（MAP）制定。与现有的计划，建立在MRF优化，我们推断的视差图从一系列的局部能量最小化问题，解决分层，通过增长稀疏的初始视差从深度数据。由于能量函数中数据项的三个性质，该方法的准确性不受影响。首先，它采用了一个新的相关函数，能够提供精细的相关性和差异，通过子像素校正。其次，相关性分数依赖于基于深度数据的自适应成本聚合步骤。第三，基于场景纹理和摄像机几何形状，自适应地融合立体和深度似然。这些属性导致了一个更有选择性的生长过程，与以前的种子生长方法不同，避免了传播不正确差异的趋势。所提出的方法产生了一个本质上有效的算法，它运行在3FPS的2.0MP图像上的标准台式计算机。新方法的强大性能是通过与最先进的方法进行定量比较和使用真实深度立体数据集进行定性比较来建立的。
2020-12-12 cs.CV
VHS: High-Resolution Iterative Stereo Matching with Visual Hull Priors
University of Bonn（波恩大学）
提出一种基于视觉外壳先验的高分辨率立体匹配方法，利用物体掩码引导视差估计并采用混合稀疏-密集相关计算方案，有效降低内存需求并提升深度估计精度。
2024-06-04 cs.CV
SuperMVS: Non-Uniform Cost Volume For High-Resolution Multi-View Stereo
SOTA算法不同于大多数现有的深度采样算法，它采用静态均匀采样的方法，通过大量的假设平面来获得精细的深度采样。本文提出了一种在大深度范围内动态非均匀采样的自由移动假设平面方法来构建成本体积，该方法不仅大大减少了平面数量，而且细化了采样，既降低了计算成本，又提高了精度，称为非均匀成本体积。我们提出了SuperMVS网络来实现非均匀代价体积的多视图立体视觉。SuperMVS是一个由粗到细的框架，有四个级联阶段。它可以输出更高分辨率和准确的深度图。我们的SuperMVS在DTU数据集和Tanks \& Temples数据集上以低内存、低运行时间和较少的平面实现了SOTA结果。
2022-03-29 cs.CV
3D Reconstruction with Low Resolution, Small Baseline and High Radial Distortion Stereo Images
在本文中，我们分析和比较的方法，从低分辨率（250 × 250），高径向失真立体图像，这是小基线（约1毫米）采集的三维重建。这些图像用CMOSIS/AWAIBA制造的NanEye Stereo系统采集。这些立体相机也有小光圈，这意味着需要高水平的照明。目标是开发一种方法，以低计算成本产生准确的重建，即，避免了非线性数值优化算法。重点分析和比较了径向畸变模型。为了进行分析和比较，我们基于可用的软件和方法定义了基线方法，例如Bouguet工具箱[2]或Matlab的计算机视觉工具箱。测试的方法的基础上使用的多项式模型的径向失真，并在应用程序的分割模型。变形中心的问题也在分割模型的应用框架内得到了解决。我们的结论是，与一个单一的径向畸变参数的分割模型有局限性。
2017-09-19 cs.CV
Degradation-agnostic Correspondence from Resolution-asymmetric Stereo
University of Science Technology of China（中国科学技术大学）
本文研究了一对不同分辨率的图像的立体匹配问题，这些都是用远距离摄像系统拍摄的由于在不同的现实世界系统中获得地面真实差异标签的困难，我们从无监督学习的角度出发。然而，两个视图之间的未知退化所造成的分辨率不对称性阻碍了通常假设的光度一致性的有效性。为了克服这一挑战，我们建议在特征空间而不是图像空间中施加两个视图之间的一致性，称为特征度量一致性。有趣的是，我们发现，虽然用光度损失训练的立体匹配网络不是最佳的，但它的特征提取器可以产生退化不可知和匹配特定的特征。然后，可以利用这些特征来制定特征度量损失，以避免光度不一致。此外，我们引入了一个自提升策略，逐步优化的特征提取器，这进一步加强了特征度量的一致性。在具有各种退化的模拟数据集和自我收集的真实世界数据集上的实验验证了所提出的方法优于现有解决方案的性能。
2022-04-04 cs.CV
WHU-Stereo: A Challenging Benchmark for Stereo Matching of High-Resolution Satellite Images
Wuhan University（武汉大学）；China University of Geosciences（中国地质大学）
针对卫星影像立体匹配数据集稀缺的问题，本文构建了基于GF-7卫星影像与机载LiDAR的WHU-Stereo数据集，含1700余对多地貌校正影像，精度达现有先进水平，验证了其作为高难度基准的价值。
2022-06-06 cs.AI cs.CV
Spring: A High-Resolution High-Detail Dataset and Benchmark for Scene Flow, Optical Flow and Stereo
Institute for Visualization and Interactive Systems, University of Stuttgart（斯图加特大学可视化与交互系统研究所）
虽然最近的运动和立体声估计方法恢复了前所未有的细节量，这种高度详细的结构既没有充分反映在现有的基准数据，也没有充分反映在他们的评估方法。因此，我们引入$-$，这是一个用于场景流、光流和立体声的大型、高分辨率、高细节、计算机生成的基准。基于开源Blender电影“Spring”中的渲染场景，它提供了具有最先进视觉效果和地面实况训练数据的照片级逼真高清数据集。此外，我们还提供一个网站来上传、分析和比较结果。使用基于超分辨率UHD地面实况的新型评估方法，我们的Spring基准可以评估精细结构的质量，并提供不同图像区域的详细性能统计数据。关于地面实况帧的数量，Spring比唯一的场景流基准KITTI 2015大60个$\times$，比成熟的MPI Sintel光流基准大15个$\times$。最近的方法在我们的基准测试中的初步结果表明，估计细节确实具有挑战性，因为它们的准确性有很大的改进空间。Spring基准测试和相应的数据集可以在http://spring-benchmark.org上找到。
2023-03-03 cs.CV
On RGB-TIR Stereo Calibration under Extreme Resolution Asymmetry
Independent Researcher（独立研究员）；Warsaw University of Technology（华沙技术大学）；Polish Japanese Academy of Information Technology（波兰日本信息科技学院）
本文提出一种实用的RGB与TIR摄像头立体校准框架，解决低分辨率热传感器下的校准问题，通过动态OLED屏幕和专用角点检测算法实现高精度校准，验证了系统在建筑能耗评估中的应用。
2026-05-15 cs.CV
ORStereo: Occlusion-Aware Recurrent Stereo Matching for 4K-Resolution Images
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
在小图像上训练的立体重建模型不能很好地推广到高分辨率数据。在高分辨率图像尺寸上训练模型面临着数据可用性的困难，并且由于计算资源有限，通常是不可行的。在这项工作中，我们提出了遮挡感知的递归双目立体匹配（ORStereo），它只通过训练可用的低视差范围立体图像来处理这些问题。ORStereo通过将任务制定为初始预测的残差更新和改进，来推广到具有大视差范围的看不见的高分辨率图像。ORStereo在视差范围限制为256像素的图像上进行训练，但它可以使用有限的GPU内存操作超过1000个视差的4K分辨率输入。我们测试模型的能力，合成和现实世界的高分辨率图像。实验结果表明，ORStereo在4K分辨率图像上实现了与在大视差范围上训练的最先进方法相当的性能。与仅在低分辨率图像上训练的其他方法相比，我们的方法在4K分辨率图像上的准确率高出70%。
2021-03-13 cs.CV cs.RO
Deep-Learning Assisted High-Resolution Binocular Stereo Depth Reconstruction
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Department of Mechanical Engineering, Carnegie Mellon University（卡内基梅隆大学机械工程系）
这项工作提出了密集的立体重建使用高分辨率图像的基础设施检查。现有的学习和非学习的立体重建方法在高分辨率数据上消耗了太多的计算资源。最近的基于学习的方法在大多数基准测试中都达到了最高水平。然而，由于缺乏特定于任务的训练数据，它们遭受泛化问题。我们建议使用较少的资源需求的非学习方法，指导下的学习为基础的模型，处理高分辨率的图像，实现准确的立体重建。深度学习模型为下采样立体图像对的每个像素产生具有不确定性的初始视差预测。不确定性作为其泛化能力和初始预测视差周围的每像素搜索范围的自我测量。下游过程利用上采样的每像素搜索范围执行半全局块匹配方法的修改版本。所提出的深度学习辅助方法在Middlebury数据集和由我们定制的双目立体相机收集的高分辨率立体图像上进行评估。学习和非学习方法的组合在Middlebury数据集的15个案例中的12个上实现了更好的性能。在我们的基础设施检测实验中，平均三维重建误差小于0.004米。
2020-02-28 cs.CV cs.RO
IB-MVS: An Iterative Algorithm for Deep Multi-View Stereo based on Binary Decisions
Graz University of Technology（格拉茨技术大学）；Sony Europe B.V.（索尼欧洲公司）
提出了一种基于深度学习的多视图立体视觉生成方法。我们的方法通过以二进制决策方式遍历每个像素处的可行深度值的连续空间来迭代地估计高分辨率和高精度的深度图。决策过程利用深度网络架构：这计算逐像素二进制掩码，该掩码确定每个像素的实际深度是在其当前迭代个体深度假设之前还是之后。此外，为了处理遮挡区域，在每次迭代时，使用由第二网络估计的像素级权重来融合来自不同源图像的结果。由于采用了二进制决策策略，这使得深度空间的有效探索，我们的方法可以处理高分辨率的图像，而无需交易的分辨率和精度。这使得它与大多数基于学习的多视图立体视觉方法不同，其中深度空间的显式离散化需要处理大量成本。我们比较我们的方法与国家的最先进的多视图立体视觉方法的DTU，坦克和寺庙和具有挑战性的ETH3D基准，并显示竞争力的结果。
2021-11-29 cs.CV
MLG-Stereo: ViT Based Stereo Matching with Multi-Stage Local-Global Enhancement
Embedded Deep Learning and Visual Analysis Laboratory, College of Future Information Technology, Fudan University（嵌入式深度学习与视觉分析实验室，未来信息技术学院，复旦大学）；Key Laboratory for Information Science of Electromagnetic Waves, Ministry of Education, Fudan University（电磁波信息科学重点实验室，教育部，复旦大学）
本文提出MLG-Stereo，通过多粒度特征网络、局部-全局成本体积和局部-全局引导递归单元，提升ViT在处理任意分辨率图像时的细节预测能力，实验表明其在Middlebury和KITTI-2015等基准上表现优异。
2026-04-22 cs.CV
Open Challenges in Deep Stereo: the Booster Dataset
University of Bologna（博洛尼亚大学）
我们提出了一种新的高分辨率和具有挑战性的立体数据集帧室内场景注释与密集和准确的地面实况差异。我们的数据集的特点是存在几个镜面和透明表面，即最先进的立体声网络失败的主要原因。我们的采集管道利用了一种新的深空时立体框架，该框架允许以亚像素精度进行简单而准确的标记。我们发布了在64个不同场景中收集的419个样本，并使用密集的地面真实差异进行了注释。每个样本包括一个高分辨率对（12 Mpx）以及一个不平衡对（左：12 Mpx，右：1.1 Mpx）。此外，我们还提供手动注释的材料分割模板和15K未标记的样本。我们基于我们的数据集评估了最先进的深度网络，强调了它们在解决立体声公开挑战方面的局限性，并为未来的研究提供了提示。
2022-06-09 cs.CV
PatchmatchNet: Learned Multi-View Patchmatch Stereo
ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
我们提出PatchmatchNet，一种新颖的和可学习的级联配方Patchmatch高分辨率多视图立体视觉。PatchmatchNet具有高计算速度和低内存需求，可以处理更高分辨率的图像，并且比采用3D成本体积正则化的竞争对手更适合在资源有限的设备上运行。我们第一次在端到端的可训练架构中引入迭代多尺度Patchmatch，并为每次迭代提供新的学习自适应传播和评估方案来改进Patchmatch核心算法。大量的实验表明，我们的方法在DTU，Tanks & Temples和ETH3D上具有非常有竞争力的性能和泛化能力，但效率明显高于所有现有的高性能模型：至少比最先进的方法快2.5倍，内存使用量减少两倍。
2020-12-02 cs.CV
Multi-Resolution Factor Graph Based Stereo Correspondence Algorithm
The University of Memphis（孟菲斯大学）
可以根据场景的多个低维视图之间的密集视图对应来估计任意视图取向处的场景的密集深度图。这些低维视图对应依赖于视图和场景之间的几何关系。确定密集视图对应性是困难的，部分原因是由于场景中存在均匀区域，以及由于存在遮挡区域和视图之间的照明差异。我们提出了一种新的基于多分辨率因子图的立体匹配算法（MR-FGS），该算法利用了视图之间以及视差估计之间的分辨率内和分辨率间的依赖关系。建议的框架允许多个分辨率的对应问题之间的信息交换，是有用的处理较大的均匀区域的场景。MR-FGS算法进行了定性和定量评估，使用立体对在米德尔伯里立体基准数据集的基础上常用的性能指标。与最近开发的因子图模型（FGS）相比，MR-FGS算法提供了更准确的视差估计，而不需要通常使用的后处理过程，称为左右一致性检查。因子图模型中的多分辨率依赖性约束显著改善了MR-FGS生成的视差图中沿深度边界的对比度。
2022-02-02 cs.CV cs.LG
LiStereo: Generate Dense Depth Maps from LIDAR and Stereo Imagery
University of Michigan（密歇根大学）
准确的环境深度图对于自主机器人和车辆的安全操作至关重要。目前，使用光检测和测距（LIDAR）或立体匹配算法来获取这样的深度信息。然而，高分辨率LIDAR是昂贵的，并且在大范围内产生稀疏的深度图;立体匹配算法能够生成更密集的深度图，但在长范围内通常不如LIDAR准确。本文将这些方法结合在一起，生成高质量的密集深度图。与以前使用地面真实标签训练的方法不同，该模型采用了自我监督的训练过程。实验表明，该方法能够生成高质量的密集深度图，即使在低分辨率输入下也能稳健地执行。这显示了通过使用具有较低分辨率的激光雷达与立体声系统协同工作同时保持高分辨率来降低成本的潜力。
2020-06-25 cs.CV cs.RO
