Unifying Correspondence, Pose and NeRF for Pose-Free Novel View Synthesis from Stereo Pairs
Korea University（高丽大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出一个统一框架，将二维对应匹配、相机位姿估计与NeRF渲染整合在共享表示中端到端训练，显著提升了无位姿立体对新视角合成的精度，尤其在极端视角变化下表现突出。
2024-04-08 cs.CV
Affine Correspondences in Stereo Vision: Theory, Practice, and Limitations
L. Hajder Faculty of Informatics, E\"otv\"os Lor\'；University, P\'azm\'any P\'eter stny. 1/C, Budapest, H-1117, Hungary
本文研究了仿射变换在立体视觉中的应用，提出新的局部仿射变换估计方法，并通过实验验证了其在3D重建中的精度与有效性。
2026-03-02 cs.CV
Degradation-agnostic Correspondence from Resolution-asymmetric Stereo
University of Science Technology of China（中国科学技术大学）
本文研究了一对不同分辨率的图像的立体匹配问题，这些都是用远距离摄像系统拍摄的由于在不同的现实世界系统中获得地面真实差异标签的困难，我们从无监督学习的角度出发。然而，两个视图之间的未知退化所造成的分辨率不对称性阻碍了通常假设的光度一致性的有效性。为了克服这一挑战，我们建议在特征空间而不是图像空间中施加两个视图之间的一致性，称为特征度量一致性。有趣的是，我们发现，虽然用光度损失训练的立体匹配网络不是最佳的，但它的特征提取器可以产生退化不可知和匹配特定的特征。然后，可以利用这些特征来制定特征度量损失，以避免光度不一致。此外，我们引入了一个自提升策略，逐步优化的特征提取器，这进一步加强了特征度量的一致性。在具有各种退化的模拟数据集和自我收集的真实世界数据集上的实验验证了所提出的方法优于现有解决方案的性能。
2022-04-04 cs.CV
NTIRE 2022 Challenge on Stereo Image Super-Resolution: Methods and Results
在本文中，我们总结了第一次NTIRE挑战立体图像超分辨率（恢复丰富的细节，在一对低分辨率立体图像），重点是新的解决方案和结果。该挑战具有针对标准双三次降级下的立体图像超分辨率问题的1个轨道。共有238名参赛者成功注册，21支队伍参加了最后的测试阶段。在这些参与者中，有20个团队成功提交了PSNR（RGB）分数优于基线的结果。这一挑战为立体图像SR建立了新的基准。
2022-04-20 cs.CV
Perception-Oriented Stereo Image Super-Resolution
Fudan University（复旦大学）
近年来基于深度学习的立体图像超分辨率（StereoSR）研究推动了立体图像超分辨率的发展。然而，现有的StereoSR模型主要集中在提高定量评价指标，忽略了超分辨率立体图像的视觉质量。为了提高感知性能，本文提出了第一个面向感知的立体图像超分辨率的方法，利用反馈，通过对StereoSR结果的感知质量的评价提供。为了给StereoSR模型提供准确的指导，我们开发了第一个特殊的立体图像超分辨率质量评估（StereoSRQA）模型，并进一步构建了StereoSRQA数据库。大量的实验表明，我们的StereoSR方法显着提高了感知质量，提高了立体图像的视差估计的可靠性。
2022-07-14 cs.CV eess.IV
Stereo Correspondence and Reconstruction of Endoscopic Data Challenge
Intuitive Inc.（直觉外科公司）；Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute (HHI)（弗劳恩霍夫海因里希·赫兹通信研究所）；University of Western Ontario（西安大略大学）；Digital Surgery Ltd.（数字外科有限公司）；Norwegian University of Science and Technology（挪威科技大学）；Rediminds Inc.（Rediminds公司）；Harbin Institute of Technology（哈尔滨工业大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Heidelberg University（海德堡大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS) UCL（伦敦大学学院惠康/EPSRC介入与外科科学中心）；University of Bern（伯尔尼大学）
在中国深圳举行的MICCAI 2019的Endovis挑战期间，组织了内窥镜数据子挑战的立体对应和重建。任务是使用7个训练数据集和2个测试集的结构光数据进行密集深度估计，这些数据集是使用猪尸体捕获的。这些是由Intuitive Surgical的一个团队提供的。10支队伍参加了挑战赛。本文包含挑战完成后提交的3种其他方法，以及这些团队关于他们发现的数据集问题的补充部分。
2021-01-28 cs.CV
Semantic Stereo for Incidental Satellite Images
The Johns Hopkins University（约翰斯·霍普金斯大学）
与严格任务的双目或三目一致收集相比，越来越普遍地使用附带卫星图像进行立体重建有助于及时实现全球规模的3D映射;然而，由于季节性外观差异和场景变化，来自多日期图像对的可靠立体对应仍然非常具有挑战性。最近有前途的工作表明，语义场景分割可以提供一个强大的正则化解决立体对应和重建问题的歧义。为了使成对语义立体和多视图语义3D重建与附带的卫星图像的研究，我们已经建立了一个大规模的公共数据集，包括多视图，多波段卫星图像和地面真理的几何和语义标签的两个大城市。为了证明立体声和分割任务的互补性，我们提出了适应最新技术水平的卷积神经网络模型的轻量级公共基线，并评估其性能。
2018-11-21 cs.CV
A New Dataset and Transformer for Stereoscopic Video Super-Resolution
Bahcesehir University（巴赫切谢希尔大学）；American University of Malta（马耳他美国大学）；Multimedia University（多媒体大学）
立体视频超分辨率（SVSR）是通过重构高分辨率视频来提高低分辨率视频的空间分辨率。SVSR的关键挑战是保持立体一致性和时间一致性，否则观众可能会经历3D疲劳。立体图像超分辨率的研究已经有了一些成果，但立体视频超分辨率的研究还很少。在本文中，我们提出了一种新的基于transformer的SVSR模型，即trans-SVSR。trans-SVSR包括两个关键的新颖组件：时空卷积自注意层和基于光流的前馈层，该前馈层发现不同视频帧之间的相关性并对齐特征。视差注意力机制（PAM），使用跨视图的信息来考虑显着的差异被用来融合的立体视图。由于缺乏适合SVSR任务的基准数据集，我们收集了一个新的立体视频数据集SVSR-Set，其中包含71个使用专业立体摄像机捕获的全高清（HD）立体视频。在收集的数据集上进行的大量实验以及另外两个数据集表明，与最先进的方法相比，Trans-SVSR可以实现具有竞争力的性能。项目代码和其他结果可在https://github.com/H-deep/Trans-SVSR/上获得
2022-04-21 cs.CV
Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers
Johns Hopkins University（约翰斯·霍普金斯大学）
立体深度估计依赖于左图像和右图像中的核线上的像素之间的最佳对应匹配来推断深度。在这项工作中，我们重新审视这个问题，从序列到序列对应的角度来取代成本量建设密集像素匹配使用位置信息和注意。这种方法称为STTR（STEreo Transformer），具有以下几个优点：1）放宽了固定视差范围的限制，2）识别遮挡区域并提供置信度估计，以及3）在匹配过程中施加唯一性约束。我们在合成和真实世界的数据集上报告了有希望的结果，并证明STTR即使没有微调也能在不同的领域中推广。
2021-08-25 cs.CV
Flickr1024: A Large-Scale Dataset for Stereo Image Super-Resolution
National University of Defense Technology（国防科技大学）
随着双摄像头在最近发布的智能手机中的普及，已经提出了越来越多的超分辨率（SR）方法来增强立体图像对的分辨率。然而，缺乏高质量的立体数据集限制了这一领域的研究。为了便于训练和评估新的立体SR算法，在本文中，我们提出了一个名为Flickr1024的大规模立体数据集，其中包含1024对高质量的图像，涵盖了不同的场景。我们首先介绍了数据采集和处理流水线，然后比较了几个流行的立体数据集。最后，我们进行了跨数据集实验，以研究我们的数据集带来的潜在好处。实验结果表明，与KITTI和Middlebury数据集相比，我们的Flickr1024数据集可以帮助处理过拟合问题，并显着提高立体SR方法的性能。Flickr1024数据集可在线获取：https://yingqianwang.github.io/Flickr1024。
2019-08-22 cs.CV
H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System
Shanghai Jiao Tong University（上海交通大学）；Cooperative Medianet Innovation Center（未来媒体网络协同创新中心）；University of California at Riverside（加州大学河滨分校）；Nanjing University（南京大学）
高速、高分辨率立体（H2-Stereo）视频使我们能够以精细的粒度感知动态3D内容。然而，H2-Stereo视频的获取对于商品相机仍然具有挑战性。现有的空间超分辨率或时间帧内插方法分别提供缺乏时间或空间细节的折衷解决方案。为了缓解这个问题，我们提出了一个双摄像头系统，其中一个摄像头捕获高空间分辨率低帧速率（HSR-LFR）视频丰富的空间细节，和其他捕获低空间分辨率高帧速率（LSR-HFR）视频平滑的时间细节。然后，我们设计了一个学习信息融合网络（LIFnet），利用跨相机冗余，以提高两个相机的意见，以高时空分辨率（HSTR）重建H2立体视频有效。我们利用视差网络来跨视图传输时空信息，即使在大视差场景中也是如此，在此基础上，我们提出了LSR-HFR视图的视差引导的基于流的变形和HSR-LFR视图的补充变形。提出了一种基于特征域的多尺度融合方法，以最大限度地减少HSR-LFR视图中遮挡引起的扭曲重影和孔洞。LIFnet使用我们从YouTube收集的高质量立体视频数据集以端到端的方式进行训练。大量的实验表明，我们的模型优于现有的国家的最先进的方法，无论是对合成数据和相机捕获的实际数据的意见，具有很大的差距。消融研究探讨了我们系统的各个方面，包括时空分辨率、相机基线、相机去散射、长/短曝光和应用，以充分了解其潜在应用的能力。
2022-08-04 cs.CV
Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
Alibaba A.I. Labs（阿里巴巴人工智能实验室）；Simon Fraser University（西蒙弗雷泽大学）
深度多视图立体视觉（MVS）和立体匹配方法通常构造3D成本体积以正则化和回归输出深度或视差。当需要高分辨率输出时，这些方法是有限的，因为存储器和时间成本随着体积分辨率的增加而立方地增长。在本文中，我们提出了一个内存和时间效率的成本体积制定现有的多视图立体视觉和立体匹配方法的基础上，3D成本体积的补充。首先，建议的成本量是建立在一个标准的特征金字塔编码的几何形状和上下文在逐渐精细的尺度。然后，我们可以通过来自前一阶段的深度（或视差）图来缩小每个阶段的深度（或视差）范围。随着成本体积分辨率逐渐提高以及深度（或视差）间隔的自适应调整，以从粗到细的方式恢复输出。我们将级联成本量应用于代表性的MVS-Net，并在DTU基准测试（第一名）上获得了23.1%的改进，GPU内存和运行时间分别减少了50.6%和74.2%。它也是最先进的基于学习的坦克和寺庙基准方法。其他代表性立体CNN的准确性，运行时间和GPU内存的统计数据也验证了我们提出的方法的有效性。
2020-06-05 cs.CV
Digging into Uncertainty in Self-supervised Multi-view Stereo
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；South China University of Technology（华南理工大学）；Alibaba Group（阿里巴巴集团）；Pazhou Laboratory（琶洲实验室）；Shanghai AI Laboratory（上海人工智能实验室）
以图像重建为任务的自监督多视图立体视觉（MVS）近年来取得了重大进展。然而，以前的方法是建立在直觉，缺乏全面的解释的有效性，自我监督MVS的借口任务。为此，我们建议估计自我监督MVS中的认知不确定性，考虑模型忽略的内容。具体而言，可以将其分为两类：前台监督不明确和后台监督无效。为了解决这些问题，我们提出了一种新的不确定性减少多视图立体视觉（UMVS）框架的自监督学习。为了减轻前景中的模糊监督，我们涉及额外的通信流深度一致性损失之前。光流的密集2D对应被用于正则化MVS中的3D立体对应。为了处理背景中的无效监督，我们使用Monte-Carlo Dropout来获得不确定性图，并进一步过滤无效区域上的不可靠监督信号。在DTU和Tank&Temples基准上的大量实验表明，我们的U-MVS框架在无监督MVS方法中取得了最好的性能，与有监督的对手相比具有竞争力的性能。
2021-09-08 cs.CV
StereoINR: Cross-View Geometry Consistent Stereo Super Resolution with Implicit Neural Representation
School of Remote Sensing and Information Engineering, Wuhan University, Hubei, China（遥感与信息工程学院，武汉大学，湖北，中国）
本文提出 StereoINR，将立体图像对建模为连续隐式表示，结合空间变形与交叉注意力机制，实现任意倍率且跨视图几何一致的立体图像超分辨率重建。
2025-07-05 cs.CV eess.IV
Wide baseline stereo matching with convex bounded-distortion constraints
The Weizmann Institute of Science（魏茨曼科学研究所）；The Open University, Israel（以色列开放大学）
在宽基线设置中找到对应是一个具有挑战性的问题。现有的方法主要集中在开发更好的特征描述符对应和对极线约束的准确恢复。本文重点讨论了具有挑战性的问题，找到对应的近似核线约束。我们介绍了一种新的方法，集成了变形模型。具体来说，我们制定的问题，找到最大数量的相应点相关的有界失真映射，服从给定的极线约束。我们表明，虽然有界失真映射的集合是不凸的，服从极线约束的映射的子集是凸的，使我们能够引入一个有效的匹配算法。我们进一步利用一个强大的匹配成本函数，并采用优化最小化。我们的实验表明，我们的方法发现显着更准确的地图比现有的方法。
2015-06-10 cs.CV
USAM-Net: A U-Net-based Network for Improved Stereo Correspondence and Scene Depth Estimation using Features from a Pre-trained Image Segmentation network
University of the Philippines（菲律宾大学）
针对自动驾驶等场景的高精度深度估计需求，提出结合预训练分割模型SAM与深度估计模型的双路径USAM-Net，通过融合语义分割特征提升性能，在DrivingStereo数据集上优于多个传统模型。
2025-03-19 cs.AI cs.CV
Symmetric Parallax Attention for Stereo Image Super-Resolution
National University of Defense Technology（国防科技大学）
虽然近年来立体图像超分辨率（SR）技术取得了很大的进展，但双目系统提供的有益信息并没有得到充分利用。由于立体图像在极线约束下是高度对称的，本文利用立体图像对中的对称线索来提高立体图像SR的性能。具体来说，我们提出了一个对称的双向视差注意模块（biPAM）和内联遮挡处理方案，以有效地交互跨视图信息。然后，我们设计了一个暹罗网络配备了一个biPAM超解析双方的意见，在一个高度对称的方式。最后，我们设计了几个照明鲁棒损失，以提高立体一致性。在四个公共数据集上的实验证明了该方法的优越性能。源代码可在https://github.com/YingqianWang/iPASSR上获得。
2021-04-20 cs.CV
Learning Parallax Attention for Stereo Image Super-Resolution
College of Electronic Science and Technology, National University of Defense Technology, China（国防科技大学电子科学与技术学院）；National Key Laboratory of Science and Technology on Blind Signal Processing, China（中国盲信号处理国防科技重点实验室）
立体图像对可用于改善超分辨率（SR）的性能，因为从第二视点提供附加信息。然而，由于立体图像之间的视差变化很大，因此将此信息用于SR是具有挑战性的。在本文中，我们提出了一个视差-注意立体超分辨率网络（PASSRnet），以整合从一个立体图像对SR的信息。具体来说，我们引入了一个视差-注意力机制与沿极线的全局感受野处理不同的立体图像与大的视差变化。我们还提出了一个新的和最大的数据集立体图像SR（即，Flickr 1024）。大量的实验表明，视差-注意力机制可以捕捉立体图像之间的对应关系，以提高SR性能与小的计算和存储成本。比较结果表明，我们的PASSRnet在Middlebury，KITTI 2012和KITTI 2015数据集上实现了最先进的性能。
2019-03-19 cs.CV
NTIRE 2024 Challenge on Stereo Image Super-Resolution: Methods and Results
本文总结了第3届NTIRE立体图像超分辨率挑战赛，该挑战赛要求在有限计算预算下实现x4放大并保持立体一致性，包含双三次退化和真实退化两个赛道，最终为立体图像SR建立了新基准。
2024-09-25 cs.CV
WAVE-Stereo: Warp-Aligned Volume Encoding for Stereo Matching
研究提出WAVE-Stereo立体匹配方法，基于相关体与特征扭曲互补线索，通过地理扭曲对应编码器并行编码多信息，用周期性全局上下文传播减轻无纹理区匹配退化，在多基准测试中实现精度与效率良好平衡。
2026-07-16 cs.CV cs.RO
Depth Super-Resolution Meets Uncalibrated Photometric Stereo
Computer Vision Group, Technical University of Munich（慕尼黑工业大学计算机视觉组）；Erasmus Mundus Masters in Vision and Robotics (VIBOT)（伊拉斯谟世界计划视觉与机器人硕士项目（VIBOT））
提出了一种新的RGB-D传感器深度超分辨率方法。它通过高分辨率光度线索消除深度超分辨率的歧义，并且对称地，它通过低分辨率深度线索消除未校准的光度立体。为此，从相同的视角获取RGB-D序列，同时从各种未校准的方向照射场景。这个序列是由一个变分框架，适合高分辨率的形状和反射率，以及照明，低分辨率的深度测量和高分辨率的RGB的。关键的新颖之处在于一个新的基于PDE的光度立体正则化隐式确保表面的规则性。这允许以纯数据驱动的方式执行深度超分辨率，而不需要任何特定的先前或材料校准。使用开箱即用的RGB-D传感器和手持式LED光源进行真实世界的实验。
2017-08-24 cs.CV
Multi-scale interaction network for stereo image super-resolution
Ocean University of China（中国海洋大学）
本文提出了一种多尺度交互网络，用于立体图像超分辨率，通过改进视内特征提取和视间匹配精度，实现了更优的超分辨率效果。
2026-05-21 cs.CV
NAFSSR: Stereo Image Super-Resolution Using NAFNet
Peking University（北京大学）；MEGVII Technology（旷视科技）
立体图像超分辨率的目的是利用双目系统提供的互补信息来提高超分辨率结果的质量。为了获得合理的性能，大多数方法集中于精细地设计模块、损失函数等，以从另一个角度利用信息。这有增加系统复杂性的副作用，使研究人员难以评估新的想法和比较方法。本文继承了NAFNet这一简单而强大的单视点特征提取图像复原模型，并对其进行了扩展，增加了交叉注意模块，融合了视点间的特征，以适应双目场景。立体图像超分辨率的建议基线被标记为NAFSSR。此外，提出了训练/测试策略，以充分利用NAFSSR的性能。大量的实验证明了我们的方法的有效性。特别是，NAFSSR在KITTI 2012、KITTI 2015、Middlebury和Flickr 1024数据集上的表现优于最先进的方法。凭借NAFSSR，我们在NTIRE 2022立体图像超分辨率挑战赛中获得第一名。代码和模型将在https://github.com/megvii-research/NAFNet上发布。
2022-04-26 cs.CV
Hybrid Transformer and CNN Attention Network for Stereo Image Super-resolution
ByteDance Inc（字节跳动公司）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对立体图像超分辨率中Transformer无法利用立体信息且依赖数据的问题，提出混合Transformer和CNN注意力网络（HTCAN），结合多块训练等技术，在NTIRE 2023挑战赛Track 1中获胜。
2023-05-09 cs.CV
Toward Real World Stereo Image Super-Resolution via Hybrid Degradation Model and Discriminator for Implied Stereo Image Information
Fuzhou University（福州大学）；University of Edinburgh（爱丁堡大学）；Beijing Radio and TV Station（北京广播电视台）；Imperial Vision Technology（帝视科技）
针对现有单图像超分辨率方法应用于立体图像时会破坏视差一致性的问题，本文提出融合隐含立体信息判别器与混合退化模型的新方法，可在提升视觉效果的同时维持视差一致性，在合成与真实数据集上均表现优异。
2023-12-13 cs.CV eess.IV
DenVisCoM: Dense Vision Correspondence Mamba for Efficient and Real-time Optical Flow and Stereo Estimation
Machine Intelligence Group, Birla Institute of Technology and Science, Pilani, Hyderabad Campus, India（机智人工智能组，比拉理工学院，比拉理工学院，海得拉巴校区，印度）；Université Côte d’Azur, Inria, France（蔚蓝大学，法国国家信息与自动化研究所）
DenVisCoM通过结合Mamba和Transformer模块，实现高效实时的光流和立体视觉估计。
2026-02-02 cs.CV
Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation
East China Normal University（华东师范大学）
在立体环境下，图像超分辨率（SR）和视差估计问题相互关联，每个问题的结果可以帮助解决另一个问题。不同视图之间的对应关系的有效利用有利于SR性能，而具有更丰富细节的高分辨率（HR）特征有利于对应关系估计。基于这一动机，本文提出了一种立体图像超分辨率和视差估计反馈网络（SSRDE-FNet），该网络在统一的框架下同时处理立体图像超分辨率和视差估计，并将它们相互作用，以进一步提高它们的性能。具体来说，SSRDE-FNet由两个用于左视图和右视图的双重递归子网络组成。除了在低分辨率（LR）空间中的跨视图信息开发，由SR过程产生的HR表示被用来执行HR视差估计具有更高的精度，通过该HR特征可以被聚合以生成更精细的SR结果。然后，提出的HR视差信息反馈（HRDIF）机制将HR视差携带的信息传递回先前的层，以进一步细化SR图像重建。大量的实验证明了SSRDE-FNet的有效性和先进性。
2021-06-02 cs.CV
Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo
National University of Singapore（新加坡国立大学）
用于多视图多人3D姿态估计的现有方法明确地建立交叉视图对应以将来自多个相机视图的2D姿态检测分组，并求解每个人的3D姿态估计。在多人场景中建立跨视图对应是具有挑战性的，并且不正确的对应将导致多级流水线的次优性能。在这项工作中，我们提出了我们的多视图三维姿态估计方法的基础上，平面扫描立体联合解决跨视图融合和三维姿态重建在一个Single Shot。具体来说，我们建议在目标相机视图中为每个2D姿势的每个关节执行深度回归。交叉视图一致性约束通过平面扫描算法由多个参考相机视图隐含地强制执行，以促进准确的深度回归。我们采用了一个由粗到细的方案，首先回归的人级深度，其次是每个人的联合级相对深度估计。3D姿态从给定估计深度的简单反投影获得。我们在基准数据集上评估了我们的方法，在这些数据集上，它的性能优于以前的最先进技术，同时效率非常高。我们的代码可在https://github.com/jiahaoLjh/PlaneSweepPose上获得。
2021-04-06 cs.CV
Stereo Endoscopic Image Super-Resolution Using Disparity-Constrained Parallel Attention
Institute of Image Processing（图像处理研究所）；Pattern Recognition Institute of Medical Robotics（医学机器人模式识别研究所）；Shanghai Jiao Tong University（上海交通大学）
随着立体摄像机在计算机辅助手术技术中的普及，第二个视点将在手术中提供额外的信息。然而，如何有效地访问和使用立体信息的超分辨率（SR）的目的往往是一个挑战。在本文中，我们提出了一个立体约束的立体超分辨率网络（DCSSRnet），同时计算一个超分辨率图像的立体图像对。特别是，我们将基于属性的约束机制纳入深度神经网络框架中SR图像的生成中，并添加了额外的atrous注意力模块。腹腔镜图像的实验结果表明，该框架优于目前的SR方法的定量和定性评价。我们的DCSSRnet提供了一个很有前途的解决方案，提高立体图像对的空间分辨率，这将是非常有益的内窥镜手术。
2020-03-19 cs.CV eess.IV
High-Resolution Depth Maps Based on TOF-Stereo Fusion
Inria（法国国家信息与自动化研究所）
距离传感器与彩色摄像机的组合对于机器人导航、语义感知、操纵和远程呈现非常有用。结合范围和颜色数据的几种方法已被研究，并成功地用于各种机器人应用。这些系统中的大多数遭受距离数据中的噪声和距离传感器与彩色相机之间的分辨率失配的问题，因为当前距离传感器的分辨率远小于彩色相机的分辨率。可以使用立体匹配来获得高分辨率深度图，但是这通常无法构建弱/重复纹理场景的准确深度图，或者如果场景表现出复杂的自遮挡。距离传感器提供粗略的深度信息，而不管是否存在纹理。使用由飞行时间（TOF）相机和立体相机对组成的校准系统允许数据融合，从而克服两个单独传感器的弱点。我们提出了一种新的飞行时间立体融合方法的基础上，一个有效的种子生长算法，使用的飞行时间数据投影到立体图像对作为一个初始的对应关系。然后，这些初始的“种子”基于贝叶斯模型进行传播，该贝叶斯模型将图像相似性得分与从低分辨率范围数据计算的粗略深度先验相结合。总体结果是在手头的彩色相机的分辨率下获得密集而准确的深度图。我们表明，所提出的算法优于基于2D图像的立体算法，并且结果比现成的颜色范围传感器具有更高的分辨率，例如，Kinect此外，该算法潜在地表现出在单个CPU上的实时性能。
2021-07-30 cs.CV
WHU-Stereo: A Challenging Benchmark for Stereo Matching of High-Resolution Satellite Images
Wuhan University（武汉大学）；China University of Geosciences（中国地质大学）
针对卫星影像立体匹配数据集稀缺的问题，本文构建了基于GF-7卫星影像与机载LiDAR的WHU-Stereo数据集，含1700余对多地貌校正影像，精度达现有先进水平，验证了其作为高难度基准的价值。
2022-06-06 cs.AI cs.CV
Neural Disparity Refinement for Arbitrary Resolution Stereo
University of Bologna（博洛尼亚大学）
我们介绍了一种新的架构，神经差异细化，旨在促进部署3D计算机视觉的廉价和广泛的消费设备，如手机。我们的方法依赖于一个连续的配方，使估计在任何任意输出分辨率的细化视差图。因此，它可以有效地处理当今手机典型的不平衡相机设置，这些手机在同一设备中具有高分辨率和低分辨率RGB传感器。此外，我们的神经网络可以无缝地处理各种立体方法的输出，并且通过改进由传统匹配算法（如SGM）计算的视差图，与最先进的端到端立体模型相比，它可以实现不成对的zero-shot泛化性能。
2021-10-28 cs.CV
A Decomposition Model for Stereo Matching
Beijing Institute of Technology（北京理工大学）
在本文中，我们提出了一个立体匹配的分解模型，以解决计算成本（时间和内存成本）的过度增长的问题，随着分辨率的增加。为了减少在原始分辨率下进行立体匹配的巨大成本，我们的模型只在很低的分辨率下运行密集匹配，并在不同的更高分辨率下使用稀疏匹配来逐尺度地恢复丢失细节的视差。立体匹配分解后，我们的模型迭代地融合稀疏和密集的视差图从相邻的尺度与闭塞感知的面具。一个细化网络也被用来改善融合结果。与PSMNet和GANet等高性能方法相比，我们的方法实现了$10-100\times$速度的提高，同时获得了相当的视差估计结果。
2021-04-15 cs.CV
Sub-pixel matching method for low-resolution thermal stereo images
Univ Rennes（雷恩大学）；Inserm（法国国家健康与医学研究院）；Neotec Vision（Neotec视觉公司）；ECAM Rennes - Louis de Broglie（雷恩ECAM-路易·德布罗意学院）
在定位和跟踪应用的背景下，我们开发了一个立体视觉系统的基础上廉价的低分辨率80 × 60像素的热成像相机。提出了一种三重亚像素立体匹配框架（ST for Subpixel Thermal）：1）基于相位一致性的鲁棒特征提取方法; 2）像素级精度的特征粗匹配; 3）基于局部相位一致性的亚像素级精度的精匹配。我们对我们的非常低分辨率的热图像（使用我们制造的立体系统获取）进行了实验，作为来自基准数据集的高分辨率图像。即使相位一致性计算时间很高，它也能够提取比最先进的方法（如ORB或SURF）多两倍的特征。我们提出了一种改进的相位相关应用在相位一致特征空间的亚像素匹配。利用模拟立体视觉，研究了相位一致性阈值和亚像素匹配子图像大小对匹配精度的影响。然后，我们证明了给定我们的立体设置和图像的分辨率，1个像素的错误会导致点的Z位置出现500 mm的误差。最后，我们证明了我们的方法可以在低分辨率图像上提取比基线方法ORB + OpenCV KNN匹配多四倍的匹配。此外，我们的比赛更加强劲。更准确地说，当投影站着的人的点时，当ORB + OpenCV KNN给出超过1000 mm时，ST得到300 mm的标准差。
2019-11-30 cs.CV
Investigating the performance of Correspondence Algorithms in Vision based Driver-assistance in Indoor Environment
College of E&ME (NUST)（机电工程学院（国立科技大学））
本文对不同光照条件下的十四种立体匹配算法进行了实验比较。选择不同的适应性的全球和局部立体匹配技术进行评估的变体的强度和弱点的对应算法进行了探讨，采用预测误差策略的方法。这些算法是根据它们在各种室内照明条件下和一天中不同时间拍摄的真实世界数据集上的性能来衡量的
2013-01-03 cs.CV cs.RO
Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference
The Hong Kong University of Science and Technology（香港科技大学）；Shenzhen Zhuke Innovation Technology（深圳珠科创新科技）
深度学习最近展示了其在多视图立体视觉（MVS）方面的出色性能。然而，目前的学习MVS方法的一个主要限制是可扩展性：消耗内存的成本体积正则化使得学习MVS难以应用于高分辨率场景。本文提出了一种基于递归神经网络的可扩展多视图立体视觉框架。所提出的递归多视图立体视觉网络（R-MVSNet）通过门控递归单元（GRU）沿着深度方向顺序地正则化2D成本图，而不是一次正则化整个3D成本量。这大大减少了内存消耗，使高分辨率重建成为可能。我们首先展示了在最近的MVS基准测试中所提出的R-MVSNet所实现的最先进的性能。然后，我们进一步证明了所提出的方法在几个大规模的情况下，以前的学习方法往往会失败，由于内存限制的可扩展性。代码可在https://github.com/YoYo000/MVSNet上获得。
2019-02-27 cs.CV
ASteISR: Adapting Single Image Super-resolution Pre-trained Model for Efficient Stereo Image Super-resolution
Fuzhou University（福州大学）；University of Edinburgh（爱丁堡大学）；Imperial Vision Technology（英视科技）
本文提出ASteISR方法，通过冻结预训练单图像超分辨率Transformer并仅微调立体适配器与空间适配器，以4.8%参数量在四个SteISR基准上达到最优性能，同时显著降低训练时间和内存消耗。
2024-07-04 cs.CV
Comparative Analysis of Advanced Feature Matching Algorithms in Challenging High Spatial Resolution Optical Satellite Stereo Scenarios
Sun Yat-sen University（中山大学）
本文构建覆盖五颗卫星与六类困难场景的HSROSS Dataset，系统比较SIFT及三种深度学习特征匹配方法，发现SuperPoint + LightGlue综合表现最佳。
2024-05-10 cs.CV
STS: Surround-view Temporal Stereo for Multi-view 3D Detection
MEGVII Technology（旷视科技）；Peking University（北京大学）；Beihang University（北京航空航天大学）
学习准确的深度对于多视图3D目标检测是必不可少的。最近的方法主要是从单目图像中学习深度，由于单目深度学习的不适定性，这些方法面临固有的困难。在这项工作中，我们提出了一种新的环绕视图时间立体（STS）技术，该技术利用帧之间的几何对应关系来促进准确的深度学习，而不是使用单一的单目深度方法。具体地说，我们把本车周围所有摄像机的视野作为一个统一的视图，即环绕视图，并对其进行时间立体匹配，得到的STS不同帧之间的几何对应关系被利用，并结合单目深度产生最终的深度预测。nuScenes上的综合实验表明，STS大大提高了3D检测能力，特别是对于中距离和长距离物体。在使用ResNet-50主干的BEVDepth上，STS分别将mAP和NDS提高了2.6%和1.4%。当使用更大的主干和更大的图像分辨率时，观察到一致的改善，证明了其有效性
2022-08-22 cs.CV
Cross-View Hierarchy Network for Stereo Image Super-Resolution
South China University of Technology（华南理工大学）；Fujian Normal University（福建师范大学）；GAC R&D Center（广汽研究院）
本文提出跨视图层次网络CVHSSR，通过视图内跨层次信息挖掘与跨视图交互模块，在更少参数下实现最优立体图像超分辨率性能。
2023-04-13 cs.CV
ORStereo: Occlusion-Aware Recurrent Stereo Matching for 4K-Resolution Images
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
在小图像上训练的立体重建模型不能很好地推广到高分辨率数据。在高分辨率图像尺寸上训练模型面临着数据可用性的困难，并且由于计算资源有限，通常是不可行的。在这项工作中，我们提出了遮挡感知的递归双目立体匹配（ORStereo），它只通过训练可用的低视差范围立体图像来处理这些问题。ORStereo通过将任务制定为初始预测的残差更新和改进，来推广到具有大视差范围的看不见的高分辨率图像。ORStereo在视差范围限制为256像素的图像上进行训练，但它可以使用有限的GPU内存操作超过1000个视差的4K分辨率输入。我们测试模型的能力，合成和现实世界的高分辨率图像。实验结果表明，ORStereo在4K分辨率图像上实现了与在大视差范围上训练的最先进方法相当的性能。与仅在低分辨率图像上训练的其他方法相比，我们的方法在4K分辨率图像上的准确率高出70%。
2021-03-13 cs.CV cs.RO
Multi-Level Feature Fusion Network for Lightweight Stereo Image Super-Resolution
Fuzhou University（福州大学）；South China University of Technology（华南理工大学）；Chengdu University of Information Technology（成都信息工程大学）
针对立体图像超分辨率中级联模块导致参数多、冗余高的问题，提出轻量级MFFSSR，通过HAFEB与通道分离实现多级特征及跨视角信息高效融合，以更少参数取得优越性能。
2024-05-09 cs.CV
SMD-Nets: Stereo Mixture Density Networks
University of Bologna（博洛尼亚大学）；MPI-IS（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
尽管立体匹配精度在过去几年中通过深度学习大大提高，但有效恢复清晰边界和高分辨率输出仍然具有挑战性。在本文中，我们提出了立体混合密度网络（SMD-Nets），这是一个简单而有效的学习框架，与广泛的2D和3D架构兼容，可以改善这两个问题。具体来说，我们利用双峰混合密度作为输出表示，并表明，这允许尖锐和精确的差距估计附近的不连续性，同时明确建模的任意性的不确定性固有的意见。此外，我们制定的视差估计作为一个连续的问题，在图像域中，允许我们的模型查询在任意空间精度的差异。我们进行了全面的实验，一个新的高分辨率和高度逼真的合成立体数据集，包括立体对在8 Mpx分辨率，以及在现实世界的立体数据集。我们的实验表明，在标准GPU上提高了物体边界附近的深度精度和超高分辨率视差图的预测。我们证明了我们的技术的灵活性，通过提高各种立体声骨干的性能。
2021-04-08 cs.CV
Cross-Scale Cost Aggregation for Stereo Matching
Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；Advance Digital Science Center（先进数字科学中心）；University of Texas at San Antonio（得克萨斯大学圣安东尼奥分校）
人类在多个尺度上处理立体对应。然而，这种生物灵感被用于密集立体对应的最先进的成本聚合方法所忽略。在本文中，一个通用的跨尺度成本汇总框架，提出了允许多尺度的成本汇总的互动。我们首先从统一的优化角度重新制定成本聚合，并表明不同的成本聚合方法在相似核的选择上有本质的不同。然后，一个跨尺度正则化被引入到优化和解决这个新的优化问题导致所提出的框架。由于正则化项独立于相似性核，因此各种成本聚合方法可以集成到所提出的一般框架中。我们表明，跨尺度框架是重要的，因为它有效地和高效地扩展了最先进的成本汇总方法，并导致显着的改善，在Middlebury，KITTI和新筑波数据集进行评估时。
2014-03-03 cs.CV
Deep-Learning Assisted High-Resolution Binocular Stereo Depth Reconstruction
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Department of Mechanical Engineering, Carnegie Mellon University（卡内基梅隆大学机械工程系）
这项工作提出了密集的立体重建使用高分辨率图像的基础设施检查。现有的学习和非学习的立体重建方法在高分辨率数据上消耗了太多的计算资源。最近的基于学习的方法在大多数基准测试中都达到了最高水平。然而，由于缺乏特定于任务的训练数据，它们遭受泛化问题。我们建议使用较少的资源需求的非学习方法，指导下的学习为基础的模型，处理高分辨率的图像，实现准确的立体重建。深度学习模型为下采样立体图像对的每个像素产生具有不确定性的初始视差预测。不确定性作为其泛化能力和初始预测视差周围的每像素搜索范围的自我测量。下游过程利用上采样的每像素搜索范围执行半全局块匹配方法的修改版本。所提出的深度学习辅助方法在Middlebury数据集和由我们定制的双目立体相机收集的高分辨率立体图像上进行评估。学习和非学习方法的组合在Middlebury数据集的15个案例中的12个上实现了更好的性能。在我们的基础设施检测实验中，平均三维重建误差小于0.004米。
2020-02-28 cs.CV cs.RO
UAVStereo: A Multiple Resolution Dataset for Stereo Matching in UAV Scenarios
PLA Strategic Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）；Shenzhen University（深圳大学）
立体匹配是三维场景重建的一项基本任务。最近，基于深度学习的方法已经在一些基准数据集上被证明是有效的，例如KITTI和Scene Flow。无人机（UAV）通常用于地面观测，并且由于其高分辨率和低空采集，其捕获的图像经常用于详细的3D重建。目前，主流的监督学习网络需要大量的具有真实标签的训练数据来学习模型参数。然而，由于无人机立体匹配数据集的稀缺性，基于学习的网络不能应用于无人机图像。为了便于进一步的研究，本文提出了一种新的流水线，使用无人机图像和激光雷达点云重建的详细网格来生成准确和密集的视差图。通过提出的流水线，本文构建了一个多分辨率的无人机场景数据集，称为UAVStereo，超过34k立体图像对，覆盖3个典型场景。据我们所知，UAVStereo是第一个无人机低空场景的立体匹配数据集。该数据集包括合成和真实立体对，以实现从合成域到真实域的泛化。此外，我们的UAVStereo数据集提供多分辨率和多场景图像对，以适应各种传感器和环境。在本文中，我们评估了传统和最先进的深度学习方法，强调了它们在应对无人机场景挑战方面的局限性，并为未来的研究提供了建议。该数据集可在www.example.com上获得
2023-02-20 cs.CV
Fusion of Range and Stereo Data for High-Resolution Scene-Modeling
INRIA Grenoble Rhône-Alpes（法国国立信息与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；Queen Mary, University of London（伦敦大学玛丽女王学院）
本文讨论了距离立体融合的问题，高分辨率的深度图的建设。特别是，我们结合低分辨率的深度数据与高分辨率的立体数据，在最大后验概率（MAP）制定。与现有的计划，建立在MRF优化，我们推断的视差图从一系列的局部能量最小化问题，解决分层，通过增长稀疏的初始视差从深度数据。由于能量函数中数据项的三个性质，该方法的准确性不受影响。首先，它采用了一个新的相关函数，能够提供精细的相关性和差异，通过子像素校正。其次，相关性分数依赖于基于深度数据的自适应成本聚合步骤。第三，基于场景纹理和摄像机几何形状，自适应地融合立体和深度似然。这些属性导致了一个更有选择性的生长过程，与以前的种子生长方法不同，避免了传播不正确差异的趋势。所提出的方法产生了一个本质上有效的算法，它运行在3FPS的2.0MP图像上的标准台式计算机。新方法的强大性能是通过与最先进的方法进行定量比较和使用真实深度立体数据集进行定性比较来建立的。
2020-12-12 cs.CV
VHS: High-Resolution Iterative Stereo Matching with Visual Hull Priors
University of Bonn（波恩大学）
提出一种基于视觉外壳先验的高分辨率立体匹配方法，利用物体掩码引导视差估计并采用混合稀疏-密集相关计算方案，有效降低内存需求并提升深度估计精度。
2024-06-04 cs.CV
SuperMVS: Non-Uniform Cost Volume For High-Resolution Multi-View Stereo
SOTA算法不同于大多数现有的深度采样算法，它采用静态均匀采样的方法，通过大量的假设平面来获得精细的深度采样。本文提出了一种在大深度范围内动态非均匀采样的自由移动假设平面方法来构建成本体积，该方法不仅大大减少了平面数量，而且细化了采样，既降低了计算成本，又提高了精度，称为非均匀成本体积。我们提出了SuperMVS网络来实现非均匀代价体积的多视图立体视觉。SuperMVS是一个由粗到细的框架，有四个级联阶段。它可以输出更高分辨率和准确的深度图。我们的SuperMVS在DTU数据集和Tanks \& Temples数据集上以低内存、低运行时间和较少的平面实现了SOTA结果。
2022-03-29 cs.CV
3D Reconstruction with Low Resolution, Small Baseline and High Radial Distortion Stereo Images
在本文中，我们分析和比较的方法，从低分辨率（250 × 250），高径向失真立体图像，这是小基线（约1毫米）采集的三维重建。这些图像用CMOSIS/AWAIBA制造的NanEye Stereo系统采集。这些立体相机也有小光圈，这意味着需要高水平的照明。目标是开发一种方法，以低计算成本产生准确的重建，即，避免了非线性数值优化算法。重点分析和比较了径向畸变模型。为了进行分析和比较，我们基于可用的软件和方法定义了基线方法，例如Bouguet工具箱[2]或Matlab的计算机视觉工具箱。测试的方法的基础上使用的多项式模型的径向失真，并在应用程序的分割模型。变形中心的问题也在分割模型的应用框架内得到了解决。我们的结论是，与一个单一的径向畸变参数的分割模型有局限性。
2017-09-19 cs.CV
RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering
Technical University of Munich（慕尼黑工业大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Hong Kong University of Science and Technology（香港科技大学）
在不同视图之间找到准确的对应关系是无监督多视图立体视觉（MVS）的致命弱点。现有的方法是建立在假设相应的像素共享类似的光度特征。然而，真实场景中的多视图图像观察到非朗伯表面并经历遮挡。在这项工作中，我们提出了一种新的方法与神经渲染（RC-MVSNet），以解决这种模糊的问题之间的对应关系的意见。具体来说，我们施加一个深度渲染一致性损失约束的几何特征接近对象表面，以减轻闭塞。同时，我们引入了一个参考视图合成损失产生一致的监督，即使是非朗伯表面。在DTU和Tanks\&Temples基准测试上的大量实验表明，我们的RC-MVSNet方法在无监督MVS框架上实现了最先进的性能，并且与许多有监督方法相比具有竞争力的性能。https://github.com/Boese0601/RC-MVSNet
2022-08-21 cs.CV
Improving Multi-View Stereo via Super-Resolution
Politecnico di Milano（米兰理工大学）
如今，多视图立体视觉技术能够重建稳健且详细的3D模型，尤其是从高分辨率图像开始时。然而，存在输入图像的分辨率相对较低的情况，例如，当处理旧照片时，或者当硬件限制可以获取的数据量时。在本文中，我们调查，如果，如何，以及有多少通过超分辨率技术提高这些输入图像的分辨率反映在重建的3D模型的质量改进，尽管有时这可能会产生的文物。我们表明，在大多数情况下，在恢复深度图之前应用超分辨率步骤，在基于PatchMatch和基于深度学习的算法的情况下，都会产生更好的3D模型。超分辨率的使用特别提高了重建模型的完整性，并且在纹理场景的情况下特别有效。
2021-07-28 cs.AI cs.CV
DIffSteISR: Harnessing Diffusion Prior for Superior Real-world Stereo Image Super-Resolution
Fuzhou University（福州大学）；Imperial Vision Technology（帝国视界科技）；Macao Polytechnic University（澳门理工大学）
本研究提出DiffSteISR框架，借助预训练文生图模型的扩散先验，通过TASCATA、SOA ControlNet和SSE模块，在保持左右视图语义与纹理高一致性的同时，实现真实世界低分辨率立体图像的高质量超分辨率重建。
2024-08-15 cs.CV eess.IV
SwinFSR: Stereo Image Super-Resolution using SwinIR and Frequency Domain Knowledge
McMaster University（麦克马斯特大学）
提出 SwinFSR 立体图像超分辨率方法，通过 FFC 将频域知识引入 SwinIR 的 RSTB 形成 RSFTB，并设计低成本高性能 RCAM 融合立体视图。
2023-04-25 cs.CV
