首页/论文/2109.07547

arXiv 2109.075472021-09-15cs.CV

RAFT-Stereo：用于立体匹配的多级递归场变换

RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching

Princeton University（普林斯顿大学）

Lahav Lipson, Zachary Teed, Jia Deng

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

介绍了一种基于光流网络RAFT的新的立体校正深度架构RAFT-Stereo。我们引入了多级卷积GRU，它可以更有效地在图像中传播信息。RAFT-Stereo的修改版本可以执行精确的实时推理。RAFT-stereo在Middlebury排行榜上排名第一，在1 px误差上优于第二好的方法29%，并且优于ETH 3D双视图立体基准的所有已发表工作。代码可在https://github.com/princeton-vl/RAFT-Stereo上获得。

英文摘要：

We introduce RAFT-Stereo, a new deep architecture for rectified stereo based on the optical flow network RAFT. We introduce multi-level convolutional GRUs, which more efficiently propagate information across the image. A modified version of RAFT-Stereo can perform accurate real-time inference. RAFT-stereo ranks first on the Middlebury leaderboard, outperforming the next best method on 1px error by 29% and outperforms all published work on the ETH3D two-view stereo benchmark. Code is available at https://github.com/princeton-vl/RAFT-Stereo.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

具有级联对极RAFT的多视图立体声

Multiview Stereo with Cascaded Epipolar RAFT

Princeton University（普林斯顿大学）

我们解决多视图立体（MVS），一个重要的3D视觉任务，重建一个3D模型，如密集的点云从多个校准图像。我们提出了CER-MVS（级联对极RAFT多视图立体），一种新的方法的基础上的RAFT（递归全对场变换）架构的光流。CER-MVS引入了RAFT的五个新变化：极线成本卷，成本卷级联，成本卷的多视图融合，动态监控和深度图的多分辨率融合。CER-MVS是显着不同，从以前的工作，在多视图立体。与通过更新3D成本体积来操作的先前工作不同，CER-MVS通过更新视差场来操作。此外，我们提出了一个自适应阈值的方法来平衡重建点云的完整性和准确性。实验表明，我们的方法在DTU上实现了有竞争力的性能（已知结果中的第二好），在Tanks-and-Temples基准测试（中级和高级集）上实现了最先进的性能。代码可在www.example.com上获得

2022-05-09cs.CV

一个改进的RaftStereo训练与混合数据集的鲁棒视觉挑战2022

An Improved RaftStereo Trained with A Mixed Dataset for the Robust Vision Challenge 2022

Insta360（影石创新科技股份有限公司）

立体匹配是计算机视觉中的一个基本问题。尽管深度学习最近取得了进展，但在将立体匹配模型部署到现实世界应用时，提高鲁棒性是不可避免的。与通常的做法不同，即，为了开发一个精心设计的模型来实现鲁棒性，我们认为收集多个可用的数据集进行训练是一种更便宜的方法来提高泛化能力。具体来说，本报告提出了一种改进的RaftStereo，它使用七个公共数据集的混合数据集进行训练，用于鲁棒视觉挑战（表示为iRaftStereo_RVC）。在Middlebury、KITTI-2015和ETH 3D的训练集上进行评估时，该模型的性能优于仅使用一个数据集（如流行的Sceneflow）训练的模型。在挑战赛的三个数据集上对预训练模型进行微调后，它在立体声排行榜上排名第二，证明了混合数据集预训练的好处。

2022-10-23cs.CV

360度立体中单轴视差的球面到ERP极线校正

Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo

Faculty of Electrical Engineering and Computer Science, Coburg University of Applied Science（电气工程与计算机科学学院，科堡应用科学大学）

针对球面立体图像中极线对应呈曲线导致二维位移的问题，采用球面到等距柱状投影预处理将极线拉直恢复单轴视差，结合RAFT+EACS框架实现实时高精度视差估计。

2026-06-24cs.CV

RAFT-3D：使用刚体运动嵌入的场景流

RAFT-3D: Scene Flow using Rigid-Motion Embeddings

Princeton University（普林斯顿大学）

我们解决场景流的问题：给定一对立体或RGB-D视频帧，估计像素级3D运动。我们介绍了RAFT-3D，一个新的场景流的深度架构。RAFT-3D基于为光流开发的RAFT模型，但迭代地更新像素级SE 3运动的密集场，而不是2D运动。RAFT-3D的一个关键创新是刚性运动嵌入，它表示将像素软分组为刚性对象。刚性运动嵌入的积分是Dense-SE 3，这是一个可微层，可以强制嵌入的几何一致性。实验结果表明，RAFT-3D算法具有较好的性能。在FlyingThings 3D上，在双视图评估下，我们将最佳发布准确率（d < 0.05）从34.3%提高到83.7%。在KITTI上，我们实现了5.77的错误，优于最好的方法（6.31），尽管没有使用对象实例监督。代码可在https://github.com/princeton-vl/RAFT-3D上获得。

2021-04-06cs.CV

RomniStereo: 循环全向立体匹配

RomniStereo: Recurrent Omnidirectional Stereo Matching

Insta360 Research（影石研究院）

针对现有全向立体匹配方法依赖3D正则化模块导致结构复杂、性能受限的问题，提出结合RAFT循环更新机制的RomniStereo算法，通过反向自适应加权等技术实现性能大幅提升。

2024-01-26cs.CV

MS-RAFT-3D：一种用于递归图像场景流的多尺度架构

MS-RAFT-3D: A Multi-Scale Architecture for Recurrent Image-Based Scene Flow

University of Stuttgart（斯图加特大学）

本文提出MS-RAFT-3D多尺度架构，将光流分层思想推广到图像场景流，在KITTI和Spring上分别超越现有方法8.7%和65.8%。

2025-06-02cs.CV

更多相关论文收起更多论文

深度立体匹配方法在无人机林业应用中的泛化能力评估

Generalization Evaluation of Deep Stereo Matching Methods for UAV-Based Forestry Applications

Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；Victoria University of Wellington（惠灵顿维多利亚大学）；Department of Computer Science and Software Engineering（计算机科学与软件工程系）；University of Canterbury（坎特伯雷大学）

本文首次系统评估了八种深度立体匹配方法在无人机林业应用中的泛化能力，揭示了不同方法在不同场景下的性能差异。

2025-12-03cs.CV

基于恒定高速公路网络和反射置信度学习的立体匹配算法

Improved Stereo Matching with Constant Highway Networks and Reflective Confidence Learning

Tel Aviv University（特拉维夫大学）

我们提出了一个改进的三步流水线的立体匹配问题，并在每个阶段引入多个新奇。我们提出了一种新的高速公路网络架构，用于计算匹配成本在每个可能的差距，多级加权残差捷径的基础上，训练与混合损失，支持多级比较的图像补丁。然后引入新的后处理步骤，其采用第二深度卷积神经网络来从多个视差池化全局信息。该网络输出图像视差图（取代传统的“赢家通吃”策略）和预测置信度。置信度得分是通过使用我们称为反射损失的新技术训练网络来实现的。最后，为了更好地检测细化步骤中的离群值，采用了学习的置信度。所提出的管道实现了最大和最具竞争力的立体声基准的最先进的精度，和学习的信心，优于所有现有的替代品。

2016-12-31cs.CV

M-FUSE：多帧融合的场景流估计

M-FUSE: Multi-frame Fusion for Scene Flow Estimation

Institute for Visualization and Interactive Systems（可视化与交互系统研究所）；University of Stuttgart（斯图加特大学）

最近，用于场景流估计的神经网络在汽车数据上显示出令人印象深刻的结果，例如KITTI基准测试。然而，尽管使用复杂的刚性假设和参数化，这样的网络通常仅限于两个帧对，这不允许它们利用时间信息。在我们的论文中，我们提出了一种新的多帧的方法，认为一个额外的前立体声对解决这个缺点。为此，我们分两步进行：首先，建立在最近的RAFT-3D方法，我们开发了一个改进的两帧基线，结合先进的立体声方法。其次，更重要的是，利用RAFT-3D的特定建模概念，我们提出了一个U-Net架构，该架构执行前向和后向流估计的融合，从而允许按需集成时间信息。在KITTI基准上的实验不仅表明了改进的基线和时间融合方法的优势互补，而且还表明计算的场景流具有很高的准确性。更准确地说，我们的方法在整体上排名第二，在更具挑战性的前景物体上排名第一，总体上比原始的RAFT-3D方法高出16%以上。代码可在https://github.com/cv-stuttgart/M-FUSE上获得。

2022-10-28cs.CV

用于立体匹配的迭代几何编码体

Iterative Geometry Encoding Volume for Stereo Matching

Huazhong University of Science and Technology（华中科技大学）

递归全对场变换（RAFT）在匹配任务中显示出巨大的潜力。然而，所有对相关性缺乏非局部几何知识，并且难以解决不适定区域中的局部模糊性。在本文中，我们提出了迭代几何编码体（IGEV-Stereo），这是一种新的立体匹配深度网络架构。建议IGEV-Stereo建立一个组合的几何编码体积，编码的几何和上下文信息以及本地匹配的细节，并迭代索引它更新视差图。为了加快收敛速度，我们利用GEV来回归ConvGRUs迭代的准确起点。我们的IGEV-Stereo将$1^{st}$在KITTI 2015和2012（反射）上列为所有已发布方法中最快的，并且是前10名方法中最快的。此外，IGEV-Stereo具有很强的跨数据集泛化能力和很高的推理效率。我们还扩展了我们的IGEV多视图立体视觉（MVS），即IGEV-MVS，它达到了竞争力的精度DTU基准。代码可在https://github.com/gangweiX/IGEV上获得。

2023-03-14cs.CV

利用无人机立体视觉定位需修剪的辐射松枝位置

Positioning radiata pine branches requiring pruning by drone stereo vision

Centre of Data Science and Artificial Intelligence & School of Engineering and Computer Science（数据科学与人工智能中心及工程与计算机科学学院）

本文提出基于无人机的立体视觉系统，用于检测和定位辐射松枝以支持自主修剪。通过比较不同模型在自定义数据集上的表现，验证了深度学习方法在低成本立体视觉中用于林业自动枝条定位的可行性。

2026-04-12cs.CV

Selective-Stereo：面向立体匹配的自适应频率信息选择

Selective-Stereo: Adaptive Frequency Information Selection for Stereo Matching

Huazhong University of Science and Technology（华中科技大学）

针对迭代立体匹配难以兼顾边缘高频与平滑区域低频信息的问题，提出 SRU 与 CSA 自适应融合多频率隐式视差，Selective-Stereo 在四个权威基准均位列已发表方法第一。

2024-03-01cs.CV

通过注意力调优实现立体匹配的全局调控与激发

Global Regulation and Excitation via Attention Tuning for Stereo Matching

City University of Hong Kong（香港城市大学）；Hon Hai Research Institute（富士康研究院）

针对迭代立体匹配方法在病态区域缺乏全局上下文的问题，本文提出 GREAT 框架，通过空间注意力、匹配注意力和体积注意力三个模块增强全局调控与几何激发，集成后的 GREAT-Stereo 在多个基准上取得领先性能。

2025-09-19cs.CV

统一光流、立体匹配与深度估计

Unifying Flow, Stereo and Depth Estimation

ETH Zurich（苏黎世联邦理工学院）；University of Tübingen（图宾根大学）；Sydney AI Center（悉尼人工智能中心）；The University of Sydney（悉尼大学）；Monash University（莫纳什大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）

本文提出统一公式与单一Transformer模型，将光流、立体匹配和深度估计统一为密集对应匹配问题，利用交叉注意力提升特征质量，实现跨任务迁移，并在多个基准上超越或媲美现有方法。

2023-07-26cs.CV

基于小波的立体匹配框架以解决频率收敛不一致问题

A Wavelet-based Stereo Matching Framework for Solving Frequency Convergence Inconsistency

Shenyang Institute of Automation, Chinese Academy of Sciences（沈阳自动化研究所，中国科学院）；Nanjing University of Science and Technology（南京理工大学）；Liaoning Liaohe Laboratory（辽宁辽河实验室）；Key Laboratory on Intelligent Detection and Equipment Technology of Liaoning Province（辽宁省智能检测与设备技术重点实验室）；Huazhong University of Science and Technology（华中科技大学）；Beihang University（北京航空航天大学）；University of Chinese Academy of Sciences（中国科学院大学）

针对立体匹配中高频与低频收敛不一致问题，提出Wavelet-Stereo框架，通过小波分解分别处理高低频并利用LSTM更新算子细化高频，在KITTI基准上取得领先。

2025-05-23cs.CV

IGEV++：用于立体匹配的迭代式多范围几何编码体

IGEV++: Iterative Multi-range Geometry Encoding Volumes for Stereo Matching

School of Electronic Information and Communications, Huazhong University of Science and Technology（电子信息与通信学院，华中科技大学）；HiScene Information Technology Co., Ltd.（HiScene信息技术有限公司）

本文提出 IGEV++ 立体匹配网络，通过 MGEV、自适应块匹配与选择性特征融合处理大视差及病态区域，并在多个基准上达到最先进性能。

2025-05-11cs.CV

在树枝影像上训练深度立体匹配网络：为实时无人机林业应用的基准研究

Training Deep Stereo Matching Networks on Tree Branch Imagery: A Benchmark Study for Real-Time UAV Forestry Applications

Centre for Data Science and Artificial Intelligence（数据科学与人工智能中心）；Victoria University of Wellington（威灵顿维多利亚大学）；Department of Computer Science and Software Engineering（计算机科学与软件工程系）；University of Canterbury（坎特伯雷大学）

本文研究了在树枝影像上训练深度立体匹配网络，通过基准测试评估了十种方法在实时无人机林业应用中的性能。

2026-02-23cs.CVeess.IV