MVSTER: Epipolar Transformer for Efficient Multi-View Stereo
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；PhiGent Robotics（PhiGent机器人公司）；Kwai Inc.（快手公司）
基于学习的多视图立体视觉（MVS）方法将源图像变形到参考摄像机平截头中以形成3D体积，该3D体积被融合为成本体积以由后续网络进行正则化。融合步骤在桥接2D语义和3D空间关联中起着至关重要的作用。然而，以前的方法使用额外的网络来学习2D信息作为融合线索，未充分利用3D空间相关性并带来额外的计算成本。因此，我们提出了MVSTER，它利用所提出的极线Transformer来有效地学习2D语义和3D空间关联。具体而言，核线Transformer利用可拆卸的单眼深度估计器来增强2D语义，并使用交叉注意力来沿着核线构建数据相关的3D关联。此外，MVSTER内置在级联结构中，其中利用熵正则化的最优传输来在每个阶段中传播更精细的深度估计。大量的实验表明，MVSTER实现了最先进的重建性能，效率显著提高：与MVSNet和CasMVSNet相比，我们的MVSTER在DTU基准上实现了34%和14%的相对改进，运行时间相对减少了80%和51%。MVSTER在所有已出版作品中的坦克和圣殿-高级也排名第一。代码发布于https://github.com/JeffWang987。
2022-04-15 cs.CV
Context-Enhanced Stereo Transformer
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
立体深度估计是计算机视觉研究的热点。然而，现有的方法难以在危险区域（诸如大的均匀区域）中可靠地概括和预测。为了克服这些限制，我们提出了上下文增强路径（CEP）。CEP通过捕获长期的全局信息，提高了现有解决方案对常见故障情况的泛化能力和鲁棒性。我们构建我们的立体声深度估计模型，上下文增强立体声Transformer（CSTR），通过插入CEP到国家的最先进的立体声深度估计方法立体声Transformer。CSTR在不同的公共数据集上进行了检查，例如Scene Flow，Middlebury-2014，KITTI-2015和MPI-Sintel。我们发现CSTR的性能大大优于以前的方法。例如，在zero-shot合成到真实的设置中，CSTR在Middlebury-2014数据集上的性能比最佳竞争方法高出11%。大量的实验表明，长距离信息对于立体匹配任务是至关重要的，CEP成功地捕获了这些信息。
2022-10-21 cs.AI cs.CV
RobuSTereo: Robust Zero-Shot Stereo Matching under Adverse Weather
Beijing Institute of Technology（北京理工大学）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
RobuSTereo通过扩散仿真与立体一致性模块生成恶劣天气立体数据，并结合ConvNet与去噪Transformer的鲁棒特征编码器，显著提升立体匹配模型的零样本泛化能力。
2025-07-02 cs.CV
Revisiting Depth Completion from a Stereo Matching Perspective for Cross-domain Generalization
University of Bologna（博洛尼亚大学）
针对深度补全的域偏移问题，提出一种基于虚拟图案投影生成虚构立体对、可兼容各类立体匹配器的框架，经跨域实验验证有效，可拓展深度补全的部署场景。
2023-12-14 cs.CV
E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with Transformer-based Stereoscopic Depth Perception
The Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
从立体内窥镜视频中重建机器人手术场景是手术数据科学中一个重要而有前途的课题，它可能支持许多应用，如手术视觉感知，机器人手术教育和术中上下文感知。然而，目前的方法大多局限于重建静态解剖假设没有组织变形，工具遮挡和去遮挡，和相机移动。然而，这些假设并不总是满足微创机器人手术。在这项工作中，我们提出了一个高效的重建管道，高度动态的手术场景，运行在28帧/秒。具体来说，我们设计了一个基于变换的立体深度感知的有效的深度估计和一个轻量级的工具分割器来处理工具遮挡。在此基础上，提出了一种动态重建算法，该算法可以估计组织变形和摄像机运动，并随着时间的推移聚合信息的手术场景重建。我们在两个数据集上评估了拟议的管道，公共Hamlyn中心内窥镜视频数据集和我们内部的DaVinci机器人手术数据集。实验结果表明，该方法能有效地恢复手术工具遮挡的场景，并能实时处理真实手术场景中摄像机的运动。
2021-07-01 cs.AI cs.CV
Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective
Beihang University（北京航空航天大学）；RIKEN AIP（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）；Griffith University（格里菲斯大学）；University of York（约克大学）
尽管最近的立体匹配网络在给定足够的训练数据的情况下实现了令人印象深刻的性能，但是它们遭受域移位并且难以推广到看不见的域。我们认为，保持匹配像素之间的特征一致性是促进立体匹配网络泛化能力的一个重要因素，这一点尚未得到充分考虑。在这里，我们解决这个问题，提出了一个简单的像素明智的对比学习的观点。立体对比特征损失函数明确地约束作为相同3D点的观测的匹配像素对的学习特征之间的一致性。进一步引入立体选择性白化损失以更好地保持立体特征跨域的一致性，其将立体特征与立体视点特定样式信息去相关。与直觉相反，同一场景中的两个视点之间的特征一致性的概括转化为立体匹配性能到看不见的域的概括。我们的方法本质上是通用的，因为它可以很容易地嵌入到现有的立体声网络中，并且不需要访问目标域中的样本。当在合成数据上训练并推广到四个真实世界的测试集时，我们的方法在几个最先进的网络上实现了卓越的性能。
2022-03-21 cs.CV
NBS: No Bias Stereo
Intrinsic (Google)（Intrinsic（谷歌））；Texas A&M University（德克萨斯农工大学）
该研究提出无架构归纳偏置的NBS模型，采用端到端Vision Transformer，经大规模合成数据集训练，在立体匹配上达到最先进准确率与更优效率，证明显式归纳偏置非必要，解锁3D重建缩放定律。
2026-09-09 cs.CV
MVSAnywhere: Zero-Shot Multi-View Stereo
Niantic（Niantic公司）；University of Edinburgh（爱丁堡大学）；I3A, Universidad de Zaragoza（萨拉戈萨大学I3A研究院）；UCL（伦敦大学学院）
本文提出MVSA，一种结合单目与多视图线索及自适应代价体的多视图立体架构，实现跨领域和深度范围的零样本深度估计，在鲁棒多视图深度基准上达到最先进性能。
2025-03-28 cs.CV
DeepPS2: Revisiting Photometric Stereo Using Two Differently Illuminated Images
IIT Gandhinagar（印度理工学院甘地纳加尔分校）
光度立体是利用物体在不同光照条件下拍摄的图像恢复物体三维表面法线的问题，在计算机视觉研究中具有重要意义。尽管现有的传统方法和基于深度学习的方法取得了成功，但由于以下原因，其仍然具有挑战性：（i）需要三个或更多个不同照明的图像，（ii）无法对未知的一般反射率进行建模，以及（iii）需要准确的3D地面真实表面法线和已知的照明信息用于训练。在这项工作中，我们试图解决一个不足的光度立体的问题，只使用两个不同的照明图像，称为PS2问题。它是基于单个图像的重建方法（如阴影恢复形状（SfS））和传统的光度立体（PS）之间的中间情况，后者需要三个或更多个图像。我们提出了一个基于逆渲染的深度学习框架，称为DeepPS2，它以完全自监督的方式联合执行表面法线，光照估计和图像重照明，而不需要地面真实数据。我们演示了如何结合图像重建图像重新照明增强了照明估计在自我监督设置。
2022-08-30 cs.CV
WHTMix: Efficient Stereo Depth Estimation via Walsh-Hadamard Token Mixing
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
研究针对立体深度估计在高分辨率和低延迟要求下的问题，提出用沃尔什-哈达玛令牌混合器替代立体变压器的联合自注意力阶段，并引入混合对数视差损失函数，实现减少计算量、延迟及降低远距离物体误差。
2026-10-16 cs.CV eess.IV eess.SP
Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation
EPFL（洛桑联邦理工学院）；HUAWEI Bayer Lab（华为拜耳实验室）；University of Bologna（博洛尼亚大学）
Marigold V2利用扩散变换器，通过语义对齐和Sinkhorn损失的两阶段微调，实现单步推理，在KITTI和ETH3D上AbsRel改善16-26%，并提升深度、法线和内在分解的精度。
2026-09-09 cs.CV cs.LG
ChiTransformer:Towards Reliable Stereo from Cues
Georgia State University（佐治亚州立大学）
本文提出受视交叉启发的自监督双目深度估计网络 ChiTransformer，通过 ViT、GPCA 与混合层融合单目线索和跨视图模式，性能提升11%，并适用于鱼眼等非直线图像。
2023-11-01 cs.CV
Revisiting Matching Response and Swept Feature Volumes for Wide-baseline Omnidirectional Stereo
UVify Corporate Affiliated Research Institute（UVify公司附属研究所）；Seoul National University（首尔国立大学）
本文针对宽基线全向立体视觉中模糊匹配问题，提出训练策略，通过重新解释匹配响应获取置信度信号，直接惩罚模糊响应。还引入扫描特征体重采样，联合学习提升置信度估计与表面法线预测，增强深度一致性且保持部署实用性。
2026-07-14 cs.CV
Unifying Flow, Stereo and Depth Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Tübingen（图宾根大学）；Sydney AI Center（悉尼人工智能中心）；The University of Sydney（悉尼大学）；Monash University（莫纳什大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出统一公式与单一Transformer模型，将光流、立体匹配和深度估计统一为密集对应匹配问题，利用交叉注意力提升特征质量，实现跨任务迁移，并在多个基准上超越或媲美现有方法。
2023-07-26 cs.CV
Reference-Free Omnidirectional Stereo Matching via Multi-View Consistency Maximization
Nanjing University, Nanjing, China（南京大学）；Nanyang Technological University, Singapore（南洋理工大学）
本文提出FreeOmniMVS框架，通过多视角一致性最大化实现无参考全景立体匹配，解决传统方法在几何关系和全局依赖性方面的不足，提升遮挡和基线变化下的鲁棒性。
2026-03-16 cs.CV
StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception
Stanford University（斯坦福大学）；Northwestern University（西北大学）；Lambda, Inc（Lambda公司）
该研究提出StereoPolicy，一种利用立体视觉提升机器人操作策略的框架，通过同步立体图像对增强几何推理，无需构建显式3D表示，在多个仿真和真实机器人任务中优于RGB、RGB-D、点云等基线方法。
2026-09-29 cs.CV cs.RO
BinsFormer: Revisiting Adaptive Bins for Monocular Depth Estimation
Harbin Institute of Technology（哈尔滨工业大学）；Australian National University（澳大利亚国立大学）
单目深度估计是计算机视觉中的一项基本任务，受到越来越多的关注。最近，一些方法将其重新表述为分类回归任务以提高模型性能，其中通过预测概率分布和离散箱的线性组合来估计连续深度。在本文中，我们提出了一种新的框架，称为BinsFormer，量身定制的分类回归为基础的深度估计。它主要集中在特定任务中的两个关键组成部分：1）适当生成自适应箱和2）概率分布和箱预测之间的充分相互作用。具体来说，我们采用Transformer解码器来生成bin，新颖地将其视为直接的集到集预测问题。我们进一步集成了多尺度解码器结构，以实现对空间几何信息的全面理解，并以粗到细的方式估计深度图。此外，提出了一个额外的场景理解查询，以提高估计精度，这证明了模型可以隐式地学习有用的信息，从辅助环境分类任务。在KITTI、NYU和SUN RGB-D数据集上进行的大量实验表明，BinsFormer超越了最先进的单眼深度估计方法，具有显著的边缘。代码和预训练模型将在\url{https://github.com/zhyever/Monocular-Depth-Estimation-Toolbox}上公开提供。
2022-04-03 cs.CV
FoundDP: Revisiting Weak Disparity Observability in Dual-Pixel Depth Estimation
Huazhong University of Science and Technology（华中科技大学）
提出FoundDP框架，结合双像素深度与单目深度基础模型的全局结构先验，通过ViT特征对齐缓解散焦模糊导致的表示退化，在弱视差区域提升结构一致性与度量精度。
2026-07-03 cs.CV
Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation
EPFL（洛桑联邦理工学院）
本文提出一种序列到序列的多视图立体方法，利用全局Transformer和相机感知嵌入联合预测所有视图几何，在多个基准上达到最先进性能。
2026-10-30 cs.CV
Revisiting Depth Representations for Feed-Forward 3D Gaussian Splatting
Zhejiang University, China（浙江大学）；Monash University, Australia（墨尔本大学）；MBZUAI；GigaAI（极佳科技）
本文针对前馈 3DGS 中深度边界导致点云稀疏、渲染退化的问题，提出基于预训练 transformer pointmap 的 PM-Loss 正则化，以增强边界几何平滑并跨架构提升渲染质量。
2025-06-05 cs.CV
CCNeXt: An Effective Self-Supervised Stereo Depth Estimation Approach
Institute of Computing, University of Campinas（坎皮纳斯大学计算学院）；Department of Electrical and Computer Engineering, University of Calgary（卡尔加里大学电气与计算机工程系）
本文提出CCNeXt自监督立体深度估计方法，通过窗口化极线交叉注意力模块和重新设计的解码器，在KITTI和Driving Stereo数据集上取得最优结果，同时速度比当前最佳模型快10.18倍。
2025-09-26 cs.CV
Revisiting Stereo Triangulation in UAV Distance Estimation
Shantou University（汕头大学）；Key Lab of Digital Signal and Image Processing of Guangdong Province（广东省数字信号与图像处理重点实验室）；College of Electronic Engineering, Shantou University（汕头大学电子工程学院）
针对无人机场景中立体三角测量因位置偏差导致测距失效的问题，本文构建 UAVDE 数据集，并提出带门控的堆叠 PCM 动态迭代位置校正方法，将相对差异由49.4%降至9.8%。
2023-12-02 cs.CV
ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation
TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg（汉堡大学信息学院）；Agile Robots SE（敏捷机器人公司）；Technical University of Munich（慕尼黑技术大学）；Mohamed Bin Zayed University of Artificial Intelligence (MBUZAI)（Mohamed Bin Zayed人工智能大学）
ClearDepth通过视觉Transformer和特征后融合模块，提升透明物体的深度感知，以辅助机器人操作。
2026-03-09 cs.CV cs.RO
Deep Laparoscopic Stereo Matching with Transformers
Monash University（莫纳什大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）；Monash-Airdoc Research Centre（莫纳什-鹰瞳研究中心）
自注意力机制，成功地采用了Transformer结构，在许多计算机视觉任务，包括图像识别，和目标检测的承诺。尽管激增，使用的Transformer的立体匹配的问题仍然相对未开发。在本文中，我们全面研究了立体匹配问题的Transformer的使用，特别是对于腹腔镜视频，并提出了一种新的混合深度立体匹配框架（HybridStereoNet），该框架将CNN和Transformer的最佳特性结合在一起。具体来说，我们研究了几种方法来引入Transformers的体积立体匹配管道通过分析损失景观的设计和域内/跨域的准确性。我们的分析表明，使用Transformers进行特征表示学习，而使用CNN进行成本聚合将导致比其他选项更快的收敛，更高的准确性和更好的泛化。我们在Sceneflow，SCARED 2019和dVPN数据集上的广泛实验证明了我们的HybridStereoNet的卓越性能。
2022-07-25 cs.CV
Self-Supervised Siamese Learning on Stereo Image Pairs for Depth Estimation in Robotic Surgery
The Hamlyn Centre for Robotic Surgery, IGHI, Imperial College London（伦敦帝国理工学院哈姆林机器人手术中心）；Dyson Robotics Laboratory, Imperial College London（伦敦帝国理工学院戴森机器人实验室）；OpenAI；Department of Surgery and Cancer, Imperial College London（伦敦帝国理工学院外科与癌症系）
机器人手术已成为执行微创手术的强大工具，与传统手术相比，机器人手术在灵活性、精确性和3D视觉方面具有优势。一种流行的机器人系统是达芬奇手术平台，它允许使用增强现实（AR）将术前信息纳入实时程序。场景深度估计是AR的先决条件，因为准确的配准需要术前和术中器官模型之间的3D对应关系。在过去的十年中，在手术场景的深度估计方面取得了很大进展，例如使用单目或双目腹腔镜[1，2]。最近，深度学习的进步已经通过卷积神经网络（CNN）实现了深度估计[3]，但训练需要具有地面真实深度的大型图像数据集。受[4]的启发，我们提出了一种用于手术场景深度估计的深度学习框架，该框架使用可扩展数据采集的自监督。我们的框架包括一个自动编码器的深度预测，和一个可微的空间Transformer训练立体图像对的自动编码器没有地面真实深度。对机器人肾部分切除术中收集的立体视频进行了验证。
2017-05-17 cs.CV cs.RO
WT-MVSNet: Window-based Transformers for Multi-view Stereo
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）；Bar-Ilan University（巴伊兰大学）；Research Institute of Tsinghua, Pearl River Delta（清华大学珠江三角洲研究院）
最近，Transformers被示出通过实现长距离特征交互来增强多视图立体视觉的性能。在这项工作中，我们提出了基于窗口的Transformers（WT）的局部特征匹配和全局特征聚合在多视图立体视觉。我们介绍了一种基于窗口的核线Transformer（WET），通过使用核线约束减少匹配冗余。由于点到线匹配是敏感的错误的相机姿势和校准，我们匹配的极线附近的窗口。第二个移位WT用于在成本量内聚合全局信息。我们提出了一种新的成本Transformer（CT），以取代3D卷积成本体积正则化。为了更好地约束多视图的估计深度图，我们进一步设计了一种新的几何一致性损失（Geo Loss），它惩罚不可靠的区域，其中多视图一致性不满意。我们的WT多视图立体视觉方法（WT-MVSNet）在多个数据集上实现了最先进的性能，并在坦克和寺庙基准测试中排名$1^{st}$。
2022-05-28 cs.CV
Transformer-based stereo-aware 3D object detection from binocular images
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences（中国科学院长春光学精密机械与物理研究所）；Tianjin University（天津大学）；Chongqing University（重庆大学）；Northwestern Polytechnical University（西北工业大学）
针对现有Transformer直接应用于双目立体3D检测收敛慢、精度降的问题，提出融合视差感知位置编码和立体保留特征金字塔的TS3D检测器，在KITTI数据集上实现了精度与速度的均衡表现。
2024-09-15 cs.CV
Hybrid Transformer and CNN Attention Network for Stereo Image Super-resolution
ByteDance Inc（字节跳动公司）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对立体图像超分辨率中Transformer无法利用立体信息且依赖数据的问题，提出混合Transformer和CNN注意力网络（HTCAN），结合多块训练等技术，在NTIRE 2023挑战赛Track 1中获胜。
2023-05-09 cs.CV
Transformer-Based Spatio-Temporal Association of Apple Fruitlets
Carnegie Mellon University（卡内基梅隆大学）
本文提出基于变换器的苹果果粒时空关联方法，通过自注意力和交叉注意力机制提升小尺寸水果的关联精度，实验结果显示在商业果园中达到92.4%的F1分数。
2025-03-05 cs.CV cs.RO
Learning Parallax Transformer Network for Stereo Image JPEG Artifacts Removal
Fudan University（复旦大学）
在立体设置下，可以通过利用由第二视图提供的附加信息来进一步提高图像JPEG伪影去除的性能。然而，将此信息用于立体图像JPEG伪影去除是一个巨大的挑战，因为现有的压缩伪影使得像素级视图对齐困难。在本文中，我们提出了一种新的视差Transformer网络（PTNet）的信息，从立体图像对立体图像JPEG伪影去除。具体来说，一个精心设计的对称双向视差Transformer模块，提出了匹配功能与相似的纹理之间的不同意见，而不是像素级的视图对齐。由于遮挡和边界的问题，提出了一个基于置信度的跨视图融合模块，以实现更好的特征融合的两个视图，其中跨视图的特征加权与置信度地图。特别是，我们采用了由粗到细的设计，跨视图的交互，导致更好的性能。综合的实验结果表明，我们的PTNet可以有效地消除压缩文物，并取得优于其他测试国家的最先进的方法的性能。
2022-07-15 cs.CV
Multi-View Stereo with Transformer
Tianjin University（天津大学）；University of Wollongong（卧龙岗大学）；AI Labs, Didi Chuxing（滴滴出行AI Labs）
本文提出了一种用于多视图立体视觉（MVS）的MVSTR网络。它构建在Transformer之上，能够提取具有全局上下文和3D一致性的密集特征，这对于实现MVS的可靠匹配至关重要。具体来说，为了解决现有的基于CNN的MVS方法的有限的接受域的问题，全局上下文Transformer模块首先提出了探索内部视图全局上下文。此外，为了进一步使密集特征具有3D一致性，构建了3D几何Transformer模块，该模块具有设计良好的交叉视图注意力机制，以促进视图间的信息交互。实验结果表明，该算法在DTU数据集上具有最佳的整体性能，在Tanks & Temples基准数据集上具有较强的泛化能力。
2021-12-01 cs.CV
A New Dataset and Transformer for Stereoscopic Video Super-Resolution
Bahcesehir University（巴赫切谢希尔大学）；American University of Malta（马耳他美国大学）；Multimedia University（多媒体大学）
立体视频超分辨率（SVSR）是通过重构高分辨率视频来提高低分辨率视频的空间分辨率。SVSR的关键挑战是保持立体一致性和时间一致性，否则观众可能会经历3D疲劳。立体图像超分辨率的研究已经有了一些成果，但立体视频超分辨率的研究还很少。在本文中，我们提出了一种新的基于transformer的SVSR模型，即trans-SVSR。trans-SVSR包括两个关键的新颖组件：时空卷积自注意层和基于光流的前馈层，该前馈层发现不同视频帧之间的相关性并对齐特征。视差注意力机制（PAM），使用跨视图的信息来考虑显着的差异被用来融合的立体视图。由于缺乏适合SVSR任务的基准数据集，我们收集了一个新的立体视频数据集SVSR-Set，其中包含71个使用专业立体摄像机捕获的全高清（HD）立体视频。在收集的数据集上进行的大量实验以及另外两个数据集表明，与最先进的方法相比，Trans-SVSR可以实现具有竞争力的性能。项目代码和其他结果可在https://github.com/H-deep/Trans-SVSR/上获得
2022-04-21 cs.CV
StereoDETR: Stereo-based Transformer for 3D Object Detection
Shanghai University（上海大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
StereoDETR是一种基于立体的高效3D目标检测框架，通过结合单目DETR和立体分支，实现了比单目方法更快的速度和更高的准确性。
2025-11-24 cs.CV
PFT-SSR: Parallax Fusion Transformer for Stereo Image Super-Resolution
The Chinese University of Hong Kong（香港中文大学）；Shanghai University（上海大学）；Jiangsu Key Laboratory of Image and Video Understanding for Social Safety（江苏省社会安全图像与视频理解重点实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）；East China Normal University（华东师范大学）
立体图像超分辨率是利用双目系统提供的辅助信息来提高图像超分辨率的性能。虽然以前的方法取得了可喜的成果，但他们没有充分利用跨视图和视图内的信息。为了进一步释放双目图像的潜力，在这封信中，我们提出了一种新的Transformerbased视差融合模块称为视差融合Transformer（PFT）。PFT采用交叉视图融合Transformer（CVFT）来利用交叉视图信息，并采用视图内细化Transformer（IVRT）来进行视图内特征细化。同时，我们采用Swin Transformer作为特征提取和SR重构的骨干，形成了一个纯Transformer架构，称为PFT-SSR。大量的实验和烧蚀研究表明，PFT-SSR取得了有竞争力的结果，并优于大多数SOTA方法。源代码可在https://github.com/MIVRC/PFT-PyTorch上获得。
2023-03-24 cs.CV
TransformerFusion: Monocular RGB Scene Reconstruction using Transformers
Technical University of Munich（慕尼黑工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们介绍了TransformerFusion，基于变换的三维场景重建方法。从输入的单目RGB视频中，视频帧由Transformer网络处理，该网络将观察融合到表示场景的体积特征网格中;然后将该特征网格解码为隐式3D场景表示。我们的方法的关键是Transformer架构，它使网络能够学习关注场景中每个3D位置的最相关图像帧，仅由场景重建任务监督。特征以从粗到细的方式融合，仅在需要时存储精细级特征，需要更低的内存存储并以交互速率实现融合。然后，使用来自内插的从粗到细的3D特征的基于MLP的表面占用预测，将特征网格解码为更高分辨率的场景重建。我们的方法可以实现精确的表面重建，优于最先进的多视图立体视觉深度估计方法、全卷积3D重建方法以及使用基于LSTM或GRU的递归网络进行视频序列融合的方法。
2021-07-05 cs.CV cs.GR cs.LG
PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism
National Institute of Informatics（国立信息学研究所）
现有的深度校准的光度立体网络基本上是基于预定义的操作（如线性投影和最大池化）在不同灯光下聚合观察结果。虽然它们对密集捕获是有效的，但简单的一阶运算往往无法捕获少量不同光下观测之间的高阶相互作用。为了解决这个问题，本文提出了一种深度稀疏校准的光度立体网络，名为{ \it PS-Transformer}，它利用可学习的自我注意力机制来正确捕获复杂的图像间交互。PS-Transformer建立在双分支设计的基础上，以探索像素和图像特征，并使用中间表面法线监督来训练单个特征，以最大限度地提高几何可行性。一个新的合成数据集命名为CyclesPS+与综合分析，成功地训练光度立体网络。在公开的基准数据集上的大量结果表明，所提出的方法的表面法线预测精度显着优于其他国家的最先进的算法与相同数量的输入图像，甚至是可比的密集算法，输入10 $\times$更多的图像。
2022-11-21 cs.CV
Hadamard Attention Recurrent Transformer: A Strong Baseline for Stereo Matching Transformer
College of Computer Science, the State Key Laboratory of Public Big Data（计算机科学学院、公共大数据国家重点实验室）；School of Information Engineering（信息工程学院）；School of Software（软件学院）；Key Laboratory of Integrated Microsystems, Shenzhen Graduate School（集成微系统重点实验室、深圳研究生院）；School of Computer Science and Engineering（计算机科学与工程学院）
针对当前立体匹配Transformer因注意力机制低秩瓶颈导致非线性表达能力有限、特征表示易受反射等挑战影响的问题，提出HART，其含DAK和MKOI模块以增强特征交互建模能力，在KITTI 2012反射区域排名第一。
2025-08-24 cs.CV
CostFormer:Cost Transformer for Cost Aggregation in Multi-view Stereo
Alibaba Group（阿里巴巴集团）；South China University of Technology（华南理工大学）
针对MVS中CNN代价聚合因局部感受野导致难以区分错误匹配的问题，提出基于Transformer的高效代价聚合网络CostFormer，通过RDACT和RRT模块提取长程特征并增强空间注意力，作为通用插件提升MVS性能。
2023-05-17 cs.CV
{S\textsuperscript{2}M\textsuperscript{2}}: Scalable Stereo Matching Model for Reliable Depth Estimation
Samsung Electronics（三星电子）
提出全局匹配架构{S\ extsuperscript{2}M\ extsuperscript{2}}，通过多分辨率Transformer和新型损失函数联合估计视差、遮挡与置信度，在Middlebury v3和ETH3D基准上实现最先进准确度与高效率。
2025-10-11 cs.AI cs.CV cs.RO
TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers
Megvii Technology（旷视科技）
在本文中，我们提出了transMVSNet，我们的探索多视图立体视觉（MVS）的特征匹配的基础上。我们类比MVS回到其性质的特征匹配任务，因此提出了一个强大的特征匹配Transformer（FMT），利用内（自我）和间（交叉）的注意力，聚合长距离的上下文信息内和跨图像。为了更好地适应FMT，我们利用自适应接受场（ARF）模块来确保功能范围的平滑过渡，并通过功能路径将不同阶段连接起来，以在不同尺度上传递转换后的功能和梯度。此外，我们采用成对的特征相关性来衡量特征之间的相似性，并采用减少歧义焦点损失来加强监督。据我们所知，TransMVSNet是将Transformer用于MVS任务的第一次尝试。因此，我们的方法在DTU数据集、Tanks和Temples基准测试以及BlendedMVS数据集上实现了最先进的性能。我们的方法代码将在www.example.com上提供。
2021-11-29 cs.CV
DDStereo: Efficient Dual Decoder Transformers for Stereo 3D Road Anomaly Detection
Shanghai University（上海大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
提出DDStereo，一种双解码器立体Transformer，通过轻量级解码器分支和紧凑视差特征提取器，实现实时开放集3D目标检测，在封闭和开放集协议下均达到最先进精度。
2026-07-08 cs.CV
ScaleFormer: Revisiting the Transformer-based Backbones from a Scale-wise Perspective for Medical Image Segmentation
Zhejiang University（浙江大学）；Ritsumeikan University（立命馆大学）；Yamaguchi University（山口大学）；Zhejiang Lab（之江实验室）
最近，各种各样的视觉Transformer已经被开发，因为它们具有建模远程依赖性的能力。在当前基于transformer的医学图像分割主干中，卷积层被纯Transformers取代，或者Transformers被添加到最深的编码器中以学习全局上下文。然而，从尺度角度来看，主要存在两个挑战：（1）尺度内问题：现有方法缺乏在每个尺度上提取局部-全局线索，这可能影响小对象的信号传播;（2）尺度间问题：现有的方法不能从多个尺度探索独特的信息，这可能阻碍从具有广泛可变尺寸的对象的表示学习，形状和位置。为了解决这些限制，我们提出了一种新的骨干，即ScaleFormer，具有两个吸引人的设计：（1）尺度内尺度变换器Transformer被设计为将每个尺度中基于CNN的局部特征与基于变换器的全局线索耦合，其中行和列全局依赖性可以通过轻量级双轴MSA来提取。(2)设计了一种简单有效的空间感知跨尺度变换器Transformer，用于多尺度下的一致性区域间的交互，突出跨尺度依赖性，解决复杂的尺度变化问题。在不同基准上的实验结果表明，我们的Scale-Former优于当前最先进的方法。该代码可在https://github.com/ZJUGiveLab/ScaleFormer上公开获取。
2022-07-29 cs.CV
Multi-scale Alternated Attention Transformer for Generalized Stereo Matching
Hunan University（湖南大学）
本文提出AAUformer，通过窗口自注意力和多尺度交替注意力骨干网络平衡极线约束在单双视图中的作用，在Scene Flow和KITTI 2015等数据集上取得领先的立体匹配与跨域泛化性能。
2023-08-06 cs.CV
Volume Transformer: Revisiting Vanilla Transformers for 3D Scene Understanding
RWTH Aachen University（亚琛RWTH大学）；Eindhoven University of Technology（埃因霍温技术大学）
本文提出体积分层变换器（Volt），通过最小修改将标准变换器编码器应用于3D场景，利用体积分块和全全局自注意力机制，结合3D旋转位置嵌入，实现3D语义分割，并通过多数据集联合训练提升性能，达到室内和室外数据集的最新水平。
2026-08-26 cs.CV
SGDFormer: One-stage Transformer-based Architecture for Cross-Spectral Stereo Image Guided Denoising
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与工程学院）；Ningbo Research Institute, Zhejiang University（浙江大学宁波研究院）；Zhejiang GongShang University（浙江工商大学）
本文提出单阶段Transformer架构SGDFormer，通过噪声鲁棒交叉注意力和空间变化特征融合模块解决跨光谱立体图像引导去噪中的视差与伪影问题，在多个数据集上取得最优性能并可扩展至引导深度超分辨率任务。
2024-03-30 cs.CV
Global Occlusion-Aware Transformer for Robust Stereo Matching
Tokyo Institute of Technology（东京工业大学）
针对立体匹配中遮挡区域因 CNN 感受野受限而难以估计视差的问题，本文提出 GOAT，通过 PDO 并行注意力模块和 OCA 全局聚合模块建模长程遮挡感知上下文，并在多个基准上取得优异结果。
2023-12-22 cs.CV
PSMNet: Position-aware Stereo Merging Network for Room Layout Estimation
Zillow Group（Zillow集团）；The City College of New York（纽约城市学院）
在本文中，我们提出了一种新的基于深度学习的方法，用于在给定一对360度全景图的情况下估计房间布局。我们的系统，称为位置感知立体融合网络或PSMNet，是一个端到端的联合布局姿态估计器。PSMNet由一个立体全景姿态（SP2）Transformer和一个新的交叉透视投影（CP2）层组成。立体视图SP2 Transformer用于隐式地推断视图之间的对应关系，并且可以处理噪声姿态。姿态感知CP2层被设计为将来自相邻视图的特征渲染到锚（参考）视图，以便执行视图融合并估计可见布局。我们的实验和分析验证了我们的方法，它显着优于最先进的布局估计，特别是对于大型和复杂的房间空间。
2022-03-30 cs.CV
Revisiting Audio-Visual Segmentation with Vision-Centric Transformer
Hefei University of Technology（合肥工业大学）；Chinese Academy of Sciences（中国科学院）；Beihang University（北航）；Sangfor Technologies（深信服技术）
针对现有以音频为中心的Transformer在视听分割中存在的感知模糊和视觉细节丢失问题，提出以视觉为中心的VCT框架及PPQG模块，利用视觉派生查询聚合视听信息，在AVSBench数据集上取得最优性能。
2025-06-30 cs.CV
Improving Vision Transformers by Revisiting High-frequency Components
Peng Cheng Laboratory（鹏城实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of ECE at Peking University（北京大学电子工程与计算机科学学院）；Tencent（腾讯）；Sea AI Lab（Sea人工智能实验室）
Transformer模型在处理各种视觉任务中表现出了很好的效果。然而，与训练卷积神经网络（CNN）模型相比，训练视觉Transformer（ViT）模型更加困难，并且依赖于大规模的训练集。为了解释这一现象，我们提出了一个假设，即\textit{ViT models are less effective in capturing the high-frequency components of images than CNN models}，并验证了它的频率分析。受这一发现的启发，我们首先从新的频率角度研究了现有技术对改善ViT模型的影响，并发现一些技术（例如，RandAugment）可以归因于更好地使用高频分量。然后，为了弥补ViT模型能力的不足，我们提出了HAT，它通过对抗训练直接增强图像的高频分量。我们表明，HAT可以始终如一地提高各种ViT模型的性能（例如，ViT-B +1.2%，Swin-B +0.5%），特别是将仅使用ImageNet-1 K数据的高级模型VOLO-D5提升至87.3%，并且在分发外数据上也可以保持优势，并转移到下游任务。该代码可从以下网址获取：https://github.com/jiawangbai/HAT。
2022-07-27 cs.CV
SparseViT: Revisiting Activation Sparsity for Efficient High-Resolution Vision Transformer
Shanghai Qi Zhi Institute（上海期智研究院）；Fudan University（复旦大学）；MIT（麻省理工学院）；Tsinghua University（清华大学）
高分辨率图像使神经网络能够学习更丰富的视觉表示。然而，这种改进的性能是以增加计算复杂性为代价的，这阻碍了它们在延迟敏感的应用中的使用。由于并非所有像素都是相等的，因此跳过对不太重要的区域的计算提供了一种简单而有效的措施来减少计算。然而，这很难转化为CNN的实际加速，因为它打破了密集卷积工作负载的规律性。在本文中，我们介绍了SparseViT，重新激活稀疏最近基于窗口的视觉Transformer（ViTs）。由于窗口注意力自然地在块上分批，因此窗口激活修剪的实际加速变得可能：即，延迟减少约50%，稀疏度为60%。不同的层应该分配不同的修剪率，由于其不同的敏感性和计算成本。我们引入稀疏感知适应和应用进化搜索，有效地找到最佳的逐层稀疏配置在广阔的搜索空间。SparseViT在单目3D目标检测、2D实例分割和2D语义分割方面分别实现了1.5倍、1.4倍和1.3倍的加速比，准确性几乎可以忽略不计。
2023-03-30 cs.CV
MaDis-Stereo: Enhanced Stereo Matching via Distilled Masked Image Modeling
Ewha W. University（梨花女子大学）
本文提出 MaDis-Stereo，利用 MIM 联合重建与深度预测，并通过 EMA 教师伪标签蒸馏稳定训练，从而增强 Transformer 立体模型的局部归纳偏置，在 ETH3D、KITTI 2015 上达到 SOTA。
2024-09-04 cs.CV
Revisiting Risky Tackle Detection with Vision Transformers
Kansas State University（堪萨斯州立大学）；Albright College（奥尔布赖特学院）
本文复现了ICPR 2026中基于ViViT的危险擒抱检测研究，确认run_15的召回率0.667和F1 0.588与原文一致，并发现亮度增强是主导因素，无增强时模型不及C3D基线。
2026-09-29 cs.CV
Revisiting Vision Transformer from the View of Path Ensemble
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Amazon（亚马逊）
该研究将 ViT 重新解释为多长度并行路径的显式集成网络，并通过路径剪枝、EnsembleScale 与自蒸馏优化路径组合，提升深层 ViT 性能。
2023-08-12 cs.CV
CAMSIC: Content-aware Masked Image Modeling Transformer for Stereo Image Compression
SenseTime（商汤科技）
本文提出CAMSIC立体图像压缩框架，通过内容感知掩码图像建模和无解码器Transformer熵模型同时捕捉空间与视差依赖，在Cityscapes和InStereo2K上以快速编解码速度实现最先进的率失真性能。
2025-02-08 cs.AI cs.CV cs.MM
