AffineGlue: Joint Matching and Robust Estimation
ETH Zurich（苏黎世联邦理工学院）；CTU in Prague（布拉格捷克理工大学）；HOVER Inc.（HOVER公司）；Microsoft Mixed Reality and AI Zurich Lab（微软苏黎世混合现实与人工智能实验室）
提出AffineGlue方法，通过单点最小求解器联合双视图特征匹配与鲁棒估计，推导仅需单个仿射对应和重力先验的单应性求解器并训练网络剔除低质对应，在真实数据集上显著优于SOTA。
2023-07-28 cs.CV
LoFLAT: Local Feature Matching using Focused Linear Attention Transformer
Northwestern Polytechnical University（西北工业大学）
针对现有基于Transformer的无检测器局部特征匹配方法计算复杂度高、难捕捉精细局部交互的问题，提出含聚焦线性注意力的LoFLAT方法，通过三大模块实现匹配，在效率与精度上均优于LoFTR。
2024-10-30 cs.CV
Deep Learning Meets Satellite Images -- An Evaluation on Handcrafted and Learning-based Features for Multi-date Satellite Stereo Images
The Ohio State University（俄亥俄州立大学）；Bruno Kessler Foundation (FBK)（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）；Kuwait University（科威特大学）
本文在约500对多时相卫星立体影像上评估SIFT与七种深度学习匹配方法，发现传统方法仍具竞争力，而学习型方法在特定场景下表现突出。
2024-09-04 cs.CV
Pentagon-Match (PMatch): Identification of View-Invariant Planar Feature for Local Feature Matching-Based Homography Estimation
National Yang Ming Chiao Tung Univ.（国立阳明交通大学）
本文提出Pentagon-Match (PMatch)采样方案，利用随机采样的五边形及其交比视角不变性验证关键点匹配，从而在LoFTR匹配基础上高效准确地估计平面场景单应性并识别外点。
2023-05-27 cs.CV
Automatic Image Unfolding and Stitching Framework for Esophageal Lining Video Based on Density-Weighted Feature Matching
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
针对食管内窥镜视频视野狭窄、拼接困难的问题，提出融合 LoFTR、SIFT、ORB 与 DWHO 的自动展开拼接框架，以低 RMSE、高 SSIM 生成食管全景图。
2024-10-02 cs.CV
SGAD: Semantic and Geometric-aware Descriptor for Local Feature Matching
Xidian University（西电大学）；Navinfo Europe B.V（Navinfo欧洲有限公司）
本文提出SGAD网络，通过生成高区分度区域描述子实现无需图优化的直接匹配，结合分类与排序监督策略及HCRF冗余过滤器，在大幅提升局部特征匹配精度与效率的同时刷新了SOTA。
2025-08-09 cs.CV
Leveraging Image Matching Toward End-to-End Relative Camera Pose Regression
Weizmann Institute of Science（魏茨曼科学研究所）
提出利用预训练 LoFTR 图像匹配提取半密集特征并结合方向、尺度分离损失的端到端相对相机位姿回归方法，在多数据集上优于既有方法且泛化良好。
2024-04-16 cs.CV
Are Semi-Dense Detector-Free Methods Good at Matching Local Features?
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMS（信息与信号处理研究所）
本文研究SDF方法匹配能力与位姿估计质量的联系，提出SAM架构，发现在纹理区域限制匹配计算时，匹配精度与位姿估计准确性强相关。
2024-06-01 cs.AI cs.CV
SGFormer: Structure-Guided Transformer for Robust Local Feature Matching
针对局部特征匹配中Transformer注意力发散的问题，提出SGFormer结构引导Transformer，通过三重结构注意力模块增强显著结构区域的注意力，有效提升了匹配精度。
2026-09-01 cs.CV
AnyMatch: Supercharging Universal Multi-Modal Image Matching with Large-Scale Single-View Images
Electronic Information School, Wuhan University（武汉大学电子信息学院）；School of Robotics, Wuhan University（武汉大学机器人学院）
提出AnyMatch框架，利用单视图图像生成多模态训练数据，通过单目深度估计、3D重投影、扩散修复和跨模态图像翻译合成几何一致的多视图多模态图像对，构建大规模数据集Any-syn，显著提升多模态匹配网络的泛化性和鲁棒性。
2026-07-02 cs.CV
Modality-Aware Feature Matching in Visual and Vision-Language Applications: A Comprehensive Survey
School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics（江西财经大学计算机与人工智能学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）；School of Computing and Communications, Lancaster University（兰卡斯特大学计算机与通讯学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)（新加坡资讯研究院，科技研究局（A*STAR））；Department of Automation, Tsinghua University（清华大学自动化系）
综述基于模态的特征匹配，涵盖传统手工方法和现代深度学习方法，重点讨论跨RGB、深度、3D点云、LiDAR、医学图像及视觉-语言模态的进展，突出模态感知技术。
2026-06-12 cs.CV
OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models
Zhejiang University（浙江大学）；The University of Sydney（悉尼大学）；Image Derivative Inc.（图像衍生公司）
我们提出了一种新的方法来估计物体的姿态没有CAD模型。先前基于特征匹配的方法OnePose在一次性设置下显示出有希望的结果，从而消除了对CAD模型或特定于对象的训练的需要。然而，OnePose依赖于检测可重复的图像关键点，因此在低纹理物体上容易失败。我们提出了一个无关键点的姿态估计管道，以消除对可重复的关键点检测的需要。在无检测器特征匹配方法LoFTR的基础上，我们设计了一种新的无关键点SfM方法来重建物体的半密集点云模型。给定用于对象姿态估计的查询图像，2D-3D匹配网络直接建立查询图像与重建的点云模型之间的2D-3D对应关系，而无需首先检测图像中的关键点。实验表明，该管道优于现有的一次性CAD模型的方法，由一个大的利润率，是可比的CAD模型为基础的方法LINEMOD即使是低纹理的对象。我们还收集了一个新的数据集组成的80个序列的40个低纹理的对象，以促进未来的研究，一杆物体姿态估计。补充材料、代码和数据集可在项目页面上获得：https://zju3dv.github.io/onepose_plus_plus/。
2023-01-18 cs.CV
Leveraging Semantic Cues from Foundation Vision Models for Enhanced Local Feature Correspondence
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）；Université de Bourgogne（勃艮第大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）；Microsoft（微软公司）
本文提出一种利用基础视觉模型（如DINOv2）语义线索增强局部特征匹配的方法，将语义推理融入现有描述子，实现无需图像对的快速特征缓存与相似性搜索，在相机定位中性能平均提升29%，准确率与LightGlue和LoFTR相当。
2024-10-12 cs.CV
TransMatcher: Deep Image Matching Through Transformers for Generalizable Person Re-identification
Inception Institute of Artificial Intelligence（起源人工智能研究院）
Transformers最近在计算机视觉中获得了越来越多的关注。然而，现有的研究大多使用Transformers进行特征表示学习，例如用于图像分类和密集预测，并且Transformers的泛化能力是未知的。在这项工作中，我们进一步研究了应用Transformers进行图像匹配和度量学习的可能性。我们发现，视觉Transformer（ViT）和香草Transformer与解码器是不够的图像匹配，由于他们缺乏图像到图像的关注。因此，我们进一步设计了两个简单的解决方案，即ViT中的查询-图库连接，以及香草Transformer中的查询-图库交叉关注。后者提高了性能，但仍然有限。这意味着Transformers中的注意力机制主要是为全局特征聚合而设计的，这并不自然地适合于图像匹配。因此，我们提出了一种新的简化解码器，它放弃了softmax加权的全注意力实现，只保留查询键相似度计算。此外，全局最大池和多层感知器（MLP）头被应用于解码的匹配结果。这样，简化的解码器在计算上更有效，同时对于图像匹配更有效。所提出的方法称为TransMatcher，在可推广的人员重新识别方面实现了最先进的性能，在几个流行的数据集上，Rank-1和mAP的性能分别提高了6.1%和5.7%。代码可在https://github.com/ShengcaiLiao/QAConv上获得。
2021-12-07 cs.CV
Deep Laparoscopic Stereo Matching with Transformers
Monash University（莫纳什大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）；Monash-Airdoc Research Centre（莫纳什-鹰瞳研究中心）
自注意力机制，成功地采用了Transformer结构，在许多计算机视觉任务，包括图像识别，和目标检测的承诺。尽管激增，使用的Transformer的立体匹配的问题仍然相对未开发。在本文中，我们全面研究了立体匹配问题的Transformer的使用，特别是对于腹腔镜视频，并提出了一种新的混合深度立体匹配框架（HybridStereoNet），该框架将CNN和Transformer的最佳特性结合在一起。具体来说，我们研究了几种方法来引入Transformers的体积立体匹配管道通过分析损失景观的设计和域内/跨域的准确性。我们的分析表明，使用Transformers进行特征表示学习，而使用CNN进行成本聚合将导致比其他选项更快的收敛，更高的准确性和更好的泛化。我们在Sceneflow，SCARED 2019和dVPN数据集上的广泛实验证明了我们的HybridStereoNet的卓越性能。
2022-07-25 cs.CV
MatchFormer: Interleaving Attention in Transformers for Feature Matching
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
局部特征匹配是亚像素级的计算密集型任务。虽然基于检测器的方法结合特征描述符在低纹理场景中挣扎，但具有顺序提取到匹配流水线的基于CNN的方法无法利用编码器的匹配能力，并且往往会使解码器负担过重。相比之下，我们提出了一种新的分层提取和匹配Transformer，称为MatchFormer。在分层编码器的每个阶段，我们交错的特征提取和交叉关注的特征匹配的自我关注，产生一个人类直观的提取和匹配方案。这种匹配感知的编码器释放了过载的解码器，使模型高效。此外，在分层架构中组合多尺度特征上的自关注和交叉关注提高了匹配鲁棒性，特别是在低纹理室内场景或具有较少室外训练数据的情况下。由于这种策略，MatchFormer在效率，鲁棒性和精度方面是一个多赢的解决方案。与之前室内姿势估计的最佳方法相比，我们的精简版MatchFormer只有45%的GFLOP，但实现了+1.3%的精度增益和41%的运行速度提升。大型MatchFormer在四个不同的基准上达到了最先进的水平，包括室内姿态估计（ScanNet）、室外姿态估计（MegaDepth）、单应性估计和图像匹配（HPatch）以及视觉定位（InLoc）。
2022-09-23 cs.CV cs.RO eess.IV
Improving Transformer-based Image Matching by Cascaded Capturing Spatially Informative Keypoints
Fudan University（复旦大学）
针对Transformer图像匹配空间相关性受限导致位姿估计精度低的问题，提出级联匹配模型CasMTR，结合NMS后处理提升匹配精度，在室内外位姿估计和视觉定位任务上达到SOTA。
2023-07-18 cs.CV
Robust structure from motion for aerial-ground images via detector-free feature matching and multi-view track refinement
School of Architecture and Urban Planning, Shenzhen University（深圳大学建筑与城市规划学院）；Guangdong Key Laboratory of Urban Informatics, Shenzhen University（深圳大学广东省城市信息学重点实验室）；MNR Key Laboratory for Geo-Environmental Monitoring of Great Bay Area, Shenzhen University（深圳大学自然资源部大湾区地理环境监测重点实验室）
本研究提出结合无检测器匹配网络与多视图轨迹优化的方法，用于解决空地图像三维重建中特征匹配鲁棒性问题，在5°位姿误差下AUC较LoFTR提升93.9%，实现更高精度的ISfM重建。
2026-08-18 cs.CV
Adaptive Spot-Guided Transformer for Consistent Local Feature Matching
University of Science and Technology of China（中国科学技术大学）
局部特征匹配的目的是找到一对图像之间的对应关系。虽然目前的无检测器方法利用Transformer架构来获得令人印象深刻的性能，但很少有作品考虑保持局部一致性。同时，大多数方法都难以处理大规模的变化。为了解决上述问题，我们提出了自适应斑点引导Transformer（ASTR）的局部特征匹配，它联合模型的局部一致性和规模变化在一个统一的粗到细的架构。拟议的ASTR有几个优点。首先，我们设计了一个点引导的聚合模块，以避免在特征聚合过程中干扰无关区域。其次，在精细化阶段，我们设计了一个自适应缩放模块，根据计算的深度信息调整网格的大小。在五个标准基准上的大量实验结果表明，我们的ASTR对最先进的方法表现良好。我们的代码将在https://astr2023.github.io上发布。
2023-03-29 cs.CV
MPDiT: Multi-Patch Global-to-Local Transformer Architecture For Efficient Flow Matching and Diffusion Model
Rutgers University（罗格斯大学）
MPDiT通过多块变换器架构在扩散和流匹配模型中实现高效计算，减少50%的GFLOPs消耗同时保持生成性能，改进时间与类别嵌入设计加速训练收敛。
2026-04-04 cs.CV
TP3M: Transformer-based Pseudo 3D Image Matching with Reference Image
AI Innovation Center, China Unicom（中国联通AI创新中心）；Unicom Digital Technology, China Unicom（中国联通数字科技）
针对大视角、光照变化或低纹理场景下的图像匹配难题，提出基于Transformer的带参考图像的伪3D匹配方法TP3M，通过参考图像将源图2D特征升级为3D并经粗到细匹配，在多个相关任务上达SOTA。
2024-08-12 cs.CV
FMRT: Learning Accurate Feature Matching with Reconciliatory Transformer
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对固定感受野限制特征匹配精度的问题，提出基于调和Transformer的无检测器方法FMRT，通过多感受野自适应调和与可靠位置编码提升多基准性能。
2023-10-20 cs.CV
LGFCTR: Local and Global Feature Convolutional Transformer for Image Matching
Beihang University（北京航空航天大学）
本文提出卷积Transformer图像匹配方法LGFCTR，通过类FPN框架、多尺度注意力卷积Transformer模块和亚像素细化模块，同时捕获局部与全局特征，在多个基准上取得优越性能。
2023-11-29 cs.CV
Transformer Reasoning Network for Image-Text Matching and Retrieval
National Research Council（国家研究委员会）；Institute of Information Science and Technologies（信息科学与技术研究所）
图像-文本匹配是现代人工智能研究中一项有趣而迷人的任务。尽管基于深度学习的图像和文本处理系统不断发展，但多模态匹配仍然是一个具有挑战性的问题。在这项工作中，我们考虑的问题，准确的图像-文本匹配的任务，多模态大规模信息检索。图像-文本匹配中的最新结果是通过来自两个不同处理流水线的图像和文本特征的相互作用来实现的，通常使用相互注意力机制。然而，这使得在大规模检索系统中提取后续索引步骤所需的单独视觉和文本特征的任何机会都无效。在这方面，我们介绍了Transformer编码器推理网络（TERN），一个架构上的现代关系感知的自我关注的架构，Transformer编码器（TE）。该体系结构能够分别对两种不同的模态进行推理，并通过共享更深的Transformer层的权重来强制执行最终的公共抽象概念空间。由于这种设计，所实现的网络能够产生紧凑且非常丰富的视觉和文本特征，可用于后续索引步骤。在MS-COCO数据集上进行实验，我们使用折扣累积增益度量评估结果，并利用字幕相似性计算相关性，以评估可能不准确但相关的搜索结果。我们证明，在这个指标上，我们能够实现国家的最先进的图像检索任务的结果。我们的代码可以在https://github.com/mesnico/TERN上免费获得。
2021-01-25 cs.CV
Normalized Matching Transformer
Heinrich Heine University Düsseldorf（海因里希·海涅大学多特蒙德）
本研究提出归一化匹配Transformer（NMT），通过超球面归一化策略与组合损失实现高效准确的图像对稀疏语义关键点匹配，在两个数据集上刷新SOTA且收敛更快。
2026-05-05 cs.CV cs.LG
Hadamard Attention Recurrent Transformer: A Strong Baseline for Stereo Matching Transformer
College of Computer Science, the State Key Laboratory of Public Big Data（计算机科学学院、公共大数据国家重点实验室）；School of Information Engineering（信息工程学院）；School of Software（软件学院）；Key Laboratory of Integrated Microsystems, Shenzhen Graduate School（集成微系统重点实验室、深圳研究生院）；School of Computer Science and Engineering（计算机科学与工程学院）
针对当前立体匹配Transformer因注意力机制低秩瓶颈导致非线性表达能力有限、特征表示易受反射等挑战影响的问题，提出HART，其含DAK和MKOI模块以增强特征交互建模能力，在KITTI 2012反射区域排名第一。
2025-08-24 cs.CV
SceneGTMM: A Conformal Mapping-based Scene-Aware Transferable GNN-Transformer Dual-Graph Interaction Framework for Map Matching
本文提出SceneGTMM框架，通过保角映射场景策略、双图交互架构与CRF增强预测，提升地图匹配的噪声鲁棒性、跨区域迁移性与可解释性，在多源及跨城轨迹匹配中表现优于基线方法。
2026-08-21 cs.CV
Efficient Linear Attention for Fast and Accurate Keypoint Matching
KDDI Research, Inc.（KDDI综合研究所）
最近，Transformers在稀疏匹配方面提供了最先进的性能，这对于实现高性能3D视觉应用至关重要。然而，这些Transformers由于其注意力机制的二次计算复杂性而缺乏效率。针对线性计算复杂性，提出了一种有效的线性注意力算法。然后，我们提出了一种新的注意力聚合，通过聚合来自稀疏关键点的全局和局部信息来实现高精度。为了进一步提高效率，我们提出了特征匹配和描述的联合学习。我们的学习比Sinkhorn更简单，更快地匹配，通常用于匹配来自Transformers的学习描述符。我们的方法在HPatch、ETH和Aachen Day-Night三个基准测试中，与更大的SOTA SuperGlue（12 M参数）和SGMNet（30 M参数）相比，仅用0.84M可学习参数就实现了具有竞争力的性能。
2022-04-22 cs.CV
XoFTR: Cross-modal Feature Matching Transformer
Middle East Technical University（中东技术大学）；ROKETSAN Inc.（罗克etsan公司）
针对热红外与可见光图像跨模态匹配受纹理、强度及视角差异影响的难题，提出结合掩码图像建模预训练、伪热图增强微调及亚像素优化匹配流水线的XoFTR方法，在多基准上性能优于现有方法。
2024-04-15 cs.CV
Semantic-Constraint Matching Transformer for Weakly Supervised Object Localization
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；Pazhou Lab（琶洲实验室）
针对弱监督目标定位中CNN部分激活和Transformer发散激活问题，提出语义约束匹配网络SCMN，通过局部补丁洗牌构建图像对并匹配类激活图来校准网络，在CUB-200-2011和ILSVRC上取得最先进性能。
2023-09-04 cs.CV
UniTT-Stereo: Unified Training of Transformer for Enhanced Stereo Matching
Ewha W. University（梨花女子大学）
本文提出UniTT-Stereo，通过统一自监督预训练与监督立体匹配框架，并引入可变掩蔽比例训练策略，在有限真值数据下提升Transformer立体匹配性能，在ETH3D和KITTI等基准上达到最先进水平。
2024-09-04 cs.CV
Multi-scale Alternated Attention Transformer for Generalized Stereo Matching
Hunan University（湖南大学）
本文提出AAUformer，通过窗口自注意力和多尺度交替注意力骨干网络平衡极线约束在单双视图中的作用，在Scene Flow和KITTI 2015等数据集上取得领先的立体匹配与跨域泛化性能。
2023-08-06 cs.CV
ASpanFormer: Detector-Free Image Matching with Adaptive Span Transformer
HKUST（香港科技大学）；Apple Inc.（苹果公司）
在图像之间生成鲁棒且可靠的对应关系是各种应用的基本任务。为了在全局和局部粒度上捕获上下文，我们提出了ASpanFormer，这是一个基于Transformer的无检测器匹配器，它建立在分层注意力结构上，采用了一种新的注意力操作，能够以自适应的方式调整注意力跨度。首先，在每个交叉注意阶段对流图进行回归，定位搜索区域的中心。接下来，围绕中心生成采样网格，其大小不是根据经验配置为固定的，而是根据与流图一起估计的像素不确定性自适应地计算。最后，在派生区域内的两个图像上计算注意力，称为注意广度。通过这些方法，我们不仅能够保持长距离的依赖关系，而且还能够在高相关性的像素之间实现细粒度的注意力，以补偿匹配任务中的基本局部性和分段平滑性。在广泛的评估基准上的最先进的准确性验证了我们的方法的强大匹配能力。
2022-08-30 cs.CV
ParaFormer: Parallel Attention Transformer for Efficient Feature Matching
Southeast University（东南大学）；Nanjing University of Posts and Telecommunication（南京邮电大学）
计算量大是限制基于深度学习的特征匹配算法在许多实时应用中应用的瓶颈。然而，现有的轻量级网络优化欧几里德数据不能解决经典的特征匹配任务，因为稀疏的关键点的描述符预计将被匹配。本文解决了这个问题，并提出了两个概念：1）一种新的并行注意力模型ParaFormer和2）基于图的U-Net架构与注意力池。首先，ParaFormer通过幅度和相位的概念融合特征和关键点位置，并以并行的方式集成自注意和交叉注意，在准确性和效率方面实现了双赢的性能。其次，通过U-Net架构和提出的注意力池，ParaFormer-U变体显著降低了计算复杂性，并最大限度地减少了下采样造成的性能损失。在单应性估计、姿态估计和图像匹配等各种应用上的充分实验表明，ParaFormer在保持高效率的同时实现了最先进的性能。高效的ParaFormer-U变体实现了与现有基于注意力的模型相比具有不到50% FLOP的性能。
2023-03-10 cs.CV
DeepMatcher: A Deep Transformer-based Network for Robust and Accurate Local Feature Matching
Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Group Inc.（商汤集团有限公司）
图像之间的局部特征匹配仍然是一项具有挑战性的任务，特别是在存在显著外观变化的情况下，例如，极端观点的变化。在这项工作中，我们提出了DeepMatcher，这是一种基于深度转换器的网络，建立在我们对无检测器方法中局部特征匹配的研究基础上。关键的见解是，具有深层的局部特征匹配器可以捕获更人性化和更简单的匹配特征。在此基础上，我们提出了一个专门用于DeepMatcher的Slimming Transformer（SlimFormer），它利用基于向量的注意力来建模所有关键点之间的相关性，并以高效和有效的方式实现长距离上下文聚合。对每个SlimFormer应用相对位置编码，以便明确地公开相对距离信息，进一步改进关键点的表示。在每个SlimFormer中还采用了层尺度策略，使网络能够自适应地吸收来自残差块的消息交换，从而允许它模拟人类行为，即人类每次扫描图像对时都可以获得不同的匹配线索。为了便于更好地适应SlimFormer，我们引入了一个功能转换模块（FTM），以确保在不同的感受野功能范围的平滑过渡。通过多次交错自SlimFormer和交叉SlimFormer，DeepMatcher可以轻松地在粗略级别上建立像素级密集匹配。最后，我们将匹配细化视为分类和回归问题的组合，并设计精细匹配模块来同时预测置信度和偏移量，从而生成鲁棒且准确的匹配。在实验中，我们证明了DeepMatcher在几个基准…
2023-01-08 cs.CV
A Consistency-Aware Spot-Guided Transformer for Versatile and Hierarchical Point Cloud Registration
College of Control Science and Engineering（控制科学与工程学院）；Zhejiang University（浙江大学）
针对点云配准中粗匹配缺乏几何一致性导致效率与可扩展性差的问题，提出一致性感知斑点引导Transformer（CAST），通过斑点引导交叉注意力与一致性感知自注意力模块及轻量级细匹配模块，实现了最先进的配准精度、效率和鲁棒性。
2024-10-14 cs.CV
GMTR: Graph Matching Transformers
MOE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室）
针对视觉Transformer原有网格策略忽略关键点空间信息的问题，提出QueryTrans模块并整合图注意力构建GMTR图匹配方法，在多个基准上取得优于现有方法的性能。
2023-12-14 cs.CV cs.LG
IFViT: Interpretable Fixed-Length Representation for Fingerprint Matching via Vision Transformer
Anhui University（安徽大学）；Monash University（莫纳什大学）；Fuzhou University（福州大学）；University of Hong Kong（香港大学）；University of Nottingham Malaysia Campus（诺丁汉大学马来西亚校区）；University of Sassari（萨萨里大学）
该研究提出基于视觉Transformer的可解释指纹匹配网络IFViT，通过可解释密集配准模块和定长表示提取匹配模块，兼顾匹配性能与可解释性，在公开指纹数据集上效果优异。
2024-04-12 cs.AI cs.CV
D$^3$ETR: Decoder Distillation for Detection Transformer
Peking University（北京大学）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
虽然基于CNN的检测器中的各种知识蒸馏（KD）方法在提高小学生方面表现出了有效性，但基于DETR的检测器的基线和配方尚未建立。本文主要研究基于DETR的检测器中的Transformer解码器，并探讨其KD方法。Transformer解码器的输出是随机的，这使得教师和学生的预测之间没有直接的对应关系，从而对知识蒸馏提出了挑战。为此，我们提出了MixMatcher来对齐基于DETR的教师和学生的解码器输出，它混合了两种教师-学生匹配策略，即，自适应匹配和固定匹配。具体地，自适应匹配应用二分匹配以自适应地匹配每个解码器层中的教师和学生的输出，而固定匹配固定具有相同对象查询的教师和学生的输出之间的对应关系，其中教师的固定对象查询作为辅助组被馈送到学生的解码器。在MixMatcher的基础上，我们构建了\textbf{D}编码器\textbf{D} istilation for \textbf{DE} tection \textbf{TR} ansformer（D $^3$ ETR），它将解码器预测和注意力地图中的知识从教师那里提取出来，传递给学生。D $^3$ ETR在具有不同主链的各种基于DETR的检测器上显示出优异的性能。例如，D $^3$ ETR在$12/50$ epoch训练设置下通过$\textbf{7.8}/\textbf{2.4}$ mAP改进条件DETR-R50-C5，条件…
2022-11-17 cs.CV
AMatFormer: Efficient Feature Matching via Anchor Matching Transformer
Anhui University（安徽大学）；First Affiliated Hospital of Anhui University of Chinese Medicine（安徽中医药大学第一附属医院）
本文提出AMatFormer，通过仅在锚点特征上进行注意力计算并作为消息瓶颈，同时采用共享FFN学习跨图一致性表示，以高效紧凑地解决大规模冗余和离群点条件下的特征匹配问题。
2023-05-30 cs.AI cs.CV
A Light-weight Transformer-based Self-supervised Matching Network for Heterogeneous Images
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
针对异源遥感图像匹配中标注数据稀缺与辐射差异大的问题，提出基于轻量级Transformer的自监督匹配网络LTFormer及LT Loss，实现鲁棒关键点描述子并取得有竞争力的匹配性能。
2024-04-30 cs.CV cs.MM
FlowIt: Global Matching via Hierarchical Transformers and Optimal Transport for Optical Flow
Department of Computer Engineering and KUIS AI Center, Koç University, Istanbul, Turkey（计算机工程系和KUIS人工智能中心，科克大学，伊斯坦布尔，土耳其）；Department of Computer Science and Engineering (DISI), University of Bologna, Italy（计算机科学与工程系（DISI），博洛尼亚大学，意大利）
提出FlowIt架构，结合分层Transformer和最优传输进行全局匹配，并通过置信度与遮挡引导的细化步骤，在多个基准上达到最先进性能。
2026-05-31 cs.CV
Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers
University of Science and Technology of China（中国科学技术大学）
本文提出sREPA框架，通过显式结构约束来对齐特征图的相对几何关系，以提高生成质量并加速收敛。
2026-05-16 cs.CV
Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers
Johns Hopkins University（约翰斯·霍普金斯大学）
立体深度估计依赖于左图像和右图像中的核线上的像素之间的最佳对应匹配来推断深度。在这项工作中，我们重新审视这个问题，从序列到序列对应的角度来取代成本量建设密集像素匹配使用位置信息和注意。这种方法称为STTR（STEreo Transformer），具有以下几个优点：1）放宽了固定视差范围的限制，2）识别遮挡区域并提供置信度估计，以及3）在匹配过程中施加唯一性约束。我们在合成和真实世界的数据集上报告了有希望的结果，并证明STTR即使没有微调也能在不同的领域中推广。
2021-08-25 cs.CV
Mask Matching Transformer for Few-Shot Segmentation
Beijing Jiaotong University（北京交通大学）；University of Technology Sydney（悉尼科技大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
在本文中，我们的目标是从一个新的角度来解决具有挑战性的Few-Shot分割任务。典型的方法遵循的范式，首先学习的支持图像的原型特征，然后匹配查询特征在像素级获得分割结果。然而，为了获得令人满意的段，这样的范例需要耦合的匹配操作的学习与沉重的分割模块，限制了设计的灵活性，增加了学习的复杂性。为了缓解这个问题，我们提出了掩码匹配Transformer（MM前），一个新的范例的Few-Shot分割任务。具体来说，MM-Former首先使用类不可知的分割器将查询图像分解为多个分段建议。然后，一个简单的匹配机制被应用到合并相关的部分建议到最终的掩模的支持图像的指导下。我们的MM成形器的优点是双重的。首先，MM-Former遵循先分解后混合的范式，使我们的方法能够受益于先进的潜在对象分割器，为查询图像生成高质量的掩模建议。其次，原型特征的任务被放松到学习系数，以融合建议池中的正确特征，使得MM-Former可以很好地推广到复杂的场景或情况。我们在流行的COCO- $20^i$和Pascal- $5^i$基准上进行了大量的实验。竞争结果很好地证明了我们的MM-Former的有效性和推广能力。
2022-12-05 cs.CV
WT-MVSNet: Window-based Transformers for Multi-view Stereo
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）；Bar-Ilan University（巴伊兰大学）；Research Institute of Tsinghua, Pearl River Delta（清华大学珠江三角洲研究院）
最近，Transformers被示出通过实现长距离特征交互来增强多视图立体视觉的性能。在这项工作中，我们提出了基于窗口的Transformers（WT）的局部特征匹配和全局特征聚合在多视图立体视觉。我们介绍了一种基于窗口的核线Transformer（WET），通过使用核线约束减少匹配冗余。由于点到线匹配是敏感的错误的相机姿势和校准，我们匹配的极线附近的窗口。第二个移位WT用于在成本量内聚合全局信息。我们提出了一种新的成本Transformer（CT），以取代3D卷积成本体积正则化。为了更好地约束多视图的估计深度图，我们进一步设计了一种新的几何一致性损失（Geo Loss），它惩罚不可靠的区域，其中多视图一致性不满意。我们的WT多视图立体视觉方法（WT-MVSNet）在多个数据集上实现了最先进的性能，并在坦克和寺庙基准测试中排名$1^{st}$。
2022-05-28 cs.CV
Detection Transformer with Stable Matching
Tsinghua University（清华大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology（香港科技大学）；South China University of Technology（华南理工大学）
本文针对DETR中不同解码器层匹配不稳定的问题，提出仅用位置度量监督正样本分类分数的原则，并设计位置监督损失和位置调制代价两种改进，在多个DETR变体及COCO基准上取得一致提升并刷新纪录。
2023-04-10 cs.CV
NMS Strikes Back
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
检测Transformer（DETR）通过在训练期间使用一对一的二分匹配将查询直接转换为唯一对象，并启用端到端目标检测。最近，这些型号以不可否认的优雅超越了COCO上的传统探测器。然而，它们在多个设计方面与传统检测器不同，包括模型架构和训练时间表，因此一对一匹配的有效性尚未完全理解。在这项工作中，我们进行了严格的比较之间的一对一匈牙利匹配DETRs和一对多的标签分配在传统的检测器与非最大监督（NMS）。令人惊讶的是，我们观察到NMS的一对多分配在相同设置下始终优于标准的一对一匹配，具有高达2.5 mAP的显着增益。我们的检测器使用传统的基于IoU的标签分配来训练Deformable-DETR，使用ResNet 50主干在12个epoch（1x时间表）内实现了50.2 COCO mAP，在此设置中优于所有现有的传统或基于transformer的检测器。在多个数据集，时间表和架构上，我们始终表明二分匹配对于高性能检测Transformers是不必要的。此外，我们将检测Transformers的成功归因于其富有表现力的Transformer架构。代码可在https://github.com/jozhang97/DETA上获得。
2022-12-12 cs.CV
Learning Tracking Representations via Dual-Branch Fully Transformer Networks
Southeast University（东南大学）；Microsoft Research Asia（微软亚洲研究院）
提出了一种基于单Transformers的双分支网络跟踪算法。给定一个模板和一个搜索图像，我们把它们分成不重叠的补丁，并提取一个特征向量，为每个补丁的基础上，其匹配结果与他人在一个注意力窗口。对于每个token，我们估计它是否包含目标对象以及相应的大小。该方法的优点是，特征是从匹配中学习的，并最终用于匹配。因此，这些特征与对象跟踪任务保持一致。该方法取得了更好的或相当的效果，作为性能最好的方法，首先使用CNN提取特征，然后使用Transformer融合它们。它在GOT-10 k和VOT 2020基准测试中优于最先进的方法。此外，该方法在一个GPU上实现了实时推理速度（约$40$ fps）。代码和模型将被释放。
2021-12-05 cs.CV
Multiscale Vision Transformers meet Bipartite Matching for efficient single-stage Action Localization
Queen Mary University London（伦敦玛丽女王大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）
本文提出BMViT，将二分匹配损失直接应用于视觉变换器输出令牌，实现单阶段动作定位，无需额外解码器头，在AVA2.2上超越两阶段MViTv2-S，获得+3 mAP提升。
2024-05-23 cs.CV
SceneGlue: Scene-Aware Transformer for Feature Matching without Scene-Level Annotation
School of Automation, Southeast University（东南大学自动化学院）；Shenzhen Research Institute of Southeast University（东南大学深圳研究院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生学校）
SceneGlue通过引入隐式并行注意力和显式跨视图可见性估计，提升特征匹配的场景感知能力，无需场景级标注即可提高准确性和鲁棒性。
2026-04-15 cs.CV
Global Occlusion-Aware Transformer for Robust Stereo Matching
Tokyo Institute of Technology（东京工业大学）
针对立体匹配中遮挡区域因 CNN 感受野受限而难以估计视差的问题，本文提出 GOAT，通过 PDO 并行注意力模块和 OCA 全局聚合模块建模长程遮挡感知上下文，并在多个基准上取得优异结果。
2023-12-22 cs.CV
COTR: Correspondence Transformer for Matching Across Images
University of British Columbia（不列颠哥伦比亚大学）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了一种基于深度神经网络的新型框架，用于查找图像中的对应关系，给定两张图像和其中一张图像中的查询点，该框架可以在另一张图像中找到其对应关系。通过这样做，可以选择仅查询感兴趣的点并检索稀疏对应，或者查询图像中的所有点并获得密集映射。重要的是，为了捕获局部和全局先验，并让我们的模型使用所述先验中最相关的图像区域之间的关系，我们使用Transformer实现我们的网络。在推理时，我们通过递归地放大估计值来应用我们的对应网络，从而产生一个能够提供高精度对应关系的多尺度管道。我们的方法在多个数据集和任务上的稀疏和密集对应问题上显着优于现有技术，范围从宽基线立体到光流，而无需对特定数据集进行任何重新训练。我们承诺发布数据、代码和所有必要的工具，从头开始训练并确保可重复性。
2021-08-17 cs.CV
Self-supervised Vision Transformers for 3D Pose Estimation of Novel Objects
TU Wien（维也纳工业大学）；University of Alicante（阿利坎特大学）
本文评估了自监督视觉Transformer与CNN在新物体姿态估计的深度模板匹配任务中的差异，证明视觉Transformer匹配精度更优，且部分预训练模型无需微调即可实现。
2023-05-31 cs.CV
