H4VDM: H.264 Video Device Matching
Purdue University（普渡大学）；Politecnico di Milano（米兰理工大学）
针对开集视频取证中的视频设备匹配问题，提出基于H.264压缩信息的H4VDM方法，可识别训练中未见过的设备拍摄的视频是否同源，对传感器指纹改变伪影鲁棒，在35台设备的公开数据集上表现良好。
2023-08-22 cs.CV cs.MM
Efficient Partitioning Vision Transformer on Edge Devices for Distributed Inference
School of Computing, National University of Singapore（国家大学学院计算机科学学院）；Information and Artificial Intelligence Institute, Zhejiang University of Finance & Economics Dongfang College（浙江财经大学东方学院信息与人工智能研究院）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Lumia Ltd.（Lumia有限公司）；Institute of Data Science, National University of Singapore（国家大学数据科学研究所）
针对Vision Transformer难以在资源受限边缘设备部署的问题，提出ED-ViT框架，通过按类别划分子模型+逐类别剪枝实现分布式推理，可大幅缩减模型规模与推理延迟，精度接近原模型，性能优于现有前沿边缘部署方法。
2025-05-21 cs.AI cs.CV
A Study on Inference Latency for Vision Transformers on Mobile Devices
University of Southern California（南加州大学）
本文研究了移动设备上视觉变换器的推理延迟，通过比较CNNs和开发数据集，揭示影响因素并实现延迟预测。
2026-02-18 cs.CV cs.LG cs.PF
HyT-NAS: Hybrid Transformers Neural Architecture Search for Edge Devices
Ecole Nationale Supérieure d’Informatique（国立高等计算机学院）；Université Polytechnique Hauts-de-France（上法兰西理工大学）
视觉Transformer使最近的基于注意力的深度学习（DL）架构在计算机视觉（CV）任务中取得了显著的成果。然而，由于需要大量的计算资源，这些架构很少在资源受限的平台上实现。目前的研究调查混合手工卷积为基础的和注意力为基础的CV任务，如图像分类和目标检测模型。在本文中，我们提出了HyT-NAS，一种高效的硬件感知神经架构搜索（HW-NAS），包括针对微型设备上的视觉任务的混合架构。HyT-NAS通过丰富搜索空间和增强搜索策略以及性能预测器来改进最先进的HW-NAS。我们的实验表明，HyT-NAS实现了类似的超卷，训练评估不到5倍。我们得到的架构优于MLPerf MobileNetV 1的6.3%的准确性提高与3.5倍的视觉唤醒词的参数少。
2023-03-28 cs.CV cs.LG
TransMatcher: Deep Image Matching Through Transformers for Generalizable Person Re-identification
Inception Institute of Artificial Intelligence（起源人工智能研究院）
Transformers最近在计算机视觉中获得了越来越多的关注。然而，现有的研究大多使用Transformers进行特征表示学习，例如用于图像分类和密集预测，并且Transformers的泛化能力是未知的。在这项工作中，我们进一步研究了应用Transformers进行图像匹配和度量学习的可能性。我们发现，视觉Transformer（ViT）和香草Transformer与解码器是不够的图像匹配，由于他们缺乏图像到图像的关注。因此，我们进一步设计了两个简单的解决方案，即ViT中的查询-图库连接，以及香草Transformer中的查询-图库交叉关注。后者提高了性能，但仍然有限。这意味着Transformers中的注意力机制主要是为全局特征聚合而设计的，这并不自然地适合于图像匹配。因此，我们提出了一种新的简化解码器，它放弃了softmax加权的全注意力实现，只保留查询键相似度计算。此外，全局最大池和多层感知器（MLP）头被应用于解码的匹配结果。这样，简化的解码器在计算上更有效，同时对于图像匹配更有效。所提出的方法称为TransMatcher，在可推广的人员重新识别方面实现了最先进的性能，在几个流行的数据集上，Rank-1和mAP的性能分别提高了6.1%和5.7%。代码可在https://github.com/ShengcaiLiao/QAConv上获得。
2021-12-07 cs.CV
Deep Laparoscopic Stereo Matching with Transformers
Monash University（莫纳什大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）；Monash-Airdoc Research Centre（莫纳什-鹰瞳研究中心）
自注意力机制，成功地采用了Transformer结构，在许多计算机视觉任务，包括图像识别，和目标检测的承诺。尽管激增，使用的Transformer的立体匹配的问题仍然相对未开发。在本文中，我们全面研究了立体匹配问题的Transformer的使用，特别是对于腹腔镜视频，并提出了一种新的混合深度立体匹配框架（HybridStereoNet），该框架将CNN和Transformer的最佳特性结合在一起。具体来说，我们研究了几种方法来引入Transformers的体积立体匹配管道通过分析损失景观的设计和域内/跨域的准确性。我们的分析表明，使用Transformers进行特征表示学习，而使用CNN进行成本聚合将导致比其他选项更快的收敛，更高的准确性和更好的泛化。我们在Sceneflow，SCARED 2019和dVPN数据集上的广泛实验证明了我们的HybridStereoNet的卓越性能。
2022-07-25 cs.CV
ETO:Efficient Transformer-based Local Feature Matching by Organizing Multiple Homography Hypotheses
Zhejiang University（浙江大学）；CUHK MMLab（香港中文大学多媒体实验室）
针对局部特征匹配的效率问题，提出基于Transformer的ETO架构，通过多单应性假设逼近连续对应、单向交叉注意力加速优化，精度比肩LoFTR且推理速度达其4倍，在多数据集验证有效。
2025-01-10 cs.CV
LoFLAT: Local Feature Matching using Focused Linear Attention Transformer
Northwestern Polytechnical University（西北工业大学）
针对现有基于Transformer的无检测器局部特征匹配方法计算复杂度高、难捕捉精细局部交互的问题，提出含聚焦线性注意力的LoFLAT方法，通过三大模块实现匹配，在效率与精度上均优于LoFTR。
2024-10-30 cs.CV
Improving Transformer-based Image Matching by Cascaded Capturing Spatially Informative Keypoints
Fudan University（复旦大学）
针对Transformer图像匹配空间相关性受限导致位姿估计精度低的问题，提出级联匹配模型CasMTR，结合NMS后处理提升匹配精度，在室内外位姿估计和视觉定位任务上达到SOTA。
2023-07-18 cs.CV
Adaptive Spot-Guided Transformer for Consistent Local Feature Matching
University of Science and Technology of China（中国科学技术大学）
局部特征匹配的目的是找到一对图像之间的对应关系。虽然目前的无检测器方法利用Transformer架构来获得令人印象深刻的性能，但很少有作品考虑保持局部一致性。同时，大多数方法都难以处理大规模的变化。为了解决上述问题，我们提出了自适应斑点引导Transformer（ASTR）的局部特征匹配，它联合模型的局部一致性和规模变化在一个统一的粗到细的架构。拟议的ASTR有几个优点。首先，我们设计了一个点引导的聚合模块，以避免在特征聚合过程中干扰无关区域。其次，在精细化阶段，我们设计了一个自适应缩放模块，根据计算的深度信息调整网格的大小。在五个标准基准上的大量实验结果表明，我们的ASTR对最先进的方法表现良好。我们的代码将在https://astr2023.github.io上发布。
2023-03-29 cs.CV
SGFormer: Structure-Guided Transformer for Robust Local Feature Matching
针对局部特征匹配中Transformer注意力发散的问题，提出SGFormer结构引导Transformer，通过三重结构注意力模块增强显著结构区域的注意力，有效提升了匹配精度。
2026-09-01 cs.CV
MPDiT: Multi-Patch Global-to-Local Transformer Architecture For Efficient Flow Matching and Diffusion Model
Rutgers University（罗格斯大学）
MPDiT通过多块变换器架构在扩散和流匹配模型中实现高效计算，减少50%的GFLOPs消耗同时保持生成性能，改进时间与类别嵌入设计加速训练收敛。
2026-04-04 cs.CV
FMRT: Learning Accurate Feature Matching with Reconciliatory Transformer
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对固定感受野限制特征匹配精度的问题，提出基于调和Transformer的无检测器方法FMRT，通过多感受野自适应调和与可靠位置编码提升多基准性能。
2023-10-20 cs.CV
LGFCTR: Local and Global Feature Convolutional Transformer for Image Matching
Beihang University（北京航空航天大学）
本文提出卷积Transformer图像匹配方法LGFCTR，通过类FPN框架、多尺度注意力卷积Transformer模块和亚像素细化模块，同时捕获局部与全局特征，在多个基准上取得优越性能。
2023-11-29 cs.CV
Transformer Reasoning Network for Image-Text Matching and Retrieval
National Research Council（国家研究委员会）；Institute of Information Science and Technologies（信息科学与技术研究所）
图像-文本匹配是现代人工智能研究中一项有趣而迷人的任务。尽管基于深度学习的图像和文本处理系统不断发展，但多模态匹配仍然是一个具有挑战性的问题。在这项工作中，我们考虑的问题，准确的图像-文本匹配的任务，多模态大规模信息检索。图像-文本匹配中的最新结果是通过来自两个不同处理流水线的图像和文本特征的相互作用来实现的，通常使用相互注意力机制。然而，这使得在大规模检索系统中提取后续索引步骤所需的单独视觉和文本特征的任何机会都无效。在这方面，我们介绍了Transformer编码器推理网络（TERN），一个架构上的现代关系感知的自我关注的架构，Transformer编码器（TE）。该体系结构能够分别对两种不同的模态进行推理，并通过共享更深的Transformer层的权重来强制执行最终的公共抽象概念空间。由于这种设计，所实现的网络能够产生紧凑且非常丰富的视觉和文本特征，可用于后续索引步骤。在MS-COCO数据集上进行实验，我们使用折扣累积增益度量评估结果，并利用字幕相似性计算相关性，以评估可能不准确但相关的搜索结果。我们证明，在这个指标上，我们能够实现国家的最先进的图像检索任务的结果。我们的代码可以在https://github.com/mesnico/TERN上免费获得。
2021-01-25 cs.CV
Hadamard Attention Recurrent Transformer: A Strong Baseline for Stereo Matching Transformer
College of Computer Science, the State Key Laboratory of Public Big Data（计算机科学学院、公共大数据国家重点实验室）；School of Information Engineering（信息工程学院）；School of Software（软件学院）；Key Laboratory of Integrated Microsystems, Shenzhen Graduate School（集成微系统重点实验室、深圳研究生院）；School of Computer Science and Engineering（计算机科学与工程学院）
针对当前立体匹配Transformer因注意力机制低秩瓶颈导致非线性表达能力有限、特征表示易受反射等挑战影响的问题，提出HART，其含DAK和MKOI模块以增强特征交互建模能力，在KITTI 2012反射区域排名第一。
2025-08-24 cs.CV
SceneGTMM: A Conformal Mapping-based Scene-Aware Transferable GNN-Transformer Dual-Graph Interaction Framework for Map Matching
本文提出SceneGTMM框架，通过保角映射场景策略、双图交互架构与CRF增强预测，提升地图匹配的噪声鲁棒性、跨区域迁移性与可解释性，在多源及跨城轨迹匹配中表现优于基线方法。
2026-08-21 cs.CV
Efficient Linear Attention for Fast and Accurate Keypoint Matching
KDDI Research, Inc.（KDDI综合研究所）
最近，Transformers在稀疏匹配方面提供了最先进的性能，这对于实现高性能3D视觉应用至关重要。然而，这些Transformers由于其注意力机制的二次计算复杂性而缺乏效率。针对线性计算复杂性，提出了一种有效的线性注意力算法。然后，我们提出了一种新的注意力聚合，通过聚合来自稀疏关键点的全局和局部信息来实现高精度。为了进一步提高效率，我们提出了特征匹配和描述的联合学习。我们的学习比Sinkhorn更简单，更快地匹配，通常用于匹配来自Transformers的学习描述符。我们的方法在HPatch、ETH和Aachen Day-Night三个基准测试中，与更大的SOTA SuperGlue（12 M参数）和SGMNet（30 M参数）相比，仅用0.84M可学习参数就实现了具有竞争力的性能。
2022-04-22 cs.CV
XoFTR: Cross-modal Feature Matching Transformer
Middle East Technical University（中东技术大学）；ROKETSAN Inc.（罗克etsan公司）
针对热红外与可见光图像跨模态匹配受纹理、强度及视角差异影响的难题，提出结合掩码图像建模预训练、伪热图增强微调及亚像素优化匹配流水线的XoFTR方法，在多基准上性能优于现有方法。
2024-04-15 cs.CV
Semantic-Constraint Matching Transformer for Weakly Supervised Object Localization
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）；Pazhou Lab（琶洲实验室）
针对弱监督目标定位中CNN部分激活和Transformer发散激活问题，提出语义约束匹配网络SCMN，通过局部补丁洗牌构建图像对并匹配类激活图来校准网络，在CUB-200-2011和ILSVRC上取得最先进性能。
2023-09-04 cs.CV
UniTT-Stereo: Unified Training of Transformer for Enhanced Stereo Matching
Ewha W. University（梨花女子大学）
本文提出UniTT-Stereo，通过统一自监督预训练与监督立体匹配框架，并引入可变掩蔽比例训练策略，在有限真值数据下提升Transformer立体匹配性能，在ETH3D和KITTI等基准上达到最先进水平。
2024-09-04 cs.CV
Multi-scale Alternated Attention Transformer for Generalized Stereo Matching
Hunan University（湖南大学）
本文提出AAUformer，通过窗口自注意力和多尺度交替注意力骨干网络平衡极线约束在单双视图中的作用，在Scene Flow和KITTI 2015等数据集上取得领先的立体匹配与跨域泛化性能。
2023-08-06 cs.CV
ASpanFormer: Detector-Free Image Matching with Adaptive Span Transformer
HKUST（香港科技大学）；Apple Inc.（苹果公司）
在图像之间生成鲁棒且可靠的对应关系是各种应用的基本任务。为了在全局和局部粒度上捕获上下文，我们提出了ASpanFormer，这是一个基于Transformer的无检测器匹配器，它建立在分层注意力结构上，采用了一种新的注意力操作，能够以自适应的方式调整注意力跨度。首先，在每个交叉注意阶段对流图进行回归，定位搜索区域的中心。接下来，围绕中心生成采样网格，其大小不是根据经验配置为固定的，而是根据与流图一起估计的像素不确定性自适应地计算。最后，在派生区域内的两个图像上计算注意力，称为注意广度。通过这些方法，我们不仅能够保持长距离的依赖关系，而且还能够在高相关性的像素之间实现细粒度的注意力，以补偿匹配任务中的基本局部性和分段平滑性。在广泛的评估基准上的最先进的准确性验证了我们的方法的强大匹配能力。
2022-08-30 cs.CV
ParaFormer: Parallel Attention Transformer for Efficient Feature Matching
Southeast University（东南大学）；Nanjing University of Posts and Telecommunication（南京邮电大学）
计算量大是限制基于深度学习的特征匹配算法在许多实时应用中应用的瓶颈。然而，现有的轻量级网络优化欧几里德数据不能解决经典的特征匹配任务，因为稀疏的关键点的描述符预计将被匹配。本文解决了这个问题，并提出了两个概念：1）一种新的并行注意力模型ParaFormer和2）基于图的U-Net架构与注意力池。首先，ParaFormer通过幅度和相位的概念融合特征和关键点位置，并以并行的方式集成自注意和交叉注意，在准确性和效率方面实现了双赢的性能。其次，通过U-Net架构和提出的注意力池，ParaFormer-U变体显著降低了计算复杂性，并最大限度地减少了下采样造成的性能损失。在单应性估计、姿态估计和图像匹配等各种应用上的充分实验表明，ParaFormer在保持高效率的同时实现了最先进的性能。高效的ParaFormer-U变体实现了与现有基于注意力的模型相比具有不到50% FLOP的性能。
2023-03-10 cs.CV
DeepMatcher: A Deep Transformer-based Network for Robust and Accurate Local Feature Matching
Harbin Institute of Technology（哈尔滨工业大学）；SenseTime Group Inc.（商汤集团有限公司）
图像之间的局部特征匹配仍然是一项具有挑战性的任务，特别是在存在显著外观变化的情况下，例如，极端观点的变化。在这项工作中，我们提出了DeepMatcher，这是一种基于深度转换器的网络，建立在我们对无检测器方法中局部特征匹配的研究基础上。关键的见解是，具有深层的局部特征匹配器可以捕获更人性化和更简单的匹配特征。在此基础上，我们提出了一个专门用于DeepMatcher的Slimming Transformer（SlimFormer），它利用基于向量的注意力来建模所有关键点之间的相关性，并以高效和有效的方式实现长距离上下文聚合。对每个SlimFormer应用相对位置编码，以便明确地公开相对距离信息，进一步改进关键点的表示。在每个SlimFormer中还采用了层尺度策略，使网络能够自适应地吸收来自残差块的消息交换，从而允许它模拟人类行为，即人类每次扫描图像对时都可以获得不同的匹配线索。为了便于更好地适应SlimFormer，我们引入了一个功能转换模块（FTM），以确保在不同的感受野功能范围的平滑过渡。通过多次交错自SlimFormer和交叉SlimFormer，DeepMatcher可以轻松地在粗略级别上建立像素级密集匹配。最后，我们将匹配细化视为分类和回归问题的组合，并设计精细匹配模块来同时预测置信度和偏移量，从而生成鲁棒且准确的匹配。在实验中，我们证明了DeepMatcher在几个基准…
2023-01-08 cs.CV
A Consistency-Aware Spot-Guided Transformer for Versatile and Hierarchical Point Cloud Registration
College of Control Science and Engineering（控制科学与工程学院）；Zhejiang University（浙江大学）
针对点云配准中粗匹配缺乏几何一致性导致效率与可扩展性差的问题，提出一致性感知斑点引导Transformer（CAST），通过斑点引导交叉注意力与一致性感知自注意力模块及轻量级细匹配模块，实现了最先进的配准精度、效率和鲁棒性。
2024-10-14 cs.CV
Normalized Matching Transformer
Heinrich Heine University Düsseldorf（海因里希·海涅大学多特蒙德）
本研究提出归一化匹配Transformer（NMT），通过超球面归一化策略与组合损失实现高效准确的图像对稀疏语义关键点匹配，在两个数据集上刷新SOTA且收敛更快。
2026-05-05 cs.CV cs.LG
FlowIt: Global Matching via Hierarchical Transformers and Optimal Transport for Optical Flow
Department of Computer Engineering and KUIS AI Center, Koç University, Istanbul, Turkey（计算机工程系和KUIS人工智能中心，科克大学，伊斯坦布尔，土耳其）；Department of Computer Science and Engineering (DISI), University of Bologna, Italy（计算机科学与工程系（DISI），博洛尼亚大学，意大利）
提出FlowIt架构，结合分层Transformer和最优传输进行全局匹配，并通过置信度与遮挡引导的细化步骤，在多个基准上达到最先进性能。
2026-05-31 cs.CV
Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers
University of Science and Technology of China（中国科学技术大学）
本文提出sREPA框架，通过显式结构约束来对齐特征图的相对几何关系，以提高生成质量并加速收敛。
2026-05-16 cs.CV
Revisiting Stereo Depth Estimation From a Sequence-to-Sequence Perspective with Transformers
Johns Hopkins University（约翰斯·霍普金斯大学）
立体深度估计依赖于左图像和右图像中的核线上的像素之间的最佳对应匹配来推断深度。在这项工作中，我们重新审视这个问题，从序列到序列对应的角度来取代成本量建设密集像素匹配使用位置信息和注意。这种方法称为STTR（STEreo Transformer），具有以下几个优点：1）放宽了固定视差范围的限制，2）识别遮挡区域并提供置信度估计，以及3）在匹配过程中施加唯一性约束。我们在合成和真实世界的数据集上报告了有希望的结果，并证明STTR即使没有微调也能在不同的领域中推广。
2021-08-25 cs.CV
Mask Matching Transformer for Few-Shot Segmentation
Beijing Jiaotong University（北京交通大学）；University of Technology Sydney（悉尼科技大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
在本文中，我们的目标是从一个新的角度来解决具有挑战性的Few-Shot分割任务。典型的方法遵循的范式，首先学习的支持图像的原型特征，然后匹配查询特征在像素级获得分割结果。然而，为了获得令人满意的段，这样的范例需要耦合的匹配操作的学习与沉重的分割模块，限制了设计的灵活性，增加了学习的复杂性。为了缓解这个问题，我们提出了掩码匹配Transformer（MM前），一个新的范例的Few-Shot分割任务。具体来说，MM-Former首先使用类不可知的分割器将查询图像分解为多个分段建议。然后，一个简单的匹配机制被应用到合并相关的部分建议到最终的掩模的支持图像的指导下。我们的MM成形器的优点是双重的。首先，MM-Former遵循先分解后混合的范式，使我们的方法能够受益于先进的潜在对象分割器，为查询图像生成高质量的掩模建议。其次，原型特征的任务被放松到学习系数，以融合建议池中的正确特征，使得MM-Former可以很好地推广到复杂的场景或情况。我们在流行的COCO- $20^i$和Pascal- $5^i$基准上进行了大量的实验。竞争结果很好地证明了我们的MM-Former的有效性和推广能力。
2022-12-05 cs.CV
WT-MVSNet: Window-based Transformers for Multi-view Stereo
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）；Bar-Ilan University（巴伊兰大学）；Research Institute of Tsinghua, Pearl River Delta（清华大学珠江三角洲研究院）
最近，Transformers被示出通过实现长距离特征交互来增强多视图立体视觉的性能。在这项工作中，我们提出了基于窗口的Transformers（WT）的局部特征匹配和全局特征聚合在多视图立体视觉。我们介绍了一种基于窗口的核线Transformer（WET），通过使用核线约束减少匹配冗余。由于点到线匹配是敏感的错误的相机姿势和校准，我们匹配的极线附近的窗口。第二个移位WT用于在成本量内聚合全局信息。我们提出了一种新的成本Transformer（CT），以取代3D卷积成本体积正则化。为了更好地约束多视图的估计深度图，我们进一步设计了一种新的几何一致性损失（Geo Loss），它惩罚不可靠的区域，其中多视图一致性不满意。我们的WT多视图立体视觉方法（WT-MVSNet）在多个数据集上实现了最先进的性能，并在坦克和寺庙基准测试中排名$1^{st}$。
2022-05-28 cs.CV
Detection Transformer with Stable Matching
Tsinghua University（清华大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology（香港科技大学）；South China University of Technology（华南理工大学）
本文针对DETR中不同解码器层匹配不稳定的问题，提出仅用位置度量监督正样本分类分数的原则，并设计位置监督损失和位置调制代价两种改进，在多个DETR变体及COCO基准上取得一致提升并刷新纪录。
2023-04-10 cs.CV
NMS Strikes Back
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
检测Transformer（DETR）通过在训练期间使用一对一的二分匹配将查询直接转换为唯一对象，并启用端到端目标检测。最近，这些型号以不可否认的优雅超越了COCO上的传统探测器。然而，它们在多个设计方面与传统检测器不同，包括模型架构和训练时间表，因此一对一匹配的有效性尚未完全理解。在这项工作中，我们进行了严格的比较之间的一对一匈牙利匹配DETRs和一对多的标签分配在传统的检测器与非最大监督（NMS）。令人惊讶的是，我们观察到NMS的一对多分配在相同设置下始终优于标准的一对一匹配，具有高达2.5 mAP的显着增益。我们的检测器使用传统的基于IoU的标签分配来训练Deformable-DETR，使用ResNet 50主干在12个epoch（1x时间表）内实现了50.2 COCO mAP，在此设置中优于所有现有的传统或基于transformer的检测器。在多个数据集，时间表和架构上，我们始终表明二分匹配对于高性能检测Transformers是不必要的。此外，我们将检测Transformers的成功归因于其富有表现力的Transformer架构。代码可在https://github.com/jozhang97/DETA上获得。
2022-12-12 cs.CV
Learning Tracking Representations via Dual-Branch Fully Transformer Networks
Southeast University（东南大学）；Microsoft Research Asia（微软亚洲研究院）
提出了一种基于单Transformers的双分支网络跟踪算法。给定一个模板和一个搜索图像，我们把它们分成不重叠的补丁，并提取一个特征向量，为每个补丁的基础上，其匹配结果与他人在一个注意力窗口。对于每个token，我们估计它是否包含目标对象以及相应的大小。该方法的优点是，特征是从匹配中学习的，并最终用于匹配。因此，这些特征与对象跟踪任务保持一致。该方法取得了更好的或相当的效果，作为性能最好的方法，首先使用CNN提取特征，然后使用Transformer融合它们。它在GOT-10 k和VOT 2020基准测试中优于最先进的方法。此外，该方法在一个GPU上实现了实时推理速度（约$40$ fps）。代码和模型将被释放。
2021-12-05 cs.CV
Multiscale Vision Transformers meet Bipartite Matching for efficient single-stage Action Localization
Queen Mary University London（伦敦玛丽女王大学）；Samsung AI Center Cambridge（三星剑桥人工智能中心）
本文提出BMViT，将二分匹配损失直接应用于视觉变换器输出令牌，实现单阶段动作定位，无需额外解码器头，在AVA2.2上超越两阶段MViTv2-S，获得+3 mAP提升。
2024-05-23 cs.CV
SceneGlue: Scene-Aware Transformer for Feature Matching without Scene-Level Annotation
School of Automation, Southeast University（东南大学自动化学院）；Shenzhen Research Institute of Southeast University（东南大学深圳研究院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息、生产与系统研究生学校）
SceneGlue通过引入隐式并行注意力和显式跨视图可见性估计，提升特征匹配的场景感知能力，无需场景级标注即可提高准确性和鲁棒性。
2026-04-15 cs.CV
LoFTR: Detector-Free Local Feature Matching with Transformers
Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）
提出了一种新的局部图像特征匹配方法。而不是执行图像特征检测，描述和匹配顺序，我们建议首先建立像素密集的匹配在一个粗略的水平，后来完善的好匹配在一个精细的水平。与使用成本量来搜索对应关系的密集方法相比，我们在Transformer中使用自我和交叉注意层来获得以两幅图像为条件的特征描述符。Transformer提供的全局感受野使我们的方法能够在低纹理区域产生密集的匹配，在这些区域，特征检测器通常很难产生可重复的兴趣点。在室内和室外数据集上的实验表明，LoFTR的性能大大优于最先进的方法。LoFTR在已发表的方法中，在视觉定位的两个公共基准中排名第一。
2021-04-01 cs.CV cs.RO
COTR: Correspondence Transformer for Matching Across Images
University of British Columbia（不列颠哥伦比亚大学）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了一种基于深度神经网络的新型框架，用于查找图像中的对应关系，给定两张图像和其中一张图像中的查询点，该框架可以在另一张图像中找到其对应关系。通过这样做，可以选择仅查询感兴趣的点并检索稀疏对应，或者查询图像中的所有点并获得密集映射。重要的是，为了捕获局部和全局先验，并让我们的模型使用所述先验中最相关的图像区域之间的关系，我们使用Transformer实现我们的网络。在推理时，我们通过递归地放大估计值来应用我们的对应网络，从而产生一个能够提供高精度对应关系的多尺度管道。我们的方法在多个数据集和任务上的稀疏和密集对应问题上显着优于现有技术，范围从宽基线立体到光流，而无需对特定数据集进行任何重新训练。我们承诺发布数据、代码和所有必要的工具，从头开始训练并确保可重复性。
2021-08-17 cs.CV
Self-supervised Vision Transformers for 3D Pose Estimation of Novel Objects
TU Wien（维也纳工业大学）；University of Alicante（阿利坎特大学）
本文评估了自监督视觉Transformer与CNN在新物体姿态估计的深度模板匹配任务中的差异，证明视觉Transformer匹配精度更优，且部分预训练模型无需微调即可实现。
2023-05-31 cs.CV
2D3D-MATR: 2D-3D Matching Transformer for Detection-free Registration between Images and Point Clouds
National University of Defense Technology（国防科技大学）；Defense Innovation Institute, Academy of Military Sciences（军事科学院国防科技创新研究院）；Sun Yat-sen University（中山大学）
本文提出无检测的 2D3D-MATR，通过由粗到细的 Transformer 块匹配和多尺度金字塔实现图像与点云配准，性能显著优于 P2-Net。
2023-08-14 cs.CV
Multi-Frame Self-Supervised Depth with Transformers
Toyota Research Institute (TRI)（丰田研究院（TRI））
除了学习基于外观的特征之外，多帧深度估计还通过经由特征匹配利用图像之间的几何关系来改进单帧方法。在本文中，我们重新审视自我监督的单目深度估计的特征匹配，并提出了一种新的Transformer架构的成本体积生成。我们使用深度离散核线采样来选择匹配的候选人，并通过一系列的自我和交叉注意层来改进预测。这些层提高了像素特征之间的匹配概率，改善了容易产生歧义和局部最小值的标准相似性度量。细化的成本体积被解码为深度估计，整个管道仅使用光度目标从视频进行端到端训练。在KITTI和DDAD数据集上的实验表明，我们的DepthFormer架构在自监督单目深度估计方面建立了一个新的技术水平，甚至可以与高度专业化的监督单帧架构竞争。我们还表明，我们学习的交叉注意力网络产生了跨数据集可转移的表示，提高了预训练策略的有效性。项目页面：https://sites.google.com/tri.global/depthformer
2022-06-10 cs.CV
QuadTree Attention for Vision Transformers
Alibaba A.I. Lab（阿里巴巴人工智能实验室）；Simon Fraser University（西蒙弗雷泽大学）
Transformers在许多视觉任务中取得了成功，这要归功于它们捕捉远程依赖性的能力。然而，他们的二次计算复杂性构成了一个主要障碍，将它们应用到视觉任务，需要密集的预测，如目标检测，特征匹配，立体等，我们引入四叉树注意，这降低了计算复杂性从二次线性。我们的四叉树Transformer构建令牌金字塔，并以粗到细的方式计算注意力。在每个级别，选择具有最高注意力分数的前K个区块，使得在下一级别，仅在对应于这些前K个区块的相关区域内评估注意力。我们证明了四叉树注意力在各种视觉任务中达到了最先进的性能，例如，ScanNet上的特征匹配提高了4.0%，立体匹配中的浮点数减少了约50%，ImageNet分类的前1精度提高了0.4-1.5%，COCO目标检测提高了1.2-1.8%，并且在语义分割上比先前最先进的Transformers有0.7-2.4%的改进。这些代码可在https://github.com/Tangshitao/QuadtreeAttention上获得。
2022-03-23 cs.CV
VMatcher: State-Space Semi-Dense Local Feature Matching
Ali Youssef
针对现有基于学习的特征匹配依赖Transformer注意力机制、计算成本高的问题，本文提出混合Mamba-Transformer网络VMatcher，结合Mamba线性复杂度的长序列处理能力与Transformer注意力，高效刷新匹配基准，适用于实时应用。
2025-07-31 cs.CV
Masked and Adaptive Transformer for Exemplar Based Image Translation
Hangzhou Dianzi University（杭州电子科技大学）；Xidian University（西安电子科技大学）
我们提出了一个新的框架，基于范例的图像翻译。近年来，针对这一问题的先进方法主要集中在建立跨领域的语义对应关系，从而以局部风格控制的方式控制图像生成。不幸的是，跨域语义匹配是具有挑战性的，并且匹配错误最终会降低生成图像的质量。为了克服这一挑战，我们一方面提高匹配的准确性，另一方面减少匹配在图像生成中的作用。为了实现前者，我们提出了一个掩蔽和自适应Transformer（MAT）学习准确的跨域对应，并执行上下文感知的特征增强。为了实现后者，我们使用的输入和全局样式代码的样本，作为补充信息，解码图像的源功能。此外，我们设计了一种新的对比风格学习方法，以获得质量区分的风格表示，这反过来又有利于高质量的图像生成。实验结果表明，我们的方法，被称为MATEBIT，表现得比国家的最先进的方法，在不同的图像翻译任务。代码可在\url{https://github.com/AiArt-HDU/MATEBIT}上获得。
2023-03-30 cs.CV
Transformer-Based Multi-modal Proposal and Re-Rank for Wikipedia Image-Caption Matching
Inst. of Information Science and Technologies（信息科学与技术研究所）；National Research Council（国家研究委员会）
随着网络和在线百科全书的可访问性的增加，需要管理的数据量也在不断增加。例如，在维基百科中，有数百万页是用多种语言编写的。这些页面包含的图像通常缺乏文本上下文，在概念上仍然是浮动的，因此更难找到和管理。在这项工作中，我们提出了我们设计的系统，用于参与Kaggle上的维基百科图像-标题匹配挑战，其目标是使用与图像相关的数据（URL和视觉数据）在大量可用的标题中找到正确的标题。一个能够执行这一任务的系统将改善大型在线百科全书上多媒体内容的可访问性和完整性。具体来说，我们提出了一个级联的两个模型，都由最近的Transformer模型，能够有效地和有效地推断查询图像数据和字幕之间的相关性得分。我们通过大量的实验验证，所提出的两个模型的方法是一种有效的方式来处理大量的图像和字幕，同时保持有界的整体计算复杂性在推理时间。我们的方法取得了显著的效果，在Kaggle挑战的私人排行榜上获得了0.53的归一化贴现累积增益（nDCG）值。
2022-06-21 cs.CV
GMTR: Graph Matching Transformers
MOE Key Lab of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室）
针对视觉Transformer原有网格策略忽略关键点空间信息的问题，提出QueryTrans模块并整合图注意力构建GMTR图匹配方法，在多个基准上取得优于现有方法的性能。
2023-12-14 cs.CV cs.LG
Rotation-Invariant Transformer for Point Cloud Matching
TU Munich（慕尼黑工业大学）；NUDT（中国人民解放军国防科技大学）；Siemens AG, Munich（西门子股份公司慕尼黑分部）
针对深度点云匹配因依赖数据增强而难以应对罕见旋转的问题，提出旋转不变 Transformer (RoITr)，通过结合 PPF 的局部注意力机制与全局跨帧空间感知，显著提升了低重叠与极端旋转场景下的匹配性能。
2024-03-27 cs.CV
TransMVSNet: Global Context-aware Multi-view Stereo Network with Transformers
Megvii Technology（旷视科技）
在本文中，我们提出了transMVSNet，我们的探索多视图立体视觉（MVS）的特征匹配的基础上。我们类比MVS回到其性质的特征匹配任务，因此提出了一个强大的特征匹配Transformer（FMT），利用内（自我）和间（交叉）的注意力，聚合长距离的上下文信息内和跨图像。为了更好地适应FMT，我们利用自适应接受场（ARF）模块来确保功能范围的平滑过渡，并通过功能路径将不同阶段连接起来，以在不同尺度上传递转换后的功能和梯度。此外，我们采用成对的特征相关性来衡量特征之间的相似性，并采用减少歧义焦点损失来加强监督。据我们所知，TransMVSNet是将Transformer用于MVS任务的第一次尝试。因此，我们的方法在DTU数据集、Tanks和Temples基准测试以及BlendedMVS数据集上实现了最先进的性能。我们的方法代码将在www.example.com上提供。
2021-11-29 cs.CV
IFViT: Interpretable Fixed-Length Representation for Fingerprint Matching via Vision Transformer
Anhui University（安徽大学）；Monash University（莫纳什大学）；Fuzhou University（福州大学）；University of Hong Kong（香港大学）；University of Nottingham Malaysia Campus（诺丁汉大学马来西亚校区）；University of Sassari（萨萨里大学）
该研究提出基于视觉Transformer的可解释指纹匹配网络IFViT，通过可解释密集配准模块和定长表示提取匹配模块，兼顾匹配性能与可解释性，在公开指纹数据集上效果优异。
2024-04-12 cs.AI cs.CV
Fractional Correspondence Framework in Detection Transformer
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；University of Leicester（莱斯特大学）；University of Granada（格拉纳达大学）
针对DETR严格一对一匹配在处理对象密度和分布时的不足，提出Regularized Transport Plan（RTP）利用可微Sinkhorn算法实现软分数匹配，在MS-COCO和VOC上显著超越Deform-DETR和DINO-DETR。
2025-03-06 cs.CV
A Light-weight Transformer-based Self-supervised Matching Network for Heterogeneous Images
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
针对异源遥感图像匹配中标注数据稀缺与辐射差异大的问题，提出基于轻量级Transformer的自监督匹配网络LTFormer及LT Loss，实现鲁棒关键点描述子并取得有竞争力的匹配性能。
2024-04-30 cs.CV cs.MM
DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation
National University of Singapore（新加坡国立大学）
样本引导图像生成的一个关键挑战在于在输入图像和引导图像之间建立细粒度的对应关系。先前的方法，尽管有希望的结果，依赖于估计密集的注意力来计算每点匹配，这是有限的，由于二次存储器成本，只有粗略的尺度，或固定的对应关系的数量，以实现线性复杂度，这缺乏灵活性。在本文中，我们提出了一个动态稀疏注意力的基础上Transformer模型，称为动态稀疏Transformer（DynaST），以实现良好的效率与精细级匹配。我们的方法的核心是一个新的动态注意力单元，致力于覆盖一个位置应该关注的最佳标记数量的变化。具体来说，DynaST利用了Transformer结构的多层性质，并以级联的方式执行动态注意力方案，以优化匹配结果并合成视觉上令人愉悦的输出。此外，我们为DynaST引入了统一的训练目标，使其成为监督和无监督场景下通用的基于参考的图像翻译框架。在姿态引导的人物图像生成、基于边缘的人脸合成和不失真的图像风格转移三个应用上的大量实验表明，DynaST在局部细节方面具有优异的性能，在显著降低计算成本的同时优于最先进的技术。我们的代码可在https://github.com/Huage001/DynaST上获得
2023-03-27 cs.CV
Keypoints Tracking via Transformer Networks
KAIST（韩国科学技术院）
在这篇论文中，我们提出了一个开创性的工作稀疏关键点跟踪图像使用Transformer网络。虽然基于深度学习的关键点匹配已经使用图神经网络以及最近的Transformer网络进行了广泛的研究，但是它们仍然相对太慢而不能实时操作，并且对关键点检测器的差的可重复性特别敏感。为了解决这些缺点，我们建议研究实时和鲁棒的关键点跟踪的特定情况。具体来说，我们提出了一种新的架构，确保了一个快速和强大的估计的关键点跟踪之间的连续图像的视频序列。我们的方法利用了计算机视觉的最新突破，即视觉Transformer网络。我们的方法包括两个连续的阶段，一个粗略的匹配，然后是一个精细的定位的关键点的对应预测。通过各种实验，我们证明了我们的方法取得了有竞争力的结果，并表现出对不利条件下，如光照变化，遮挡和视点差异的高鲁棒性。
2022-03-24 cs.CV
