Efficient Visual Tracking via Hierarchical Cross-Attention Transformer
Dalian University of Technology（大连理工大学）；National University of Defense Technology（国防科技大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，目标跟踪在精度上有了很大的进步。这一发展主要归功于强大的网络（如Transformers）和额外的模块（如在线更新和改进模块）。然而，较少关注跟踪速度。大多数最先进的跟踪器都对强大GPU上的实时速度感到满意。然而，实际应用对跟踪速度有更高的要求，特别是在使用资源有限的边缘平台时。在这项工作中，我们提出了一个有效的跟踪方法，通过一个分层的交叉注意Transformer命名为HCAT。我们的模型在GPU上运行约195 fps，在CPU上运行约45 fps，在NVidia Jetson AGX Xavier的边缘AI平台上运行约55 fps。实验表明，我们的HCAT在LaSOT，GOT-10 k，TrackingNet，NFS，OTB 100，UAV 123和VOT 2020上取得了令人满意的结果。代码和型号可在https://github.com/chenxin-dlut/HCAT上获得。
2022-10-30 cs.CV
Global Tracking Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Apple（苹果公司）
我们提出了一种新的基于变换器的全局多目标跟踪架构。我们的网络将一个短的帧序列作为输入，并为所有对象生成全局轨迹。核心组件是一个全局跟踪Transformer，它对序列中所有帧中的对象进行操作。Transformer对来自所有帧的对象特征进行编码，并使用轨迹查询将它们分组为轨迹。轨迹查询是来自单个帧的对象特征，并且自然地产生独特的轨迹。我们的全局跟踪Transformer不需要中间成对分组或组合关联，并且可以与对象检测器联合训练。它在流行的MOT17基准上实现了具有竞争力的性能，MOTA为75.3，HOTA为59.1。更重要的是，我们的框架无缝集成到最先进的大词汇量检测器中，以跟踪任何对象。在具有挑战性的TAO数据集上的实验表明，我们的框架在基于成对关联的基线上不断改进，通过显着的7.7跟踪mAP优于已发表的作品。代码可在https://github.com/xingyizhou/GTR上获得。
2022-04-25 cs.CV
3D Object Tracking with Transformer
Northeastern University（东北大学）
特征融合和相似度计算是三维目标跟踪中的两个核心问题，特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息，使相似度计算更加有效。然而，大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性，而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制，Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征，在当前点云特征中加入更多的目标线索，计算区域注意力，提高了相似度计算的效率。基于此特征融合网络，我们提出了一个端到端的点云目标跟踪框架，一个简单而有效的方法，用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明，我们的方法达到了新的最先进的性能。代码可在：https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Efficient Joint Detection and Multiple Object Tracking with Spatially Aware Transformer
Columbia University（哥伦比亚大学）；Sony Group Corporation（索尼集团公司）
我们提出了一个轻量级和高效的联合检测和跟踪流水线的任务，多目标跟踪使用全变压器架构。它是TransTrack的修改版本，克服了与其设计相关的计算瓶颈，同时实现了最先进的73.20%的MOTA评分。模型设计由基于Transformer的主干而不是CNN驱动，其具有高度的输入分辨率可扩展性。我们还提出了一种用于Transformer编码器层的前馈网络的插入式替换，通过使用蝴蝶变换操作来执行通道融合和深度卷积，以学习特征图内的空间上下文，否则在Transformer的注意力图内丢失。作为我们的修改的结果，我们减少了58.73%的整体模型大小的TransTrack和78.72%的复杂性。因此，我们希望我们的设计提供新的视角架构优化在未来的研究与多目标跟踪。
2022-11-09 cs.CV
Unified Transformer Tracker for Object Tracking
University of Technology Sydney（悉尼科技大学）；National University of Singapore（新加坡国立大学）；Meta AI；Zhejiang University（浙江大学）
目标跟踪作为计算机视觉的一个重要研究领域，已经形成了两个独立的研究群体，分别研究单目标跟踪（SOT）和多目标跟踪（MOT）。然而，由于两个任务的训练数据集和跟踪对象不同，一个跟踪场景中的当前方法不容易适应另一个。虽然UniTrack \cite{wang2021different}证明了具有多个头部的共享外观模型可以用于处理单个跟踪任务，但它未能利用大规模跟踪数据集进行训练，并且在单个对象跟踪上表现不佳。在这项工作中，我们提出了统一的Transformer跟踪器（UTT），以解决跟踪问题，在不同的情况下，一个范例。我们的UTT中开发了一个跟踪Transformer，用于SOT和MOT中的目标跟踪。利用目标和跟踪帧特征之间的相关性对目标进行定位。我们证明，SOT和MOT任务可以在这个框架内解决。该模型可以通过在单个任务的数据集上交替优化SOT和MOT目标来同时进行端到端训练。在SOT和MOT数据集上训练的统一模型在几个基准上进行了广泛的实验。代码将在https://github.com/Flowerfan/Trackron上提供。
2022-06-08 cs.CV
Transformer Tracking with Cyclic Shifting Window Attention
Huazhong University of Science and Technology（华中科技大学）；La Trobe University（乐卓博大学）
Transformer体系结构由于其有效的注意力机制，在视觉目标跟踪方面显示出强大的实力。现有的基于变换器的方法采用像素到像素的注意力策略对扁平化的图像特征，并不可避免地忽略了对象的完整性。在本文中，我们提出了一种新的Transformer架构与多尺度循环移位窗口的注意力视觉目标跟踪，提升注意力从像素到窗口级别。跨窗口多尺度注意具有在不同尺度上聚合注意的优点，并为目标对象生成最佳细尺度匹配。此外，循环移位策略通过用位置信息扩展窗口样本来带来更高的准确性，同时通过去除冗余计算来节省大量的计算能力。大量的实验证明了我们的方法的优越性能，它还在五个具有挑战性的数据集上创造了新的最先进的记录，以及VOT 2020，UAV123，LaSOT，TrackingNet和GOT-10k基准测试。
2022-05-08 cs.CV
Leveraging the Power of Data Augmentation for Transformer-based Tracking
Dalian University of Technology（大连理工大学）；Linköping University（林雪平大学）
本文针对基于Transformer的跟踪器，提出了动态搜索半径优化的随机裁剪和token级特征混合两种定制化数据增强方法，显著提升了模型在单样本跟踪等挑战性设置下的有效性与数据效率。
2023-09-15 cs.CV
SparseTT: Visual Tracking with Sparse Transformers
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
Transformers已成功应用于视觉跟踪任务，并显着提高跟踪性能。自注意力机制是Transformers成功的关键。然而，自我注意力缺乏对搜索区域中最相关信息的关注，很容易被背景分散注意力。在本文中，我们缓解这个问题与稀疏的注意力机制，通过集中在搜索区域中的最相关的信息，这使得更准确的跟踪。此外，我们引入了双头预测器，以提高前景-背景分类和目标边界框回归的准确性，从而进一步提高跟踪性能。大量的实验表明，在没有花里胡哨的情况下，我们的方法在以40 FPS运行时，在LaSOT、GOT-10 k、TrackingNet和UAV 123上的性能明显优于最先进的方法。值得注意的是，我们的方法的训练时间比TransT减少了75%。源代码和模型可以在https://github.com/fzh0917/SparseTT上找到。
2022-05-08 cs.CV
Local Perception-Aware Transformer for Aerial Tracking
Tongji University（同济大学）
基于transformer的视觉对象跟踪已经被广泛使用。然而，Transformer结构缺乏足够的电感偏置。此外，只关注全局特征的编码不利于对局部细节的建模，从而限制了飞行机器人的跟踪能力。具体而言，局部建模的全局搜索机制，建议跟踪器取代了一种新的局部识别编码器的全局编码器。在编码器中，一个本地识别注意和本地元素校正网络的精心设计，以减少全局冗余信息的干扰和增加本地的归纳偏差。同时，后者通过细节查询网络，可以在鸟瞰图下精确建模局部目标细节。该方法实现了竞争力的准确性和鲁棒性，在几个权威的航空基准与316个序列。实际测试验证了该跟踪器的实用性和有效性。
2022-08-06 cs.CV
MCTR: Multi Camera Tracking Transformer
NEC Laboratories America（NEC美国实验室）
MCTR提出了一种端到端的多摄像头跟踪方法，利用Transformer架构实现多目标检测和跟踪，通过概率关联和可微损失实现一致的跟踪结果。
2026-01-30 cs.CV
Learning Spatio-Temporal Transformer for Visual Tracking
Dalian University of Technology（大连理工大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一种新的跟踪架构的编码器-解码器Transformer的关键组成部分。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模，而解码器学习查询嵌入以预测目标对象的空间位置。我们的方法将对象跟踪转换为直接的限界框预测问题，而不使用任何建议或预定义的锚。使用编码器-解码器Transformer，对象的预测仅使用简单的全卷积网络，直接估计对象的角点。整个方法是端到端的，不需要任何后处理步骤，如余弦窗口和限界框平滑，从而大大简化了现有的跟踪管道。该跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能，同时以实时速度运行，比Siam R-CNN快6倍。代码和模型在https://github.com/researchmm/Stark上开源。
2021-03-31 cs.CV
TransTrack: Multiple Object Tracking with Transformer
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Tongji University（同济大学）
在这项工作中，我们提出了TransTrack，一个简单而有效的计划来解决多目标跟踪问题。TransTrack利用了Transformer体系结构，这是一种基于注意力的查询键机制。它将来自前一帧的对象特征应用为当前帧的查询，并引入一组学习的对象查询以检测新出现的对象。该算法通过在Single Shot内完成目标检测和目标关联，简化了检测跟踪方法中复杂的多步设置，建立了一种新的联合检测跟踪方法。在MOT 17和MOT 20基准测试中，TransTrack的MOTA分别达到74.5%和64.5%，与现有方法相比具有一定的竞争力。我们希望TransTrack提供一个新的视角多目标跟踪。代码可在以下网址获得：\url{https://github.com/PeizeSun/TransTrack}。
2021-05-04 cs.CV
FutrTrack: A Camera-LiDAR Fusion Transformer for 3D Multiple Object Tracking
University of Wuppertal（乌珀塔尔大学）；Institute of Computer Science, Osnabrück University（计算机科学研究所，奥斯纳布鲁克大学）
FutrTrack通过融合相机与激光雷达数据，利用基于变压器的跟踪框架，在多目标跟踪中实现了高效且鲁棒的跟踪性能。
2025-12-15 cs.CV
TrackFormer: Multi-Object Tracking with Transformers
Technical University of Munich（慕尼黑工业大学）；Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））
多目标跟踪（MOT）的挑战性任务，需要同时推理的轨迹初始化，身份和时空轨迹。我们制定了这个任务作为一个帧到帧集预测问题，并介绍TrackFormer，端到端的可训练MOT方法的基础上的编码器-解码器Transformer架构。我们的模型实现了通过关注帧之间的数据关联，通过一个视频序列演变的一组跟踪预测。Transformer解码器从静态对象查询中提取新的轨迹，并利用概念上新的和保持身份的轨迹查询在空间和时间上自回归地跟随现有轨迹。两种查询类型都受益于对全局帧级特征的自关注和编码器-解码器关注，从而省略了任何额外的图形优化或运动和/或外观的建模。TrackFormer引入了一种新的注意力跟踪模式，虽然设计简单，但能够在多目标跟踪（MOT 17和MOT 20）和分割（MOTS 20）任务上实现最先进的性能。该代码可在https://github.com/timmeinhardt/trackformer上获得。
2022-04-29 cs.CV
AiATrack: Attention in Attention for Transformer Visual Tracking
Huazhong University of Science and Technology（华中科技大学）；Wormpex AI Research（Wormpex AI研究院）；Shanghai Jiao Tong University（上海交通大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
Transformer跟踪器最近取得了令人印象深刻的进步，其中注意力机制起着重要作用。然而，在注意力机制中的独立相关计算可能导致噪声和模糊的注意力权重，这抑制了进一步的性能改进。为了解决这个问题，我们提出了一个注意力（AiA）模块，该模块通过在所有相关向量之间寻求共识来增强适当的相关性并抑制错误的相关性。我们的AiA模块可以很容易地应用到自我注意块和交叉注意块，以促进视觉跟踪的特征聚合和信息传播。此外，我们提出了一个精简的Transformer跟踪框架，称为AiATrack，通过引入有效的功能重用和目标背景嵌入，充分利用时间参考。实验表明，我们的跟踪器实现了国家的最先进的性能在六个跟踪基准，同时以实时速度运行。
2022-07-22 cs.CV
Learning Tracking Representations via Dual-Branch Fully Transformer Networks
Southeast University（东南大学）；Microsoft Research Asia（微软亚洲研究院）
提出了一种基于单Transformers的双分支网络跟踪算法。给定一个模板和一个搜索图像，我们把它们分成不重叠的补丁，并提取一个特征向量，为每个补丁的基础上，其匹配结果与他人在一个注意力窗口。对于每个token，我们估计它是否包含目标对象以及相应的大小。该方法的优点是，特征是从匹配中学习的，并最终用于匹配。因此，这些特征与对象跟踪任务保持一致。该方法取得了更好的或相当的效果，作为性能最好的方法，首先使用CNN提取特征，然后使用Transformer融合它们。它在GOT-10 k和VOT 2020基准测试中优于最先进的方法。此外，该方法在一个GPU上实现了实时推理速度（约$40$ fps）。代码和模型将被释放。
2021-12-05 cs.CV
Higher-Order Cell Tracking Transformer
Biohub San Francisco（旧金山生物中心）
研究如何从实时成像显微镜重建细胞谱系，提出高阶细胞追踪变换器（HOCT），以边为中心架构，借助3D几何先验解决现有方法问题，在相关测试中取得最优结果且易于微调，大幅降低跟踪误差。
2026-07-14 cs.CV
TransCenter: Transformers with Dense Representations for Multiple-Object Tracking
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心）；Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
自推出以来，Transformers已被证明在各种任务中具有卓越的性能。近年来，它们在诸如图像分类和目标检测等任务中引起了视觉界的关注。尽管如此，一个准确和有效的多目标跟踪（MOT）方法的基础上Transformers器尚未被设计。我们认为，直接应用的Transformer架构与二次复杂性和不足的噪声初始化稀疏查询-是不是最佳的MOT。我们提出了transCenter，一个基于transformer的MOT架构与密集的表示，准确地跟踪所有的对象，同时保持合理的运行时间。在方法上，我们提出了使用图像相关的密集检测查询和高效的稀疏跟踪查询我们精心设计的查询学习网络（QLN）。一方面，密集的图像相关检测查询允许我们通过密集的热图输出来全局和鲁棒地推断目标的位置。另一方面，稀疏跟踪查询集有效地与我们的transCenter解码器中的图像特征进行交互，以通过时间关联对象位置。因此，TransCenter表现出显着的性能改进，并在两个标准的MOT基准测试中（两个跟踪设置（公共/私人））大幅优于当前最先进的方法。通过广泛的消融研究以及与更简单的替代方案和并行工作的比较，也证明了TransCenter的有效性和准确性。出于科学兴趣，该代码在https://github.com/yihongxu/transcenter上公开提供。
2022-09-30 cs.CV
PTT: Point-Track-Transformer Module for 3D Single Object Tracking in Point Clouds
Northeastern University（东北大学）
3D单目标跟踪是机器人技术的一个关键问题。在本文中，我们提出了一个Transformer模块称为点跟踪Transformer（PTT）的点云为基础的三维单目标跟踪。PTT模块包含特征嵌入、位置编码和自注意特征计算三个模块。特征嵌入的目的是将具有相似语义信息的特征在嵌入空间中放置得更近。位置编码用于将点云的坐标编码为高维可区分的特征。自我注意力通过计算注意力权重来生成精细的注意力特征。此外，我们将PTT模块嵌入到开源的最先进的方法P2B中，以构建PTT-Net。在KITTI数据集上的实验表明，我们的PTT-Net以明显的优势（约10%）超越了最先进的技术。此外，PTT-Net可以在NVIDIA 1080Ti GPU上实现实时性能（约40 FPS）。我们的代码在https://github.com/shanjiayao/PTT上为机器人社区开源。
2021-10-07 cs.CV
Adaptively Bypassing Vision Transformer Blocks for Efficient Visual Tracking
College of Computer Science and Engineering, Guilin University of Technology（桂林理工大学计算机科学与工程学院）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；College of Computer Science, Sichuan University（四川大学计算机学院）
针对视觉跟踪中ViT推理速度慢的问题，提出ABTrack框架，通过BDM自适应绕过不重要的Transformer模块并结合ViT剪枝降低token维度，在保持跟踪精度的同时实现高效推理。
2024-07-01 cs.CV
AViTMP: A Tracking-Specific Transformer for Single-Branch Visual Tracking
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Optics and Electronics, Chinese Academy of Sciences（中国科学院光电技术研究所）；Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本文提出AViTMP跟踪器，首次将单分支ViT与判别式模型结合，并通过CycleTrack双向循环验证增强抗干扰能力，在多个基准上取得最先进性能。
2024-07-04 cs.CV
Strong-TransCenter: Improved Multi-Object Tracking based on Transformers with Dense Representations
School of Electrical Engineering, Tel-Aviv University（特拉维夫大学电气工程学院）
针对多目标跟踪中的轨迹位移估计问题，本文提出Strong-TransCenter，通过集成卡尔曼滤波器与嵌入网络的后处理机制优化TransCenter，显著提升了跟踪准确性与鲁棒性。
2024-12-21 cs.CV
Motion-Aware Transformer for Multi-Object Tracking
Department of Computer Science, Illinois Institute of Technology（计算机科学系，伊利诺伊理工学院）
本文提出运动感知Transformer，通过显式建模物体运动提升多目标跟踪性能，在多个数据集上取得显著改进。
2026-03-08 cs.CV
TrTr: Visual Tracking with Transformer
University of Tokyo（东京大学）
基于模板的判别式跟踪器由于其鲁棒性和准确性而成为目前主流的跟踪方法，而基于Siamese网络的方法依赖于从模板和搜索图像中提取的特征之间的互相关运算，显示了最先进的跟踪性能。然而，一般的互相关运算只能得到两个特征图中局部块之间的关系。在本文中，我们提出了一种新的跟踪器网络的基础上，一个强大的注意力机制称为Transformer编码器-解码器架构，以获得全球和丰富的上下文相互依赖性。在这种新的架构中，模板图像的特征由编码器部分中的自注意模块处理以学习强上下文信息，然后将其发送到解码器部分以计算与由另一个自注意模块处理的搜索图像特征的交叉注意。此外，我们设计的分类和回归头使用Transformer的输出定位目标的形状无关的锚的基础上。我们在VOT 2018，VOT 2019，OTB-100，UAV，NfS，TrackingNet和LaSOT基准上广泛评估了我们的跟踪器TrTr，我们的方法与最先进的算法相比表现良好。训练代码和预训练模型可在https://github.com/tongtybj/TrTr上获得。
2021-05-09 cs.CV
Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking
Tsinghua University（清华大学）；Aibee Inc（爱笔智能）
多目标跟踪（MOT）的最新趋势是利用深度学习来提高跟踪性能。在本文中，我们提出了一种新的解决方案命名为transSTAM，它利用Transformer有效地建模每个对象的外观特征和对象之间的时空关系。TransSTAM由两个主要部分组成：（1）编码器利用Transformer强大的自注意机制来学习每个tracklet的区分特征;（2）解码器采用标准的交叉注意力机制来通过考虑时空和外观特征来建模tracklet和检测之间的亲和力。TransSTAM有两个主要优点：（1）它完全基于编码器-解码器架构，具有紧凑的网络设计，因此计算效率高;（2）它可以在一个模型中有效地学习时空和外观特征，从而实现更好的跟踪精度。所提出的方法在包括MOT 16，MOT 17和MOT 20在内的多个公共基准上进行了评估，并且相对于所有基准上的先前最先进的方法，它在IDF 1和HOTA中实现了明显的性能改进。我们的代码可在\url{https://github.com/icicle4/TranSTAM}上获得。
2022-05-31 cs.CV
Divert More Attention to Vision-Language Tracking
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of North Texas（北得克萨斯大学）
依靠Transformer进行复杂的视觉特征学习，对象跟踪已经成为最先进技术（SOTA）的新标准。然而，这种进步伴随着更大的训练数据和更长的训练周期，使得跟踪越来越昂贵。在本文中，我们证明了对Transformer的依赖是不必要的，纯ConvNets在实现SOTA跟踪方面仍然具有竞争力，甚至更好，更经济和友好。我们的解决方案是释放多模态视觉语言（VL）跟踪的力量，只需使用ConvNets。其本质在于使用我们的模态混合器（ModaMixer）和非对称ConvNet搜索来学习新的统一自适应VL表示。我们表明，我们的统一自适应VL表示，纯粹使用ConvNets学习，是Transformer视觉特征的简单而强大的替代品，通过令人难以置信地将基于CNN的Siamese跟踪器在SUC中提高了14.5%，挑战LaSOT（50.7% > 65.2%），甚至优于几个基于Transformer的SOTA跟踪器。除了实证结果，我们从理论上分析我们的方法来证明其有效性。通过揭示VL表示的潜力，我们期望社区将更多注意力转移到VL跟踪上，并希望为Transformer之外的未来跟踪开辟更多可能性。代码和模型将在https://github.com/JudasDie/SOTS上发布。
2022-07-03 cs.CV
Is a Pure Transformer Effective for Separated and Online Multi-Object Tracking?
Dalian University of Technology（大连理工大学）；Shandong University of Science and Technology（山东科技大学）
本文提出将轨迹图表示为有向无环图，并利用经典 Transformer 架构（PuTR）统一分离式在线多目标跟踪的短期与长期关联，在四个数据集上验证了其有效性和域适应能力。
2025-03-25 cs.CV
Similarity-Guided Layer-Adaptive Vision Transformer for UAV Tracking
Guangxi Normal University（广西师范大学）
针对无人机跟踪中ViT层表示冗余问题，提出相似性引导的层自适应方法，动态保留最优层并构建SGLATrack，在六个基准上实现最先进实时速度与竞争性精度。
2025-03-09 cs.CV
SOTFormer: A Minimal Transformer for Unified Object Tracking and Trajectory Prediction
School of Computer Science University College Dublin（计算机科学学院都柏林大学学院）；School of Computer Science and Technology Dalian University of Technology（计算机科学与技术学院大连理工大学）
针对遮挡等场景下单目标跟踪与短期运动预测的难题，提出端到端极简Transformer模型SOTFormer，统一检测、跟踪与短时域轨迹预测，在基准测试中性能优于同类基线且支持实时推理。
2025-11-14 cs.CV
Architecture and evaluation protocol for transformer-based visual object tracking in UAV applications
French-German Research Institute of Saint-Louis（法德圣路易研究所）；Université de Haute-Alsace（上阿尔萨斯大学）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用科学大学）
本文提出MATA架构结合变压器跟踪器与扩展卡尔曼滤波器，引入硬件无关的嵌入式评估协议和NT2F指标，提升无人机复杂场景下的跟踪鲁棒性和实时性能。
2026-03-26 cs.CV
Trackastra: Transformer-based cell tracking for live-cell microscopy
Institute of Bioengineering, School of Life Sciences, EPFL（EPFL生命科学学院生物工程研究所）；Center for Scalable Data Analytics and AI (ScaDS.AI)（可扩展数据分析与人工智能中心（ScaDS.AI））；Faculty of Computer Science, TU Dresden（德累斯顿工业大学计算机科学学院）
提出Trackastra，一种基于Transformer的通用细胞追踪方法，通过学习时空窗口内的细胞成对关联并支持分裂物体，在无需复杂连接步骤的情况下，追踪性能媲美或超越现有最先进算法。
2024-07-24 cs.CV
BOTT: Box Only Transformer Tracker for 3D Object Tracking
Motional（Motional公司）
针对卡尔曼滤波跟踪依赖手工运动建模的问题，本文提出BOTT，用Transformer自注意力学习时间窗口内3D框的全局嵌入并进行关联，可兼容在线与离线跟踪，在nuScenes和Waymo上取得竞争力性能。
2023-08-17 cs.CV
Contrastive Learning for Multi-Object Tracking with Transformers
KU Leuven（鲁汶大学）；TRACE vzw
本文提出用实例级对比损失、改进采样策略和轻量级分配方法将 DETR 改造为多目标跟踪模型，以低开销在 BDD100K 上提升 2.6 mMOTA，并在 MOT17 上达到可比性能。
2023-11-14 cs.CV
Separable Self and Mixed Attention Transformers for Efficient Object Tracking
Concordia University（康考迪亚大学）
提出一种高效自注意力与混合注意力Transformer架构SMAT，首次在轻量级跟踪中同时部署Transformer骨干与预测头，实现高精度与低计算开销。
2023-09-07 cs.CV
3D Siamese Transformer Network for Single Object Tracking on Point Clouds
Nanjing University of Science and Technology（南京理工大学）
基于Siamese网络的跟踪器将3D单个对象跟踪公式化为模板和搜索区域的点特征之间的互相关学习。由于跟踪过程中模板和搜索区域之间的外观变化很大，如何学习它们之间的鲁棒互相关来识别搜索区域中的潜在目标仍然是一个具有挑战性的问题。在本文中，我们显式地使用Transformer来形成一个三维Siamese Transformer网络，用于学习模板和点云搜索区域之间的鲁棒互相关。具体来说，我们开发了一个暹罗点Transformer网络来学习目标的形状上下文信息。该算法的编码器利用自注意力捕获点云的非局部信息来表征物体的形状信息，解码器利用交叉注意力对判别性点特征进行上采样。在此之后，我们开发了一个迭代的粗到细的相关网络来学习模板和搜索区域之间的鲁棒互相关。它制定了交叉特征增强相关联的模板与搜索区域中的潜在目标，通过交叉注意。为了进一步增强潜在目标，它采用自我特征增强，将自我注意力应用于特征空间的局部k-NN图以聚合目标特征。在KITTI，nuScenes和Waymo数据集上的实验表明，我们的方法在3D单对象跟踪任务上达到了最先进的性能。
2022-07-26 cs.CV
FreqTrack: Frequency Learning based Vision Transformer for RGB-Event Object Tracking
Dalian University of Technology（大连理工大学）
本文提出FreqTrack，通过频域转换建立互补的多模态关联，提升RGB-事件跟踪的鲁棒性。设计Spectral Enhancement Transformer和Wavelet Edge Refinement模块，实现在高速低光场景下的性能提升。
2026-04-16 cs.CV
MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object Tracking
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Shanghai AI Lab（上海人工智能实验室）
本文提出MeMOTR，通过长时记忆注入和定制记忆注意力层增强Transformer的轨迹嵌入稳定性与区分性，在多目标跟踪基准上显著超越现有方法。
2024-02-21 cs.CV
Efficient Training for Visual Tracking with Deformable Transformer
Guangdong University of Technology（广东工业大学）
提出端到端视觉跟踪框架 DETRack，利用 deformable transformer 解码器作为目标头降低 GFLOPs，并结合一对多标签分配与辅助去噪技术加速收敛，在 GOT-10k 上以更少训练轮数达到 72.9% AO。
2023-09-06 cs.CV
Looking Beyond Two Frames: End-to-End Multi-Object Tracking Using Spatial and Temporal Transformers
Monash University（莫纳什大学）；The University of Melbourne（墨尔本大学）；The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
尽管该领域最近取得了进展，但随着时间的推移跟踪视频序列中随时间变化的不确定数量的对象仍然是一个挑战。大多数现有的方法都不能正确处理多对象跟踪的挑战，如闭塞，部分原因是因为他们忽略了长期的时间信息。为了解决这些缺点，我们提出了MO3 TR：一个真正的基于Transformer的端到端在线多对象跟踪（MOT）框架，它可以学习处理遮挡、跟踪启动和终止，而无需显式数据关联模块或任何启发式方法。MO3TR使用空间和时间Transformers的组合将对象交互编码为长期时间嵌入，并递归地使用与输入数据联合的信息来估计所有跟踪对象随时间的状态。空间注意力机制使我们的框架能够学习所有对象和测量对象之间的隐式表示，而时间注意力机制专注于过去信息的特定部分，使我们的方法能够解决多帧上的遮挡。我们的实验证明了这种新方法的潜力，在几个流行的多目标跟踪基准测试中，在多个MOT指标上取得了与当前最先进的方法相当或更好的结果。
2022-10-07 cs.CV
Mobile Vision Transformer-based Visual Object Tracking
Concordia University（康考迪亚大学）
首次提出以MobileViT为骨干网络的轻量级跟踪算法MVT，通过新方法融合模板与搜索区域表示，在大规模数据集上以高推理速度超越近期轻量级跟踪器，且参数更少、速度更快却优于DiMP-50。
2023-09-11 cs.CV
Exploring Lightweight Hierarchical Vision Transformers for Efficient Visual Tracking
Dalian University of Technology（大连理工大学）；Microsoft Research（微软研究院）
本文提出高效视觉跟踪模型系列 HiT，通过 Bridge Module 融合深浅层特征并采用双图像位置编码，在边缘设备上实现高速运行和领先性能。
2023-08-14 cs.CV
Learning Spatial-Frequency Transformer for Visual Object Tracking
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Optics and Electronics, Chinese Academy of Sciences（中国科学院光电技术研究所）；Anhui University（安徽大学）；Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
最近的跟踪器采用Transformer来结合或取代广泛使用的ResNet作为其新的骨干网络。虽然他们的跟踪器在常规场景中工作得很好，但是，他们只是将2D特征扁平化为一个序列，以更好地匹配Transformer。我们认为这些操作忽略了目标对象的空间先验，这可能导致次优结果。此外，许多工作表明，自我注意力实际上是一个低通滤波器，这是独立的输入功能或关键字/查询。也就是说，它可以抑制输入特征的高频分量，并保留甚至放大低频信息。为了解决这些问题，在本文中，我们提出了一个统一的空间频率Transformer模型的高斯空间先验和高频强调注意力（GPHA）的同时。具体来说，高斯空间先验是使用双重多层感知器（MLP）生成的，并注入到由自注意中的查询和关键特征相乘产生的相似性矩阵中。输出将被馈送到Softmax层，然后分解为两个分量，即，直接信号和高频信号。低通和高通分支被重新缩放和组合以实现全通，因此，高频特性将在堆叠的自注意层中得到很好的保护。我们进一步整合的空间频率Transformer到暹罗跟踪框架，并提出了一种新的跟踪算法，称为SFtransT。该算法以基于跨尺度融合的SwinTransformer算法为骨干，采用多头交叉注意模块增强搜索与模板特征的交互。输出将被馈送到跟踪头用于目标定位。在短期和长期跟踪基准上的大量实验都证明了我们提出的框架的有效性。
2023-03-09 cs.CV
The Progression of Transformers from Language to Vision to MOT: A Literature Review on Multi-Object Tracking with Transformers
University of Illinois（伊利诺伊大学）
本文是一篇文献综述，梳理了Transformer从自然语言处理到计算机视觉的应用演进，重点分析了其在多目标跟踪（MOT）领域的研究进展，指出Transformer在前沿MOT工作中已具备竞争力但仍不及传统深度学习方法。
2024-06-24 cs.AI cs.CV
An Improved End-to-End Multi-Target Tracking Method Based on Transformer Self-Attention
Wuhan University（武汉大学）；Wuhan Optics Valley Information Technology Co., Ltd.（武汉光谷信息技术股份有限公司）；Mobile Broadcasting and Information Service Industry Innovation Research Institute (Wuhan) Co., Ltd（移动广播与信息服务产业创新研究院（武汉）有限公司）
基于Transformer编解码器结构的自关注机制，提出了一种改进的适用于多视点多尺度场景的端到端多目标跟踪算法。将多维特征提取骨干网络与自建的语义栅格地图相结合，存储在编码器中进行关联，生成目标位置编码和多维特征向量。解码器采用了四种方法：多视角目标的空间聚类和语义过滤、多维特征的动态匹配、基于时空逻辑的多目标跟踪和基于时空收敛网络（STCN）的参数传递。通过多种解码方法的融合，实现了多摄像机目标的三维跟踪：时间逻辑、空间逻辑和特征匹配。对于MOT 17数据集，本研究的方法在多目标跟踪准确度（MOTA）指标上显著优于当前最先进的方法MiniTrackV 2 [49] 2.2%至0.836。此外，本研究首次提出了一种回顾性机制，并采用逆序处理方法来优化历史错误标记的目标，以提高识别F1分数（IDF 1）。对于自建数据集OVIT-MOT 01，IDF 1从0.948提高到0.967，多相机跟踪精度（MCTA）从0.878提高到0.909，显著提高了连续跟踪精度和场景适应性。该研究方法引入了一种新的注意力跟踪范式，该范式能够在多目标跟踪（MOT 17和OVIT-MOT 01）任务上实现最先进的性能。
2022-11-11 cs.CV
GLT-T: Global-Local Transformer Voting for 3D Single Object Tracking in Point Clouds
Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）
当前的3D单目标跟踪方法通常基于VoteNet，一种3D区域提议网络。尽管取得了成功，但在VoteNet中使用单个种子点特征作为偏移学习的线索会阻止生成高质量的3D提案。此外，不同重要性的种子点在投票过程中被平等对待，加剧了这一缺陷。为了解决这些问题，我们提出了一种新的全局-局部Transformer投票方案，以提供更多的信息线索，并引导模型更多地关注潜在的种子点，促进高质量的3D提案的生成。从技术上讲，采用全局-局部Transformer（GLT）模块将对象感知先验和块感知先验集成到种子点特征中，以有效地形成种子点几何位置的强特征表示，从而为偏移学习提供更鲁棒和准确的线索。随后，一个简单而有效的训练策略是设计训练的GLT模块。我们开发了一个重要性预测分支来学习种子点的潜在重要性，并将输出权重向量作为训练约束项。通过将上述组件结合在一起，我们表现出一个优越的跟踪方法GLT-T。在具有挑战性的KITTI和NuScenes基准上进行的大量实验表明，GLT-T在3D单目标跟踪任务中达到了最先进的性能。此外，进一步的消融研究表明，提出的全局-局部Transformer投票方案的优势，比原来的VoteNet。代码和模型将在https://github.com/haooozi/GLT-T上提供。
2022-11-20 cs.CV
Learning an Adaptive and View-Invariant Vision Transformer for Real-Time UAV Tracking
College of Computer Science and Engineering, Guilin University of Technology（桂林理工大学计算机科学与工程学院）；Guangxi Key Laboratory of Embedded Technology and Intelligent Information Processing（广西嵌入式技术与智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院）；College of Computer Science, Sichuan University（四川大学计算机科学学院）
本文提出自适应跟踪框架AVTrack，通过动态激活Transformer块平衡性能与效率，并利用互信息最大化学习视角不变表示；进一步提出AVTrack-MD，采用多教师知识蒸馏提升泛化与性能，在保持精度的同时降低复杂度并提速17%以上。
2025-08-15 cs.CV
OVTR: End-to-End Open-Vocabulary Multiple Object Tracking with Transformer
Huazhong University of Science and Technology（华中科技大学）
本文提出OVTR，首个基于Transformer的端到端开放词汇多目标跟踪器，通过CIP策略与双分支结构同时建模运动、外观和类别，在开放词汇MOT基准上超越以往方法并提升推理速度。
2025-03-30 cs.CV
Learning Motion Blur Robust Vision Transformers for Real-Time UAV Tracking
College of Computer Science（计算机科学学院）；Guilin University of Technology（桂林理工大学）；School of Computer Science（计算机科学学院）；Fudan University（复旦大学）；Sun Yat-sen University（中山大学）；Sichuan University（四川大学）
本文提出BDTrack，通过自适应动态退出Transformer模块提升实时性，并通过强制特征对模拟运动模糊不变来增强鲁棒性，在四个基准上验证了无人机实时跟踪的有效性。
2025-08-21 cs.CV
Humans in 4D: Reconstructing and Tracking Humans with Transformers
University of California, Berkeley（加州大学伯克利分校）
我们提出4DHumans方法，利用Transformer化的HMR 2.0网络进行3D人体重建，并结合3D跟踪系统实现多人在遮挡下的身份保持，在单目视频跟踪和动作识别任务上达到最先进水平。
2023-08-31 cs.CV
InterTrack: Interaction Transformer for 3D Multi-Object Tracking
University of Toronto（多伦多大学）
InterTrack提出交互Transformer生成判别性对象表示，通过注意力聚合全局信息并回归亲和度，在nuScenes基准上显著提升3D多目标跟踪性能，尤其对小型和密集物体，整体AMOTA排名第一。
2023-05-06 cs.CV
MOTR: End-to-End Multiple-Object Tracking with Transformer
MEGVII Technology（旷视科技）；Shanghai Jiao Tong University（上海交通大学）
目标的时间建模是多目标跟踪中的一个关键问题。现有的方法通过基于运动和基于外观的相似性算法来关联检测。关联的后处理性质防止端到端利用视频序列中的时间变化。在本文中，我们提出了MOTR，它扩展了DETR，并引入了跟踪查询模型跟踪实例在整个视频。跟踪查询被逐帧传输和更新，以随时间执行迭代预测。我们提出了tracklet感知标签分配训练轨道查询和新生对象查询。我们进一步提出了时间聚集网络和集体平均损失，以加强时间关系建模。在DanceTrack上的实验结果表明，MOTR在HOTA度量上的性能明显优于最先进的方法ByteTrack，提高了6.5%。在MOT17上，MOTR在关联性能上优于我们的并发作品TrackFormer和TransTrack。MOTR可以作为未来时间建模和基于transformer的跟踪器研究的更强基线。代码可在https://github.com/megvii-research/MOTR上获得。
2022-07-19 cs.CV
LiDAR MOT-DETR: A LiDAR-based Two-Stage Transformer for 3D Multiple Object Tracking
University of Wuppertal（伍珀塔尔大学）；Aptiv Services Deutschland GmbH（安波福服务德国有限公司）；Osnabrück University（奥斯纳布吕克大学）
针对LiDAR点云多目标跟踪的挑战，提出一种基于DETR的两阶段Transformer（平滑器与跟踪器），在nuScenes和KITTI上以在线/离线模式训练，在线模式aMOTA达0.724，优于基线。
2025-09-24 cs.CV
Exploring Dynamic Transformer for Efficient Object Tracking
Dalian University of Technology（大连理工大学）；Hong Kong Polytechnic University（香港理工大学）；Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
提出动态Transformer框架DyTrack，通过为不同复杂度的输入分配计算预算并引入特征重用与自蒸馏策略，在单一模型下实现高效目标跟踪中更优的速度-精度权衡。
2025-04-03 cs.CV
Uncertainty-Guided Inference-Time Depth Adaptation for Transformer-Based Visual Tracking
本文提出UncL-STARK，通过动态不确定性引导的深度适应，在不修改网络的情况下，提升基于变换器的视觉跟踪效率，实现计算开销降低和能耗节省。
2026-02-19 cs.CV
