FeedbackTrack: Visual-Cortex-Inspired Cross-Frame Feedback for Transformer Tracking
该研究提出受视觉皮层启发的FeedbackTrack框架,为Transformer跟踪器引入跨帧反馈机制,在LaSOT、GOT-10k等数据集上提升跟踪性能,且参数增量极小。
2026-08-11 cs.AI cs.CV
A Primal-Dual Solver for Large-Scale Tracking-by-Assignment
Heidelberg University(海德堡大学);Center for Systems Biology, Dresden(德累斯顿系统生物学中心);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所)
我们提出了一个快速的近似求解器的组合问题称为跟踪分配,我们适用于细胞跟踪。后者在许多生命科学的发现中起着关键作用,特别是在细胞和发育生物学中。到目前为止,在大多数通用的设置中,这个问题是由Guidelines这样的现成的求解器解决的,Guidelines的运行时间和内存需求随着输入的大小而快速增长。相反,对于我们的方法,这种增长几乎是线性的。我们的贡献包括一个新的(1)可分解的紧凑表示的问题;(2)对偶块坐标上升方法优化的分解为基础的对偶;和(3)原始算法,重建一个可行的整数解的基础上的对偶信息。与使用Guidance解决问题相比,我们观察到高达60倍的速度提升,同时显着减少内存占用。我们证明了我们的方法对现实世界的跟踪问题的有效性。
2020-04-14 cs.CV math.OC
Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking
University of Science and Technology of China (USTC)(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
在视频对象跟踪中,连续帧之间存在丰富的时间上下文,这在很大程度上被现有的跟踪器所忽视。在这项工作中,我们的桥梁的各个视频帧,并探讨他们通过强大的对象跟踪的Transformer架构的时间上下文。与传统的自然语言处理任务中使用的Transformer不同,我们将其编码器和解码器分成两个并行分支,并在类似于Siamese的跟踪流水线中进行了精心设计。Transformer编码器通过基于注意力的特征增强来提升目标模板,这有利于高质量的跟踪模型生成。Transformer解码器将跟踪线索从先前模板传播到当前帧,这有助于对象搜索过程。我们的transformer辅助跟踪框架是整洁的,并以端到端的方式进行训练。与建议的Transformer,一个简单的暹罗匹配的方法是能够超越目前的顶级性能的跟踪器。通过将我们的Transformer与最近的判别跟踪管道相结合,我们的方法在流行的跟踪基准上创造了几个新的最先进的记录。
2021-03-24 cs.CV
Enhanced Transformer-Based Tracking for Skiing Events: Overcoming Multi-Camera Challenges, Scale Variations and Rapid Motion -- SkiTB Visual Tracking Challenge 2025
Tredence Analytics(特伦登斯分析公司)
针对高山滑雪赛事中的跟踪难题,采用STARK模型并优化其架构与超参数,以应对多摄像头、遮挡和快速运动,提升跟踪准确性。
2025-02-26 cs.CV
Transformers in Single Object Tracking: An Experimental Survey
University of Moratuwa(莫拉图瓦大学);University of Jaffna(贾夫纳大学)
本文对单目标跟踪中的Transformer方法进行分类综述,并通过基准实验评估其鲁棒性、效率及场景适应性,为后续研究提供原理、挑战与方向参考。
2023-06-23 cs.CV
Efficient Visual Tracking with Exemplar Transformers
ETH Zürich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
更复杂和更强大的神经网络模型的设计大大提高了视觉目标跟踪的最新技术水平。这些进步可以归因于更深层次的网络,或引入新的构建模块,如Transformers。然而,在追求提高跟踪性能的过程中,运行时间常常受到阻碍。此外,有效的跟踪架构得到了令人惊讶的关注。在本文中,我们介绍了示例Transformer,一个Transformer模块,利用一个单一的实例级的注意力层的实时视觉对象跟踪。E.T.Track是我们的视觉跟踪器,集成了Exemplar Transformer模块,在CPU上以47 FPS运行。这比其他基于变压器的模型快8倍。与可以在标准CPU上实时运行的轻量级跟踪器相比,E.T.Track在LaSOT、OTB-100、NFS、TrackingNet和VOT-ST 2020数据集上的性能始终优于所有其他方法。代码和型号可在https://github.com/pblatter/ettrack上获得。
2022-10-04 cs.CV
S$^3$Track: Self-supervised Tracking with Soft Assignment Flow
Algolux(Algolux公司);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));TU Kaiserslautern(凯泽斯劳滕工业大学)
本文提出一种基于可微软目标分配的自监督多目标跟踪方法,通过时序和多视图数据学习实例感知特征,在多个数据集上显著优于其他无监督方法。
2023-05-17 cs.CV
Learning data association without data association: An EM approach to neural assignment prediction
Monash University(莫纳什大学);University of Edinburgh(爱丁堡大学)
数据关联是有效多对象跟踪的基本组成部分。目前的数据关联方法倾向于将其视为依赖于门控和基于距离的成本矩阵的分配问题,或者将数据关联的挑战抵消为通过检测跟踪的问题。后者通常被公式化为监督学习问题,并且需要关于被跟踪对象身份的标记信息来训练用于对象识别的模型。本文介绍了一种期望最大化的方法来训练神经模型的数据关联,它不需要标签信息。在这里,Sinkhorn网络被训练来预测分配矩阵,最大化轨迹观测的边际似然。重要的是,使用所提出的方法训练的网络可以在下游跟踪应用中重复使用。
2021-05-02 cs.CV eess.SP
COST: Contrastive One-Stage Transformer for Vision-Language Small Object Tracking
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作 medianet 创新中心);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));CloudWalk Technology Co., Ltd(云从科技股份有限公司);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出COST框架,通过对比对齐策略和单阶段Transformer融合机制学习统一的视觉-语言表示,并贡献了首个结合语言线索的小目标跟踪数据集VL-SOT500,在多个数据集上取得最优性能。
2025-04-02 cs.AI cs.CV
ProContEXT: Exploring Progressive Context Transformer for Tracking
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Carnegie Mellon University(卡内基梅隆大学)
现有的视觉对象跟踪(VOT)仅将第一帧中的目标区域作为模板。这导致跟踪在快速变化和拥挤的场景中不可避免地失败,因为它无法解释帧之间对象外观的变化。为此,我们改进了跟踪框架与渐进式上下文编码Transformer跟踪器(ProContEXT),它连贯地利用空间和时间的背景来预测对象的运动轨迹。具体而言,ProContEXT利用上下文感知的自注意模块来编码空间和时间上下文,改进和更新多尺度静态和动态模板,以逐步执行准确的跟踪。它探讨了空间和时间上下文之间的互补性,提出了一个新的途径,多上下文建模的transformer为基础的跟踪器。此外,ProContEXT修改了令牌修剪技术,以降低计算复杂性。在GOT-10 k和TrackingNet等流行的基准数据集上进行的大量实验表明,所提出的ProContEXT实现了最先进的性能。
2023-03-30 cs.AI cs.CV cs.MM
PTTR: Relational 3D Point Cloud Object Tracking with Transformer
Nanyang Technological University(南洋理工大学);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室);Sensetime Research(商汤科技研究院)
在点云序列中,3D对象跟踪的目的是在给定模板点云的情况下预测对象在当前搜索点云中的位置和方向。受Transformers成功的启发,我们提出了点跟踪变压器(PTTR),它有效地预测高质量的三维跟踪结果,在一个粗略到精细的方式与Transformer操作的帮助。PTTR由三种新颖的设计组成。1)代替随机采样,我们设计了一种基于感知的采样,在二次采样过程中保留与给定模板相关的点。2)此外,我们提出了一个点关系Transformer(PRT)的自注意和交叉注意模块组成。全局自注意操作捕获长范围依赖关系,以分别增强搜索区域和模板的编码点特征。随后,我们通过交叉注意匹配两组点特征来生成粗略的跟踪结果。3)基于粗跟踪结果,我们采用了一种新的预测细化模块,以获得最终的细化预测。此外,我们还基于Waymo Open Dataset创建了一个大规模点云单对象跟踪基准。大量的实验表明,PTTR实现优越的点云跟踪的准确性和效率。
2022-03-30 cs.CV
TransMOT: Spatial-Temporal Graph Transformer for Multiple Object Tracking
Microsoft(微软);Stony Brook University(石溪大学)
跟踪视频中的多个对象依赖于对对象的时空交互进行建模。在本文中,我们提出了一个解决方案,名为transMOT,它利用强大的图形Transformers,有效地模拟对象之间的空间和时间的相互作用。TransMOT通过将跟踪对象的轨迹排列为一组稀疏加权图,并基于这些图构建空间图Transformer编码器层、时间图Transformer编码器层和空间图Transformer解码器层,有效地对大量对象的交互进行建模。TransMOT不仅比传统的Transformer计算效率更高,而且跟踪精度更高。为了进一步提高跟踪速度和准确性,我们提出了一个级联关联框架来处理低分数检测和长期遮挡,需要大量的计算资源来在TransMOT中建模。在MOT15、MOT16、MOT17和MOT20等多个基准数据集上对所提出的方法进行了评估,并在所有数据集上实现了最先进的性能。
2021-04-03 cs.CV
Efficient Visual Tracking via Hierarchical Cross-Attention Transformer
Dalian University of Technology(大连理工大学);National University of Defense Technology(国防科技大学);Peng Cheng Laboratory(鹏城实验室)
近年来,目标跟踪在精度上有了很大的进步。这一发展主要归功于强大的网络(如Transformers)和额外的模块(如在线更新和改进模块)。然而,较少关注跟踪速度。大多数最先进的跟踪器都对强大GPU上的实时速度感到满意。然而,实际应用对跟踪速度有更高的要求,特别是在使用资源有限的边缘平台时。在这项工作中,我们提出了一个有效的跟踪方法,通过一个分层的交叉注意Transformer命名为HCAT。我们的模型在GPU上运行约195 fps,在CPU上运行约45 fps,在NVidia Jetson AGX Xavier的边缘AI平台上运行约55 fps。实验表明,我们的HCAT在LaSOT,GOT-10 k,TrackingNet,NFS,OTB 100,UAV 123和VOT 2020上取得了令人满意的结果。代码和型号可在https://github.com/chenxin-dlut/HCAT上获得。
2022-10-30 cs.CV
Global Tracking Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司)
我们提出了一种新的基于变换器的全局多目标跟踪架构。我们的网络将一个短的帧序列作为输入,并为所有对象生成全局轨迹。核心组件是一个全局跟踪Transformer,它对序列中所有帧中的对象进行操作。Transformer对来自所有帧的对象特征进行编码,并使用轨迹查询将它们分组为轨迹。轨迹查询是来自单个帧的对象特征,并且自然地产生独特的轨迹。我们的全局跟踪Transformer不需要中间成对分组或组合关联,并且可以与对象检测器联合训练。它在流行的MOT17基准上实现了具有竞争力的性能,MOTA为75.3,HOTA为59.1。更重要的是,我们的框架无缝集成到最先进的大词汇量检测器中,以跟踪任何对象。在具有挑战性的TAO数据集上的实验表明,我们的框架在基于成对关联的基线上不断改进,通过显着的7.7跟踪mAP优于已发表的作品。代码可在https://github.com/xingyizhou/GTR上获得。
2022-04-25 cs.CV
3D Object Tracking with Transformer
Northeastern University(东北大学)
特征融合和相似度计算是三维目标跟踪中的两个核心问题,特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息,使相似度计算更加有效。然而,大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性,而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制,Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征,在当前点云特征中加入更多的目标线索,计算区域注意力,提高了相似度计算的效率。基于此特征融合网络,我们提出了一个端到端的点云目标跟踪框架,一个简单而有效的方法,用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明,我们的方法达到了新的最先进的性能。代码可在:https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Bridging the Gap Between End-to-end and Non-End-to-end Multi-Object Tracking
Meituan(美团)
针对端到端多目标跟踪因标签分配不均导致性能受限的问题,提出Co-MOT方法,通过引入影子概念和竞合标签分配策略,在不增加成本下显著提升了跟踪性能并降低了计算开销。
2023-05-22 cs.CV
Incremental Optimal Assignment for Real-Time Crowd Tracking
Dept. of Computer Eng., METU(中东技术大学计算机工程系)
研究针对密集人群多目标跟踪中匈牙利算法效率低的问题,提出增量分配算法,利用成本矩阵块稀疏结构,每次添加一人进行增量计算,避免全矩阵扫描,在现实人群基准测试中比匈牙利算法有显著加速,适用于大规模人群场景。
2026-07-24 cs.CV cs.DS
Efficient Joint Detection and Multiple Object Tracking with Spatially Aware Transformer
Columbia University(哥伦比亚大学);Sony Group Corporation(索尼集团公司)
我们提出了一个轻量级和高效的联合检测和跟踪流水线的任务,多目标跟踪使用全变压器架构。它是TransTrack的修改版本,克服了与其设计相关的计算瓶颈,同时实现了最先进的73.20%的MOTA评分。模型设计由基于Transformer的主干而不是CNN驱动,其具有高度的输入分辨率可扩展性。我们还提出了一种用于Transformer编码器层的前馈网络的插入式替换,通过使用蝴蝶变换操作来执行通道融合和深度卷积,以学习特征图内的空间上下文,否则在Transformer的注意力图内丢失。作为我们的修改的结果,我们减少了58.73%的整体模型大小的TransTrack和78.72%的复杂性。因此,我们希望我们的设计提供新的视角架构优化在未来的研究与多目标跟踪。
2022-11-09 cs.CV
Factor Graph based 3D Multi-Object Tracking in Point Clouds
TU Chemnitz(开姆尼茨工业大学)
在三维空间中准确可靠地跟踪多个运动目标是城市场景理解的重要组成部分。这是一项具有挑战性的任务,因为它需要将当前帧中的检测分配给来自前一帧的预测对象。如果初始分配不正确,现有的基于过滤器的方法往往会很困难,这很容易发生。我们提出了一种新的基于优化的方法,不依赖于明确的和固定的分配。相反,我们将现成的3D对象检测器的结果表示为高斯混合模型,该模型被纳入因子图框架中。这使我们能够灵活地将所有检测同时分配给所有对象。因此,分配问题的解决隐式和联合的三维空间多目标状态估计使用非线性最小二乘优化。尽管它的简单性,所提出的算法实现了强大的和可靠的跟踪结果,可以应用于离线以及在线跟踪。我们证明了它的性能在现实世界中的KITTI跟踪数据集,并取得更好的结果比许多国家的最先进的算法。特别是估计的轨迹的一致性是优越的离线以及在线。
2020-08-12 cs.CV cs.RO
Unified Transformer Tracker for Object Tracking
University of Technology Sydney(悉尼科技大学);National University of Singapore(新加坡国立大学);Meta AI;Zhejiang University(浙江大学)
目标跟踪作为计算机视觉的一个重要研究领域,已经形成了两个独立的研究群体,分别研究单目标跟踪(SOT)和多目标跟踪(MOT)。然而,由于两个任务的训练数据集和跟踪对象不同,一个跟踪场景中的当前方法不容易适应另一个。虽然UniTrack \cite{wang2021different}证明了具有多个头部的共享外观模型可以用于处理单个跟踪任务,但它未能利用大规模跟踪数据集进行训练,并且在单个对象跟踪上表现不佳。在这项工作中,我们提出了统一的Transformer跟踪器(UTT),以解决跟踪问题,在不同的情况下,一个范例。我们的UTT中开发了一个跟踪Transformer,用于SOT和MOT中的目标跟踪。利用目标和跟踪帧特征之间的相关性对目标进行定位。我们证明,SOT和MOT任务可以在这个框架内解决。该模型可以通过在单个任务的数据集上交替优化SOT和MOT目标来同时进行端到端训练。在SOT和MOT数据集上训练的统一模型在几个基准上进行了广泛的实验。代码将在https://github.com/Flowerfan/Trackron上提供。
2022-06-08 cs.CV
Transformer Tracking with Cyclic Shifting Window Attention
Huazhong University of Science and Technology(华中科技大学);La Trobe University(乐卓博大学)
Transformer体系结构由于其有效的注意力机制,在视觉目标跟踪方面显示出强大的实力。现有的基于变换器的方法采用像素到像素的注意力策略对扁平化的图像特征,并不可避免地忽略了对象的完整性。在本文中,我们提出了一种新的Transformer架构与多尺度循环移位窗口的注意力视觉目标跟踪,提升注意力从像素到窗口级别。跨窗口多尺度注意具有在不同尺度上聚合注意的优点,并为目标对象生成最佳细尺度匹配。此外,循环移位策略通过用位置信息扩展窗口样本来带来更高的准确性,同时通过去除冗余计算来节省大量的计算能力。大量的实验证明了我们的方法的优越性能,它还在五个具有挑战性的数据集上创造了新的最先进的记录,以及VOT 2020,UAV123,LaSOT,TrackingNet和GOT-10k基准测试。
2022-05-08 cs.CV
Leveraging the Power of Data Augmentation for Transformer-based Tracking
Dalian University of Technology(大连理工大学);Linköping University(林雪平大学)
本文针对基于Transformer的跟踪器,提出了动态搜索半径优化的随机裁剪和token级特征混合两种定制化数据增强方法,显著提升了模型在单样本跟踪等挑战性设置下的有效性与数据效率。
2023-09-15 cs.CV
SparseTT: Visual Tracking with Sparse Transformers
Beihang University(北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
Transformers已成功应用于视觉跟踪任务,并显着提高跟踪性能。自注意力机制是Transformers成功的关键。然而,自我注意力缺乏对搜索区域中最相关信息的关注,很容易被背景分散注意力。在本文中,我们缓解这个问题与稀疏的注意力机制,通过集中在搜索区域中的最相关的信息,这使得更准确的跟踪。此外,我们引入了双头预测器,以提高前景-背景分类和目标边界框回归的准确性,从而进一步提高跟踪性能。大量的实验表明,在没有花里胡哨的情况下,我们的方法在以40 FPS运行时,在LaSOT、GOT-10 k、TrackingNet和UAV 123上的性能明显优于最先进的方法。值得注意的是,我们的方法的训练时间比TransT减少了75%。源代码和模型可以在https://github.com/fzh0917/SparseTT上找到。
2022-05-08 cs.CV
Local Perception-Aware Transformer for Aerial Tracking
Tongji University(同济大学)
基于transformer的视觉对象跟踪已经被广泛使用。然而,Transformer结构缺乏足够的电感偏置。此外,只关注全局特征的编码不利于对局部细节的建模,从而限制了飞行机器人的跟踪能力。具体而言,局部建模的全局搜索机制,建议跟踪器取代了一种新的局部识别编码器的全局编码器。在编码器中,一个本地识别注意和本地元素校正网络的精心设计,以减少全局冗余信息的干扰和增加本地的归纳偏差。同时,后者通过细节查询网络,可以在鸟瞰图下精确建模局部目标细节。该方法实现了竞争力的准确性和鲁棒性,在几个权威的航空基准与316个序列。实际测试验证了该跟踪器的实用性和有效性。
2022-08-06 cs.CV
MCTR: Multi Camera Tracking Transformer
NEC Laboratories America(NEC美国实验室)
MCTR提出了一种端到端的多摄像头跟踪方法,利用Transformer架构实现多目标检测和跟踪,通过概率关联和可微损失实现一致的跟踪结果。
2026-01-30 cs.CV
Dynamic Pondering Sparsity-aware Mixture-of-Experts Transformer for Event Stream based Visual Object Tracking
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Beijing Institute of Technology(北京理工大学);Peng Cheng Laboratory(鹏城实验室);National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University(北京大学多媒体信息处理国家重点实验室);School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University(北京大学深圳研究生院电子与计算机工程学院)
本文提出一种动态稀疏性考虑的事件混合专家变换器,用于基于事件流的视觉目标跟踪,通过多时间尺度建模事件密度变化,提升跟踪精度与计算效率。
2026-05-07 cs.AI cs.CV
Learning Spatio-Temporal Transformer for Visual Tracking
Dalian University of Technology(大连理工大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一种新的跟踪架构的编码器-解码器Transformer的关键组成部分。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模,而解码器学习查询嵌入以预测目标对象的空间位置。我们的方法将对象跟踪转换为直接的限界框预测问题,而不使用任何建议或预定义的锚。使用编码器-解码器Transformer,对象的预测仅使用简单的全卷积网络,直接估计对象的角点。整个方法是端到端的,不需要任何后处理步骤,如余弦窗口和限界框平滑,从而大大简化了现有的跟踪管道。该跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能,同时以实时速度运行,比Siam R-CNN快6倍。代码和模型在https://github.com/researchmm/Stark上开源。
2021-03-31 cs.CV
TransTrack: Multiple Object Tracking with Transformer
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance AI Lab(字节跳动人工智能实验室);Tongji University(同济大学)
在这项工作中,我们提出了TransTrack,一个简单而有效的计划来解决多目标跟踪问题。TransTrack利用了Transformer体系结构,这是一种基于注意力的查询键机制。它将来自前一帧的对象特征应用为当前帧的查询,并引入一组学习的对象查询以检测新出现的对象。该算法通过在Single Shot内完成目标检测和目标关联,简化了检测跟踪方法中复杂的多步设置,建立了一种新的联合检测跟踪方法。在MOT 17和MOT 20基准测试中,TransTrack的MOTA分别达到74.5%和64.5%,与现有方法相比具有一定的竞争力。我们希望TransTrack提供一个新的视角多目标跟踪。代码可在以下网址获得:\url{https://github.com/PeizeSun/TransTrack}。
2021-05-04 cs.CV
FutrTrack: A Camera-LiDAR Fusion Transformer for 3D Multiple Object Tracking
University of Wuppertal(乌珀塔尔大学);Institute of Computer Science, Osnabrück University(计算机科学研究所,奥斯纳布鲁克大学)
FutrTrack通过融合相机与激光雷达数据,利用基于变压器的跟踪框架,在多目标跟踪中实现了高效且鲁棒的跟踪性能。
2025-12-15 cs.CV
TrackFormer: Multi-Object Tracking with Transformers
Technical University of Munich(慕尼黑工业大学);Facebook AI Research (FAIR)(Facebook人工智能研究院(FAIR))
多目标跟踪(MOT)的挑战性任务,需要同时推理的轨迹初始化,身份和时空轨迹。我们制定了这个任务作为一个帧到帧集预测问题,并介绍TrackFormer,端到端的可训练MOT方法的基础上的编码器-解码器Transformer架构。我们的模型实现了通过关注帧之间的数据关联,通过一个视频序列演变的一组跟踪预测。Transformer解码器从静态对象查询中提取新的轨迹,并利用概念上新的和保持身份的轨迹查询在空间和时间上自回归地跟随现有轨迹。两种查询类型都受益于对全局帧级特征的自关注和编码器-解码器关注,从而省略了任何额外的图形优化或运动和/或外观的建模。TrackFormer引入了一种新的注意力跟踪模式,虽然设计简单,但能够在多目标跟踪(MOT 17和MOT 20)和分割(MOTS 20)任务上实现最先进的性能。该代码可在https://github.com/timmeinhardt/trackformer上获得。
2022-04-29 cs.CV
AiATrack: Attention in Attention for Transformer Visual Tracking
Huazhong University of Science and Technology(华中科技大学);Wormpex AI Research(Wormpex AI研究院);Shanghai Jiao Tong University(上海交通大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
Transformer跟踪器最近取得了令人印象深刻的进步,其中注意力机制起着重要作用。然而,在注意力机制中的独立相关计算可能导致噪声和模糊的注意力权重,这抑制了进一步的性能改进。为了解决这个问题,我们提出了一个注意力(AiA)模块,该模块通过在所有相关向量之间寻求共识来增强适当的相关性并抑制错误的相关性。我们的AiA模块可以很容易地应用到自我注意块和交叉注意块,以促进视觉跟踪的特征聚合和信息传播。此外,我们提出了一个精简的Transformer跟踪框架,称为AiATrack,通过引入有效的功能重用和目标背景嵌入,充分利用时间参考。实验表明,我们的跟踪器实现了国家的最先进的性能在六个跟踪基准,同时以实时速度运行。
2022-07-22 cs.CV
Learning Tracking Representations via Dual-Branch Fully Transformer Networks
Southeast University(东南大学);Microsoft Research Asia(微软亚洲研究院)
提出了一种基于单Transformers的双分支网络跟踪算法。给定一个模板和一个搜索图像,我们把它们分成不重叠的补丁,并提取一个特征向量,为每个补丁的基础上,其匹配结果与他人在一个注意力窗口。对于每个token,我们估计它是否包含目标对象以及相应的大小。该方法的优点是,特征是从匹配中学习的,并最终用于匹配。因此,这些特征与对象跟踪任务保持一致。该方法取得了更好的或相当的效果,作为性能最好的方法,首先使用CNN提取特征,然后使用Transformer融合它们。它在GOT-10 k和VOT 2020基准测试中优于最先进的方法。此外,该方法在一个GPU上实现了实时推理速度(约$40$ fps)。代码和模型将被释放。
2021-12-05 cs.CV
Higher-Order Cell Tracking Transformer
Biohub San Francisco(旧金山生物中心)
研究如何从实时成像显微镜重建细胞谱系,提出高阶细胞追踪变换器(HOCT),以边为中心架构,借助3D几何先验解决现有方法问题,在相关测试中取得最优结果且易于微调,大幅降低跟踪误差。
2026-07-14 cs.CV
TransCenter: Transformers with Dense Representations for Multiple-Object Tracking
Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心);Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
自推出以来,Transformers已被证明在各种任务中具有卓越的性能。近年来,它们在诸如图像分类和目标检测等任务中引起了视觉界的关注。尽管如此,一个准确和有效的多目标跟踪(MOT)方法的基础上Transformers器尚未被设计。我们认为,直接应用的Transformer架构与二次复杂性和不足的噪声初始化稀疏查询-是不是最佳的MOT。我们提出了transCenter,一个基于transformer的MOT架构与密集的表示,准确地跟踪所有的对象,同时保持合理的运行时间。在方法上,我们提出了使用图像相关的密集检测查询和高效的稀疏跟踪查询我们精心设计的查询学习网络(QLN)。一方面,密集的图像相关检测查询允许我们通过密集的热图输出来全局和鲁棒地推断目标的位置。另一方面,稀疏跟踪查询集有效地与我们的transCenter解码器中的图像特征进行交互,以通过时间关联对象位置。因此,TransCenter表现出显着的性能改进,并在两个标准的MOT基准测试中(两个跟踪设置(公共/私人))大幅优于当前最先进的方法。通过广泛的消融研究以及与更简单的替代方案和并行工作的比较,也证明了TransCenter的有效性和准确性。出于科学兴趣,该代码在https://github.com/yihongxu/transcenter上公开提供。
2022-09-30 cs.CV
Object Tracking by Detection with Visual and Motion Cues
FZI Research Center for Information Technology(FZI信息技术研究中心)
自动驾驶汽车和其他自动驾驶车辆需要检测和跟踪摄像头图像中的物体。我们提出了一个简单的在线跟踪算法,是基于一个恒定的速度运动模型与卡尔曼滤波器,和分配启发式。分配启发式依赖于四个度量:描述对象的外观并可用于重新识别它们的嵌入向量,描述两个连续视频帧之间的对象移动的位移向量,卡尔曼滤波器状态和新检测之间的Mahalanobis距离,以及类距离。这些指标与线性SVM相结合,然后通过匈牙利算法解决分配问题。我们还提出了一个有效的CNN架构,估计这些指标。我们的多帧模型接受两个连续的视频帧,这是单独处理的骨干,然后光流估计的结果特征图。这允许网络头估计位移向量。我们在具有挑战性的BDD 100K跟踪数据集上评估了我们的方法。我们的多帧模型在MOTP中实现了39.1%的良好MOTA值和0.206的低定位误差。我们的快速单帧模型在MOTP中实现了更低的定位误差0.202,MOTA值为36.8%。
2021-01-19 cs.CV
PTT: Point-Track-Transformer Module for 3D Single Object Tracking in Point Clouds
Northeastern University(东北大学)
3D单目标跟踪是机器人技术的一个关键问题。在本文中,我们提出了一个Transformer模块称为点跟踪Transformer(PTT)的点云为基础的三维单目标跟踪。PTT模块包含特征嵌入、位置编码和自注意特征计算三个模块。特征嵌入的目的是将具有相似语义信息的特征在嵌入空间中放置得更近。位置编码用于将点云的坐标编码为高维可区分的特征。自我注意力通过计算注意力权重来生成精细的注意力特征。此外,我们将PTT模块嵌入到开源的最先进的方法P2B中,以构建PTT-Net。在KITTI数据集上的实验表明,我们的PTT-Net以明显的优势(约10%)超越了最先进的技术。此外,PTT-Net可以在NVIDIA 1080Ti GPU上实现实时性能(约40 FPS)。我们的代码在https://github.com/shanjiayao/PTT上为机器人社区开源。
2021-10-07 cs.CV
Adaptively Bypassing Vision Transformer Blocks for Efficient Visual Tracking
College of Computer Science and Engineering, Guilin University of Technology(桂林理工大学计算机科学与工程学院);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系);College of Computer Science, Sichuan University(四川大学计算机学院)
针对视觉跟踪中ViT推理速度慢的问题,提出ABTrack框架,通过BDM自适应绕过不重要的Transformer模块并结合ViT剪枝降低token维度,在保持跟踪精度的同时实现高效推理。
2024-07-01 cs.CV
AViTMP: A Tracking-Specific Transformer for Single-Branch Visual Tracking
University of Chinese Academy of Sciences(中国科学院大学);Institute of Optics and Electronics, Chinese Academy of Sciences(中国科学院光电技术研究所);Computer Vision Center(计算机视觉中心);Universitat Autonoma de Barcelona(巴塞罗那自治大学)
本文提出AViTMP跟踪器,首次将单分支ViT与判别式模型结合,并通过CycleTrack双向循环验证增强抗干扰能力,在多个基准上取得最先进性能。
2024-07-04 cs.CV
Strong-TransCenter: Improved Multi-Object Tracking based on Transformers with Dense Representations
School of Electrical Engineering, Tel-Aviv University(特拉维夫大学电气工程学院)
针对多目标跟踪中的轨迹位移估计问题,本文提出Strong-TransCenter,通过集成卡尔曼滤波器与嵌入网络的后处理机制优化TransCenter,显著提升了跟踪准确性与鲁棒性。
2024-12-21 cs.CV
Motion-Aware Transformer for Multi-Object Tracking
Department of Computer Science, Illinois Institute of Technology(计算机科学系,伊利诺伊理工学院)
本文提出运动感知Transformer,通过显式建模物体运动提升多目标跟踪性能,在多个数据集上取得显著改进。
2026-03-08 cs.CV
TrTr: Visual Tracking with Transformer
University of Tokyo(东京大学)
基于模板的判别式跟踪器由于其鲁棒性和准确性而成为目前主流的跟踪方法,而基于Siamese网络的方法依赖于从模板和搜索图像中提取的特征之间的互相关运算,显示了最先进的跟踪性能。然而,一般的互相关运算只能得到两个特征图中局部块之间的关系。在本文中,我们提出了一种新的跟踪器网络的基础上,一个强大的注意力机制称为Transformer编码器-解码器架构,以获得全球和丰富的上下文相互依赖性。在这种新的架构中,模板图像的特征由编码器部分中的自注意模块处理以学习强上下文信息,然后将其发送到解码器部分以计算与由另一个自注意模块处理的搜索图像特征的交叉注意。此外,我们设计的分类和回归头使用Transformer的输出定位目标的形状无关的锚的基础上。我们在VOT 2018,VOT 2019,OTB-100,UAV,NfS,TrackingNet和LaSOT基准上广泛评估了我们的跟踪器TrTr,我们的方法与最先进的算法相比表现良好。训练代码和预训练模型可在https://github.com/tongtybj/TrTr上获得。
2021-05-09 cs.CV
Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking
Tsinghua University(清华大学);Aibee Inc(爱笔智能)
多目标跟踪(MOT)的最新趋势是利用深度学习来提高跟踪性能。在本文中,我们提出了一种新的解决方案命名为transSTAM,它利用Transformer有效地建模每个对象的外观特征和对象之间的时空关系。TransSTAM由两个主要部分组成:(1)编码器利用Transformer强大的自注意机制来学习每个tracklet的区分特征;(2)解码器采用标准的交叉注意力机制来通过考虑时空和外观特征来建模tracklet和检测之间的亲和力。TransSTAM有两个主要优点:(1)它完全基于编码器-解码器架构,具有紧凑的网络设计,因此计算效率高;(2)它可以在一个模型中有效地学习时空和外观特征,从而实现更好的跟踪精度。所提出的方法在包括MOT 16,MOT 17和MOT 20在内的多个公共基准上进行了评估,并且相对于所有基准上的先前最先进的方法,它在IDF 1和HOTA中实现了明显的性能改进。我们的代码可在\url{https://github.com/icicle4/TranSTAM}上获得。
2022-05-31 cs.CV
SGDViT: Saliency-Guided Dynamic Vision Transformer for UAV Tracking
Tongji University(同济大学);the University of Hong Kong(香港大学)
基于视觉的目标跟踪已经推动了无人机(UAV)的广泛自主应用。然而,在无人机跟踪中遇到的飞行机动和视点的动态变化,如纵横比变化和尺度变化,构成了显着的困难。常规的互相关操作虽然通常使用,但在有效地捕获感知相似性方面具有限制,并且结合了无关的背景信息。为了减轻这些限制,这项工作提出了一种新的显着性引导的动态视觉Transformer(SGDViT)的无人机跟踪。该方法设计了一个新的任务特定的对象显著性挖掘网络,以改善互相关运算,并有效地区分前景和背景信息。此外,显著性自适应嵌入操作基于初始显著性动态地生成令牌,从而降低了Transformer架构的计算复杂性。最后,轻量级的显著性过滤Transformer进一步细化显著性信息,并增加对外观信息的关注。通过对三种广泛使用的无人机跟踪基准和真实场景的实验,对所提出的方法的有效性和鲁棒性进行了全面评估,结果表明了其优越性。源代码和演示视频可以在https://github.com/vision4robotics/SGDViT上找到。
2023-03-08 cs.CV cs.RO
Divert More Attention to Vision-Language Tracking
Beijing Jiaotong University(北京交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of North Texas(北得克萨斯大学)
依靠Transformer进行复杂的视觉特征学习,对象跟踪已经成为最先进技术(SOTA)的新标准。然而,这种进步伴随着更大的训练数据和更长的训练周期,使得跟踪越来越昂贵。在本文中,我们证明了对Transformer的依赖是不必要的,纯ConvNets在实现SOTA跟踪方面仍然具有竞争力,甚至更好,更经济和友好。我们的解决方案是释放多模态视觉语言(VL)跟踪的力量,只需使用ConvNets。其本质在于使用我们的模态混合器(ModaMixer)和非对称ConvNet搜索来学习新的统一自适应VL表示。我们表明,我们的统一自适应VL表示,纯粹使用ConvNets学习,是Transformer视觉特征的简单而强大的替代品,通过令人难以置信地将基于CNN的Siamese跟踪器在SUC中提高了14.5%,挑战LaSOT(50.7% > 65.2%),甚至优于几个基于Transformer的SOTA跟踪器。除了实证结果,我们从理论上分析我们的方法来证明其有效性。通过揭示VL表示的潜力,我们期望社区将更多注意力转移到VL跟踪上,并希望为Transformer之外的未来跟踪开辟更多可能性。代码和模型将在https://github.com/JudasDie/SOTS上发布。
2022-07-03 cs.CV
Is a Pure Transformer Effective for Separated and Online Multi-Object Tracking?
Dalian University of Technology(大连理工大学);Shandong University of Science and Technology(山东科技大学)
本文提出将轨迹图表示为有向无环图,并利用经典 Transformer 架构(PuTR)统一分离式在线多目标跟踪的短期与长期关联,在四个数据集上验证了其有效性和域适应能力。
2025-03-25 cs.CV
Enhancing In-vehicle Multiple Object Tracking Systems with Embeddable Ising Machines
Corporate Research and Development Center, Toshiba Corporation(东芝公司企业研发中心);MIRISE Technologies(MIRISE技术公司)
本文提出通过嵌入式伊辛机解决多目标跟踪中的分配问题,提升车载系统在长期遮挡情况下的跟踪性能。
2024-10-18 cs.CV cs.ET cs.SY
Similarity-Guided Layer-Adaptive Vision Transformer for UAV Tracking
Guangxi Normal University(广西师范大学)
针对无人机跟踪中ViT层表示冗余问题,提出相似性引导的层自适应方法,动态保留最优层并构建SGLATrack,在六个基准上实现最先进实时速度与竞争性精度。
2025-03-09 cs.CV
SOTFormer: A Minimal Transformer for Unified Object Tracking and Trajectory Prediction
School of Computer Science University College Dublin(计算机科学学院都柏林大学学院);School of Computer Science and Technology Dalian University of Technology(计算机科学与技术学院大连理工大学)
针对遮挡等场景下单目标跟踪与短期运动预测的难题,提出端到端极简Transformer模型SOTFormer,统一检测、跟踪与短时域轨迹预测,在基准测试中性能优于同类基线且支持实时推理。
2025-11-14 cs.CV
Spectral-Enhanced Transformers: Leveraging Large-Scale Pretrained Models for Hyperspectral Object Tracking
Queensland University of Technology(昆士兰科技大学);Data61, CSIRO(Data61(联邦科学与工业研究组织下属机构))
本文提出一种利用大规模预训练Transformer模型进行高光谱目标跟踪的方法,通过自适应空间-光谱令牌融合模块和跨模态训练流程,以最少训练迭代实现优越性能。
2025-02-26 cs.CV eess.IV
Architecture and evaluation protocol for transformer-based visual object tracking in UAV applications
French-German Research Institute of Saint-Louis(法德圣路易研究所);Université de Haute-Alsace(上阿尔萨斯大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学)
本文提出MATA架构结合变压器跟踪器与扩展卡尔曼滤波器,引入硬件无关的嵌入式评估协议和NT2F指标,提升无人机复杂场景下的跟踪鲁棒性和实时性能。
2026-03-26 cs.CV
Trackastra: Transformer-based cell tracking for live-cell microscopy
Institute of Bioengineering, School of Life Sciences, EPFL(EPFL生命科学学院生物工程研究所);Center for Scalable Data Analytics and AI (ScaDS.AI)(可扩展数据分析与人工智能中心(ScaDS.AI));Faculty of Computer Science, TU Dresden(德累斯顿工业大学计算机科学学院)
提出Trackastra,一种基于Transformer的通用细胞追踪方法,通过学习时空窗口内的细胞成对关联并支持分裂物体,在无需复杂连接步骤的情况下,追踪性能媲美或超越现有最先进算法。
2024-07-24 cs.CV
BOTT: Box Only Transformer Tracker for 3D Object Tracking
Motional(Motional公司)
针对卡尔曼滤波跟踪依赖手工运动建模的问题,本文提出BOTT,用Transformer自注意力学习时间窗口内3D框的全局嵌入并进行关联,可兼容在线与离线跟踪,在nuScenes和Waymo上取得竞争力性能。
2023-08-17 cs.CV
Contrastive Learning for Multi-Object Tracking with Transformers
KU Leuven(鲁汶大学);TRACE vzw
本文提出用实例级对比损失、改进采样策略和轻量级分配方法将 DETR 改造为多目标跟踪模型,以低开销在 BDD100K 上提升 2.6 mMOTA,并在 MOT17 上达到可比性能。
2023-11-14 cs.CV
Siamese Transformer Pyramid Networks for Real-Time UAV Tracking
New York University(纽约大学)
最近的对象跟踪方法依赖于深度网络或卷积架构。这些跟踪器大多难以满足移动平台上计算资源有限的实时的【形】处理要求。在这项工作中,我们介绍了Siamese Transformer Pyramid Network(SiamTPN),它继承了CNN和Transformer架构的优点。具体来说,我们利用轻量级网络(ShuffleNetV2)的固有特征金字塔,并使用Transformer对其进行增强,以构建一个强大的特定于目标的外观模型。一个集中式的架构与横向交叉注意力的开发建设增强的高层次的特征地图。为了避免在使用Transformer融合金字塔表示时的计算和内存强度,我们进一步引入了池化注意模块,该模块在提高鲁棒性的同时显著降低了内存和时间复杂度。在空中和普遍的跟踪基准上进行的综合实验在高速运行时取得了有竞争力的结果,证明了SiamTPN的有效性。此外,我们最快的变体跟踪器在单个CPU核心上运行超过30 Hz,并在LaSOT数据集上获得58.1%的AUC得分。源代码可在https://github.com/RISCNYUAD/SiamTPNTracker上获得
2021-10-17 cs.CV cs.RO