Visual Object Tracking with Discriminative Filters and Siamese Networks: A Survey and Outlook
Khalifa University of Science and Technology（哈利法科技大学）；ETH Zürich（苏黎世联邦理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）；Czech Technical University（捷克理工大学）
准确、鲁棒的视觉目标跟踪是计算机视觉中最具挑战性和最基本的问题之一。它需要估计图像序列中目标的轨迹，仅给定其初始位置，并分割，或以限界框的形式粗略近似。判别相关滤波器（DCF）和深度连体网络（SN）已经成为主要的跟踪范式，这导致了重大进展。随着视觉对象跟踪在过去十年中的快速发展，这项调查基于九个跟踪基准的结果，对90多个DCF和暹罗跟踪器进行了系统和全面的审查。首先，我们提出了DCF和暹罗跟踪核心配方的背景理论。然后，我们区分和全面审查共享以及具体的开放式研究的挑战，在这两个跟踪范式。此外，我们深入分析了DCF和暹罗跟踪器在九个基准测试中的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估指标，性能和速度比较。最后，我们根据我们的分析，为杰出的开放性挑战提出建议和意见。
2021-12-06 cs.CV
Discriminative and Robust Online Learning for Siamese Visual Tracking
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
传统上，视觉对象跟踪的问题一直由不同的跟踪范式来处理，要么只在线学习对象外观的模型，要么在离线训练的嵌入空间中将对象与目标进行匹配。尽管最近取得了成功，但每一种方法都因其内在的限制而苦恼。仅在线的方法遭受缺乏它们学习的模型的泛化，因此在目标回归中较差，而仅离线的方法（例如，卷积连体跟踪器）缺乏目标特定的上下文信息，因此对于处理干扰项没有足够的辨别力，并且对于变形没有足够的鲁棒性。因此，我们提出了一个在线模块与注意力机制离线连体网络提取目标特定的功能下L2错误。我们进一步提出了一个过滤器更新策略自适应危险的背景噪声的歧视性学习，和一个模板更新策略，以处理大的目标变形的鲁棒学习。有效性可以在三个暹罗基线的持续改善中得到验证：SiamFC、SiamRPN++和SiamMask。除此之外，我们基于SiamRPN++的模型在六个流行的跟踪基准上获得了最佳结果，并且可以实时运行。
2019-11-21 cs.CV
Object Tracking by Reconstruction with View-Specific Discriminative Correlation Filters
Tampere University of Technology（坦佩雷理工大学）；University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
标准的RGB-D跟踪器将目标视为固有的2D结构，这使得建模外观变化甚至与简单的平面外旋转有关，这非常具有挑战性。我们通过提出一种新的长期RGB-D跟踪器-重建对象跟踪（OTR）来解决这个限制。跟踪器执行在线3D目标重建，以促进一组视图特定的判别相关滤波器（DCF）的鲁棒学习。3D重建支持两个性能增强特征：（i）从其2D投影生成用于约束DCF学习的精确空间支持，以及（ii）基于点云的3D姿态变化估计，用于选择和存储视图特定的DCF，其用于在视图外旋转或严重遮挡之后鲁棒地定位目标。在具有挑战性的普林斯顿RGB-D跟踪和STC基准上对OTR进行了广泛的评估，结果表明它的性能大大优于最先进的技术。
2018-11-27 cs.CV
Robust Long-Term Object Tracking via Improved Discriminative Model Prediction
KAIST（韩国科学技术院）；Korea University（高丽大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种改进的判别模型预测方法，用于基于预训练的短期跟踪器的鲁棒长期跟踪。基线预训练的短期跟踪器是SuperDiMP，它将PrDiMP的边界框回归器与标准DiMP分类器相结合。我们的跟踪器RLT-DiMP在以下三个方面改进了SuperDiMP：（1）使用随机擦除减少不确定性：为了使我们的模型鲁棒，我们利用擦除随机小矩形区域后多个图像的一致性作为确定性。然后，我们相应地校正模型的跟踪状态。(2)随机搜索与时空约束：我们提出了一个强大的随机搜索方法与分数惩罚，以防止突然检测的距离。(3)背景增强以实现更具鉴别力的特征学习：我们增强了搜索区域中不包括的各种背景，以在背景杂波中训练更鲁棒的模型。在VOT-LT 2020基准数据集上的实验中，所提出的方法实现了与最先进的长期跟踪器相当的性能。源代码可在https://github.com/bismex/RLT-DIMP上获得。
2020-08-25 cs.CV
Joint Group Feature Selection and Discriminative Filter Learning for Robust Visual Object Tracking
Jiangnan University（江南大学）；University of Surrey（萨里大学）
提出了一种新的基于判别相关滤波器（GFS-DCF）的组特征选择方法。所提出的方法的关键创新是跨通道和空间维度执行组特征选择，从而查明多通道特征与过滤系统的结构相关性。与广泛使用的空间正则化或特征选择方法相比，据我们所知，这是第一次提倡将通道选择用于基于DCF的跟踪。我们证明，我们的GFS-DCF方法是能够显着提高的DCF跟踪器配备了深神经网络功能的性能。此外，我们的GFS-DCF实现了联合特征选择和滤波器学习，实现了学习滤波器的增强的鉴别力和可解释性。为了进一步提高性能，我们自适应地整合历史信息，通过约束滤波器在时间帧上平滑，使用有效的低秩近似。通过设计，在跟踪过程中动态地学习特定的时间-空间-信道配置，突出相关特征，并且减轻较少区分性表示的性能降低影响并减少信息冗余。在OTB 2013、OTB 2015、VOT 2017、VOT 2018和TrackingNet上获得的实验结果证明了我们的GFS-DCF的优点及其优于最先进的跟踪器。该代码可在https://github.com/XU-TIANYANG/GFS-DCF上公开获取。
2019-08-02 cs.CV
Learning Adaptive Discriminative Correlation Filters via Temporal Consistency Preserving Spatial Feature Selection for Robust Visual Tracking
Jiangnan University（江南大学）；University of Surrey（萨里大学）
有了有效的外观学习模型，判别相关滤波器（DCF）已被证明是非常成功的，在最近的视频对象跟踪基准和比赛。然而，现有的DCF范例存在两个主要问题，即，空间边界效应和时间滤波器退化。为了缓解这些挑战，我们提出了一种新的基于DCF的跟踪方法。该方法的主要创新点包括自适应的空间特征选择和时间一致性约束，使得新的跟踪器能够在低维判别流形上进行时空联合滤波学习。更具体地说，我们应用结构化的空间稀疏约束多通道过滤器。因此，学习空间滤波器的过程可以通过套索正则化来近似。为了鼓励时间一致性，过滤器模型被限制在其历史值周围，并在局部更新以保持流形中的全局结构。最后，提出了一个统一的优化框架，以联合选择时间一致性保持空间特征和学习鉴别过滤器与增强拉格朗日方法。已经对一些知名的基准数据集进行了定性和定量评估，如OTB 2013，OTB 50，OTB 100，Temple-Colour，UAV 123和VOT 2018。实验结果表明，所提出的方法的优越性比国家的最先进的方法。
2019-06-19 cs.CV
DCF-ASN: Coarse-to-fine Real-time Visual Tracking via Discriminative Correlation Filter and Attentional Siamese Network
School of Computer Science（计算机学院）；Northwestern Polytechnical University（西北工业大学）；Aberystwyth University（阿伯里斯特威斯大学）
判别相关滤波器（DCF）和连体网络在视觉跟踪任务中取得了令人满意的性能，这分别归功于它们优越的计算效率和可靠的相似性度量学习。然而，如何有效地利用强大的深度网络，同时保持DCF的实时的【形】响应，仍然是一个具有挑战性的问题。将互相关算子作为一个单独的层嵌入到siamese网络中是一种普遍的选择，以提高跟踪精度。作为这种网络的关键组成部分，相关层与网络的其他部分一起在线更新。然而，当受到严重干扰时，融合跟踪器仍可能由于累积误差而完全偏离目标。为了解决这些问题，我们提出了一个由粗到细的跟踪框架，该框架首先通过在线更新的DCF模块粗略地推断目标状态，然后通过离线训练的非对称连体网络（siamese network，简称siamese network）精细地定位目标。该算法利用DCF的指导思想和已知的地面真值模板得到的信道权值，对特征表示进行细化，实现了目标的精确定位。在五个常用的跟踪数据集上的系统实验表明，所提出的DCF-SVM在具有良好跟踪效率的同时，达到了最先进的性能。
2021-03-19 cs.CV
Robust Online Multi-target Visual Tracking using a HISP Filter with Discriminative Deep Appearance Learning
Lancaster University（兰卡斯特大学）；University of Lincoln（林肯大学）
我们提出了一种新的在线多目标视觉跟踪器的基础上最近开发的假设和独立的随机人口（HISP）过滤器。HISP滤波器结合了MHT等传统跟踪方法和PHD滤波器等基于点过程的跟踪方法的优点，在保持跟踪身份的同时具有线性复杂度。我们应用此过滤器跟踪多个目标在不同的环境条件下获得的视频序列和目标密度使用跟踪检测方法。我们还通过在大规模人员重新识别数据集上训练验证识别网络（VerIdNet）来采用深度CNN外观表示。我们使用这种深度CNN外观特征和时空信息以原则性的方式构建增强的可能性。此外，我们解决了两个或多个目标具有相同的标签的问题，考虑每个已确认的假设传播的权重。在MOT16和MOT17基准数据集上进行的大量实验表明，我们的跟踪器在跟踪精度方面明显优于几种最先进的跟踪器。
2020-10-11 cs.CV
Non-rigid Object Tracking via Deep Multi-scale Spatial-temporal Discriminative Saliency Maps
Dalian University of Technology（大连理工大学）；University of Adelaide（阿德莱德大学）
提出了一种基于时空一致显著性检测的非刚性目标跟踪框架。与大多数现有的跟踪器利用限界框来指定跟踪目标相比，所提出的框架可以提取目标的准确区域作为跟踪输出。该方法较好地描述了非刚体目标，减少了背景对跟踪模型的污染。此外，我们的模型有几个独特的功能。首先，一个定制的完全卷积神经网络（TFCN）的开发模型的局部显着性之前为一个给定的图像区域，它不仅提供了像素级的输出，但也集成了语义信息。其次，提出了一种新的多尺度多区域机制来生成局部显著性图，该局部显著性图有效地考虑了不同空间布局和尺度变化的视觉感知。随后，通过加权熵方法融合局部显著性图，得到最终的区分显著性图。最后，我们提出了一种基于预测显著图的非刚性目标跟踪算法。通过利用时空一致的显着图（STCSM），我们进行目标背景分类，并使用一个简单的微调方案进行在线更新。大量实验表明，该算法在显著性检测和视觉跟踪方面都取得了较好的性能，尤其是在非刚性目标跟踪数据集上的性能优于其他相关跟踪算法。
2019-02-28 cs.CV
Learning Compact Target-Oriented Feature Representations for Visual Tracking
Anhui University（安徽大学）；Sun Yat-Sen University（中山大学）
许多最先进的跟踪器通常采用预训练的卷积神经网络（CNN）模型进行相关滤波，其中深度特征通常在某些情况下是冗余的、有噪声的和较少区分的，并且跟踪性能因此可能受到影响。为了解决这个问题，我们提出了一种新的方法，它既具有良好的泛化能力的生成模型和良好的歧视性模型的歧视，视觉跟踪。特别是，我们学习紧凑的，歧视性的和面向目标的特征表示使用拉普拉斯编码算法，该算法利用输入的本地功能之间的依赖性在一个歧视性的相关滤波器框架。特征表示和相关滤波器通过快速求解器联合学习以相互增强，该快速求解器对跟踪速度只有非常小的计算负担。在三个基准数据集上的大量实验表明，该框架明显优于基线跟踪器，对帧速率的影响不大，并对最先进的方法进行了改进。
2019-08-05 cs.CV
Discriminative Scale Space Tracking
Linköping University（林雪平大学）
目标尺度的精确估计是视觉目标跟踪中一个具有挑战性的研究课题。大多数最先进的方法采用穷举尺度搜索来估计目标大小。穷举搜索策略在计算上是昂贵的，并且在遇到大规模变化时是困难的。本文研究了在检测跟踪框架中精确和鲁棒的尺度估计问题。我们提出了一种新的尺度自适应跟踪方法，通过学习独立的判别相关滤波器的平移和尺度估计。使用在一组不同尺度下采样的目标外观在线学习显式尺度滤波器。与标准方法相反，我们的方法直接学习由目标尺度变化引起的外观变化。此外，我们调查的策略，以减少我们的方法的计算成本。在OTB和VOT 2014数据集上进行了大量的实验。与标准的穷举尺度搜索相比，我们的方法在OTB数据集上的平均重叠精度提高了2.5%。此外，我们的方法是计算效率，在一个高出50%的帧速率相比，穷举尺度搜索。我们的方法通过在OTB上超过19个最先进的跟踪器和在VOT 2014上超过37个最先进的跟踪器获得了最高的性能排名。
2016-09-20 cs.CV
D3S -- A Discriminative Single Shot Segmentation Tracker
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S，它缩小了视觉对象跟踪和视频对象分割之间的差距。单次网络应用具有互补几何特性的两个目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象以同时实现高鲁棒性和在线目标分割。D3 S没有对每个数据集进行微调，并且只对分割进行训练作为主要输出，在VOT 2016，VOT 2018和GOT-10 k基准测试中表现优于所有跟踪器，并且在TrackingNet上的表现接近最先进的跟踪器。D3 S在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下，同时运行速度更快一个数量级，接近实时。
2020-04-14 cs.CV
From Detection to Association: Learning Discriminative Object Embeddings for Multi-Object Tracking
East China University of Science and Technology（东华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Sun Yat-sen University（中山大学）
FDTA通过引入三个适配器提升多目标跟踪中对象嵌入的判别性，实现更准确的关联性能。
2025-12-02 cs.CV
SPiKeS: Superpixel-Keypoints Structure for Robust Visual Tracking
在视觉跟踪中，基于部分的跟踪器是有吸引力的，因为它们对遮挡和变形是鲁棒的。然而，由矩形块表示的部分并不能解释目标的形状，而超像素则要归功于其边界证据。然而，跟踪超像素是困难的，因为它们缺乏区分能力。因此，为了使超像素能够作为对象部分被有区别地跟踪，我们建议用关键点来增强它们。通过结合这两个功能的属性，我们建立了一个新的元素命名为超像素关键点结构（SPiKeS）。这些新的目标部分可以通过简单的最近邻匹配过程有效地定位。然后，在跟踪过程中，每个匹配投票给目标的中心，以给出其位置。此外，我们的新功能的有趣特性允许开发有效的模型更新，以实现更强大的跟踪。根据实验结果，我们的SPiKeS为基础的跟踪器被证明是强大的，在许多具有挑战性的情况下，表现良好，对最先进的。
2016-10-23 cs.CV
Towards Discriminative Representation: Multi-view Trajectory Contrastive Learning for Online Multi-object Tracking
Huazhong Univerisity of Science and Technology（华中科技大学）；Tsinghua University（清华大学）
区分表示是多目标跟踪中关联步骤的关键。最近的工作主要利用单个或相邻帧中的特征来构建度量损失，并使网络能够提取目标的表示。虽然这种策略是有效的，但它未能充分利用整个轨迹中包含的信息。为此，我们提出了一种策略，即多视图轨迹对比学习，其中每个轨迹表示为一个中心向量。通过在动态更新的存储体中保持所有的矢量，设计了一种冗余级的对比度损失，以探索整个轨迹中的帧间信息。此外，在该策略中，每个目标表示为多个自适应选择的关键点，而不是一个预定义的锚或中心。这种设计允许网络从同一目标的多个视图中生成更丰富的表示，从而可以更好地表征被遮挡的对象。此外，在推理阶段，一个相似性指导的特征融合策略，以进一步提高质量的轨迹表示。在MOTChallenge上进行了大量的实验，以验证所提出的技术的有效性。实验结果表明，我们的方法已经超越了之前的跟踪器，并建立了新的最先进的性能。
2022-04-05 cs.CV
DeepTrack: Learning Discriminative Feature Representations Online for Robust Visual Tracking
Jiangxi Normal University（江西师范大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）
深度神经网络虽然在各种计算机视觉任务中的特征学习方面取得了巨大成功，但通常被认为对于在线视觉跟踪是不切实际的，因为它们需要非常长的训练时间和大量的训练样本。在这项工作中，我们提出了一个有效的和非常强大的跟踪算法，使用一个单一的卷积神经网络（CNN）学习有效的特征表示的目标对象，在一个纯粹的在线方式。我们的贡献是多方面的：首先，我们引入了一种新的截断结构损失函数，保持尽可能多的训练样本，并降低跟踪误差积累的风险。其次，我们用一个鲁棒的样本选择机制增强了CNN训练中的普通随机梯度下降方法。采样机制从不同的时间分布随机生成正样本和负样本，这些样本是通过考虑时间关系和标签噪声而生成的。最后，一个懒惰的，但有效的更新方案设计的CNN训练。配备了这种新的更新算法，CNN模型是强大的一些长期存在的困难，视觉跟踪，如遮挡或不正确的检测，而不会失去有效的适应显着的外观变化。在实验中，我们的CNN跟踪器在两个最近提出的基准测试中表现优于所有比较的最先进的方法，这两个基准测试总共涉及60多个视频序列。与现有跟踪器相比，显着的性能改进说明了学习的特征表示的优越性
2015-02-28 cs.CV
Adaptive Decontamination of the Training Set: A Unified Formulation for Discriminative Visual Tracking
Computer Vision Laboratory, Department of Electrical Engineering, Linköping University（林雪平大学电气工程系计算机视觉实验室）
近年来，通过检测进行跟踪的方法已经显示出具有竞争力的性能。在这些方法中，跟踪模型严重依赖于训练集的质量。由于标记的训练数据的量有限，需要由跟踪器本身提取和标记附加样本。由于遮挡、未对准和其他扰动，这通常导致包含损坏的训练样本。现有的检测跟踪方法要么忽略这个问题，要么采用单独的组件来管理训练集。我们提出了一种新的通用方法，以减轻问题的损坏的训练样本跟踪检测框架。我们的方法通过估计样本的质量来动态管理训练集。与现有的方法相反，我们提出了一个统一的配方，最大限度地减少单一的损失，在目标外观模型和样本质量的权重。联合制定使损坏的样本被向下加权，同时增加正确的影响。实验在三个基准上进行：OTB-2015与100个视频，VOT-2015与60个视频，以及Temple-Color与128个视频。在OTB-2015上，我们的统一公式显著改善了基线，平均重叠精度提高了3.8%。最后，我们的方法在所有三个数据集上都取得了最先进的结果。代码和补充材料可在http://www.cvl.isy.liu.se/research/objrec/visualtracking/decontrack/index.html上获得。
2016-09-20 cs.CV
CoCoLoT: Combining Complementary Trackers in Long-Term Visual Tracking
University of Udine（乌迪内大学）
如何将不同算法的互补能力结合起来，一直是视觉目标跟踪领域的核心问题。在这一问题上已经取得了重大进展，但考虑到短期跟踪情况。相反，解决方案基本上忽略了长期跟踪设置。在本文中，我们明确考虑长期跟踪场景，并提供了一个名为CoCoLoT的框架，该框架结合了互补视觉跟踪器的特性，以实现增强的长期跟踪性能。CoCoLoT通过在线学习的深度验证模型感知跟踪器是否在跟踪目标对象，并相应地激活决策策略，该决策策略选择性能最佳的跟踪器，并纠正失败跟踪器的性能。所提出的方法进行了广泛的评估和与其他几个解决方案的比较表明，它的竞争有利的最流行的长期视觉跟踪基准上的国家的最先进的。
2022-05-09 cs.CV
CFTrack: Enhancing Lightweight Visual Tracking through Contrastive Learning and Feature Matching
School of Aeronautics and Astronautics, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区航空航天学院）；Insta360 Research（影石创新研究院）
CFTrack是一种轻量级视觉跟踪器，通过对比学习和特征匹配增强判别性特征，在LaSOT、OTB100和UAV123上超越多种先进轻量级跟踪器，并在NVIDIA Jetson NX上达到136帧/秒，且在严重遮挡下保持强判别能力。
2025-02-27 cs.CV
Depth Masked Discriminative Correlation Filter
Tampere University of Technology（坦佩雷理工大学）；Czech Technical University in Prague（布拉格捷克理工大学）；Nokia Technologies（诺基亚科技）
深度信息为遮挡检测和处理提供了强有力的线索，但由于缺乏合适的基准数据集和应用程序，直到最近才在通用对象跟踪中被大量忽略。在这项工作中，我们提出了一个深度掩蔽的判别相关滤波器（DM-DCF），它采用了新的基于深度分割的遮挡检测，停止相关滤波器更新和深度掩蔽，自适应地调整相关滤波器的空间支持。在Princeton RGBD跟踪基准中，我们的DM-DCF在整体排名中处于最先进的地位，并且在多个类别中获胜。此外，由于它是基于DCF，``DM-DCF``运行速度比它的竞争对手快一个数量级，使它适合于时间有限的应用程序。
2018-10-10 cs.CV
Coarse-to-Fine Object Tracking Using Deep Features and Correlation Filters
TELUQ University（加拿大远程大学（TELUQ大学））；University of Bahrain（巴林大学）
在过去的几年里，深度学习跟踪器取得了令人兴奋的成果，同时带来了解决跟踪问题的有趣想法。这一进展主要是由于使用了通过在大型图像数据库上训练深度卷积神经网络（CNN）获得的学习深度特征。但由于CNN最初是为图像分类开发的，因此其深层提供的外观建模可能不足以区分跟踪任务。事实上，这些特征表示高级信息，其与对象类别的相关性大于与对象的特定实例的相关性。基于这一观察结果，以及判别相关滤波器（DCF）可以提供互补的低级别信息的事实，我们提出了一种新的跟踪算法，利用这两种方法。我们制定的跟踪任务作为一个两阶段的程序。首先，我们利用深度特征的泛化能力来粗略估计目标平移，同时确保对外观变化的不变性。然后，我们利用相关滤波器的鉴别能力，精确定位跟踪对象。此外，我们设计了一个更新控制机制，学习外观变化，同时避免模型漂移。我们评估了所提出的跟踪对象跟踪基准。实验结果表明，我们的算法的鲁棒性，表现出良好的CNN和基于DCF的跟踪器。代码可在：https://github.com/AhmedZgaren/Coarse-to-fine-Tracker
2020-12-23 cs.CV
Visual Tracking via Shallow and Deep Collaborative Model
Dalian University of Technology（大连理工大学）
在本文中，我们提出了一个强大的跟踪方法的基础上的生成模型和判别式分类器的合作，其中的特征分别由浅和深架构学习。对于生成模型，我们引入了一种基于块的增量学习方案，其中构造局部二值掩模来处理遮挡。该方法综合了局部面片与其对应子空间之间的相似度，建立了更精确的全局外观模型。在判别模型中，我们利用深度学习架构的进步来学习对背景杂波和前景外观变化都具有鲁棒性的通用特征。为此，我们首先从辅助视频序列中构建一个有区别的训练集。然后在该训练集上离线训练深度分类神经网络。通过在线微调，分层特征提取器和分类器都可以适应目标的外观变化，实现有效的在线跟踪。这两个模型的协作在处理遮挡和目标外观变化这两个视觉跟踪中矛盾的挑战性因素方面取得了很好的平衡。定量和定性评估对几个国家的最先进的算法上具有挑战性的图像序列证明了所提出的跟踪器的准确性和鲁棒性。
2016-07-27 cs.CV
AViTMP: A Tracking-Specific Transformer for Single-Branch Visual Tracking
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Optics and Electronics, Chinese Academy of Sciences（中国科学院光电技术研究所）；Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本文提出AViTMP跟踪器，首次将单分支ViT与判别式模型结合，并通过CycleTrack双向循环验证增强抗干扰能力，在多个基准上取得最先进性能。
2024-07-04 cs.CV
COAL: Counterfactual and Observation-Enhanced Alignment Learning for Discriminative Referring Multi-Object Tracking
School of Automation, Southeast University, Nanjing, China（东南大学自动化学院，南京，中国）；Key Laboratory of Measurement and Control of Complex Systems of Engineering, Ministry of Education, Nanjing, China（工程复杂系统测量与控制国家重点实验室，教育部，南京，中国）；School of Physical & Mathematical Sciences, Nanyang Technological University, Singapore（南洋理工大学物理与数学科学学院，新加坡）；Big Data Institute, Central South University, Changsha, China（中南大学大数据研究院，长沙，中国）
COAL通过知识正则化解决RMOT中高判别性需求与稀疏语义监督的矛盾，引入显式语义注入和反事实学习提升多目标跟踪的判别能力。
2026-05-14 cs.CV
Discussion among Different Methods of Updating Model Filter in Object Tracking
School of Automation, Huazhong University of Science & Technology（华中科技大学自动化学院）；Science & Technology on Multispectral Information Processing Laboratory（multispectral信息处理科学技术实验室）
鉴别相关滤波器（DCF）在视觉目标跟踪领域表现出了优异的性能。本文总结了基于判别相关滤波器（DCF）的跟踪算法中模型滤波器的更新方法，分析了各种方法的异同。推导了高维更新系数（核技巧）、频域更新滤波器和空域更新滤波器之间的关系，并分析了不同方法之间的差异。分析了直接更新滤波器和用更新滤波器的分母（滤波器的功率）更新滤波器的分子（对象响应功率）的区别。通过比较不同的更新方法和可视化的模板过滤器的实验来证明我们的推导。
2020-11-15 cs.CV
Learning Deep Multi-Level Similarity for Thermal Infrared Object Tracking
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）
现有的深度热红外（TIR）跟踪器仅使用语义特征来描述TIR对象，缺乏足够的区分能力来处理干扰项。为了解决这个问题，我们提出了一个多层次的相似性模型下的Siamese框架下的鲁棒TIR目标跟踪的特征提取网络只训练RGB图像。具体来说，我们使用所提出的多级相似性网络在两个卷积层上计算不同的模式相似性。其中一种方法侧重于TIR对象的全局语义相似度，另一种方法则侧重于TIR对象的局部结构相似度。这两个相似性相互补充，从而增强了网络处理干扰物的辨别能力。此外，我们还设计了一个简单而有效的基于相对熵的集成子网络来集成语义和结构相似性。该子网络可以在训练阶段自适应地学习语义相似度和结构相似度的权重。为了进一步提高跟踪器的鉴别能力，我们构建了第一个大规模TIR视频序列数据集来训练所提出的模型。所提出的TIR数据集不仅有利于TIR跟踪的训练，而且可以应用于许多TIR视觉任务。在VOT-TIR 2015和VOT-TIR 2017基准测试上的大量实验结果表明，该算法与最先进的方法相比表现良好。
2019-06-09 cs.CV
Deep Tracking: Visual Tracking Using Deep Convolutional Networks
The George Washington University（乔治华盛顿大学）；University of Central Florida（中佛罗里达大学）；Emory University（埃默里大学）
在本文中，我们研究了一种用于视觉跟踪任务的有区别地训练的深度卷积网络。我们的跟踪器利用了从预训练的双流深度卷积网络中提取的运动和外观特征。我们表明，从我们的双流网络提取的功能可以提供丰富的信息的目标，这导致竞争力的性能对最先进的跟踪方法的视觉跟踪基准。
2015-12-13 cs.CV
Saliency-Associated Object Tracking
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Southern University of Science and Technology（南方科技大学）
大多数现有的基于深度学习的跟踪器以整体策略执行跟踪，其旨在学习整个目标的深度表示以定位目标。这些方法对具有各种外观变化的目标的跟踪是困难的。为了解决这个问题，另一种方法采用基于部分的跟踪策略，将目标分成相等的块并并行跟踪所有这些块。通过总结这些补丁的跟踪结果来推断目标状态。这种跟踪器的潜在限制是，并非所有的补丁都同样提供跟踪信息。一些没有区别的补丁可能会产生不良影响。在本文中，我们建议跟踪目标的显着的局部部分是歧视性的跟踪。特别是，我们提出了一个细粒度的显着性挖掘模块来捕获本地显着性。此外，我们设计了一个显著性关联建模模块，将捕获的显著性关联在一起，以学习样本和搜索图像之间的有效相关表示，用于状态估计。在五个不同数据集上的广泛实验表明，所提出的方法对最先进的跟踪器表现良好。
2021-08-08 cs.CV
Single-Shot and Multi-Shot Feature Learning for Multi-Object Tracking
National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心）
提出两阶段特征学习范式，联合单次与多次特征实现鲁棒数据关联，在MOT17、MOT20和DanceTrack上取得显著提升。
2023-11-17 cs.CV
Learning Dual-Fused Modality-Aware Representations for RGBD Tracking
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）；University of Electronic Science and Technology of China（电子科技大学）
随着近年来深度传感器的发展，RGBD目标跟踪受到了极大的关注。与传统的RGB目标跟踪方法相比，深度模态的加入可以有效地解决目标和背景的干扰。然而，一些现有的RGBD跟踪器单独使用这两种模态，因此忽略了它们之间的一些特别有用的共享信息。另一方面，有些方法试图将两种模态融合在一起，从而导致模态特征的缺失。为了解决这些限制，我们提出了一种新的双融合模态感知跟踪器（称为DMTracker），其目的是学习目标对象的信息和判别表示，以实现鲁棒的RGBD跟踪。第一个融合模块基于跨通道注意力提取通道间的共享信息。第二个目标是整合RGB特定和深度特定的信息，以增强融合的功能。通过融合模态共享和模态特定的信息在一个模态感知的计划，我们的DMTracker可以学习复杂的跟踪场景中的歧视性表示。实验表明，我们提出的跟踪器在具有挑战性的RGBD基准测试中取得了非常有前途的结果。
2022-11-15 cs.CV
Object Tracking via Dynamic Feature Selection Processes
University of Verona（维罗纳大学）
DFST提出了一种基于实时选择局部和时间区分特征的优化视觉跟踪算法。一个特征选择机制被嵌入在自适应颜色名称（CN）跟踪系统，自适应地选择排名靠前的区别性特征进行跟踪。DFST在准确性和精确度方面显着提高，允许使用一组动态功能，从而提高系统灵活性。DFST基于无监督方法“无限特征选择“（Inf-FS），该方法根据特征的“冗余度”对特征进行排名，而不使用类别标签。通过使用用于学习字典的快速在线算法，在处理期间调整框的大小。在每次更新时，我们使用目标周围的多个示例（不同位置和尺度）。DFST还通过在预测位置处添加微移位和限界框自适应来改进CN。
2016-09-07 cs.CV
Real-Time MDNet
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
提出了一种基于多域卷积神经网络（MDNet）的快速准确的视觉跟踪算法。该方法加快了特征提取过程，并学习更多的判别模型的实例分类，它提高了目标和背景的表示质量，通过保持一个高分辨率的特征图与一个大的感受野每次激活。我们还引入了一个新的损失项来区分跨多个域的前景实例，并学习具有相似语义的目标对象的更具鉴别力的嵌入。所提出的技术集成到一个众所周知的基于CNN的视觉跟踪算法，MDNet的管道。与MDNet相比，我们实现了大约25倍的速度提升，并且精度几乎相同。我们的算法在多个流行的跟踪基准数据集（包括OTB2015，UAV123和TempleColor）中进行了评估，即使没有特定于飞行器的参数调整，也始终优于最先进的实时的【形】跟踪方法。
2018-08-27 cs.CV
In Defense of Subspace Tracker: Orthogonal Embedding for Visual Tracking
Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）；Ryerson University（瑞尔森大学）；Tsinghua University（清华大学）
本文重点介绍了一个经典的跟踪模型，子空间学习，接地的事实，即连续帧中的目标被认为是驻留在一个低维的子空间或流形，由于它们的外观相似。近年来，人们提出了许多子空间跟踪器，并取得了令人瞩目的成果。最近的研究结果表明，跟踪性能得到了提升的子空间的歧视能力，学习最近本地化的目标和他们的周围的背景，这项工作的目的是解决这样一个问题：如何学习一个强大的低维子空间，以准确和有区别地代表这些目标和背景样本。为此，一个判别方法，可靠地将目标从其周围的背景中分离出来，注入到子空间学习的联合学习，实现了一个维度自适应的子空间具有优越的鉴别能力。所提出的方法进行了广泛的评估和比较，与国家的最先进的跟踪器上四个流行的跟踪基准。实验结果表明，所提出的跟踪器执行竞争对手。特别是，它实现了超过9%的性能提高相比，国家的最先进的子空间跟踪器。
2022-04-17 cs.CV
Cooperative Cross-Stream Network for Discriminative Action Representation
University of Electronic Science and Technology of China（电子科技大学）
时空流模型在视频动作识别中取得了很大的成功。现有的大多数工作更多地关注设计有效的特征融合方法，以单独的方式对二流模型进行训练。然而，在现有的作品中，很难保证区分性和探索不同流之间的互补信息。在这项工作中，我们提出了一种新的合作跨流网络，调查在多个不同的方式的联合信息。联合时空流网络特征提取是通过端到端的学习方式完成的。它从连接块中提取不同模态的互补信息，旨在探索不同流特征的相关性。此外，与传统的ConvNet不同，传统的ConvNet只学习一个交叉熵损失的深度可分离特征，我们提出的模型通过联合优化同质和异质模态的模态排序约束和交叉熵损失，增强了深度学习特征的区分能力，并减少了不期望的模态差异。模态排序约束由模态内判别嵌入和模态间三元组约束组成，减少了模态内和跨模态特征的变化。在三个基准数据集上的实验表明，通过协同进行外观和运动特征提取，该方法可以获得与现有方法相比最先进或具有竞争力的性能。
2019-08-27 cs.CV
Single Object Tracking: A Survey of Methods, Datasets, and Evaluation Metrics
Malek Ashtar University of Technology（马利克·阿什塔尔理工大学）
目标跟踪是计算机视觉中的一项重要任务，在交通监控、机器人、自主车辆跟踪等领域有着广泛的应用，但由于遮挡、光照变化、快速运动等问题的存在，该领域的研究仍在继续。在本文中，以下对象的不同策略进行了检查，并显示了一个全面的分类，分类以下策略分为四个基本类别的基于特征的，基于分割的，基于估计的，和基于学习的方法，其中每一个都有其索赔子类别。本文的研究重点是基于学习的策略，将其分为生成策略、区分策略和强化学习三大类。区分性展示的子类别之一是深度学习。由于高性能，深度学习最近受到了格外多的考虑。最后，将介绍最常用的不同数据集和评估方法。
2022-01-31 cs.CV
Metric Learning Driven Multi-Task Structured Output Optimization for Robust Keypoint Tracking
Zhejiang University（浙江大学）
作为计算机视觉和图形学中的一个重要且具有挑战性的问题，基于关键点的目标跟踪通常在时空统计学习框架中进行表述。然而，大多数现有的关键点跟踪器不能有效地建模和平衡以下三个方面的同时的方式：跨帧的时间模型的一致性，帧内的空间模型的一致性，和歧视性的功能建设。为了解决这个问题，我们提出了一个强大的关键点跟踪器基于时空多任务结构化输出优化驱动的判别度量学习。因此，时间模型一致性的特点是多任务结构化的关键点模型学习在几个相邻的帧，而空间模型的一致性是通过解决基于几何验证的结构化学习问题。通过度量学习实现区分性特征构造，以确保类内紧致性和类间可分性。最后，上述三个模块同时优化的联合学习计划。实验结果证明了我们的跟踪器的有效性。
2014-12-04 cs.CV cs.LG
Improving trajectory continuity in drone-based crowd monitoring using a set of minimal-cost techniques and deep discriminative correlation filters
Institute of Robotics and Machine Intelligence（机器人与机器智能研究所）；Poznań University of Technology（波兹南技术大学）
本文提出一种基于 SORT 框架的面向点在线跟踪算法，结合三种低成本技术和 DDCF 滤波器，有效提升了无人机 crowd monitoring 的轨迹连续性与计数可靠性。
2025-04-28 cs.CV cs.RO
Explicitly Modeling the Discriminability for Instance-Aware Visual Object Tracking
近年来，视觉对象跟踪性能得到了显着提高，但仍然存在一些严峻的挑战，如干扰物和遮挡。我们怀疑的原因是，跟踪目标的特征表示只表达学习，但没有完全区分建模。在本文中，我们提出了一种新的实例感知跟踪器（IAT）明确挖掘的特征表示，改进了经典的视觉跟踪管道与实例级分类器的可区分性。首先，我们引入了一个对比学习机制来制定分类任务，确保每个训练样本可以被唯一地建模，并与大量其他样本高度区分。此外，我们设计了一个有效的负样本选择方案，以包含实例分类分支中的各种内部和内部类。此外，我们实现了两个变种的建议IAT，包括视频级和对象级。它们分别将\textbf{instance}的概念以不同的粒度实现为视频和目标包围盒。前者增强了从背景中识别目标的能力，而后者则增强了区分能力，从而缓解了目标-干扰物困境。在8个基准数据集上进行的广泛的实验评估表明，所提出的两个版本的IAT在30 FPS下运行时都取得了领先的结果。代码将在发布时可用。
2021-10-28 cs.CV
Learning Spatially Regularized Correlation Filters for Visual Tracking
Computer Vision Laboratory, Linköping University（林雪平大学计算机视觉实验室）
鲁棒、准确的视觉跟踪是计算机视觉中最具挑战性的问题之一。由于训练数据的固有缺乏，用于构建目标外观模型的鲁棒方法是至关重要的。最近，判别学习相关滤波器（DCF）已成功地应用于解决这个问题的跟踪。这些方法利用训练样本的周期性假设来有效地学习目标邻域中所有块的分类器。然而，周期性假设也引入了不必要的边界效应，这严重降低了跟踪模型的质量。我们提出了空间正则化判别相关滤波器（SRDCF）的跟踪。在学习中引入空间正则化组件以根据相关滤波器系数的空间位置来惩罚相关滤波器系数。我们的SRDCF公式允许相关滤波器在一组显著更大的负训练样本上学习，而不会破坏正样本。我们进一步提出了一个优化策略，基于迭代高斯-赛德尔方法，有效的在线学习我们的SRDCF。实验在四个基准数据集上进行：OTB-2013，ALOV++，OTB-2015和VOT 2014。我们的方法在所有四个数据集上都取得了最先进的结果。在OTB-2013和OTB-2015上，与现有最好的跟踪器相比，我们在平均重叠精度方面分别获得了8.0%和8.2%的绝对增益。
2016-08-19 cs.CV
e-TLD: Event-based Framework for Dynamic Object Tracking
Temasek Laboratories, National University of Singapore（新加坡国立大学淡马锡实验室）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出了一个长期的目标跟踪框架，在一般跟踪条件下的运动事件摄像机。作为这些革命性相机的首个同类产品，跟踪框架通过在线学习对对象使用判别式表示，并在对象返回视野时检测和重新跟踪对象。其中一个关键的新颖性是使用一个基于事件的本地滑动窗口技术，在混乱和纹理背景的场景中可靠地跟踪。此外，贝叶斯自举被用来协助实时处理和提高对象表示的区分能力。另一方面，当对象重新进入相机的视场时，数据驱动的全局滑动窗口检测器定位对象以进行后续跟踪。大量的实验表明，所提出的框架跟踪和检测各种形状和大小的任意对象，包括动态对象，如人类的能力。这是一个显着的改进相比，早期的作品，简单地跟踪对象，只要他们是在简单的背景设置可见。在三种运动设置下，即平移，旋转和6-DOF，使用五个不同对象的地面真实位置，报告了基于事件的跟踪框架的定量测量，并对各种性能问题提出了重要见解。最后，在C++中的实时实现突出了在实验室设置中的缩放，旋转，视点和遮挡场景下的跟踪能力。
2020-09-02 cs.CV
SPSTracker: Sub-Peak Suppression of Response Map for Robust Object Tracking
Chinese Academy of Sciences（中国科学院）；Institute of Optics and Electronics, Chinese Academy of Sciences（中国科学院光电技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；TU Kaiserslautern（凯泽斯劳滕工业大学）；University of California, Davis（加州大学戴维斯分校）
现代视觉跟踪器通常在特征响应具有以目标为中心的峰值响应的高斯分布的假设下构建在线学习模型。然而，当存在来自其他目标和/或背景噪声的渐进干扰时，这种假设是不可信的，这在跟踪响应图上产生子峰并导致模型漂移。在本文中，我们提出了一个纠正在线学习方法的次峰值响应抑制和峰值响应的实施和目标在处理渐进干扰的系统方式。我们的方法，被称为SPSTracker，适用于简单而有效的峰值响应池（PRP）聚合和对齐的歧视性功能，以及利用边界响应截断（BRT），以减少特征响应的方差。通过融合多尺度特征，SPSTracker将多个子峰的响应分布聚合为单个最大峰，从而增强了特征的区分能力，以实现鲁棒的目标跟踪。在OTB、NFS和VOT 2018基准测试上的实验表明，SPSTrack的性能优于最先进的实时跟踪器，并具有显著的优势。
2020-05-03 cs.CV
Hierarchical Spatial-aware Siamese Network for Thermal Infrared Object Tracking
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；Harbin Institute of Technology（哈尔滨工业大学）
大多数热红外（TIR）跟踪方法是判别式的，将跟踪问题视为分类任务。然而，分类器的目标（标签预测）不耦合到跟踪器的目标（位置估计）。分类任务主要关注任意目标的类间差异，而跟踪任务主要关注同一目标的类内差异。在本文中，我们投TIR跟踪问题作为一个相似性验证任务，这是耦合良好的跟踪任务的目标。我们提出了一个TIR跟踪器通过分层空间感知的连体卷积神经网络（CNN），命名为HSSNet。为了获得TIR对象的空间和语义特征，我们设计了一个Siamese CNN，它合并了多个分层卷积层。然后，我们提出了一个空间感知的网络，以提高联合层次特征的区分能力。随后，我们训练这个网络端到端的大型可见视频检测数据集学习配对对象之间的相似性，然后我们将网络转移到TIR域。接下来，这个预先训练的Siamese网络用于评估目标模板和目标候选者之间的相似性。最后，我们定位的候选人是最相似的跟踪目标。在基准测试VOT-TIR 2015和VOT-TIR 2016上的大量实验结果表明，与最先进的方法相比，我们提出的方法具有良好的性能。
2018-11-27 cs.CV
Exemplar-based Linear Discriminant Analysis for Robust Object Tracking
Huazhong University of Science and Technology（华中科技大学）
检测跟踪是一种非常有吸引力的跟踪技术，它将跟踪问题视为一个类别检测问题。然而，跟踪中的任务是搜索特定的对象，而不是像检测中那样搜索对象类别。在本文中，我们提出了一种新的跟踪框架的基础上，样本检测器，而不是类别检测器。建议的跟踪器是一个基于样本的线性判别分析（ELDA）检测器的合奏。每个检测器都是非常具体和有区别的，因为它是由单个对象实例和大量否定训练的。为了提高其自适应性，我们更新对象和背景模型。在几个具有挑战性的视频序列上的实验结果表明，我们的跟踪算法的有效性和鲁棒性。
2014-02-24 cs.CV
Online Visual Tracking with One-Shot Context-Aware Domain Adaptation
Iran University of Science and Technology（伊朗科技大学）
在线学习策略通过学习特定领域的线索使视觉跟踪器对不同的失真更加鲁棒。然而，采用该策略的跟踪器未能充分利用背景区域的歧视性上下文。此外，由于缺乏足够的数据在每个时间步，在线学习的方法也可以使跟踪器容易过度拟合的背景区域。在本文中，我们提出了一个领域自适应的方法来加强的语义背景上下文的贡献。领域自适应方法仅以现成的深度模型为基础。所提出的方法的优势来自于其处理严重遮挡和背景杂波挑战的辨别能力。我们进一步引入了一个成本敏感的损失，减轻非语义背景候选人的语义候选人的主导地位，从而处理数据不平衡的问题。实验结果表明，我们的跟踪器实现竞争力的结果，在实时速度相比，国家的最先进的跟踪器。
2021-04-17 cs.CV
Faster Spatially Regularized Correlation Filters for Visual Tracking
Tsinghua University（清华大学）；Graduate School at Shenzhen, Tsinghua University（清华大学深圳研究生院）
判别学习相关滤波器（DCF）以其简单、高效的特点被广泛应用于在线视觉跟踪领域。这些方法利用训练样本的周期性假设来构造循环数据矩阵，这隐含地增加了训练样本，降低了存储和计算复杂性，但周期性假设也引入了不必要的边界效应。最近，空间正则化相关滤波器（SRDCF）解决了这个问题，通过引入惩罚相关滤波器系数取决于他们的空间位置。然而，SRDCF的效率急剧下降，由于循环结构的破坏。我们提出了更快的空间正则化判别相关滤波器（FSRDCF）的跟踪。FSRDCF由岭回归构造而成，充分利用了训练样本在空间域的循环结构，更重要的是进一步利用了正则化函数在傅立叶域的循环结构，使得问题的求解更加直接有效。实验在三个基准数据集上进行：OTB-2013，OTB-2015和VOT 2016。我们的方法在所有三个数据集上实现了与基线跟踪器SRDCF相当的性能。在OTB-2013和OTB-2015数据集上，我们的方法获得了比SRDCF快两倍多的运行速度和短三倍多的启动待用时间。对于最先进的比较，我们的方法与其他非空间正则化跟踪器相比表现出优越的性能。
2017-06-01 cs.CV
GradNet: Gradient-Guided Network for Visual Object Tracking
Dalian University of Technology（大连理工大学）；The University of Sydney（悉尼大学）；China Science IntelliCloud Technology Co., Ltd（中科智云科技有限公司）
基于模板匹配的全卷积连体网络在视觉跟踪中显示出巨大的潜力。在测试过程中，模板与初始目标特征是固定的，性能完全依赖于siamese网络的总体匹配能力。然而，这种方式不能捕捉目标或背景杂波的时间变化。在这项工作中，我们提出了一种新的梯度引导网络，利用梯度中的判别信息，并通过前馈和后向操作更新连体网络中的模板。我们的算法执行前馈和后向操作，以利用梯度中的判别信息并捕获目标的核心注意力。具体地说，该算法可以利用来自梯度的信息来更新当前帧中的模板。此外，为了更好地利用梯度信息，避免过拟合，提出了一种模板泛化训练方法。据我们所知，这项工作是第一次尝试利用梯度中的信息进行基于暹罗的跟踪器的模板更新。在最近的基准测试上进行的大量实验表明，我们的方法比其他最先进的跟踪器具有更好的性能。
2019-09-15 cs.CV
A Complementary Tracking Model with Multiple Features
Harbin Institute of Technology（哈尔滨工业大学）；Shenzhen Graduate School, Harbin Institute of Technology（哈尔滨工业大学深圳研究生院）
基于判别相关滤波器的跟踪算法利用传统的手工制作的功能，取得了令人印象深刻的结果，无论是在准确性和鲁棒性。模板手工制作的功能已经显示出出色的性能，但当目标的外观快速变化时，例如快速运动和快速变形时，它们的性能很差。相比之下，统计手工特征对快速状态变化不敏感，但它们在光照变化和背景杂波的情况下性能较差。在这项工作中，为了实现一个有效的跟踪性能，我们提出了一种新的视觉跟踪算法，命名为MFCMT，基于互补集成模型与多个功能，包括直方图的方向一致性（HOG），颜色名称（CN）和颜色直方图（CH）。此外，为了提高跟踪效果和防止目标漂移，我们引入了一种有效的融合方法，利用相对熵合并所有的基本响应地图，并得到一个最佳的响应。此外，我们提出了一个简单而有效的更新策略，以提高跟踪性能。在两个跟踪基准上进行了综合评估，实验结果表明，我们的方法与许多国家的最先进的跟踪器具有竞争力。我们的跟踪器在这些基准测试中以更快的速度实现了令人印象深刻的性能。
2018-07-19 cs.CV cs.GR
A Survey of Appearance Models in Visual Object Tracking
The University of Adelaide（阿德莱德大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；State University of New York, Binghamton（纽约州立大学宾汉姆顿分校）
视觉目标跟踪是一项重要的计算机视觉任务，在视觉监控、人机交互、视频压缩等领域有着广泛的应用。在文献中，研究人员提出了各种2D外观模型。为了帮助读者快速了解视觉对象跟踪的2D外观模型的最新进展，我们提供了这个调查，它提供了现有的2D外观模型的详细审查。特别是，本调查采用了基于模块的架构，使读者能够轻松掌握视觉对象跟踪的关键点。在本研究中，我们首先将外观建模问题分解为两个不同的处理阶段：视觉表示和统计建模。然后，不同的二维外观模型进行了分类，并讨论了其组成模块。最后，我们解决了几个感兴趣的问题，以及剩余的挑战，为今后的研究这一主题。这项调查的贡献有四个方面。首先，我们根据视觉表征的特征构建机制（即，本地和全球）。其次，现有的统计建模方案跟踪检测审查根据其模型的建设机制：生成，歧视性，和混合生成歧视性。第三，从理论或实践的角度分析和讨论了每种类型的视觉表示或统计建模技术。第四，现有的基准资源（例如，源代码和视频数据集）进行了检查。
2013-03-20 cs.CV
An Analysis of Object Representations in Deep Visual Trackers
Google Research（谷歌研究院）
全卷积深度相关网络是最先进的单目标视觉跟踪方法的组成部分。通常假设这些网络通过将对象实例的特征与整个帧的特征相匹配来检测来执行跟踪。强大的建筑先验知识和对象表示的条件被认为是鼓励这种跟踪策略。尽管有这些强大的先验知识，但我们发现深度跟踪器通常默认通过显着性检测进行跟踪-而不依赖于对象实例表示。我们的分析表明，尽管显著性检测是一种有用的先验知识，但它可以防止深度网络中出现更强大的跟踪策略。这导致我们引入一个辅助检测任务，鼓励更多的歧视性对象表示，提高跟踪性能。
2020-01-08 cs.CV
Deep Motion Features for Visual Tracking
Linköping University（林雪平大学）
鲁棒视觉跟踪是计算机视觉中一个具有挑战性的问题，有着广泛的应用前景。大多数现有的方法采用手工制作的外观特征，如HOG或颜色名称。最近，从卷积神经网络提取的深度RGB特征已成功应用于跟踪。尽管他们的成功，这些功能只捕捉外观信息。另一方面，运动提示提供了可以提高跟踪性能的鉴别和补充信息。与视觉跟踪相反，深度运动特征已成功应用于动作识别和视频分类任务。通常，通过在从大量标记视频提取的光流图像上训练CNN来学习运动特征。本文提出了一种调查的影响，深层运动功能的跟踪检测框架。我们进一步表明，手工制作，深RGB和深运动功能包含互补信息。据我们所知，我们是第一个提出融合外观信息与深度运动特征的视觉跟踪。综合实验清楚地表明，我们的深度运动特征融合方法优于仅依赖外观信息的标准方法。
2016-12-20 cs.CV
DeepSTEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans
Indian Institute of Technology Gandhinagar（印度甘地讷格尔印度理工学院）；National Institutes of Health（美国国立卫生研究院）
该研究提出基于Transformer的STEP框架，通过GMSP和OMRA模块解决传统判别式模型需预定义目标状态的问题，无需逐帧检测即可同步跟踪并估计人/动物姿态，推理效率更高，在多物种数据集上表现优于现有方法。
2026-11-06 cs.CV
Multi-domain Collaborative Feature Representation for Robust Visual Object Tracking
Dalian University of Technology（大连理工大学）；Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院）
联合利用多个不同但互补的域信息已被证明是执行鲁棒对象跟踪的有效方法。本文的重点是有效地表示和利用互补的功能，从帧域和事件域提高目标跟踪性能的挑战性的情况下。具体来说，我们提出了共同特征提取器（CFE）学习潜在的共同表示从RGB域和事件域。为了学习这两个域的独特特征，我们利用基于脉冲神经网络的事件唯一提取器（UEE）提取事件域中的边缘线索，这些线索在某些具有挑战性的条件下可能在RGB中丢失，并且基于深度卷积神经网络的RGB唯一提取器（UER）提取RGB域中的纹理和语义信息。在标准RGB基准数据集和真实事件跟踪数据集上的实验证明了该方法的有效性。我们表明，我们的方法优于所有比较国家的最先进的跟踪算法，并验证基于事件的数据是一个强大的线索，在具有挑战性的场景跟踪。
2021-10-08 cs.CV
Learning Aberrance Repressed Correlation Filters for Real-Time UAV Tracking
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
传统的判别相关滤波器（DCF）框架经常受到不希望的边界效应。在过去的几年中，已经提出了几种扩大搜索区域的方法来弥补这一缺点。然而，在背景信息过多的情况下，也引入了更多的背景噪声，并且鉴别滤波器倾向于从环境而不是对象学习。这种情况，连同由完全/部分遮挡、照明变化和其他原因引起的对象的外观变化，使得在检测过程中更有可能具有畸变，这可能大大降低其结果的可信度。因此，在这项工作中，提出了一种新的方法来抑制在检测过程中发生的畸变，即，畸变抑制相关滤波器（ARCF）。通过对检测阶段产生的响应图的变化率进行限制，ARCF跟踪器可以明显地抑制畸变，从而更加鲁棒和准确地跟踪目标。在不同的无人机数据集上进行了大量的实验，以从鸟瞰图执行目标跟踪，即，UAV 123、UAVDT和DTB 70，使用243个具有挑战性的图像序列（包含超过90 K帧）来验证ARCF跟踪器的性能，它已经证明自己优于其他20个基于DCF和深度框架的最先进的跟踪器，具有足够的速度用于实时的【形】应用。
2019-08-07 cs.CV
Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
POSTECH（浦项科技大学）
我们提出了一种新的视觉跟踪算法的基础上，从一个有区别地训练卷积神经网络（CNN）的表示。我们的算法使用大量具有跟踪地面实况的视频来预训练CNN，以获得通用的目标表示。我们的网络由共享层和特定领域层的多个分支组成，其中域对应于单独的训练序列，每个分支负责二进制分类以识别每个域中的目标。我们训练的网络相对于每个域迭代地获得通用的目标表示在共享层。当跟踪新序列中的目标时，我们通过将预训练的CNN中的共享层与在线更新的新二进制分类层相结合来构建新网络。在线跟踪通过评估在先前目标状态周围随机采样的候选窗口来执行。与现有跟踪基准测试中的最新方法相比，该算法具有出色的性能。
2016-01-06 cs.CV
