Multiple Convolutional Features in Siamese Networks for Object Tracking
Polytechnique Montreal（蒙特利尔理工学院）；TELUQ University（魁北克大学泰勒斯分校）
Siamese跟踪器在目标跟踪方面表现出了很高的性能，因为它们在准确性和速度之间取得了平衡。与基于分类的CNN不同，深度相似性网络是专门为解决图像相似性问题而设计的，因此本质上更适合于跟踪任务。然而，暹罗跟踪器主要使用最后的卷积层进行相似性分析和目标搜索，这限制了它们的性能。在本文中，我们认为使用单个卷积层作为特征表示不是深度相似性框架中的最佳选择。我们提出了一个多个神经元暹罗跟踪器（MFST），一种新的跟踪算法，利用几个层次的功能强大的跟踪地图。由于卷积层在表征对象时提供了几个抽象级别，因此融合分层特征可以获得更丰富和更有效的目标表示。此外，我们通过校准从两个不同的CNN模型提取的深度特征来处理目标外观变化。基于这种先进的特征表示，我们的方法实现了高跟踪精度，同时优于标准的暹罗跟踪对象跟踪基准。源代码和训练模型可在https://github.com/zhenxili96/MFST上获得。
2021-03-01 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University（波特兰州立大学）；Intel Corporation（英特尔公司）
我们提出了一种新的算法，利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化（BO）框架编码的时空信息，有效的视频对象跟踪。特别是，我们把视频跟踪问题作为一个动态（即时间演变）优化问题。使用高斯过程先验，我们建模一个动态的目标函数，表示跟踪对象在每帧中的位置。通过利用时间相关性，所提出的方法以统计原则和有效的方式查询搜索空间，提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
Siamese Keypoint Prediction Network for Visual Object Tracking
Kuaishou Technology（快手科技）
视觉目标跟踪的目的是在给定初始限界框的情况下估计视频序列中任意目标的位置。通过利用离线特征学习，暹罗范式最近已经成为高性能跟踪的领先框架。然而，现有的暹罗跟踪器要么严重依赖于复杂的基于锚的检测网络，要么缺乏抵抗干扰的能力。在本文中，我们提出了Siamese关键点预测网络（SiamKPN）来解决这些挑战。基于Siamese骨干进行特征嵌入，SiamKPN受益于级联热图策略，用于粗到细的预测建模。特别地，该策略通过沿着级联顺序地缩小标签热图的覆盖范围以应用从宽松到严格的中间监督来实现。在推理过程中，我们发现连续阶段的预测热图逐渐集中到目标，并减少到干扰项。SiamKPN在四个基准数据集（包括OTB-100，VOT 2018，LaSOT和GOT-10 k）上的视觉对象跟踪方面表现良好，同时以实时速度运行。
2020-06-07 cs.CV
Self-supervised Object Tracking with Cycle-consistent Siamese Networks
Hong Kong University of Science and Technology（香港科技大学）
与监督学习相比，用于视觉对象跟踪的自监督学习具有有价值的优点，例如不需要费力的人工注释和在线训练。在这项工作中，我们利用一个端到端的暹罗网络在一个周期一致的自我监督框架的对象跟踪。自我监督可以通过利用前向和后向跟踪中的周期一致性来执行。为了更好地利用深度网络的端到端学习，我们建议在我们的跟踪框架中集成暹罗区域建议和掩码回归网络，以便在不对每帧进行注释的情况下学习更快，更准确的跟踪器。在用于视觉对象跟踪的VOT数据集和用于视频对象分割传播的DAVIS数据集上的实验表明，我们的方法在这两个任务上都优于以前的方法。
2020-08-03 cs.CV
Distilled Siamese Networks for Visual Tracking
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Beijing Institute of Technology（北京理工大学）；Shandong University（山东大学）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（赛富时亚洲研究院）
近年来，基于Siamese网络的跟踪器在实时跟踪方面大大提高了最先进的水平。尽管他们的成功，暹罗跟踪器往往遭受高内存成本，这限制了他们的适用性与内存预算紧张的移动设备。为了解决这个问题，我们提出了一个蒸馏暹罗跟踪框架，学习小，快速，准确的跟踪器（学生），捕捉关键知识从大暹罗跟踪器（教师）的师生知识蒸馏模型。这种模式直观地受到学校通常采用的一名教师与多名学生学习方法的启发。特别是，我们的模型包含一个单一的教师-学生蒸馏模块和学生-学生知识共享机制。前者是使用跟踪特定的蒸馏策略来将知识从教师转移到学生。后者用于学生之间的相互学习，以实现深入的知识理解。广泛的经验评估几个流行的暹罗跟踪器证明了我们的框架的通用性和有效性。此外，五个跟踪基准测试的结果表明，所提出的蒸馏跟踪器实现高达18 $\times$的压缩率和$265$ FPS的帧速率，同时获得可比的跟踪精度相比，基本模型。
2022-11-28 cs.CV
Faster and Simpler Siamese Network for Single Object Tracking
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Computer Science and Technology, Nanjing University（南京大学计算机科学与技术系）；School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
单目标跟踪是当前计算机视觉中最重要的任务之一。随着深度网络的发展和一系列用于单目标跟踪的大规模数据集的发布，已经提出了siamese网络，并且比大多数传统方法表现得更好。然而，最近的连体网络变得更深，更慢，以获得更好的性能。这些方法大多只能满足理想环境下目标实时跟踪的需要。为了在效率和准确性之间实现更好的平衡，我们提出了一种更简单的用于单目标跟踪的连体网络，该网络在较差的硬件配置下运行速度快，同时保持了出色的准确性。我们使用一个更有效的回归方法来计算跟踪对象的位置在较短的时间内，而不会失去太多的精度。为了提高特征提取的准确性和加快训练速度，我们将挤压和激励（SE）网络引入特征提取器。在本文中，我们比较了所提出的方法与一些国家的最先进的跟踪器，并分析其性能。使用我们的方法，一个连体网络可以用更短的时间和更少的数据进行训练。快速的处理速度使得能够将对象跟踪与目标检测或其他任务实时的相结合。
2021-05-07 cs.CV
Distractor-aware Siamese Networks for Visual Object Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Group Limited（商汤集团有限公司）
近年来，暹罗网络由于其在准确性和速度上的平衡而引起了视觉跟踪界的极大关注。然而，大多数暹罗跟踪方法中使用的特征只能区分前景和非语义背景。语义背景通常被认为是干扰物，这阻碍了暹罗跟踪器的鲁棒性。在本文中，我们专注于学习分心感知的暹罗网络，以实现准确和长期的跟踪。为此，首先分析了传统暹罗跟踪器的特征。我们观察到，训练数据的不平衡分布使得学习到的特征的区分性降低。在离线训练阶段，引入了一种有效的抽样策略来控制这种分布，使模型集中于语义干扰项。在推理过程中，设计了一种新的干扰子感知模块来进行增量学习，可以有效地将一般的嵌入转移到当前的视频域。此外，我们通过引入一个简单而有效的局部到全局搜索区域策略来扩展所提出的长期跟踪方法。在基准测试上进行的大量实验表明，我们的方法显著优于最先进的方法，在VOT 2016数据集上获得了9.6%的相对增益，在UAV20L数据集上获得了35.9%的相对增益。所提出的跟踪器可以在短期基准上以160 FPS执行，在长期基准上以110 FPS执行。
2018-08-18 cs.CV
Exemplar Loss for Siamese Network in Visual Tracking
视觉跟踪是感知系统的重要组成部分，是智能交通的重要组成部分。近年来，暹罗网络以其结构简单、精度高等优点成为视觉跟踪的研究热点。一般情况下，在逻辑损失和三重损失的监督下，Siamese跟踪算法会增加样本模板与阳性样本的内积值，而减少样本与背景样本的内积值。然而，上述损失函数没有考虑来自不同样本的干扰项，这限制了特征模型的区分度。本文提出了一种新的与逻辑损失相结合的样本损失，通过减少样本之间的内积来增强特征模型的区分度。没有花里胡哨的东西，所提出的算法优于由逻辑损失或三元组损失监督的方法。数值结果表明，新开发的算法在公共基准测试中达到了相当的性能。
2020-10-04 cs.CV
SMMT: Siamese Motion Mamba with Self-attention for Thermal Infrared Target Tracking
China Three Gorges University（三峡大学）
针对热红外目标跟踪中遮挡、运动模糊等问题，提出融合双向状态空间模型与自注意力的SMMT跟踪器，通过运动Mamba模块、参数共享策略与运动边缘感知损失提升性能，在四个基准上表现优异。
2025-06-11 cs.CV
SiamMOT: Siamese Multi-Object Tracking
Amazon Web Services (AWS)（亚马逊云科技（AWS））
在本文中，我们专注于改善在线多目标跟踪（MOT）。特别是，我们介绍了一个基于区域的暹罗多目标跟踪网络，我们命名为SiamMOT。SiamMOT包括一个运动模型，该模型估计实例在两个帧之间的移动，使得检测到的实例相关联。为了探索运动建模如何影响其跟踪能力，我们提出了两种变体的暹罗跟踪器，一个隐式模型的运动和一个模型明确。我们在三个不同的MOT数据集上进行了广泛的定量实验：MOT 17，TAO-person和Caltech Roadside Pedestrian，显示了运动建模对MOT的重要性以及SiamMOT大幅超越最先进技术的能力。最后，SiamMOT在HiEve数据集上的表现也优于ACM MM'20 Hieve Grand Challenge的获胜者。此外，SiamMOT是高效的，它在单个现代GPU上以17 FPS的速度运行720 P视频。代码在\url{https://github.com/amazon-research/siam-mot}中可用。
2021-05-25 cs.CV
DomainSiam: Domain-Aware Siamese Network for Visual Object Tracking
Memorial University of Newfoundland（纽芬兰纪念大学）
视觉目标跟踪是计算机视觉领域的一项基本任务。最近，暹罗跟踪器在最近的基准测试中取得了最先进的性能。然而，Siamese跟踪器没有充分利用来自已经在图像分类任务上训练的预训练网络的语义和对象信息。此外，预先训练的暹罗架构被类别标签稀疏地激活，这导致不必要的计算和过拟合。在本文中，我们提出了学习领域感知，即充分利用语义和对象信息，同时使用岭回归网络产生类不可知。此外，为了减少稀疏性问题，我们用可微加权动态损失函数来解决岭回归问题。我们的跟踪器，被称为DomainSiam，提高了训练阶段的特征学习和对其他领域的泛化能力。在五个跟踪基准上进行了广泛的实验，包括验证集的OTB 2013和OTB 2015;以及测试集的VOT 2017，VOT 2018，LaSOT，TrackingNet和GOT 10 k。DomainSiam在这些基准测试中实现了最先进的性能，同时以53 FPS运行。
2019-08-21 cs.CV
SiamAPN++: Siamese Attentional Aggregation Network for Real-Time UAV Tracking
Tongji University（同济大学）；New York University（纽约大学）
最近，基于Siamese的方法由于其最先进的（SOTA）性能而从众多的跟踪方法中脱颖而出。然而，由于无人机跟踪中的各种特殊挑战，\textit{e.g.}，严重遮挡和快速运动，大多数现有的基于暹罗的跟踪器很难将优异的性能与高效率结合起来。针对这一问题，本文提出了一种新的用于无人机实时的【形】跟踪的注意力连体跟踪器（SiamAPN++）。借助注意力机制，我们构造了一个由自注意力聚合网络和交叉注意力聚合网络组成的特殊的注意力聚合网络，以提高特征的表征能力。前AAN聚合和模型的自我语义的相互依赖性的单一功能地图，通过空间和通道尺寸。后者的目的是聚集两个不同的语义特征，包括锚点的位置信息的交叉依赖关系。此外，提出了基于双特征的锚建议网络，以提高其跟踪不同尺度目标的鲁棒性。在两个著名的权威基准上进行了实验，其中SiamAPN++优于其基线SiamAPN和其他SOTA跟踪器。此外，在典型的嵌入式平台上的实际测试表明，SiamAPN++实现了良好的跟踪效果与实时的【形】速度。
2021-07-30 cs.CV
Deformable Siamese Attention Networks for Visual Object Tracking
Malong Technologies（旷视科技）
基于Siamese的跟踪器在视觉对象跟踪方面取得了优异的性能。然而，目标模板不在线更新，并且目标模板和搜索图像的特征在Siamese架构中独立计算。在本文中，我们提出了变形暹罗注意力网络，简称为SiamAttn，通过引入一个新的暹罗注意力机制，计算变形的自我注意力和交叉注意力。自我注意通过空间注意学习强上下文信息，并通过通道注意选择性地强调相互依赖的通道特征。交叉关注能够聚合目标模板和搜索图像之间的丰富的上下文相互依赖性，从而提供自适应地更新目标模板的隐式方式。此外，我们还设计了一个区域细化模块，用于计算注意力特征之间的深度相关性，以实现更准确的跟踪。我们在六个基准上进行了实验，其中我们的方法实现了新的最先进的结果，在VOT 2016年和2018年的0.464->0.537和0.415->0.470 EAO上优于强基线SiamRPN++ [24]。我们的代码可在https://github.com/msight-tech/research-siamattn上获得。
2021-03-24 cs.CV
DCF-ASN: Coarse-to-fine Real-time Visual Tracking via Discriminative Correlation Filter and Attentional Siamese Network
School of Computer Science（计算机学院）；Northwestern Polytechnical University（西北工业大学）；Aberystwyth University（阿伯里斯特威斯大学）
判别相关滤波器（DCF）和连体网络在视觉跟踪任务中取得了令人满意的性能，这分别归功于它们优越的计算效率和可靠的相似性度量学习。然而，如何有效地利用强大的深度网络，同时保持DCF的实时的【形】响应，仍然是一个具有挑战性的问题。将互相关算子作为一个单独的层嵌入到siamese网络中是一种普遍的选择，以提高跟踪精度。作为这种网络的关键组成部分，相关层与网络的其他部分一起在线更新。然而，当受到严重干扰时，融合跟踪器仍可能由于累积误差而完全偏离目标。为了解决这些问题，我们提出了一个由粗到细的跟踪框架，该框架首先通过在线更新的DCF模块粗略地推断目标状态，然后通过离线训练的非对称连体网络（siamese network，简称siamese network）精细地定位目标。该算法利用DCF的指导思想和已知的地面真值模板得到的信道权值，对特征表示进行细化，实现了目标的精确定位。在五个常用的跟踪数据集上的系统实验表明，所提出的DCF-SVM在具有良好跟踪效率的同时，达到了最先进的性能。
2021-03-19 cs.CV
SiamCAR: Siamese Fully Convolutional Classification and Regression for Visual Tracking
College of Computer Science and Technology（计算机科学与技术学院）；Zhejiang University of Technology（浙江工业大学）
通过将视觉跟踪任务分解为像素类别的分类和该像素处对象限界框的回归两个子问题，提出了一种新的全卷积Siamese网络，以逐像素的方式解决端到端的视觉跟踪问题。SiamCAR框架由两个简单的子网络组成：一个用于特征提取的Siamese子网络和一个用于限界框预测的分类回归子网络。我们的框架以ResNet-50为骨干。与Siamese-RPN，SiamRPN++和SPM等基于区域建议的最先进的跟踪器不同，所提出的框架既没有建议也没有锚。因此，我们能够避免棘手的超参数调整锚，并减少人为干预。拟议的框架简单、整洁和有效。在GOT-10 K、LaSOT、UAV 123和OTB-50等许多具有挑战性的基准上进行了广泛的实验和与最先进的跟踪器的比较。没有花里胡哨，我们的SiamCAR以相当快的实时速度实现了领先的性能。
2019-12-13 cs.CV
SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks
SenseTime Research（商汤科技研究院）；NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；VIPL, ICT（中国科学院计算技术研究所视觉信息处理与系统实验室）
基于Siamese网络的跟踪器将跟踪公式化为目标模板和搜索区域之间的卷积特征互相关。然而，与最先进的算法相比，Siamese跟踪器仍然存在准确性差距，并且它们无法利用深度网络的功能，例如ResNet-50或更深。在这项工作中，我们证明的核心原因是缺乏严格的翻译不变性。通过综合理论分析和实验验证，我们通过一种简单有效的空间感知采样策略突破了这一限制，并成功训练了一个ResNet驱动的Siamese跟踪器，获得了显著的性能提升。此外，我们提出了一种新的模型架构来执行深度和分层聚合，这不仅进一步提高了准确性，而且还减少了模型的大小。我们进行了广泛的消融研究，以证明所提出的跟踪器的有效性，该跟踪器目前在四个大型跟踪基准上获得了最佳结果，包括OTB2015，VOT 2018，UAV123和LaSOT。我们的模型将发布，以促进进一步研究的基础上这个问题。
2018-12-31 cs.CV
Discriminative and Robust Online Learning for Siamese Visual Tracking
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
传统上，视觉对象跟踪的问题一直由不同的跟踪范式来处理，要么只在线学习对象外观的模型，要么在离线训练的嵌入空间中将对象与目标进行匹配。尽管最近取得了成功，但每一种方法都因其内在的限制而苦恼。仅在线的方法遭受缺乏它们学习的模型的泛化，因此在目标回归中较差，而仅离线的方法（例如，卷积连体跟踪器）缺乏目标特定的上下文信息，因此对于处理干扰项没有足够的辨别力，并且对于变形没有足够的鲁棒性。因此，我们提出了一个在线模块与注意力机制离线连体网络提取目标特定的功能下L2错误。我们进一步提出了一个过滤器更新策略自适应危险的背景噪声的歧视性学习，和一个模板更新策略，以处理大的目标变形的鲁棒学习。有效性可以在三个暹罗基线的持续改善中得到验证：SiamFC、SiamRPN++和SiamMask。除此之外，我们基于SiamRPN++的模型在六个流行的跟踪基准上获得了最佳结果，并且可以实时运行。
2019-11-21 cs.CV
Rotation Equivariant Siamese Networks for Tracking
University of Amsterdam（阿姆斯特丹大学）
旋转是视觉对象跟踪中长期存在但尚未解决的难题之一。现有的基于深度学习的跟踪算法使用常规CNN，其本质上是平移等变的，但不是设计用于处理旋转。在本文中，我们首先证明了在视频中存在旋转实例的情况下，现有跟踪器的性能受到严重影响。为了避免旋转的不利影响，我们提出了旋转等变连体网络（RE-SiamNets），通过使用包含可操纵滤波器的组等变卷积层构建。SiamNets允许以无监督的方式估计对象的方向变化，从而也便于其在相对2D姿态估计中的使用。我们进一步表明，这种方向的变化可以用来施加一个额外的运动约束，通过施加限制在两个连续的帧之间的方向的变化，在暹罗跟踪。为了进行基准测试，我们提出了旋转跟踪基准（RTB），这是一个包含一组具有旋转实例的视频的数据集。通过对两种流行的Siamese架构的实验，我们表明RE-SiamNets可以很好地处理旋转问题，并且性能优于常规的同类产品。此外，RE-SiamNets可以以无监督的方式准确地估计目标姿态的相对变化，即目标相对于参考系的平面内旋转。
2020-12-24 cs.CV
DensSiam: End-to-End Densely-Siamese Network with Self-Attention Model for Object Tracking
Memorial University of Newfoundland（纽芬兰纪念大学）；University of Calgary（卡尔加里大学）；Helwan University（赫尔旺大学）
卷积连体神经网络最近已被用于使用深度特征来跟踪对象。Siamese结构可以达到实时的速度，但是仍然很难找到一种Siamese结构，特别是当它很深时，它保持了泛化能力，高精度和速度，同时减少了共享参数的数量。此外，传统的连体建筑通常一次处理一个本地邻居，这使得外观模型是本地的并且对外观变化不鲁棒。为了克服这两个问题，本文提出了DensSiam，这是一种新型的卷积暹罗架构，它使用了密集层的概念，并以前馈方式将每个密集层连接到所有层，并具有相似性学习功能。DensSiam还包括自注意力机制，以迫使网络在离线训练期间更多地关注非局部特征。在四个跟踪基准上进行了广泛的实验：验证集为OTB 2013和OTB 2015;测试集为VOT 2015，VOT 2016和VOT 2017。所获得的结果表明，DensSiam在这些基准上取得了优于其他当前最先进的方法。
2018-09-07 cs.CV
Leveraging Shape Completion for 3D Siamese Tracking
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
由于点云的稀疏性，处理点云具有挑战性，因此自动驾驶汽车更多地依赖于外观属性，而不是纯粹的几何特征。然而，3D LIDAR感知可以在具有挑战性的光线或天气条件下为城市导航提供关键信息。在本文中，我们调查的通用性形状完成三维物体跟踪激光雷达点云。我们设计了一个连体跟踪器，编码模型和候选形状到一个紧凑的潜在表示。我们通过强制潜在表示解码成对象模型形状来正则化编码。我们观察到，3D对象跟踪和3D形状完成是相辅相成的。学习一个更有意义的潜在表示显示出更好的区分能力，从而提高跟踪性能。我们使用汽车3D边界框在KITTI跟踪集上测试我们的方法。我们的模型在3D对象跟踪方面达到了76.94%的成功率和81.38%的精度，形状完成正则化使这两个指标都提高了3%。
2019-03-28 cs.CV
Object Preserving Siamese Network for Single Object Tracking on Point Clouds
East China University of Science and Technology（华东理工大学）
显然，目标是三维单目标跟踪（SOT）任务的关键因素。然而，以前的基于Siamese的跟踪器忽略了骨干采样过程中随机丢弃的对象点带来的负面影响，这阻碍了跟踪器预测准确的边界框（BBoxes）。探索一种方法，寻求最大限度地保存对象点及其对象感知功能是特别重要的。受此启发，我们提出了一个对象保持暹罗网络（OPSNet），它可以显着保持对象的完整性和提高跟踪性能。首先，对象高亮模块增强对象感知特征，并从模板和搜索区域中提取区分特征。然后，对象保留采样选择对象候选者以获得对象保留搜索区域种子，并丢弃对跟踪贡献较小的背景点。最后，对象定位网络基于对象保留的搜索区域种子精确定位3D BBox。大量的实验表明，我们的方法优于最先进的性能（在KITTI和Waymo Open Dataset上分别获得了9.4%和2.5%的成功率）。
2023-01-28 cs.CV
Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking
Temple University（天普大学）
区域建议网络（RPN）最近已与暹罗网络相结合，用于跟踪，并显示出良好的精度和高效率。然而，以前提出的一个阶段的暹罗RPN跟踪退化存在类似的干扰和大规模的变化。针对这些问题，我们提出了一个多阶段的跟踪框架，暹罗级联RPN（C-RPN），它由一系列的RPN级联从深层次的高层到浅层次的低层次的暹罗网络。与以前的解决方案相比，C-RPN有几个优点：（1）每个RPN都是使用前一阶段RPN的输出进行训练的。这样的过程刺激了硬负采样，导致更平衡的训练样本。因此，RPN在区分困难背景（即，类似的干扰物）。(2)通过针对每个RPN的新颖的特征传递块（FTB）充分利用多级特征，进一步使用高级语义和低级空间信息来提高C-RPN的可辨别性。(3)通过多步回归，C-RPN利用前一阶段调整的锚框逐步细化每个RPN中目标的位置和形状，使定位更加准确。C-RPN使用多任务损失函数进行端到端训练。在推理中，C-RPN被部署为实时的【形】跟踪，而没有任何时间适应。在OTB-2013、OTB-2015、VOT-2016、VOT-2017、LaSOT和TrackingNet上进行的大量实验中，C-RPN始终实现最先进的结果并实时的【形】运行。
2018-12-14 cs.CV
A Twofold Siamese Network for Real-Time Object Tracking
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
观察到在图像分类任务中学习的语义特征和在相似性匹配任务中学习的外观特征是互补的，我们构建了一个双重的Siamese网络，命名为SA-Siam，用于实时的【形】目标跟踪。SA-Siam由语义分支和外观分支组成。每个分支都是一个相似性学习的连体网络。在SA-Siam中，一个重要的设计选择是分别训练这两个分支，以保持两种类型特征的异构性。此外，我们提出了一个渠道注意力机制的语义分支。根据目标位置周围的通道激活来计算逐行权重。虽然从SiamFC \cite{SiamFC}继承的架构允许我们的跟踪器操作超过实时的【形】，双重设计和注意力机制显着提高跟踪性能。拟议的SA-Siam在OTB-2013/50/100基准测试中大幅优于所有其他实时的【形】跟踪器。
2018-02-24 cs.CV
SiamMo: Siamese Motion-Centric 3D Object Tracking
School of Electronics and Information, Hangzhou Dianzi University（杭州电子科技大学电子信息学院）；School of Computer Science, The University of Sydney（悉尼大学计算机学院）
针对LiDAR点云3D单目标跟踪难题，提出纯运动中心的SiamMo，通过孪生特征提取、时空聚合和框感知编码实现高精度与高速度。
2024-09-09 cs.CV
Scale Equivariance Improves Siamese Tracking
UvA-Bosch Delta Lab（阿姆斯特丹大学-博世Delta实验室）；University of Amsterdam（阿姆斯特丹大学）
暹罗跟踪器将跟踪转化为模板与帧中候选区域之间的相似性估计。在数学上，相似性函数成功的关键因素之一是平移等方差。非平移等变结构在训练过程中会产生位置偏差，因此目标的位置很难从特征空间中恢复。在现实生活中，对象会经历除平移之外的各种变换，例如旋转或缩放。除非模型有内部机制来处理它们，否则相似性可能会降低。在本文中，我们专注于缩放，我们的目标是为Siamese网络配备额外的内置尺度等方差，以先验地捕捉目标的自然变化。我们发展的理论规模等变暹罗跟踪器，并提供了一个简单的配方，如何使广泛的现有的跟踪器规模等变。我们提出了SE-SiamFC，SiamFC的一个规模等变的变体，根据配方。我们在OTB和VOT基准测试以及综合生成的T-MNIST和S-MNIST数据集上进行实验。我们证明了一个内置的额外的规模等方差是有用的视觉对象跟踪。
2020-11-06 cs.CV
Learning to Filter: Siamese Relation Network for Robust Tracking
Guangxi Normal University（广西师范大学）；Huaqiao University（华侨大学）；University of Chinese Academy of Sciences（中国科学院大学）；Seetatech Technology（中科视拓（北京）科技有限公司）
尽管基于暹罗的跟踪器取得了巨大的成功，但它们在复杂场景下的性能仍然不能令人满意，特别是当存在干扰物时。为此，我们提出了一种新的连体关系网络，它引入了两个有效的模块，即关系检测器（RD）和细化模块（RM）。RD以元学习的方式执行，以获得从背景中过滤干扰物的学习能力，而RM的目的是有效地将所提出的RD集成到暹罗框架中，以生成准确的跟踪结果。此外，为了进一步提高跟踪器的可分辨性和鲁棒性，我们引入了一种对比训练策略，该策略不仅尝试学习匹配相同的目标，而且还学习如何区分不同的对象。因此，我们的跟踪器可以实现准确的跟踪结果时，面对背景杂波，快速运动，和遮挡。在VOT 2018、VOT 2019、OTB100、LaSOT和UAV123等五个流行基准测试上的实验结果表明，该方法是有效的，可以达到最先进的效果。代码将在https://github.com/hqucv/siamrn上提供
2021-04-02 cs.CV
Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds
Westlake University（西湖大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；The future network of intelligence institute (FNII)（未来网络智能研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
LiDAR点云中的3D单目标跟踪（3D SOT）在自动驾驶中起着至关重要的作用。目前的方法都遵循基于外观匹配的暹罗范例。然而，激光雷达点云通常是无纹理和不完整的，这阻碍了有效的外观匹配。此外，以往的方法严重忽略了目标之间的关键运动线索。在这项工作中，除了3D暹罗跟踪，我们引入了一个以运动为中心的范例，从一个新的角度来处理3D SOT。在此基础上，我们提出了一种无匹配的两级跟踪器M^2-Track。在第一阶段，M^2跟踪通过运动变换在连续帧内定位目标。然后在第二阶段通过运动辅助形状完成对目标框进行细化。广泛的实验证实，M^2-Track在三个大规模数据集上的性能明显优于之前的最先进技术，同时在KITTI、NuScenes和Waymo Open Dataset上以57 FPS的精度分别提高了约8%、约17%和约22%。进一步的分析验证了每个组件的有效性，并显示了以运动为中心的范式的前景潜力时，与外观匹配相结合。
2022-03-03 cs.CV
Efficient Bird Eye View Proposals for 3D Siamese Tracking
由于数据的稀疏性和搜索空间的密集性，在LIDAR点云中跟踪车辆是一项具有挑战性的任务。点云结构的缺乏阻碍了卷积滤波器在2D目标跟踪中的应用。此外，结构化点云是繁琐的，并意味着丢失细粒度的信息。因此，在3D空间中生成建议是昂贵且低效的。在本文中，我们利用LIDAR点云的密集和结构化鸟瞰图（BEV）表示来有效地搜索感兴趣的对象。我们使用高效的区域建议网络，并在3D中生成少量的对象建议。成功地，我们完善我们的3D对象候选人的选择，利用3D暹罗网络的相似性能力。我们调整后的三维暹罗网络形状完成，以提高其歧视能力。我们的方法尝试解决在BEV空间中的有效搜索空间和使用3D LIDAR点云的有意义的选择两者。我们表明，在BEV中的区域建议优于贝叶斯方法，如卡尔曼和粒子滤波器提供了显着的保证金的建议，这些候选人是适合的3D暹罗网络。通过端到端训练我们的方法，当只使用16个候选项时，我们在成功和精确度方面比之前的车辆跟踪基线高出12% / 18%。
2020-05-06 cs.CV
Hierarchical Spatial-aware Siamese Network for Thermal Infrared Object Tracking
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；Harbin Institute of Technology（哈尔滨工业大学）
大多数热红外（TIR）跟踪方法是判别式的，将跟踪问题视为分类任务。然而，分类器的目标（标签预测）不耦合到跟踪器的目标（位置估计）。分类任务主要关注任意目标的类间差异，而跟踪任务主要关注同一目标的类内差异。在本文中，我们投TIR跟踪问题作为一个相似性验证任务，这是耦合良好的跟踪任务的目标。我们提出了一个TIR跟踪器通过分层空间感知的连体卷积神经网络（CNN），命名为HSSNet。为了获得TIR对象的空间和语义特征，我们设计了一个Siamese CNN，它合并了多个分层卷积层。然后，我们提出了一个空间感知的网络，以提高联合层次特征的区分能力。随后，我们训练这个网络端到端的大型可见视频检测数据集学习配对对象之间的相似性，然后我们将网络转移到TIR域。接下来，这个预先训练的Siamese网络用于评估目标模板和目标候选者之间的相似性。最后，我们定位的候选人是最相似的跟踪目标。在基准测试VOT-TIR 2015和VOT-TIR 2016上的大量实验结果表明，与最先进的方法相比，我们提出的方法具有良好的性能。
2018-11-27 cs.CV
Spatio-Temporal Matching for Siamese Visual Tracking
Huazhong University of Science and Technology（华中科技大学）
相似性匹配是暹罗跟踪器的核心操作。大多数暹罗跟踪器通过源于图像匹配领域的互相关进行相似性学习。然而，与2-D图像匹配不同，目标跟踪中的匹配网络需要4-D信息（高度、宽度、通道和时间）。互相关算法忽略了信道和时间维度的信息，从而产生二义性匹配。本文提出了一种时空匹配过程，以深入探讨四维匹配在空间（高度，宽度和通道）和时间的能力。在空间匹配中，我们引入了一个空变通道引导相关（SVC-Corr）重新校准通道的功能响应为每个空间位置，它可以指导目标感知匹配功能的生成。在时间匹配中，我们研究了目标和背景的时域上下文关系，并开发了一个畸变抑制模块（ARM）。通过限制帧间响应图的突然变化，我们的ARM可以明显抑制畸变，从而实现更鲁棒和准确的对象跟踪。此外，提出了一种新的无锚跟踪框架，以适应这些创新。在OTB 100、VOT 2018、VOT 2020、GOT-10 k和LaSOT等具有挑战性的基准测试上的实验证明了所提出方法的最新性能。
2021-05-06 cs.CV
Siamese Instance Search for Tracking
QUVA Lab（QUVA实验室）
在本文中，我们提出了一个跟踪器，这是从根本上不同于国家的最先进的跟踪器：我们没有应用模型更新，没有遮挡检测，没有跟踪器的组合，没有几何匹配，仍然提供国家的最先进的跟踪性能，在流行的在线跟踪基准（OTB）和六个非常具有挑战性的YouTube视频。该跟踪器简单地将第一帧中目标的初始块与新帧中的候选块进行匹配，并通过学习的匹配函数返回最相似的块。匹配功能的强度来自广泛的一般训练，即，在没有任何目标数据的情况下，使用我们设计用于跟踪的连体深度神经网络。一旦学习，匹配函数就被原样使用，而不需要任何调整，以跟踪以前看不见的目标。事实证明，学习的匹配函数是如此强大，以至于一个简单的跟踪器建立在它的基础上，创造了Siamese Instance搜索跟踪器，SINT，它只使用来自第一帧的目标的原始观察，足以达到最先进的性能。此外，我们提出的跟踪器甚至允许目标重新识别后，目标是缺席一个完整的视频镜头。
2016-05-19 cs.CV
MFST: Multi-Features Siamese Tracker
Polytechnique Montréal（蒙特利尔理工学院）；TÉLUQ University（魁北克大学远程学习大学）
暹罗跟踪器最近取得了有趣的结果，由于他们的准确性和速度之间的平衡。这一成功主要归功于深度相似性网络专门为解决图像相似性问题而设计。因此，它们本质上比经典的CNN更适合于跟踪任务。然而，暹罗跟踪器依赖于最后的卷积层进行相似性分析和目标搜索，这限制了它们的性能。在本文中，我们认为使用单个卷积层作为特征表示并不是深度相似性框架中的最佳选择，因为多个卷积层在表征对象时提供了多个抽象级别。从这个动机出发，我们提出了多特征暹罗跟踪器（MFST），一种新的跟踪算法，利用几个层次的特征映射强大的深度相似性跟踪。MFST通过融合分层特征来确保更丰富和更有效的表示。此外，我们通过校准从两个不同的CNN模型提取的深度特征来处理外观变化。基于这种先进的特征表示，我们的算法实现了高跟踪精度，同时优于几个国家的最先进的跟踪器，包括标准的暹罗跟踪器。代码和训练模型可在https://github.com/zhenxili96/MFST上获得。
2021-03-01 cs.CV
Trajectory Factory: Tracklet Cleaving and Re-connection by Deep Siamese Bi-GRU for Multiple Object Tracking
Peking University（北京大学）
多目标跟踪（MOT）在监控、自动驾驶等复杂场景中是一项具有挑战性的任务。在本文中，我们提出了一种新的tracklet处理方法，切割和重新连接tracklet人群或长期闭塞的暹罗双门递归单元（GRU）。tracklet生成利用由CNN和RNN提取的对象特征来创建稀疏场景中的高置信度tracklet候选。由于生成过程中的误跟踪，来自不同对象的轨迹被双向GRU分成几个子轨迹。在此基础上，采用基于Siamese GRU的轨迹重连接方法，将属于同一对象的子轨迹连接起来，形成一个完整的轨迹。此外，我们从现有的MOT数据集中提取tracklet图像，并提出了一个新的数据集来训练我们的网络。建议的数据集包含超过95160个行人图像。它有793个不同的人。平均来说，每个人有120张照片，有位置和大小。实验结果表明，我们的模型的优势，在MOT 16的最先进的方法。
2018-04-12 cs.CV
3D Siamese Transformer Network for Single Object Tracking on Point Clouds
Nanjing University of Science and Technology（南京理工大学）
基于Siamese网络的跟踪器将3D单个对象跟踪公式化为模板和搜索区域的点特征之间的互相关学习。由于跟踪过程中模板和搜索区域之间的外观变化很大，如何学习它们之间的鲁棒互相关来识别搜索区域中的潜在目标仍然是一个具有挑战性的问题。在本文中，我们显式地使用Transformer来形成一个三维Siamese Transformer网络，用于学习模板和点云搜索区域之间的鲁棒互相关。具体来说，我们开发了一个暹罗点Transformer网络来学习目标的形状上下文信息。该算法的编码器利用自注意力捕获点云的非局部信息来表征物体的形状信息，解码器利用交叉注意力对判别性点特征进行上采样。在此之后，我们开发了一个迭代的粗到细的相关网络来学习模板和搜索区域之间的鲁棒互相关。它制定了交叉特征增强相关联的模板与搜索区域中的潜在目标，通过交叉注意。为了进一步增强潜在目标，它采用自我特征增强，将自我注意力应用于特征空间的局部k-NN图以聚合目标特征。在KITTI，nuScenes和Waymo数据集上的实验表明，我们的方法在3D单对象跟踪任务上达到了最先进的性能。
2022-07-26 cs.CV
Dynamic Template Selection Through Change Detection for Adaptive Siamese Tracking
Ecole de technologie superieure（高等技术学院）；Vellore Institute of Technology（韦洛尔理工学院）；Genetec Inc.（Genetec公司）
深暹罗跟踪器近年来受到了广泛关注，因为它们可以高速跟踪视觉对象。此外，自适应跟踪方法，其中由跟踪器收集的目标样本被用于在线学习，已经达到了最先进的精度。然而，单目标跟踪（SOT）仍然是一个具有挑战性的任务，在现实世界中的应用，由于目标对象的外观变化和变形。对所有收集的样本进行学习可能导致灾难性遗忘，从而破坏跟踪模型。在本文中，SOT制定为一个在线增量学习问题。提出了一种新的动态样本选择和内存回放方法，防止模板损坏。特别是，我们提出了一个变化检测机制来检测对象外观的逐渐变化，并选择相应的样本进行在线自适应。此外，引入了一种基于熵的样本选择策略，为内存回放维护多样化的辅助缓冲区。我们提出的方法可以集成到任何利用在线学习进行模型自适应的对象跟踪算法中。对OTB-100、LaSOT、UAV 123和TrackingNet数据集进行的广泛实验强调了我们方法的成本效益及其关键组件的贡献。结果表明，将我们提出的方法集成到最先进的自适应暹罗跟踪器中可以增加模板更新策略的潜在好处，并显着提高性能。
2022-03-07 cs.CV
Siamese Box Adaptive Network for Visual Tracking
Huaqiao University（华侨大学）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Xiamen University（厦门大学）；Nanjing University of Science and Technology（南京理工大学）
现有的大多数跟踪器通常依赖于多尺度搜索方案或预定义的锚框来精确估计目标的尺度和长宽比。不幸的是，它们通常需要繁琐和启发式的配置。为了解决这个问题，我们提出了一个简单而有效的视觉跟踪框架（命名为暹罗盒自适应网络，SiamBAN），利用全卷积网络（FCN）的表达能力。SiamBAN将视觉跟踪问题视为一个并行的分类和回归问题，因此可以在统一的FCN中直接对对象进行分类并回归其边界框。无先验盒设计避免了与候选盒相关联的超参数，使SiamBAN更灵活和通用。在视觉跟踪基准测试（包括VOT 2018、VOT 2019、OTB100、NFS、UAV123和LaSOT）上进行的大量实验表明，SiamBAN实现了最先进的性能，并以40 FPS运行，证实了其有效性和效率。该代码将在https://github.com/hqucv/siamban上提供。
2020-04-22 cs.CV
Fully-Convolutional Siamese Networks for Object Tracking
University of Oxford（牛津大学）
传统上，任意对象跟踪的问题是通过专门在线学习对象外观的模型来解决的，使用视频本身作为唯一的训练数据。尽管这些方法取得了成功，但它们的在线方法本质上限制了它们可以学习的模型的丰富性。最近，已经进行了几次尝试来利用深度卷积网络的表达能力。然而，当跟踪的对象是事先不知道的，它是必要的执行随机梯度下降在线，以适应网络的权重，严重损害了系统的速度。在本文中，我们配备了一个基本的跟踪算法与一个新的全卷积暹罗网络训练端到端的ILSVRC 15数据集的目标检测在视频中。我们的跟踪器以超过实时的帧率运行，尽管非常简单，但在多个基准测试中达到了最先进的性能。
2021-12-01 cs.CV
An In-Depth Analysis of Visual Tracking with Siamese Neural Networks
AIT Austrian Institute of Technology（奥地利技术研究所）；University of Technology Vienna（维也纳技术大学）
这项调查对九种流行跟踪器的学习和推理能力进行了深入分析。它既不打算研究整个文献，也不是试图审查所有类型的神经网络提出的视觉跟踪。相反，我们专注于暹罗神经网络，这是一个很有前途的起点，研究具有挑战性的问题跟踪。这些网络有效地集成了特征学习和时间匹配，到目前为止已经显示出最先进的性能。特别是，暹罗网络的分支，它们连接这些分支的层，训练的具体方面以及将这些网络嵌入跟踪器中。从现有的论文的定量结果进行比较的结论是，目前的评价方法显示的问题的再现性和结果的可比性。本文提出了一种新的类Lisp的形式主义，更好地比较跟踪器。这假定了跟踪器的某种功能设计和功能分解。本文试图通过对基于机器学习理论的问题的表述，并将跟踪器解释为决策函数，为跟踪器的设计提供基础。这项工作的结论与有前途的研究路线，并建议未来的工作。
2018-08-02 cs.CV
Siamese Anchor Proposal Network for High-Speed Aerial Tracking
Tongji University（同济大学）；New York University（纽约大学）
在视觉跟踪领域，大多数基于深度学习的跟踪器都强调准确性，但忽略了效率。因此，它们在移动平台（如无人机（UAV））上的实际部署受到阻碍。在这项工作中，提出了一种新的两阶段暹罗网络为基础的方法，空中跟踪，\textit{i.e.}，阶段1的高质量的锚建议的产生，阶段2细化锚建议。与基于锚点的方法具有许多预定义的固定大小的锚点不同，我们的无先验方法可以：1）根据自适应锚点生成，在复杂场景下提高对不同大小的不同对象的鲁棒性和泛化能力，特别是对小的，遮挡的和快速移动的对象，2）由于锚点数量的大幅减少，使计算变得可行。此外，与无锚方法相比，我们的框架由于在第2阶段的细化而具有更好的性能。在三个基准上的综合实验证明了我们的方法的优越性能，速度约为200帧/秒。
2021-07-30 cs.CV
Ranking-Based Siamese Visual Tracking
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
目前基于暹罗的跟踪器主要将视觉跟踪分为两个独立的子任务，包括分类和定位。它们通过单独处理每个样本来学习分类子网络，忽略了正负样本之间的关系。此外，这样的跟踪范例仅采用用于最终预测的建议的分类置信度，这可能产生分类和定位之间的不对准。为了解决这些问题，本文提出了一种基于排序的优化算法，以探索不同的建议之间的关系。为此，我们引入了两个排名损失，包括分类损失和IoU引导损失，作为优化约束。分类排序损失可以确保阳性样本的排序高于硬阴性样本，即，干扰物，使得跟踪器可以成功地选择前景样本而不被干扰物愚弄。IoU引导的排名损失旨在将分类置信度分数与阳性样本的相应定位预测的交集（IoU）对齐，从而使定位良好的预测能够由高分类置信度表示。具体来说，建议的两个排名损失是兼容的大多数暹罗跟踪器，并不会产生额外的计算推理。在OTB 100、UAV 123、TC 128、VOT 2016、NFS 30、GOT-10 k和LaSOT等7个跟踪基准上进行了大量实验，验证了基于排序的优化算法的有效性。代码和原始结果可在https://github.com/sansanfree/RBO上获得。
2022-05-24 cs.CV
Visual Object Tracking based on Adaptive Siamese and Motion Estimation Network
Iran University of Science and Technology（伊朗科技大学）
近年来，卷积神经网络（CNN）以其强大的抽象特征表示能力在计算机视觉的各个领域引起了广泛的关注。视觉目标跟踪是计算机视觉的一个重要研究领域，近年来取得了显著的进展。在这项工作中，我们的目标是通过利用CNN的表示能力来改进视觉对象跟踪中的运动和观察模型。为此，利用运动估计网络（名为MEN）来寻找目标的最可能的位置，并且除了先前的目标位置之外还准备进一步的线索。因此，通过在两个可能的位置附近生成少量的候选，可以增强运动估计。然后将生成的候选人输入到经过训练的Siamese网络中，以检测最可能的候选人。将每个候选者与在预定义条件下更新的自适应缓冲区进行比较。为了考虑目标外观变化，加权CNN（称为WCNN）使用序列特异性信息自适应地将权重分配给暹罗网络的最终相似性得分。在知名的基准数据集（OTB100、OTB50和OTB2013）上的评估结果证明，所提出的跟踪器优于最先进的竞争对手。
2018-09-29 cs.CV
Deeper and Wider Siamese Networks for Real-Time Visual Tracking
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；Microsoft Research（微软研究院）
暹罗网络因其在准确性和速度上的平衡而在视觉跟踪中引起了极大的关注。然而，暹罗跟踪器中使用的骨干网络相对较浅，例如AlexNet [18]，它没有充分利用现代深度神经网络的能力。在本文中，我们研究了如何利用更深更广的卷积神经网络来增强跟踪的鲁棒性和准确性。我们观察到用现有的强大架构（如ResNet [14]和Inception [33]）直接替换主干并没有带来改进。主要原因是：1）神经元感受野的大幅增加导致特征可分辨性和定位精度降低; 2）卷积的网络填充导致学习中的位置偏差。为了解决这些问题，我们提出了新的残留模块，以消除填充的负面影响，并进一步设计新的架构，使用这些模块控制感受野大小和网络步幅。所设计的架构是轻量级的，并且在应用于SiamFC [2]和SiamRPN [20]时保证了实时的【形】跟踪速度。实验表明，仅仅由于提出的网络架构，我们的SiamFC+和SiamRPN+在OTB-15，VOT-16和VOT-17数据集上分别获得了9.8%/5.7%（AUC），23.3%/8.8%（EAO）和24.4%/25.0%（EAO）的相对改进。
2019-03-28 cs.CV
Accurate Anchor Free Tracking
Tongji University（同济大学）
视觉目标跟踪是计算机视觉的一个重要应用。最近，基于暹罗的跟踪器已经实现了良好的准确性。然而，大多数基于暹罗的跟踪器效率不高，因为它们穷尽地搜索潜在的对象位置以定义锚，然后对每个锚进行分类（即，限界框）。本文提出了第一个无锚连体网络（AFSN）。具体地，目标对象由限界框中心、跟踪偏移和对象大小定义。所有这三个回归的暹罗网络没有额外的分类或区域的建议，并执行一次为每个帧。我们还调整了Siamese网络的步幅和感受野，并进一步进行消融实验，以定量地说明我们的AFSN的有效性。我们使用五个最常用的基准测试来评估AFSN，并将其与每个基准测试的最佳基于锚的跟踪器进行比较。AFSN比这些最好的基于锚的跟踪器快3-425倍。AFSN在基准集OTB 2015、VOT 2015、VOT 2016、VOT 2018和TrackingNet的所有指标方面的准确度也高出5.97%至12.4%，除了SiamRPN++在VOT 2018上的预期平均重叠（EAO）方面比AFSN高出4%（但SiamRPN++慢3.9倍）。
2020-06-13 cs.CV
T-SiamTPN: Temporal Siamese Transformer Pyramid Networks for Robust and Efficient UAV Tracking
Department of Electrical Engineering, Amirkabir University of Technology (AUT)（电气工程系，阿米尔卡比尔技术大学）；Qatar Computing Research Institute Hamad Bin Khalifa University（卡塔尔计算研究所，哈马德·本·卡西姆大学）
本文提出T-SiamTPN，通过引入时序特征融合和注意力交互扩展SiamTPN架构，解决了无人机跟踪中的时序依赖和非线性外观变化问题，在Jetson Nano上实现7.1 FPS实时运行，成功率和精度分别提升13.7%和14.7%。
2025-09-16 cs.CV
RPT: Learning Point Set Representation for Siamese Visual Tracking
Zhejiang Dahua Technology（浙江大华技术股份有限公司）
在鲁棒视觉跟踪研究取得显著进展的同时，精确的目标状态估计仍然是一个极具挑战性的问题。在本文中，我们认为，这个问题是密切相关的流行的限界框表示，它只提供了一个粗略的空间范围的对象。因此，一个有效的视觉跟踪框架，提出了一个更好的代表性点的集合，以准确地估计目标状态。训练点集以指示目标区域的语义和几何重要位置，从而实现更细粒度的对象外观定位和建模。我们进一步提出了一种多级聚合策略，通过融合层次卷积层来获得详细的结构信息。在几个具有挑战性的基准测试（包括OTB 2015，VOT 2018，VOT 2019和GOT-10 k）上进行的大量实验表明，我们的方法在以超过20 FPS的速度运行时实现了新的最先进的性能。
2020-09-02 cs.CV
Siamese Infrared and Visible Light Fusion Network for RGB-T Tracking
East China University of Science and Technology（华东理工大学）
针对红外与可见光图像特性差异及配准偏差问题，提出SiamIVFN，通过部分耦合的CFFN特征融合与CAN自适应贡献聚合，实现鲁棒且速度达147.6FPS的最先进RGB-T跟踪。
2021-03-12 cs.CV
Towards a Better Match in Siamese Network Based Visual Object Tracker
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
最近，基于暹罗网络的跟踪器因其快速跟踪速度和高性能而受到极大的关注。尽管取得了巨大的成功，但这种跟踪框架仍然受到一些限制。首先，它不能正确处理大对象旋转。其次，当背景包含显著对象时，跟踪很容易分心。在本文中，我们提出了两个简单而有效的机制，即角度估计和空间掩蔽，以解决这些问题。其目的是提取更多的代表性的功能，以便更好的匹配，可以从不同的帧之间获得相同的对象。结果跟踪器，命名为Siam-BM，不仅显着提高跟踪性能，但更重要的是保持实时能力。对VOT 2017数据集的评估显示，Siam-BM的EAO为0.335，是迄今为止性能最好的实时跟踪器。
2018-09-05 cs.CV
SiamCorners: Siamese Corner Networks for Visual Tracking
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
目前基于区域建议网络（RPN）的连体网络由于其良好的跟踪精度和高效性，在视觉跟踪中受到了广泛的关注。然而，RPN的设计涉及锚箱的数量、比例和长宽比的选择，这将影响模型的适用性和便利性。此外，这些锚框需要复杂的计算，例如使用地面真值边界框计算它们的交集。由于锚框相关的问题，我们提出了一个简单而有效的无锚跟踪器（命名为Siamese corner networks，SiamCorners），它是在大规模图像对上进行端到端离线训练的。具体来说，我们引入了一个修改的角池层，将目标的限界框估计转换为一对角预测（右下角和左上角）。通过将目标作为一对角来跟踪，我们避免了设计锚盒的需要。这将使整个跟踪算法比基于锚点的跟踪器更灵活和简单。在我们的网络设计中，我们进一步引入了逐层特征聚合策略，使角池模块能够预测深度网络中跟踪目标的多个角。然后，我们引入了一个新的惩罚项，用于在这些候选角点中选择最佳跟踪框。最后，SiamCorners实现了与最先进的跟踪器相媲美的实验结果，同时保持了高运行速度。特别是，SiamCorners在NFS30上实现了53.7%的AUC，在UAV 123上实现了61.4%的AUC，同时仍然以42帧每秒（FPS）运行。
2021-04-15 cs.CV
AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking
University of Surrey（萨里大学）；Jiangnan University（江南大学）
近年来，Siamese方法在视觉目标跟踪中取得了很好的效果。Siamese跟踪器成功的关键是通过在大规模视频数据集上进行成对离线训练来学习外观不变的特征嵌入函数。然而，暹罗范式使用一次性学习来模拟在线跟踪任务，这阻碍了跟踪过程中的在线适应。此外，在线跟踪响应的不确定性没有被测量，导致忽略潜在故障的问题。在本文中，我们主张在跟踪阶段的在线适应。为此，我们提出了一个故障感知系统，该系统由质量预测网络（QPN）实现，基于决策阶段的卷积和LSTM模块，能够在线报告潜在的跟踪故障。具体地说，从先前的连续帧以及当前帧的序列响应图收集预测跟踪的信心，实现时空融合的决策层。此外，我们还提供了一个自适应故障感知跟踪器（AFAT），通过结合国家的最先进的暹罗跟踪器与我们的系统。在标准基准测试数据集上获得的实验结果证明了所提出的故障感知系统的有效性和我们的AFAT跟踪器的优点，在准确性和速度方面具有出色和平衡的性能。
2020-05-27 cs.CV
Learning Localization-aware Target Confidence for Siamese Visual Tracking
Hangzhou Dianzi University（杭州电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
Siamese跟踪范式取得了巨大的成功，通过分类和回归提供了有效的外观判别和尺寸估计。虽然这样的范例通常独立地优化分类和回归，导致任务不对准（准确的预测框没有高的目标置信度分数）。在本文中，为了减轻这种错位，我们提出了一种新的跟踪范式，称为SiamLA。在这个范例中，一系列简单的，但有效的定位感知组件被引入，以产生定位感知的目标置信度分数。具体而言，与建议的定位感知动态标签（LADL）损失和定位感知标签平滑（LALS）策略，实现了分类和回归之间的协同优化，使分类分数知道的位置状态，而不仅仅是外观相似性。此外，我们提出了一个单独的本地化分支，集中在一个本地化感知功能聚合（LAFA）模块，产生位置质量分数，以进一步修改分类分数。因此，所得到的目标置信度分数对于位置状态更具区分性，从而允许准确的预测框倾向于被预测为高分。在六个具有挑战性的基准上进行了广泛的实验，包括GOT-10 k，TrackingNet，LaSOT，TNL 2K，OTB 100和VOT 2018。我们的SiamLA在准确性和效率方面都达到了最先进的性能。此外，稳定性分析表明，我们的跟踪范式是相对稳定的，这意味着范式是潜在的现实世界中的应用。
2022-04-29 cs.CV
Polarization-Based Eye Tracking with Personalized Siamese Architectures
Meta, Reality Labs, Redmond, WA 98052, USA（Meta现实实验室（雷德蒙德））；Meta, Reality Labs, Burlingame, CA 94010, USA（Meta现实实验室（伯灵格姆））
本文提出利用极化眼跟踪与个性化孪生架构，通过减少校准样本数量提升眼动追踪精度，相比传统方法误差降低12%，结合线性校准进一步提升13%。
2026-03-26 cs.CV physics.optics
OSP2B: One-Stage Point-to-Box Network for 3D Siamese Tracking
Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）
提出单阶段点到框网络OSP2B，同步生成3D提议与中心度分数，采用中心感知焦点损失和二元分类器缓解任务错位，在KITTI和Waymo数据集上实现领先性能与实时速度。
2023-05-09 cs.CV
SiamMan: Siamese Motion-aware Network for Visual Tracking
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）；JD Finance America Corporation（京东金融美国公司）
在本文中，我们提出了一种新的连体运动感知网络（SiamMan）的视觉跟踪，其中包括连体特征提取子网络，其次是分类，回归和本地化分支并行。分类分支用于区分前景和背景，回归分支用于回归目标的限界框。为了减少手动设计锚框以适应不同目标运动模式的影响，我们设计了定位分支，其目的是粗略定位目标，以帮助回归分支生成准确的结果。同时，我们在定位分支中引入全局上下文模块来捕获长距离依赖性，以提高目标在大位移情况下的鲁棒性。此外，我们设计了一个多尺度可学习的注意力模块，以指导这三个分支利用判别特征，以获得更好的性能。整个网络使用标准SGD算法和反向传播以端到端的方式使用大规模图像对进行离线训练。对五个具有挑战性的基准进行了广泛的实验，即，VOT2016、VOT2018、OTB100、UAV123和LTB35证明了SiamMan以高效率实现了领先的精度。代码可以在https://isrc.iscas.ac.cn/gitlab/research/siamman上找到。
2020-01-18 cs.CV
Joint Learning of Siamese CNNs and Temporally Constrained Metrics for Tracklet Association
Nanyang Technological University（南洋理工大学）
在本文中，我们研究了具有挑战性的问题，多目标跟踪在一个复杂的场景由一个单一的摄像机捕获。不同于现有的基于轨迹关联的跟踪方法，我们提出了一种新的和有效的方法来获得歧视性的外观为基础的轨迹亲和力模型。我们提出的方法联合学习卷积神经网络（CNN）和时间约束度量。在我们的方法中，首先在辅助数据上对暹罗卷积神经网络（CNN）进行预训练。然后，Siamese CNN和时间约束的指标在线联合学习，以构建基于外观的tracklet亲和度模型。所提出的方法可以在统一的框架下联合学习分层深度特征和时间约束的分段度量。为了实现轨迹片段之间的可靠关联，提出了一种新的结合时间约束多任务学习机制的损失函数。通过采用所提出的方法，即使在具有挑战性的情况下，也可以完成轨迹关联。此外，创建了一个新的数据集，其中包含40个完全注释的序列，以便于跟踪评估。在五个公共数据集和新的大规模数据集上的实验结果表明，我们的方法在多目标跟踪方面优于几种最先进的方法。
2016-09-25 cs.CV
