Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
在测试阶段从单个初始样本跟踪视觉对象已经被广泛地视为一个一次/Few-Shot问题，即，用于初始适应的单次学习和用于在线适应的少样本学习。最近的Few-Shot在线自适应方法通过在离线阶段进行复杂的元学习优化来结合来自大量带注释的训练数据的先验知识。这有助于在线深度跟踪器实现快速适应并降低跟踪中的过拟合风险。在本文中，我们提出了一个简单而有效的递归最小二乘估计辅助在线学习方法的Few-Shot在线适应，而不需要离线训练。它允许模型的内置内存保留机制记住之前看到的对象的知识，因此可以安全地从训练中删除看到的数据。这也与防止灾难性遗忘的新兴持续学习领域有某些相似之处。这种机制使我们能够在不产生太多额外计算成本的情况下揭示现代在线深度跟踪器的功能。我们评估我们的方法的基础上两个网络的在线学习家庭的跟踪，即，RT-MDNet中的多层感知器和DiMP中的卷积神经网络。在几个具有挑战性的跟踪基准上的持续改进证明了其有效性和效率。
2022-03-10 cs.CV
Online Tracking by Learning Discriminative Saliency Map with Convolutional Neural Network
POSTECH（浦项科技大学）；INRIA（法国国家信息与自动化研究所）
提出了一种利用卷积神经网络（CNN）学习判别显著图的在线视觉跟踪算法。给定一个在离线的大规模图像库上预先训练的CNN，我们的算法将网络隐藏层的输出作为特征描述符，因为它们在各种一般的视觉识别问题中表现出出色的表示性能。这些特征用于使用在线支持向量机（SVM）学习区分性目标外观模型。此外，在SVM的指导下，通过反向传播CNN特征构建目标特定的显著图，并基于显著图生成的外观模型获得每帧的最终跟踪结果。由于显著图有效地可视化了目标的空间结构，提高了目标定位精度，使我们能够实现像素级的目标分割。我们验证了我们的跟踪算法的有效性，通过广泛的实验上具有挑战性的基准，我们的方法说明了出色的性能相比，国家的最先进的跟踪算法。
2015-02-24 cs.CV
Online Multi-Object Tracking with Dual Matching Attention Networks
Shanghai Jiao Tong University（上海交通大学）；Visbody Inc（维塑科技有限公司）；University of California, Merced（加州大学默塞德分校）；Google Inc（谷歌公司）；Northwestern Polytechnical University（西北工业大学）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一种在线多目标跟踪（MOT）的方法，它集成了单目标跟踪和数据关联方法在一个统一的框架来处理噪声检测和目标之间的频繁交互的优点。具体来说，对于在MOT中应用单个对象跟踪，我们引入了基于最先进的视觉跟踪器的成本敏感的跟踪损失，这鼓励模型在在线学习期间专注于硬负面干扰。对于数据关联，我们提出了双匹配注意力网络（DMAN）的空间和时间的注意力机制。空间注意力模块生成双注意力图，使网络能够专注于输入图像对的匹配模式，而时间注意力模块自适应地将不同级别的注意力分配给轨迹中的不同样本，以抑制噪声观测。在MOT基准数据集上的实验结果表明，该算法在身份保持指标方面对在线和离线跟踪器都表现良好。
2019-02-02 cs.CV
Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Laboratory（华为诺亚方舟实验室）
视觉跟踪很容易受到周围相似物体的干扰。硬干扰物等对象，即使是负样本中的少数，也会增加目标漂移和模型损坏的风险，这在在线跟踪和模型更新中值得额外关注。为了提高跟踪的鲁棒性，本文提出了一种两级级联的回归跟踪器。在第一阶段，我们通过高效的卷积回归过滤出大量容易识别的阴性候选。在第二阶段中，设计了基于离散采样的岭回归来双重检查剩余的模糊硬样本，其作为全连接层的替代方案，并受益于封闭形式的求解器以进行有效的学习。在11个具有挑战性的跟踪基准上进行了广泛的实验，包括OTB-2013，OTB-2015，VOT 2018，VOT 2019，UAV 123，Temple-Color，NfS，TrackingNet，LaSOT，UAV 20 L和OxUvA。所提出的方法在普遍的基准测试中实现了最先进的性能，同时以实时速度运行。
2020-06-18 cs.CV
Deep Learning of Appearance Models for Online Object Tracking
提出了一种基于深度学习的单目标视觉跟踪方法。我们解决这个问题，提出了一个网络架构，它需要输入的视频帧，并直接计算跟踪分数的任何候选目标位置，通过估计的概率分布的正面和负面的例子。这是通过在统一框架中将深度卷积神经网络与贝叶斯损失层相结合来实现的。为了处理有限数量的正训练样本，网络被预先离线训练用于通用图像特征表示，然后在多个步骤中进行微调。在线微调步骤在每一帧进行，以学习目标的外观。我们采用两阶段迭代算法来自适应地更新网络参数，并保持目标/非目标区域的概率密度。该跟踪器已经在标准跟踪基准上进行了测试，结果表明，所提出的解决方案达到了最先进的跟踪结果。
2016-07-09 cs.CV
Robust Online Multi-target Visual Tracking using a HISP Filter with Discriminative Deep Appearance Learning
Lancaster University（兰卡斯特大学）；University of Lincoln（林肯大学）
我们提出了一种新的在线多目标视觉跟踪器的基础上最近开发的假设和独立的随机人口（HISP）过滤器。HISP滤波器结合了MHT等传统跟踪方法和PHD滤波器等基于点过程的跟踪方法的优点，在保持跟踪身份的同时具有线性复杂度。我们应用此过滤器跟踪多个目标在不同的环境条件下获得的视频序列和目标密度使用跟踪检测方法。我们还通过在大规模人员重新识别数据集上训练验证识别网络（VerIdNet）来采用深度CNN外观表示。我们使用这种深度CNN外观特征和时空信息以原则性的方式构建增强的可能性。此外，我们解决了两个或多个目标具有相同的标签的问题，考虑每个已确认的假设传播的权重。在MOT16和MOT17基准数据集上进行的大量实验表明，我们的跟踪器在跟踪精度方面明显优于几种最先进的跟踪器。
2020-10-11 cs.CV
Discriminative and Robust Online Learning for Siamese Visual Tracking
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
传统上，视觉对象跟踪的问题一直由不同的跟踪范式来处理，要么只在线学习对象外观的模型，要么在离线训练的嵌入空间中将对象与目标进行匹配。尽管最近取得了成功，但每一种方法都因其内在的限制而苦恼。仅在线的方法遭受缺乏它们学习的模型的泛化，因此在目标回归中较差，而仅离线的方法（例如，卷积连体跟踪器）缺乏目标特定的上下文信息，因此对于处理干扰项没有足够的辨别力，并且对于变形没有足够的鲁棒性。因此，我们提出了一个在线模块与注意力机制离线连体网络提取目标特定的功能下L2错误。我们进一步提出了一个过滤器更新策略自适应危险的背景噪声的歧视性学习，和一个模板更新策略，以处理大的目标变形的鲁棒学习。有效性可以在三个暹罗基线的持续改善中得到验证：SiamFC、SiamRPN++和SiamMask。除此之外，我们基于SiamRPN++的模型在六个流行的跟踪基准上获得了最佳结果，并且可以实时运行。
2019-11-21 cs.CV
AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking
University of Surrey（萨里大学）；Jiangnan University（江南大学）
近年来，Siamese方法在视觉目标跟踪中取得了很好的效果。Siamese跟踪器成功的关键是通过在大规模视频数据集上进行成对离线训练来学习外观不变的特征嵌入函数。然而，暹罗范式使用一次性学习来模拟在线跟踪任务，这阻碍了跟踪过程中的在线适应。此外，在线跟踪响应的不确定性没有被测量，导致忽略潜在故障的问题。在本文中，我们主张在跟踪阶段的在线适应。为此，我们提出了一个故障感知系统，该系统由质量预测网络（QPN）实现，基于决策阶段的卷积和LSTM模块，能够在线报告潜在的跟踪故障。具体地说，从先前的连续帧以及当前帧的序列响应图收集预测跟踪的信心，实现时空融合的决策层。此外，我们还提供了一个自适应故障感知跟踪器（AFAT），通过结合国家的最先进的暹罗跟踪器与我们的系统。在标准基准测试数据集上获得的实验结果证明了所提出的故障感知系统的有效性和我们的AFAT跟踪器的优点，在准确性和速度方面具有出色和平衡的性能。
2020-05-27 cs.CV
Instance Flow Based Online Multiple Object Tracking
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation（弗劳恩霍夫光电、系统技术与图像利用研究所）
我们提出了一种方法来执行在线多目标跟踪（MOT）的已知对象类别的单目视频数据。当前的检测跟踪MOT方法建立在2D限界框检测之上。相比之下，我们利用最先进的实例感知语义分割技术来计算目标对象在每帧中的二维形状表示。我们利用光流线索来预测分割实例在后续帧中的位置和形状。我们定义了一个亲和矩阵的后续帧的实例之间的局部性和视觉相似性。实例关联采用匈牙利方法求解。我们使用MOT 2D 2015训练数据集评估了我们算法的不同配置。评估表明，我们的跟踪方法是能够跟踪高相对运动的对象。此外，我们提供了我们的方法在MOT 2D 2015测试集上的结果，以与以前的作品进行比较。我们的MOTA得分为32.1。
2017-05-15 cs.CV
Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering
Gwangju Institute of Science and Technology（光州科学技术院）
在本文中，我们提出的方法来处理多目标跟踪过程中的时间误差。当对象被遮挡或噪声检测出现在对象附近时，会发生时间误差。在这些情况下，跟踪可能会失败，并发生漂移或ID切换等各种错误。仅利用运动和形状信息很难克服时间误差。因此，本文提出了历史外观匹配方法和两步训练的联合输入连体网络。该方法可以防止目标在被遮挡或最后匹配信息不可靠时的跟踪失败。我们还提供了有用的技术，以消除噪声检测有效地根据现场条件。跟踪性能，特别是身份一致性，大大提高了附加我们的方法。
2018-09-18 cs.CV
Online Metric-Weighted Linear Representations for Robust Visual Tracking
Zhejiang University（浙江大学）；University of Adelaide（阿德莱德大学）
在本文中，我们提出了一个视觉跟踪器的基础上的外观的度量加权线性表示。为了捕捉不同的特征维度的相互依赖性，我们开发了两种在线距离度量学习方法，使用邻近比较信息和结构化输出学习。然后将学习的度量并入外观的线性表示中。我们表明，在线距离度量学习显着提高了跟踪器的鲁棒性，特别是对那些表现出剧烈的外观变化的序列。为了约束训练样本数量的增长，我们设计了一种时间加权的储层采样方法。此外，我们使我们的跟踪器自动执行对象识别过程中的对象跟踪，通过引入一个集合的静态模板样本属于几个感兴趣的对象类。整个视频序列的对象识别结果是通过系统地结合跟踪信息和视觉识别在每一帧。在具有挑战性的视频序列上的实验结果证明了该方法在帧间跟踪和目标识别方面的有效性。
2015-07-21 cs.CV
Online Unsupervised Feature Learning for Visual Tracking
University of Adelaide（阿德莱德大学）
关于通过无监督方法学习的过完备字典的特征编码，随后是空间金字塔池化和线性分类，在各种视觉应用中表现出强大的实力。在这里，我们建议使用特征学习管道进行视觉跟踪。跟踪是使用检测跟踪实现的，所得到的框架非常简单而有效。首先，使用在线字典学习来构建字典，该字典捕获跟踪目标的外观变化以及背景变化。给定一个测试图像窗口，我们从它提取局部图像补丁，每个局部补丁相对于字典进行编码。然后将编码的特征汇集在空间金字塔上以形成聚合特征向量。最后，在这些特征上训练一个简单的线性分类器。我们的实验表明，所提出的功能强大-虽然简单-跟踪器，优于所有国家的最先进的跟踪方法，我们已经测试过。此外，我们评估了不同的字典学习和特征编码方法在建议的跟踪框架中的性能，并分析了每个组件在跟踪场景中的影响。我们还证明了功能学习的灵活性，将其插入到野兔等。的跟踪方法。据我们所知，其结果是有史以来最好的跟踪器，这有利于特征学习和结构化输出预测的优势。
2013-10-07 cs.CV
Online Object Tracking with Proposal Selection
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）
检测跟踪方法是近年来最成功的目标跟踪方法之一。他们的成功在很大程度上取决于他们最初学习的检测器模型，然后随着时间的推移进行更新。然而，在具有挑战性的条件下，物体可能会发生变化，例如，严重的旋转，这些方法被发现是缺乏的。在本文中，我们解决这个问题，制定它作为一个建议的选择任务，并作出两个贡献。第一个是引入新的建议，估计从所经历的对象的几何变换，并建立一个丰富的候选集预测对象的位置。第二个是设计一种新的选择策略，使用多个线索，即，检测分数和边缘分数从现有技术的对象边缘和运动边界计算。我们在视觉对象跟踪2014挑战赛和在线跟踪基准数据集上广泛评估了我们的方法，并显示出最佳性能。
2015-09-30 cs.CV
AttTrack: Online Deep Attention Transfer for Multi-object Tracking
McMaster University（麦克马斯特大学）
多目标跟踪（MOT）是智能视频分析应用（如监控和自动驾驶）的重要组成部分。执行用于视觉对象跟踪的深度学习模型所需的时间和存储复杂性阻碍了它们在计算能力有限的嵌入式设备上的采用。在本文中，我们的目标是通过在训练和推理时将知识从复杂网络（教师）的高级特征转移到轻量级网络（学生）来加速MOT。所提出的AttTrack框架有三个关键组件：1）跨模型特征学习，以对齐教师和学生模型的中间表示，2）在推理时交错执行两个模型，以及3）将教师模型的更新预测作为先验知识，以帮助学生模型。使用两个不同的目标检测骨干YOLOv5和DLA 34在MOT17和MOT15数据集上进行行人跟踪任务的实验表明，AttTrack可以显着提高学生模型跟踪性能，同时仅牺牲跟踪速度的轻微下降。
2022-10-27 cs.CV
Online Visual Multi-Object Tracking via Labeled Random Finite Set Filtering
本文提出了一种在线视觉多目标跟踪算法，使用自顶向下的贝叶斯公式，无缝集成状态估计，跟踪管理，杂波抑制，遮挡和误检测处理到一个单一的递归。这是通过将多目标状态建模为标记的随机有限集并使用贝叶斯递归来及时向前传播多目标滤波密度来实现的。所提出的过滤器更新轨道与检测，但切换到图像数据时发生误检测，从而利用检测数据的效率和图像数据的准确性。此外，标记的随机有限集框架使得能够结合先验知识，即在场景中间发生的长轨迹的误检测可能是由于遮挡。这样的先验知识可以被利用来改善遮挡处理，特别是长遮挡，其可以导致在线多目标跟踪中的过早跟踪终止。跟踪性能进行比较，以国家的最先进的算法在著名的基准视频数据集。
2017-08-04 cs.CV
Tracking-by-Trackers with a Distilled and Reinforced Model
University of Udine（乌迪内大学）
视觉目标跟踪通常通过快速处理算法、精确在线自适应方法和跟踪器融合的独立推理来解决。在本文中，我们统一了这些目标，提出了一种新的跟踪方法，利用其他视觉跟踪器，离线和在线。通过知识蒸馏和强化学习的结合来训练紧凑的学生模型。第一个允许传输和压缩其他跟踪器的跟踪知识。第二个是学习评价措施，然后在线利用。在学习之后，学生可以最终用于构建（i）非常快速的单次跟踪器，（ii）具有简单有效的在线自适应机制的跟踪器，（iii）执行其他跟踪器融合的跟踪器。广泛的验证表明，所提出的算法竞争的实时国家的最先进的跟踪器。
2020-09-30 cs.CV
Efficient Online 3D Multi-Camera Multi-Object Tracking and Pose Estimation
School of Electrical Engineering and Computer Science（电子工程与计算机科学学院）；School of Electrical Engineering, Computing and Mathematical Sciences（电子工程、计算与数学科学学院）；School of Engineering and Technology（工程与技术学院）
提出一种基于多单目相机的快速在线3D多目标跟踪与姿态估计方法，仅需2D检测，无需3D训练数据，通过贝叶斯最优滤波实现高效准确跟踪，并支持相机断连场景。
2026-06-15 cs.CV
NOOUGAT: Towards Unified Online and Offline Multi-Object Tracking
NVIDIA；Technical University of Munich（慕尼黑技术大学）
NOOUGAT提出一种统一的多目标跟踪框架，通过图神经网络和自回归长时跟踪层处理非重叠子片段，实现灵活的时间范围，提升在线和离线跟踪性能。
2026-04-20 cs.CV
Is a Pure Transformer Effective for Separated and Online Multi-Object Tracking?
Dalian University of Technology（大连理工大学）；Shandong University of Science and Technology（山东科技大学）
本文提出将轨迹图表示为有向无环图，并利用经典 Transformer 架构（PuTR）统一分离式在线多目标跟踪的短期与长期关联，在四个数据集上验证了其有效性和域适应能力。
2025-03-25 cs.CV
Online Multi-Object Tracking with Unsupervised Re-Identification Learning and Occlusion Estimation
University of Science and Technology of China（中国科学技术大学）；Microsoft Cloud AI（微软云人工智能）；International Digital Economy Academy（国际数字经济研究院）
不同目标之间的遮挡是多目标跟踪（MOT）中的一个典型挑战，这通常会导致由于丢失检测到的目标而导致较差的跟踪结果。在多目标跟踪中，通常的做法是在丢失的目标重新出现后重新识别它们。虽然通过重新辨识可以提高跟踪性能，但是需要对模型进行身份标注来训练。此外，这种重新识别的做法仍然不能跟踪那些高度遮挡的目标时，他们被错过的检测器。在本文中，我们专注于在线多目标跟踪和设计两个新的模块，无监督的重新识别学习模块和遮挡估计模块，来处理这些问题。具体而言，所提出的无监督重新识别学习模块不需要任何（伪）身份信息，也不存在可扩展性问题。所提出的遮挡估计模块试图预测遮挡发生的位置，该位置被用于由检测器估计错过的对象的位置。我们的研究表明，当应用于最先进的MOT方法时，所提出的无监督重新识别学习与有监督重新识别学习相当，并且所提出的遮挡估计模块进一步提高了跟踪性能。
2022-01-04 cs.CV
AAA: Adaptive Aggregation of Arbitrary Online Trackers with Theoretical Performance Guarantee
Kyushu University（九州大学）
在视觉目标跟踪中，由于目标的外观随图像序列的变化而变化很大，很难实现全能的在线跟踪。本文提出了一种在线跟踪方法，自适应聚合任意多个在线跟踪器。所提出的方法的性能理论上保证是可比的最好的跟踪器的任何图像序列，虽然最好的专家是未知的跟踪过程中。在基准数据集和聚合跟踪器的大变化上的实验研究表明，该方法可以达到最先进的性能。该代码可在https://github.com/songheony/AAA-journal上获得。
2020-09-24 cs.CV
Fast Online Object Tracking and Segmentation: A Unifying Approach
CASIA（中国科学院自动化研究所）；University of Oxford（牛津大学）；FiveAI
在本文中，我们说明了如何执行视觉对象跟踪和半监督视频对象分割，在实时，一个简单的方法。我们的方法被称为SiamMask，通过使用二进制分割任务增加其损失，改进了用于对象跟踪的流行全卷积Siamese方法的离线训练过程。一旦经过训练，SiamMask仅依赖于单个限界框初始化并在线运行，以每秒55帧的速度生成与类别无关的对象分割掩码和旋转边界框。尽管其简单性，多功能性和快速性，我们的策略使我们能够在VOT-2018上建立实时跟踪器的新技术水平，同时在DAVIS-2016和DAVIS-2017上展示半监督视频对象分割任务的竞争力和最佳速度。该项目的网站是http://www.robots.ox.ac.uk/~qwang/SiamMask。
2019-05-05 cs.CV
Fast Online and Relational Tracking
University of Tehran（德黑兰大学）
为了克服多目标跟踪任务中的挑战，最近的算法使用交互提示以及运动和外观特征。这些算法使用图神经网络或Transformers来提取交互特征，这导致了高计算成本。本文提出了一种新的基于几何特征的交互提示，旨在检测遮挡和重新识别丢失的目标，具有较低的计算成本。此外，在大多数算法中，相机运动被认为是可忽略的，这是一个强假设，并不总是正确的，并导致ID切换或目标的不匹配。本文提出了一种测量摄像机运动并消除其影响的方法，有效地降低了摄像机运动对跟踪的影响。该算法在MOT17和MOT20数据集上进行了评估，它实现了MOT17的最先进性能和MOT20的可比结果。该代码也是公开的。
2022-08-07 cs.CV
FAMNet: Joint Learning of Feature, Affinity and Multi-dimensional Assignment for Online Multiple Object Tracking
Temple University（天普大学）
基于数据关联的多目标跟踪（MOT）涉及多个不同处理或优化的分离模块，这导致复杂的方法设计并且需要非平凡的参数调整。在本文中，我们提出了一个端到端的模型，命名为FAMNet，其中特征提取，相似度估计和多维分配细化在一个单一的网络。FAMNet中的所有层都被设计为可微的，因此可以联合优化，以学习用于鲁棒MOT的判别特征和高阶亲和模型，该模型由直接来自分配地面真值的损失来监督。我们还将单目标跟踪技术和专用目标管理方案集成到基于FAMNet的跟踪系统中，以进一步恢复假阴性并抑制外部检测器产生的噪声目标候选者。所提出的方法在包括MOT 2015，MOT 2017，KITTI-Car和UA-DETRAC在内的各种基准上进行了评估，并与最先进的技术相比，在所有这些基准上都取得了令人满意的性能。
2019-04-10 cs.CV
DeepTrack: Learning Discriminative Feature Representations Online for Robust Visual Tracking
Jiangxi Normal University（江西师范大学）；NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）
深度神经网络虽然在各种计算机视觉任务中的特征学习方面取得了巨大成功，但通常被认为对于在线视觉跟踪是不切实际的，因为它们需要非常长的训练时间和大量的训练样本。在这项工作中，我们提出了一个有效的和非常强大的跟踪算法，使用一个单一的卷积神经网络（CNN）学习有效的特征表示的目标对象，在一个纯粹的在线方式。我们的贡献是多方面的：首先，我们引入了一种新的截断结构损失函数，保持尽可能多的训练样本，并降低跟踪误差积累的风险。其次，我们用一个鲁棒的样本选择机制增强了CNN训练中的普通随机梯度下降方法。采样机制从不同的时间分布随机生成正样本和负样本，这些样本是通过考虑时间关系和标签噪声而生成的。最后，一个懒惰的，但有效的更新方案设计的CNN训练。配备了这种新的更新算法，CNN模型是强大的一些长期存在的困难，视觉跟踪，如遮挡或不正确的检测，而不会失去有效的适应显着的外观变化。在实验中，我们的CNN跟踪器在两个最近提出的基准测试中表现优于所有比较的最先进的方法，这两个基准测试总共涉及60多个视频序列。与现有跟踪器相比，显着的性能改进说明了学习的特征表示的优越性
2015-02-28 cs.CV
Online Hybrid Lightweight Representations Learning: Its Application to Visual Tracking
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
本文提出了一种新的用于流数据的混合表示学习框架，其中视频中的图像帧由两个不同的深度神经网络的集成来建模;一个是低比特量化网络，另一个是轻量级全精度网络。前者以较低的代价学习粗糙的原始信息，而后者则将残差信息高保真地传递给原始表示。所提出的并行架构是有效的，以保持互补的信息，因为定点运算可以利用在量化的网络和轻量级的模型提供了一个紧凑的通道修剪网络给出的精确表示。我们将混合表示技术纳入在线视觉跟踪任务，其中深度神经网络需要实时处理目标外观的时间变化。与基于传统深度神经网络的最先进的实时跟踪器相比，我们的跟踪算法在标准基准测试中表现出具有竞争力的准确性，而计算成本和内存占用却很小。
2022-05-23 cs.CV
Online Adaptation for Implicit Object Tracking and Shape Reconstruction in the Wild
University of California San Diego（加利福尼亚大学圣地亚哥分校）；TuSimple（图森未来）
针对杂乱、部分观测 LiDAR 场景，提出利用视频连续性在线自适应 DeepSDF 的统一框架，实现三维跟踪与形状重建相互迭代增强，并在 Waymo、KITTI 上显著超越现有方法。
2022-07-05 cs.CV
SPARK: Spatial-aware Online Incremental Attack Against Visual Tracking
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Alibaba Group（阿里巴巴集团）；Kyushu University（九州大学）；Tianjin University of Technology（天津理工大学）；Nanyang Technological University（南洋理工大学）
深度神经网络的对抗攻击已在图像、音频、自然语言、补丁和像素分类任务中得到深入研究。然而，作为一个典型的，而重要的现实世界的应用，在线视频对象跟踪的对抗攻击，跟踪对象的移动轨迹，而不是其类别很少被探讨。在本文中，我们确定了对抗攻击视觉跟踪的一个新任务：在线生成不可感知的扰动，误导跟踪器沿着不正确的（无目标攻击，UA）或指定的轨迹（有目标攻击，TA）。为此，我们首先提出了一个\textit{spatial-aware}基本攻击，通过调整现有的攻击方法，即，FGSM、BIM、C&W三种模型，并对攻击性能进行了综合分析。我们发现，在线对象跟踪提出了两个新的挑战：1）很难产生可以跨帧传输的不可察觉的扰动，2）实时跟踪器需要攻击满足一定的效率水平。为了应对这些挑战，我们进一步提出了空间感知的在线增量攻击（a.k.a. SPARK），其在线执行时空稀疏增量扰动，并使对抗攻击不易察觉。此外，作为一种基于优化的方法，SPARK通过考虑历史增量扰动，在几次迭代内快速收敛到非常小的损失，使其比基本攻击更有效。对最先进的跟踪器（即，SiamRPN++与AlexNet，MobileNetv 2和ResNet-50，以及SiamDW）在OTB 100，VOT 2018，UAV 123和LaSOT上的实验证明了SPARK在UA和TA下误导跟踪器的有效性和可转移性。
2020-07-22 cs.CV
Non-sparse Linear Representations for Visual Tracking with Online Reservoir Metric Learning
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
大多数基于稀疏线性表示的跟踪器需要解决计算上昂贵的L1正则化优化问题。为了解决这个问题，我们提出了一个基于非稀疏线性表示的视觉跟踪器，它允许一个有效的封闭形式的解决方案，而不牺牲精度。此外，为了捕获不同特征维度之间的相关信息，我们在线学习Mahalanobis距离度量，并将学习到的度量纳入优化问题以获得线性表示。我们表明，在线度量学习使用邻近比较显着提高了跟踪的鲁棒性，特别是对那些序列表现出剧烈的外观变化。此外，为了防止度量学习的训练样本数量的无限增长，我们设计了一种时间加权的水库采样方法来维护和更新有限大小的前景和背景样本缓冲区，以平衡样本的多样性和适应性。挑战性视频的实验结果表明，所提出的跟踪器的有效性和鲁棒性。
2012-04-13 cs.CV
Boosting Online 3D Multi-Object Tracking through Camera-Radar Cross Check
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Washington（华盛顿大学）；Cisco（思科公司）
针对自动驾驶中多模态融合挑战，提出CRAFTBooster方法，在跟踪阶段融合相机与雷达数据，在K-Radaar数据集上实现IDF1指标5-6%的提升。
2024-07-18 cs.CV
1st Place Solutions for Waymo Open Dataset Challenges -- 2D and 3D Tracking
Horizon Robotics Inc.（地平线机器人公司）
本技术报告介绍了在线和实时2D和3D多对象跟踪（MOT）算法，该算法在Waymo Open Dataset 2D跟踪和3D跟踪挑战中均获得第一名。提出了一种高效实用的在线检测跟踪框架HorizonMOT，用于图像空间中基于摄像机的2D跟踪和3D世界空间中基于LiDAR的3D跟踪。在检测跟踪模式中，我们的跟踪器利用我们在2D/3D检测挑战中使用的高性能检测器，在2D/3D跟踪挑战中实现了45.13%的2D MOTA/L2和63.45%的3D MOTA/L2。
2020-06-28 cs.CV
A CRF-based Framework for Tracklet Inactivation in Online Multi-Object Tracking
Research Institute of Intelligent Control and Systems, Harbin Institute of Technology（哈尔滨工业大学智能控制与系统研究所）；Brunel University London（伦敦布鲁内尔大学）；Ningbo Institute of Intelligent Equipment Technology Company, Ltd（宁波智能装备技术有限公司）
在线多目标跟踪是计算机视觉领域的一个研究热点。虽然许多以前提出的算法已经表现出不错的结果，tracklet失活的问题还没有得到充分的研究。简单的策略，如使用一个固定的阈值分类分数，产生不良的跟踪错误，并限制了整体性能。本文提出了一种基于条件随机场（CRF）的框架来解决在线MOT问题中的轨迹线失活问题。一个离散的CRF，利用帧内的跟踪假设之间的关系，以提高鲁棒性的tracklet失活。为通用报告格式中的一元和二元术语设计了单独的特征函数集，考虑到实际情景中的各种跟踪挑战。为了解决MOT环境下CRF节点变化的问题，采用了假设过滤和虚拟节点两种策略。在该框架中，推理阶段使用循环的信念传播算法进行，CRF参数的确定，利用最大似然估计方法，然后轻微的手动调整。实验结果表明，该跟踪器结合基于CRF的框架优于MOT16和MOT17基准的基线。通过大量的实验进一步验证了该框架的可扩展性。
2021-04-23 cs.CV
Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking
Beihang University（北京航空航天大学）；Brandeis University（布兰迪斯大学）；Inception Institute of Artificial Intelligence（因赛普申人工智能研究院）
在这项工作中，我们提出了一个端到端的框架来解决在线多目标跟踪（MOT）中的数据关联。给定检测响应，我们制定的最大加权二分匹配问题，其解决方案是学习使用神经网络的帧的数据关联。该网络结合了一个亲和力学习模块，其中外观和运动线索进行调查，编码对象特征表示和计算成对的亲和力。采用计算出的相似度作为边权重，优化模块解决了二分图上的匹配问题，该优化模块利用图神经网络来适应关联问题的变化基数，并解决了具有良好的可扩展性和兼容性的组合硬度。为了便于有效的训练建议的跟踪网络，我们设计了一个多层次的矩阵损失与组装的监督方法。通过端到端的训练，跟踪器中的所有模块都可以协同适应和合作，从而提高模型的适应性，减少参数调整工作。在MOT基准测试上的实验结果证明了该方法的有效性。
2019-07-11 cs.CV
On the detection-to-track association for online multi-object tracking
Deakin University（迪肯大学）；The University of Warwick（Warwick）
在利用深度神经网络进行目标检测的最新进展的驱动下，通过检测进行跟踪的范例在多目标跟踪（MOT）的研究社区中越来越流行。人们早就知道，外观信息起着至关重要的作用，在检测到跟踪的关联，这是检测跟踪范式的核心。虽然大多数现有的工作考虑的检测和轨道之间的外观距离，他们忽略了历史的外观距离记录的轨道，这可能是特别有用的，当一个检测具有类似的距离与两个或更多个轨道中隐含的统计信息。在这项工作中，我们提出了一种混合跟踪关联（HTA）算法，该算法采用增量高斯混合模型（IGMM）对跟踪的历史外观距离进行建模，并将导出的统计信息纳入检测到跟踪关联成本的计算中。在三个MOT基准上的实验结果表明，HTA有效地提高了目标识别性能，同时对跟踪速度有很小的影响。此外，与许多最先进的跟踪器相比，配备HTA的DeepSORT跟踪器在跟踪质量和速度的平衡方面实现了更好或相当的性能。
2021-07-01 cs.CV
SiamMask: A Framework for Fast Online Object Tracking and Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fudan University（复旦大学）；Five AI Limited（Five AI有限公司）；University of Oxford（牛津大学）
在本文中，我们介绍了SiamMask，一个框架来执行视觉对象跟踪和视频对象分割，在实时，用同样的简单方法。我们通过使用二进制分割任务增加损失来改进流行的全卷积Siamese方法的离线训练过程。一旦离线训练完成，SiamMask只需要一个限界框进行初始化，可以同时进行视觉对象跟踪和分割在高帧速率。此外，我们表明，它是可以扩展的框架来处理多个对象的跟踪和分割，通过简单地重复使用级联方式的多任务模型。实验结果表明，我们的方法具有较高的处理效率，在每秒55帧左右。它在视觉对象跟踪基准测试中产生实时的最先进的结果，同时在视频对象分割基准测试中以高速展示具有竞争力的性能。
2022-07-05 cs.CV
FusionSORT: Fusion Methods for Online Multi-object Visual Tracking
School of Computer Science and Informatics（计算机科学与信息学学院）；De Montfort University（德蒙福特大学）
本文研究多目标视觉跟踪中检测与轨迹关联的融合策略，系统比较最小值、IoU 加权求和、KF 门控和代价 Hadamard 乘积四种方法，并在 MOT17、MOT20 与 DanceTrack 上验证其影响。
2025-05-10 cs.CV
STURE: Spatial-Temporal Mutual Representation Learning for Robust Data Association in Online Multi-Object Tracking
Hunan University（湖南大学）；State Grid Hunan Electric Power Company Limited Economical Technical Research Institute（国网湖南省电力有限公司经济技术研究院）
在线多目标跟踪（MOT）是计算机视觉和智能车辆平台的一项长期任务。目前，主要的范例是跟踪检测，这一范例的主要困难是如何将当前的候选检测与历史轨迹相关联。然而，在MOT场景中，每个历史轨迹由一个对象序列组成，而每个候选检测只是一个平面图像，它缺乏对象序列的时间特征。当前候选检测和历史轨迹之间的特征差异使得对象关联更加困难。因此，我们提出了一个时空互表示学习（STURE）的方法，学习当前的候选检测和历史序列之间的时空表示在一个相互表示空间。对于历史跟踪，检测学习网络被迫在互表示空间中匹配序列学习网络的表示。所提出的方法是能够提取更多的区别检测和序列表示，通过使用各种设计的损失对象关联。该方法通过时空特征的相互学习，增强了当前检测特征，缓解了特征差异。为了证明STURE的鲁棒性，将其应用于公开的MOT挑战基准测试，并与基于身份保护度量的各种最先进的在线MOT跟踪器相比表现良好。
2022-03-28 cs.CV
Automatic Parameter Adaptation for Multi-object Tracking
INRIA（法国国家信息与自动化研究所）
对象跟踪质量通常取决于视频上下文（例如对象遮挡水平、对象密度）。为了减少这种依赖性，本文提出了一种学习方法，以适应跟踪器参数的上下文变化。在离线阶段中，为视频上下文聚类学习令人满意的跟踪参数。在在线控制阶段，一旦检测到上下文变化，就使用学习值来调谐跟踪参数。实验结果表明，该方法的性能优于现有的跟踪器。本文的主要贡献有两个方面：（1）提出了一种基于视频序列分类的离线跟踪参数学习方法;（2）提出了一种基于跟踪上下文的在线跟踪参数调整方法。
2013-05-13 cs.CV
Segment as Points for Efficient Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
当前的多目标跟踪和分割（MOTS）方法遵循检测跟踪范式，并采用卷积进行特征提取。然而，由于受固有感受野的影响，基于卷积的特征提取不可避免地会混淆前景特征和背景特征，导致后续实例关联中的歧义。在本文中，我们提出了一种高效的方法来学习基于段的实例嵌入，通过转换紧凑的图像表示无序的2D点云表示。我们的方法生成了一个新的点跟踪范例，其中判别实例嵌入是从随机选择的点而不是图像中学习的。此外，多个信息数据模态转换成逐点表示，以丰富逐点特征。由此产生的在线MOTS框架，名为PointTrack，超过了所有最先进的方法，包括3D跟踪方法的大幅度（MOTSA高出5.4%，比MOTSFusion快18倍），接近实时速度（22 FPS）。在三个数据集上的评估证明了我们方法的有效性和效率。此外，基于现有MOTS数据集缺乏拥挤场景的观察，我们构建了一个更具挑战性的MOTS数据集，名为APOLLO MOTS，具有更高的实例密度。APOLLO MOTS和我们的代码都可以在https://github.com/detectRecog/PointTrack上公开获得。
2020-07-03 cs.CV
ODTrack: Online Dense Temporal Token Learning for Visual Tracking
Guangxi Normal University（广西师范大学）；Wuzhou University（梧州学院）；Harbin Institute of Technology（哈尔滨工业大学）
ODTrack提出一种视频级跟踪流水线，通过在线token传播密集关联视频帧上下文，将目标判别特征压缩为token序列实现帧间关联，在七个基准上达到SOTA性能且实时运行。
2024-01-03 cs.CV
Real-time Online Multi-Object Tracking in Compressed Domain
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
最近的在线多目标跟踪（MOT）方法已经取得了令人满意的跟踪性能。然而，大多数现有方法的跟踪速度相当慢。受相邻帧之间高度相关性和冗余性的启发，我们将相邻帧分别划分为关键帧和非关键帧，在压缩域中跟踪目标。对于关键帧，恢复RGB图像用于检测和数据关联。为了提高数据关联的可靠性，提出了一种可与检测器联合训练的表观卷积神经网络（CNN）。对于非关键帧，对象由跟踪CNN基于在压缩域中提供的运动信息直接传播。与最先进的在线MOT方法相比，我们的跟踪器速度约为6倍，同时保持相当的跟踪性能。
2022-04-05 cs.CV eess.IV
RLM-Tracking: Online Multi-Pedestrian Tracking Supported by Relative Location Mapping
The University of Zhengzhou（郑州大学）
多目标跟踪问题是计算机视觉的一个基本研究热点，广泛应用于公共安全、交通、自动驾驶汽车、机器人等涉及人工智能的领域。由于自然场景的复杂性，在基本的跟踪任务中，目标经常会被遮挡或半遮挡。这很容易导致ID切换、对象丢失、检测错误和限制框未对齐。这些条件对多目标跟踪的精度有很大的影响。针对上述问题，本文设计了一种新的多目标跟踪器，该跟踪器包含目标\textbf{Relative Location Mapping}（RLM）模型和\textbf{Target Region Density}（TRD）模型。新的跟踪器对对象之间位置关系的差异更敏感。该算法能够根据视频中目标区域的密度，实时地将低分检测帧引入到不同的区域。这提高了对象跟踪的准确性，而不消耗大量的算术资源。我们的研究表明，该模型已大大提高了HOTA和DF 1测量MOT 17和MOT 20数据集时，应用到先进的MOT方法。
2022-10-19 cs.AI cs.CV
Online and Real-Time Tracking in a Surveillance Scenario
Fraunhofer IML（弗劳恩霍夫物流研究院）；DB Schenker（德铁信可）
本文提出了一种方法，在监视场景中的跟踪。该场景的典型方面是24/7操作，其中静态摄像机安装在具有许多对象或人的人的高度上方。多对象跟踪基准20（MOT 20）最好地反映了这种情况。我们可以证明，我们的方法在这个基准测试中是实时的【形】的，并且在HOTA，MOTA和IDF 1中优于所有其他实时的【形】方法。我们通过贡献一个快速的暹罗网络来实现这一点，该网络重新制定为线性运行时间（而不是二次），以从检测中生成指纹。因此，可以基于多个跟踪特定评级将检测与卡尔曼滤波器相关联：指纹的余弦相似性、交集与并集以及图像中的像素距离比。
2021-06-02 cs.CV cs.LG
Deep Flow Collaborative Network for Online Visual Tracking
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
基于深度学习的视觉跟踪算法（诸如MDNet）利用深度神经网络的特征提取能力来实现高性能。然而，这些跟踪器的跟踪效率不是很高，由于缓慢的特征提取为每帧的视频。在本文中，我们提出了一个有效的跟踪算法，以减轻耗时的问题。具体来说，我们设计了一个深流协作网络，它只在稀疏的关键帧上执行昂贵的特征网络，并通过光流将特征映射传输到其他帧。此外，我们提出了一个有效的自适应关键帧调度机制，以选择最合适的关键帧。我们在大规模数据集上评估了所提出的方法：OTB2013和OTB2015。实验结果表明，该算法具有较高的加速比和精度。
2019-11-05 cs.CV cs.LG
CAMELTrack: Context-Aware Multi-cue ExpLoitation for Online Multi-Object Tracking
UCLouvain（列日大学）；EPFL（苏黎世联邦理工学院）；Sportradar（Sportradar公司）
本文提出新型关联模块CAMEL及在线多目标跟踪流水线CAMELTrack，通过基于transformer的模块和以关联为中心的训练方案直接从数据学习关联策略，摆脱了手工启发式规则，在保持模块化设计的同时于多个跟踪基准上达到SOTA性能。
2025-05-02 cs.CV cs.LG
Automatic Failure Recovery and Re-Initialization for Online UAV Tracking with Joint Scale and Aspect Ratio Optimization
Tongji University（同济大学）；New York University（纽约大学）
当前无人机（无人机）视觉跟踪算法主要局限于：（i）它们可以处理的尺寸变化类型，（ii）实现速度难以满足实时要求。本文提出了一种具有强大尺寸估计能力的无人机实时跟踪算法。具体地，总体跟踪任务被分配给两个2D滤波器：（i）用于空间域中的位置预测的平移滤波器，（ii）用于尺寸域中的尺度和纵横比优化的尺寸滤波器。此外，针对无人机长时间跟踪任务，提出了一种有效的两阶段重检测策略。在四个无人机基准上的大规模实验证明了该方法的优越性，该方法在低成本CPU上具有计算可行性。
2020-08-10 cs.CV cs.RO
Recurrent Autoregressive Networks for Online Multi-Object Tracking
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
在线多目标跟踪的主要挑战是基于其跟踪历史将对象轨迹与每个视频帧中的检测可靠地关联。在这项工作中，我们提出了递归自回归网络（RAN），一个时间生成建模框架来表征多个对象随时间的外观和运动动态。RAN耦合外部存储器和内部存储器。外部存储器明确地存储时间窗口中每个轨迹的先前输入，而内部存储器通过处理外部存储器来学习总结长期跟踪历史并关联检测。我们在MOT 2015和2016数据集上进行了实验，以证明我们的跟踪方法在高度拥挤和遮挡场景中的鲁棒性。我们的方法在两个基准测试中取得了最好的结果。
2018-03-04 cs.AI cs.CV cs.LG
LEGO: Learning and Graph-Optimized Modular Tracker for Online Multi-Object Tracking with Point Clouds
School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University（人工智能与先进计算学院，西安交通大学利物浦大学）；Momoni AI；Department of Automation, Shanghai Jiaotong University（自动化学院，上海交通大学）；College of Science and Engineering, James Cook University（科学与工程学院，詹姆斯库克大学）；School of Engineering, Swinburne University of Technology（工程学院，斯威灵斯大学）
针对在线多目标跟踪的数据关联问题，提出融合图优化、自注意力与卡尔曼滤波的LEGO模块化跟踪器，仅用LiDAR便在KITTI汽车MOT基准上取得领先性能。
2025-09-05 cs.AI cs.CV
Learning Online for Unified Segmentation and Tracking Models
Monash University（莫纳什大学）
跟踪需要在推理阶段建立目标的判别模型。实现这一目标的一种有效方法是在线学习，它可以轻松地胜过仅离线训练的模型。最近的研究表明，视觉跟踪由于其像素级的歧视，显着受益于视觉跟踪和分割的统一。然而，对这样一个统一的模型进行在线学习是一个很大的挑战。分割模型不能容易地从视觉跟踪场景中给出的先验信息中学习。在本文中，我们提出了TrackMLP：一种新的元学习方法，它只从部分信息中学习，以解决强加的挑战。我们的模型能够广泛利用有限的先验信息，因此比其他在线学习方法具有更强的目标-背景区分能力。从经验上讲，我们表明，我们的模型实现了最先进的性能和有形的改进竞争车型。我们的模型在VOT 2019、VOT 2018和VOT 2016数据集中实现了66.0%、67.1%和68.5%的改进平均重叠，比我们的基线高6.4%、7.3%和6.4%。代码将公开提供。
2021-11-12 cs.AI cs.CV cs.LG
DenseTrack: Drone-based Crowd Tracking via Density-aware Motion-appearance Synergy
Wuhan University of Technology（武汉理工大学）；Singapore Management University（新加坡管理大学）；Nanyang Technological University（南洋理工大学）
针对无人机视角下小尺寸密集人群定位与跟踪困难的问题，提出DenseTrack框架，融合群体密度估计、运动偏移与视觉语言模型外观线索，并利用匈牙利算法实现跨帧匹配，在DroneCrowd数据集上表现优越。
2024-07-26 cs.CV
GenTrack3: Hybrid Stochastic-Deterministic Online Multi-Object Tracking with Cluster-Aware Association
本文提出GenTrack3框架，融合确定性与随机原理实现鲁棒在线多目标跟踪，引入集群感知轨迹-检测匹配方法，提升目标数量增加时的可扩展性并支持群组跟踪。
2026-10-26 cs.CV cs.RO
Learnable Online Graph Representations for 3D Multi-Object Tracking
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
在3D中跟踪对象是计算机视觉中的一项基本任务，可用于自动驾驶、机器人或增强现实等广泛应用。最新的LIDAR 3D多目标跟踪（MOT）方法使用对象动态特性以及一组手工制作的特征来匹配对象的检测。然而，手动设计这样的特征和布局是麻烦的，并且经常导致次优性能。在这项工作中，我们努力实现一个统一的和基于学习的方法来解决3D MOT问题。我们设计了一个图形结构，以在线方式联合处理检测和跟踪状态。为此，我们采用了一个神经消息传递网络来进行完全可训练的数据关联。我们的方法提供了一个自然的方式跟踪初始化和处理误报检测，同时显着提高跟踪稳定性。我们在公开的nuScenes数据集上展示了所提出的方法的优点，实现了65.6%的AMOTA和58%的ID开关的最新性能。
2021-04-23 cs.CV cs.RO
RetinaTrack: Online Single Stage Joint Detection and Tracking
Google（谷歌）
传统上，多目标跟踪和目标检测是使用单独的系统来执行的，其中大多数先前的工作专门集中在这些方面中的一个方面而不是另一个方面。跟踪系统显然受益于获得准确的检测，然而，文献中有充分的证据表明，检测器可以受益于跟踪，例如，可以帮助随着时间的推移平滑预测。在本文中，我们重点关注自动驾驶的检测跟踪范式，其中这两项任务都是关键任务。我们提出了一个概念上简单而有效的检测和跟踪联合模型，称为RetinaTrack，它修改了流行的单阶段RetinaNet方法，使其适合实例级嵌入训练。通过对Waymo开放数据集的评估，我们表明，我们的性能优于最新的最先进的跟踪算法，同时需要的计算量明显减少。我们认为，我们简单而有效的方法可以作为这一领域今后工作的坚实基础。
2020-03-30 cs.CV cs.LG eess.IV
Online Object Tracking, Learning and Parsing with And-Or Graphs
North Carolina State University（北卡罗来纳州立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种方法，称为AOGTracker，同时跟踪，学习和解析（TLP）的视频序列中的未知对象的层次和组合与或图（AOG）表示。AOG以原则性的方式捕获目标对象的结构和外观变化。TLP方法是制定在贝叶斯框架与空间和时间的动态规划（DP）算法推断对象边界框上的飞行。在在线学习期间，使用潜在SVM有区别地学习AOG以考虑外观（例如，照明和部分遮挡）和结构（例如，不同的姿态和视点）变化，以及干扰物（例如，类似的物体）在背景中。在线推理和学习中的三个关键问题得到了解决：（i）保持在线收集的正面和负面示例的纯度，（ii）控制潜在结构学习中的模型复杂性，以及（iii）识别关键时刻以基于其可插入性重新学习AOG的结构。可插入性基于AOG在帧中的分数图来测量AOG的不确定性。在实验中，我们的AOGTracker在两个流行的跟踪基准测试相同的参数设置：TB-100/50/CVPR 2013基准测试，和VOT基准测试- VOT 2013，2014，2015和TIR 2015（热成像跟踪）。在前者中，我们的AOGTracker优于最先进的跟踪算法，包括基于深度卷积网络的两个跟踪器。在后者中，我们的AOGTracker优于VOT 2013中的所有其他跟踪器，并可与VOT 2014，2015和TIR 2015中的最先进方法相媲美。
2016-09-03 cs.CV cs.LG
