Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering
Gwangju Institute of Science and Technology（光州科学技术院）
在本文中，我们提出的方法来处理多目标跟踪过程中的时间误差。当对象被遮挡或噪声检测出现在对象附近时，会发生时间误差。在这些情况下，跟踪可能会失败，并发生漂移或ID切换等各种错误。仅利用运动和形状信息很难克服时间误差。因此，本文提出了历史外观匹配方法和两步训练的联合输入连体网络。该方法可以防止目标在被遮挡或最后匹配信息不可靠时的跟踪失败。我们还提供了有用的技术，以消除噪声检测有效地根据现场条件。跟踪性能，特别是身份一致性，大大提高了附加我们的方法。
2018-09-18 cs.CV
Multi-appearance Segmentation and Extended 0-1 Program for Dense Small Object Tracking
Nanjing University of Science and Technology（南京理工大学）
针对密集小目标在集群背景下的快速多目标跟踪问题，研究了考虑批量优化的面向轨迹的多假设跟踪算法（TOMHT）。采用基于自相关的运动评分检验和阶段性假设合并方法，建立了相应的假设生成和管理方法。提出了一种新的一对多约束，并将其应用于复杂遮挡情况下的航迹排除问题。此外，为了达到更好的效果，我们开发了一种多外观分割检测，它利用树状拓扑信息，并实现了一个目标的一个阈值。实验结果验证了我们的方法的强度，表明我们的跟踪器的速度和性能的优势。
2017-12-14 cs.CV
Multiple Object Tracking from appearance by hierarchically clustering tracklets
National Institute of Informatics（国立信息学研究所）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多目标跟踪（MOT）中的当前方法依赖于检测之间的时空相干性结合对象外观来匹配来自连续帧的对象。在这项工作中，我们探索MOT使用对象外观作为视频中的对象之间的关联的主要来源，使用空间和时间先验作为加权因子。我们形成初始的tracklets利用的想法，即在时间上接近的对象的实例应该是相似的外观，并建立最终的对象轨迹融合的tracklets在一个层次化的方式。我们进行了大量的实验，显示了我们的方法在三个不同的MOT基准，MOT17，MOT20和DanceTrack的有效性，在MOT17和MOT20中具有竞争力，并在DanceTrack中建立了最先进的结果。
2022-10-07 cs.CV
Multi-Object Tracking by Iteratively Associating Detections with Uniform Appearance for Trawl-Based Fishing Bycatch Monitoring
University of Washington（华盛顿大学）；National Institute of Water and Atmospheric Research（国家水与大气研究所）；BetterFishing Ltd.（BetterFishing有限公司）
本文针对拖网渔业监测中鱼类目标外观均匀、传统MOT方法不适用的难题，提出一种基于迭代关联模块的MOT方法，可嵌入现有跟踪算法，在水下鱼类数据集和MOT17上均优于现有方法且不增加延迟。
2023-04-10 cs.CV
Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
在多对象跟踪中，跟踪器在其存储器中维护场景中每个对象的外观和运动信息。该存储器用于寻找轨迹和检测之间的匹配，并基于匹配结果进行更新。许多方法孤立地对每个目标进行建模，并且缺乏使用场景中的所有目标来联合更新内存的能力。当场景中存在相似外观的对象时，这可能是有问题的。在本文中，我们解决的问题，同时考虑所有的轨道在内存更新过程中，只有一个小的空间开销，通过一个新的多轨道池模块。我们还提出了一个训练策略，适用于多轨池生成硬跟踪情节在线。我们表明，这些创新的组合结果在一个强有力的歧视性的外观模型，使贪婪的数据关联的使用，以实现在线跟踪性能。我们的实验证明了在公共多目标跟踪（MOT）数据集上实时的【形】，最先进的性能。
2021-01-28 cs.CV
DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；ByteDance Inc.（字节跳动公司）
用于多对象跟踪（MOT）的典型流水线是使用用于对象定位的检测器，以及随后用于对象关联的重新识别（re-ID）。该流水线部分地由目标检测和重新ID两者的最新进展所激励，并且部分地由现有跟踪数据集中的偏差所激励，其中大多数对象倾向于具有区分的外观并且重新ID模型足以建立关联。针对这种偏差，我们要再次强调，当对象外观没有足够的区分力时，多对象跟踪的方法也应该起作用。为此，我们提出了一个大规模的多人跟踪数据集，其中人类具有相似的外观，不同的运动和极端的清晰度。由于该数据集主要包含群舞视频，因此我们将其命名为“DanceTrack”。我们希望DanceTrack能够提供一个更好的平台来开发更多的MOT算法，这些算法更少地依赖于视觉识别，更多地依赖于运动分析。我们在我们的数据集上对几个最先进的跟踪器进行了基准测试，并观察到与现有基准测试相比，DanceTrack的性能显着下降。数据集、项目代码和竞赛服务器发布于：\url{https://github.com/DanceTrack}。
2022-05-24 cs.CV
Deep Learning of Appearance Models for Online Object Tracking
提出了一种基于深度学习的单目标视觉跟踪方法。我们解决这个问题，提出了一个网络架构，它需要输入的视频帧，并直接计算跟踪分数的任何候选目标位置，通过估计的概率分布的正面和负面的例子。这是通过在统一框架中将深度卷积神经网络与贝叶斯损失层相结合来实现的。为了处理有限数量的正训练样本，网络被预先离线训练用于通用图像特征表示，然后在多个步骤中进行微调。在线微调步骤在每一帧进行，以学习目标的外观。我们采用两阶段迭代算法来自适应地更新网络参数，并保持目标/非目标区域的概率密度。该跟踪器已经在标准跟踪基准上进行了测试，结果表明，所提出的解决方案达到了最先进的跟踪结果。
2016-07-09 cs.CV
Joint Spatial-Temporal and Appearance Modeling with Transformer for Multiple Object Tracking
Tsinghua University（清华大学）；Aibee Inc（爱笔智能）
多目标跟踪（MOT）的最新趋势是利用深度学习来提高跟踪性能。在本文中，我们提出了一种新的解决方案命名为transSTAM，它利用Transformer有效地建模每个对象的外观特征和对象之间的时空关系。TransSTAM由两个主要部分组成：（1）编码器利用Transformer强大的自注意机制来学习每个tracklet的区分特征;（2）解码器采用标准的交叉注意力机制来通过考虑时空和外观特征来建模tracklet和检测之间的亲和力。TransSTAM有两个主要优点：（1）它完全基于编码器-解码器架构，具有紧凑的网络设计，因此计算效率高;（2）它可以在一个模型中有效地学习时空和外观特征，从而实现更好的跟踪精度。所提出的方法在包括MOT 16，MOT 17和MOT 20在内的多个公共基准上进行了评估，并且相对于所有基准上的先前最先进的方法，它在IDF 1和HOTA中实现了明显的性能改进。我们的代码可在\url{https://github.com/icicle4/TranSTAM}上获得。
2022-05-31 cs.CV
Learning Spatio-Appearance Memory Network for High-Performance Visual Tracking
Southeast University（东南大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）；Tianjin University of Technology（天津理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）
现有的视觉对象跟踪通常学习基于边界框的模板来跨帧匹配目标，无法准确学习像素级表示，从而在处理严重的外观变化方面受到限制。为了解决这些问题，已经在基于分割的跟踪上做出了很多努力，其学习逐像素对象感知模板，并且可以实现比基于边界框模板的跟踪更高的准确性。然而，现有的基于分割的跟踪器是无效的学习跨帧的时空对应关系，由于没有使用丰富的时间信息。为了克服这个问题，本文提出了一种新的基于分割的跟踪架构，它配备了一个空间外观记忆网络，以学习准确的时空对应关系。其中，外观记忆网络探索时空非局部相似性，以学习分割掩模和当前帧之间的密集对应关系。同时，空间记忆网络被建模为判别相关滤波器，以学习特征图和空间图之间的映射。外观记忆网络有助于过滤掉空间记忆网络中的噪声样本，而后者为前者提供更准确的目标几何中心。这种相互促进作用大大提高了跟踪性能。没有花里胡哨的东西，我们简单而有效的跟踪架构分别在VOT 2016，VOT 2018，VOT 2019，GOT-10 K，TrackingNet和VOT 2020基准上设置了新的最先进的技术。此外，我们的跟踪器在两个视频对象分割基准DAVIS 16和DAVIS 17上的性能大大优于领先的基于分割的跟踪器SiamMask和D3 S。源代码可以在https://github.com/phiphiphi31/DMB上找到。
2021-04-06 cs.CV
A Survey of Appearance Models in Visual Object Tracking
The University of Adelaide（阿德莱德大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；State University of New York, Binghamton（纽约州立大学宾汉姆顿分校）
视觉目标跟踪是一项重要的计算机视觉任务，在视觉监控、人机交互、视频压缩等领域有着广泛的应用。在文献中，研究人员提出了各种2D外观模型。为了帮助读者快速了解视觉对象跟踪的2D外观模型的最新进展，我们提供了这个调查，它提供了现有的2D外观模型的详细审查。特别是，本调查采用了基于模块的架构，使读者能够轻松掌握视觉对象跟踪的关键点。在本研究中，我们首先将外观建模问题分解为两个不同的处理阶段：视觉表示和统计建模。然后，不同的二维外观模型进行了分类，并讨论了其组成模块。最后，我们解决了几个感兴趣的问题，以及剩余的挑战，为今后的研究这一主题。这项调查的贡献有四个方面。首先，我们根据视觉表征的特征构建机制（即，本地和全球）。其次，现有的统计建模方案跟踪检测审查根据其模型的建设机制：生成，歧视性，和混合生成歧视性。第三，从理论或实践的角度分析和讨论了每种类型的视觉表示或统计建模技术。第四，现有的基准资源（例如，源代码和视频数据集）进行了检查。
2013-03-20 cs.CV
Refinements in Motion and Appearance for Online Multi-Object Tracking
Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）；National Key Laboratory of Science and Technology on Multi-spectral Information Processing（多光谱信息处理国家重点实验室）；School of Artificial Intelligence and Automation（人工智能与自动化学院）
现代的多目标跟踪系统通常包含独立的模块，如用于定位的运动模型和用于数据关联的外观模型。然而，运动和外观模型的兼容性问题往往被忽视。本文提出了一种将运动融合、三维积分图像和自适应外观特征融合无缝融合的通用结构MIF。由于不确定的行人和摄像机的运动通常是分开处理的，集成的运动模型设计使用我们定义的内涵摄像机运动。具体地说，提出了一种基于3D积分图像的空间分块方法，有效地切割轨迹和具有空间约束的候选之间的无用连接。然后，外观模型和可见性预测的联合建立。综合考虑尺度、姿态和可见性，自适应融合外观特征，克服特征错位问题。我们基于MIF的跟踪器（MIFT）在MOT16和17挑战中都达到了最先进的60.1 MOTA精度。
2020-03-17 cs.CV
Extending Multi-Object Tracking systems to better exploit appearance and 3D information
University of Moratuwa（莫拉图瓦大学）
实时的跟踪多个物体对于各种现实世界的应用至关重要，其中自动驾驶行业是最重要的。这项工作涉及利用随时间变化的外观和运动信息进行跟踪。Siamese网络最近在基于外观的单对象跟踪方面取得了非常成功，而递归神经网络已经开始主导基于运动和外观的跟踪。我们的工作重点是将Siamese网络和RNN结合起来，分别利用外观和运动信息来构建一个能够实时的多目标跟踪的联合系统。我们进一步探讨了基于几何学的约束跟踪在鸟瞰视图空间有效地利用3D信息作为一个约束优化问题的跟踪预测。
2019-12-25 cs.CV cs.RO
Deep Multi-Shot Network for modelling Appearance Similarity in Multi-Person Tracking applications
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多目标跟踪的自动化在真实的无约束场景中成为一项艰巨的任务，其中算法必须处理人群，交叉人群，遮挡，消失和视觉相似个体的存在。在这些情况下，传入检测与其对应的身份之间的数据关联可能会错过一些轨道或产生身份切换。为了减少这些跟踪错误，甚至减少它们在进一步帧中的传播，本文提出了一种深度多镜头神经模型，用于测量人观察之间的外观相似度（MS-DoAS）。该模型为个体的外观表示提供了时间一致性，并提供了一个亲和力度量来执行逐帧数据关联，从而允许在线跟踪。该模型经过精心训练，能够管理先前身份切换的存在和处理轨迹中的遗漏观测。为此，设计了一种新的数据生成工具来创建模拟这种情况的训练轨迹。该模型已被证明是一个高的能力，以辨别当一个新的观察对应于一个特定的轨道，实现了97%的分类准确率在硬测试中，模拟跟踪与以前的错误。此外，该模型在监视应用中的跟踪效率已经通过将其集成到检测跟踪算法的逐帧关联中来证明。
2020-04-07 cs.CV
MOANA: An Online Learned Adaptive Appearance Model for Robust Multiple Object Tracking in 3D
University of Washington（华盛顿大学）
多目标跟踪一直是一个具有挑战性的领域，主要是由于噪声检测集和身份切换所造成的遮挡和附近的目标之间的相似外观。以前的作品依赖于建立在单个或多个选定帧上的外观模型来进行特征的比较，但它们不能对姿势、视角和光照条件引起的长期外观变化进行编码。在这项工作中，我们提出了一个自适应模型，在线学习每个目标的相对长期的外观变化。该模型兼容任何固定维数的特征或它们的组合，其学习率通过自适应更新和空间加权方案来动态控制。为了处理遮挡和附近的物体共享相似的外观，我们还设计了交叉匹配和重新识别方案的基础上提出的自适应外观模型的应用。此外，3D几何信息有效地纳入我们的制定数据关联。所提出的方法优于所有国家的最先进的MOTChallenge 3D基准测试，并实现了实时计算，只有一个标准的桌面CPU。它还在MOTChallenge的2D基准测试中表现出了优于最先进技术的性能。
2019-03-07 cs.CV
Real-time visual tracking by deep reinforced decision making
Seoul National University（首尔大学）；Chung-Ang University（中央大学）
无模型视觉跟踪问题的主要挑战之一是，我们的目标跟踪对象的外观不可预测的和剧烈的变化所带来的困难。现有的方法通过在线更新外观模型以适应外观的变化来解决这个问题。然而，尽管这些方法取得了成功，但外观模型的不准确和错误更新会导致跟踪器漂移。在本文中，我们介绍了一种新的实时的【形】视觉跟踪算法的基础上，通过深度强化学习方法构建的模板选择策略。跟踪算法利用这种策略来选择合适的模板来跟踪给定的帧。模板选择策略是通过利用一个简单的策略梯度方法在从跟踪基准数据集随机生成的大量训练片段上自学习的。我们提出的强化学习框架一般适用于其他基于置信图的跟踪算法。实验结果表明，该跟踪算法的实时的【形】运行速度为43 fps，所提出的策略网络能够有效地确定合适的模板，从而实现成功的视觉跟踪。
2018-08-17 cs.CV
Frame-wise Motion and Appearance for Real-time Multiple Object Tracking
Carnegie Mellon University（卡内基梅隆大学）；Xi’an Jiaotong University（西安交通大学）
多目标跟踪（MOT）的主要挑战是在视频帧之间关联不确定数量的对象的效率。用于跟踪的标准运动估计器，例如，长短期记忆（LSTM）只处理单个对象，而基于重新识别（Re-ID）的方法则会详尽地比较对象的外观。当这两种方法被扩展到大量对象时，计算成本都很高，这使得实时的【形】MOT非常困难。为了解决这些问题，我们提出了一种高效的深度神经网络（DNN），可以同时对不确定数量的对象之间的关联进行建模。DNN的推理计算不会随着对象的数量而增加。我们的方法，逐帧运动和外观（FMA），计算两帧之间的逐帧运动场（FMF），这导致了非常快速和可靠的匹配之间的大量对象边界框。由于辅助信息用于修复不确定的匹配，因此与FMF并行地学习逐帧外观特征（FAF）。在MOT 17基准测试上的大量实验表明，该方法实现了实时的【形】MOT，具有与最先进方法竞争的结果。
2019-05-06 cs.CV
Model-free Tracking with Deep Appearance and Motion Features Integration
Beihang University（北京航空航天大学）；Ministry of Industry and Information Technology of China（中华人民共和国工业和信息化部）；Beijing Advanced Innovation Center for Big Data-Based Precision Medicine（北京大数据精准医疗高精尖创新中心）
无模型跟踪器能够跟踪匿名对象，因此无论目标类型如何，都可以广泛应用。然而，设计这样一个通用的框架是缺乏面向对象的先验信息的挑战。作为一种解决方案，在这项工作中设计了一个实时的无模型的目标跟踪方法依赖于卷积神经网络（CNN）。为了克服以对象为中心的信息稀缺性，外观和运动特征都被所提出的AMNet深度整合，AMNet是一个端到端的离线训练双流网络。在两个并行流之间，ANet使用多尺度Siamese atrous CNN调查外观特征，从而实现匹配跟踪策略。MNet实现了深度运动检测，通过处理通用运动特征来定位匿名移动对象。通过融合来自两个子网络的输出响应图来生成每帧处的最终跟踪结果。拟议的AMNet报告了OTB和VOT基准数据集的领先性能，具有良好的实时处理速度。
2018-12-16 cs.CV
Continuity-Discrimination Convolutional Neural Network for Visual Object Tracking
University of Chinese Academy of Sciences（中国科学院大学）
提出了一种新的视觉目标跟踪模型--连续判别卷积神经网络（CD-CNN）。现有的最先进的跟踪方法不处理视频序列中的时间关系，这导致不完善的特征表示。为了解决这个问题，CD-CNN基于时间缓慢的想法对时间外观连续性进行建模。在数学上，我们证明了，通过引入时间外观连续跟踪，目标外观表示误差的上限可以足够小的概率。此外，为了减轻不准确的目标定位和漂移，我们提出了一个新的概念，对象质心，不仅表征对象，而且在一个给定的补丁内的目标的相对位置。时间外观连续性和物体质心在离线训练期间联合学习，然后转移到在线跟踪。我们评估我们的跟踪器通过广泛的实验两个具有挑战性的基准，并显示其竞争力的跟踪性能相比，最先进的跟踪器。
2021-04-18 cs.CV
SLAck: Semantic, Location, and Appearance Aware Open-Vocabulary Tracking
ETH Zürich（苏黎世联邦理工学院）；INSAIT（INSAIT（国际计算机科学与技术研究所））
针对开放词汇多目标跟踪中现有方法未有效利用运动与语义线索的问题，提出SLAck框架，通过轻量级时空目标图早期融合语义、位置与外观先验，在相关基准新类别跟踪任务上取得最优性能。
2024-09-17 cs.CV
CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion
Tsinghua University（清华大学）；Mogo Auto Intelligence and Telemetics Information Technology Co. Ltd.（蘑菇车联智能网联科技有限公司）
3D多目标跟踪（MOT）确保了连续动态检测过程中的一致性，有利于自动驾驶中后续的运动规划和导航任务。然而，基于相机的方法在遮挡的情况下会受到影响，并且对于基于LiDAR的方法来说，准确地跟踪对象的不规则运动可能具有挑战性。一些融合方法工作得很好，但没有考虑遮挡下的外观特征不可信的问题。同时，误检测问题也显著影响跟踪。因此，我们提出了一种新的基于组合外观运动优化（CAMO-MOT）的相机-LiDAR融合3D MOT框架，该框架同时使用相机和LiDAR数据，并显着减少了由遮挡和错误检测引起的跟踪失败。对于遮挡问题，我们首次提出了一种遮挡头，可以有效地多次选择最佳对象外观特征，减少遮挡的影响。为了减少误检测对跟踪的影响，我们设计了一个基于置信度的运动代价矩阵，提高了在3D空间中的定位和目标预测精度。针对现有的多目标跟踪方法只考虑单一类别的问题，本文还提出了建立多类别损失来实现多类别场景下的多目标跟踪。在KITTI和nuScenes跟踪基准上进行了一系列验证实验。我们提出的方法在KITTI测试数据集上的所有多模态MOT方法中实现了最先进的性能和最低的身份开关（IDS）值（汽车23，行人137）。我们提出的方法在nuScenes测试数据集上的所有算法中达到了最先进的性能，具有75.3%的AMOTA。
2022-09-12 cs.CV
Deep Motion Features for Visual Tracking
Linköping University（林雪平大学）
鲁棒视觉跟踪是计算机视觉中一个具有挑战性的问题，有着广泛的应用前景。大多数现有的方法采用手工制作的外观特征，如HOG或颜色名称。最近，从卷积神经网络提取的深度RGB特征已成功应用于跟踪。尽管他们的成功，这些功能只捕捉外观信息。另一方面，运动提示提供了可以提高跟踪性能的鉴别和补充信息。与视觉跟踪相反，深度运动特征已成功应用于动作识别和视频分类任务。通常，通过在从大量标记视频提取的光流图像上训练CNN来学习运动特征。本文提出了一种调查的影响，深层运动功能的跟踪检测框架。我们进一步表明，手工制作，深RGB和深运动功能包含互补信息。据我们所知，我们是第一个提出融合外观信息与深度运动特征的视觉跟踪。综合实验清楚地表明，我们的深度运动特征融合方法优于仅依赖外观信息的标准方法。
2016-12-20 cs.CV
Know Your Surroundings: Exploiting Scene Information for Object Tracking
ETH Zürich（苏黎世联邦理工学院）
当前最先进的跟踪器仅依赖于目标外观模型，以便在每个帧中定位对象。然而，这样的方法在例如快速外观变化或存在干扰物对象的情况下容易失败，其中单独的目标外观模型不足以进行鲁棒跟踪。在这种情况下，了解周围场景中其他对象的存在和位置是非常有益的。该场景信息可以通过序列传播，并且用于例如明确地避免干扰物对象并消除目标候选区域。在这项工作中，我们提出了一种新的跟踪架构，可以利用场景信息进行跟踪。我们的跟踪器代表这样的信息，密集的本地化状态向量，它可以编码，例如，如果本地区域是目标，背景，或干扰。这些状态向量通过序列传播，并与外观模型输出相结合，以定位目标。我们的网络通过直接最大化视频片段的跟踪性能来有效地利用场景信息。所提出的方法在3个跟踪基准上设置了一个新的最先进的水平，在最近的GOT-10 k数据集上实现了63.6%的AO得分。
2020-05-01 cs.CV
Enforcing Template Representability and Temporal Consistency for Adaptive Sparse Tracking
Colorado School of Mines（科罗拉多矿业学院）
稀疏表示在视觉跟踪中得到了广泛的研究，并显示出良好的跟踪性能。尽管取得了很大的进展，但由于外观随时间的变化，视觉跟踪问题仍然是一项具有挑战性的任务。在本文中，我们提出了一种新的稀疏跟踪算法，很好地解决时间外观的变化，通过执行模板表示性和时间一致性（TRAC）。通过建模时间一致性，我们的算法解决了漂移远离跟踪目标的问题。该方法通过探索模板的长期-短期可表示性，使用最具描述性的模板自适应地更新字典，显著提高了对目标外观变化的鲁棒性。我们比较我们的TRAC算法对国家的最先进的方法对12个具有挑战性的基准图像序列。定性和定量的结果表明，我们的算法显着优于以前的国家的最先进的跟踪器。
2016-04-30 cs.CV
Rt-Track: Robust Tricks for Multi-Pedestrian Tracking
Yunnan Normal University（云南师范大学）
目标跟踪分为单目标跟踪（SOT）和多目标跟踪（MOT）。MOT的目标是在一系列连续的视频序列中保持多个对象的身份。近年来，MOT取得了长足的进步。然而，在复杂场景中建立物体的运动和外观模型仍然面临着各种挑战性的问题。本文提出了一种新的平滑轨迹预测的方向一致性方法（STP-DC），以提高运动信息的建模能力，克服以往方法在复杂场景下鲁棒性不足的缺点。现有的方法使用行人重新识别（Re-ID）来建模外观，但他们提取更多的背景信息，缺乏可区分的遮挡和拥挤的场景。我们提出了一个超粒度特征嵌入网络（HG-FEN），以加强外观模型的建模，从而产生强大的外观描述符。我们还提出了其他鲁棒性技术，包括CF-ECM存储强大的外观信息和SK-AS提高关联精度。为了实现国家的最先进的性能在MOT，我们提出了一个强大的跟踪器名为RT跟踪，结合各种技巧和技术。在MOT 17的测试集上，Rt-track的MOTA、IDF 1和HOTA分别达到79.5、76.0和62.1。在MOT 20的测试集上，Rt-track的MOTA、IDF 1和HOTA分别达到77.9、78.4和63.3，超过了所有已发表的方法。
2023-03-16 cs.CV
On the detection-to-track association for online multi-object tracking
Deakin University（迪肯大学）；The University of Warwick（Warwick）
在利用深度神经网络进行目标检测的最新进展的驱动下，通过检测进行跟踪的范例在多目标跟踪（MOT）的研究社区中越来越流行。人们早就知道，外观信息起着至关重要的作用，在检测到跟踪的关联，这是检测跟踪范式的核心。虽然大多数现有的工作考虑的检测和轨道之间的外观距离，他们忽略了历史的外观距离记录的轨道，这可能是特别有用的，当一个检测具有类似的距离与两个或更多个轨道中隐含的统计信息。在这项工作中，我们提出了一种混合跟踪关联（HTA）算法，该算法采用增量高斯混合模型（IGMM）对跟踪的历史外观距离进行建模，并将导出的统计信息纳入检测到跟踪关联成本的计算中。在三个MOT基准上的实验结果表明，HTA有效地提高了目标识别性能，同时对跟踪速度有很小的影响。此外，与许多最先进的跟踪器相比，配备HTA的DeepSORT跟踪器在跟踪质量和速度的平衡方面实现了更好或相当的性能。
2021-07-01 cs.CV
Polycepta: Object-Centric Appearance Estimation for Multi-Object Tracking
Khalifa University（哈利法大学）
提出Polycepta框架，将外观建模重构为递归估计问题，通过为每个跟踪对象构建并持续更新独立外观状态，实现外观估计质量随推理过程提升，显著减少身份切换并提升跟踪性能。
2026-07-15 cs.AI cs.CV
TP-GMOT: Tracking Generic Multiple Object by Textual Prompt with Motion-Appearance Cost (MAC) SORT
FPT Software AI Center（FPT软件人工智能中心）；University of Arkansas（阿肯色大学）
本文提出TP-GMOT框架，通过文本提示驱动开放词汇检测与融合运动-外观代价的MAC-SORT关联方法，在零训练样本下实现高相似度通用多目标跟踪，并构建Refer-GMOT数据集进行验证。
2024-09-04 cs.CV
Deformable Object Tracking with Gated Fusion
Fuzhou University（福州大学）；Tencent AI Lab（腾讯人工智能实验室）；Jiangnan University（江南大学）；South China University of Technology（华南理工大学）；City University of Hong Kong（香港城市大学）
通过与卷积神经网络（CNN）的集成，检测跟踪框架受到越来越多的关注。然而，现有的基于检测的跟踪方法无法跟踪具有严重外观变化的对象。这是因为传统的卷积运算是在固定网格上执行的，因此在对象改变姿势或在变化的环境条件下可能无法找到正确的响应。在本文中，我们提出了一个可变形的卷积层，以丰富目标的外观表示在跟踪检测框架。我们的目标是捕捉目标的外观变化，通过变形卷积，自适应地增强其原始特征。此外，我们还提出了一个门控融合方案，以控制如何变形卷积捕获的变化影响原始外观。通过可变形卷积的丰富特征表示有助于CNN分类器对目标对象和背景的区分。在标准基准上的大量实验表明，所提出的跟踪器对最先进的方法表现良好。
2019-04-11 cs.CV
COOLer: Class-Incremental Learning for Appearance-Based Multiple Object Tracking
ETH Zürich（苏黎世联邦理工学院）
针对多目标跟踪持续学习中重识别特征易灾难性遗忘的问题，提出基于对比与持续学习的COOLer跟踪器，结合伪标签训练与新的对比增量表征学习技术，在BDD100K等数据集上验证了其缓解遗忘的效果。
2023-10-05 cs.CV
TRAT: Tracking by Attention Using Spatio-Temporal Features
Eskisehir Technical University（埃斯基谢希尔技术大学）；Eskisehir Osmangazi University（埃斯基谢希尔奥斯曼加齐大学）；Technical University of Munich（慕尼黑工业大学）
鲁棒的对象跟踪需要跟踪对象的外观，运动及其随时间的演变的知识。虽然运动提供了独特的和互补的信息，特别是快速移动的目标，大多数最近的跟踪架构主要集中在对象的外观信息。在本文中，我们提出了一个双流深度神经网络跟踪器，同时使用空间和时间特征。我们的架构是在ATOM跟踪器上开发的，包含两个主干：（i）用于捕获外观特征的2D-CNN网络和（ii）用于捕获运动特征的3D-CNN网络。然后将两个网络返回的特征与基于注意力的特征聚合模块（FAM）融合。由于整个架构是统一的，因此可以进行端到端的训练。实验结果表明，所提出的跟踪器TRAT（注意跟踪）达到最先进的性能在大多数的基准测试，它显着优于基线ATOM跟踪器。
2020-11-18 cs.CV
Robust Visual Tracking via Implicit Low-Rank Constraints and Structural Color Histograms
Jiangnan University（江南大学）
基于鉴别相关滤波器（DCF-）的跟踪方法由于其空间外观模型的有效性和鉴别性，近年来取得了很好的效果。然而，由于滤波器退化成为DCF框架中导致跟踪失败的重要因素，有效的时间外观模型的构建仍然具有挑战性。为了鼓励时间连续性和探索目标外观的平滑变化，我们建议增强学习滤波器的低秩结构，这可以通过将连续滤波器约束在$\ell_2$ -范数球内来实现。此外，我们设计了一个全局描述符，结构颜色直方图，提供补充支持的最终响应图，提高了稳定性和鲁棒性的DCF框架。在标准基准测试上的实验结果表明，我们的隐式低秩约束和结构颜色直方图（ILRCSCH）跟踪器优于最先进的方法。
2019-12-24 cs.CV
Walker: Self-supervised Multiple Object Tracking by Walking on Temporal Appearance Graphs
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；INSAIT
提出首个自监督多目标跟踪器Walker，通过设计准密集时序外观图并优化随机游走学习实例相似性，在大幅减少标注需求下于多个基准上取得竞争力性能。
2024-09-25 cs.CV
Visual Tracking via Shallow and Deep Collaborative Model
Dalian University of Technology（大连理工大学）
在本文中，我们提出了一个强大的跟踪方法的基础上的生成模型和判别式分类器的合作，其中的特征分别由浅和深架构学习。对于生成模型，我们引入了一种基于块的增量学习方案，其中构造局部二值掩模来处理遮挡。该方法综合了局部面片与其对应子空间之间的相似度，建立了更精确的全局外观模型。在判别模型中，我们利用深度学习架构的进步来学习对背景杂波和前景外观变化都具有鲁棒性的通用特征。为此，我们首先从辅助视频序列中构建一个有区别的训练集。然后在该训练集上离线训练深度分类神经网络。通过在线微调，分层特征提取器和分类器都可以适应目标的外观变化，实现有效的在线跟踪。这两个模型的协作在处理遮挡和目标外观变化这两个视觉跟踪中矛盾的挑战性因素方面取得了很好的平衡。定量和定性评估对几个国家的最先进的算法上具有挑战性的图像序列证明了所提出的跟踪器的准确性和鲁棒性。
2016-07-27 cs.CV
ReMOTS: Self-Supervised Refining Multi-Object Tracking and Segmentation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）；UISEE Technology (Beijing) Co. Ltd.（北京驭势科技有限公司）；Kyoto University（京都大学）
我们的目标是通过细化来提高多目标跟踪和分割（MOTS）的性能。然而，它仍然具有挑战性的改进MOTS结果，这可能是由于外观特征不适应目标视频，也很难找到合适的阈值来区分它们。为了解决这个问题，我们提出了一个自我监督的细化MOTS（即，ReMOTS）框架。从数据关联的角度来看，ReMOTS主要采取四个步骤来细化MOTS结果。(1)使用预测掩码训练外观编码器。(2)关联相邻帧之间的观测以形成短期轨迹。(3)使用短期tracklet作为可靠的伪标签来训练外观编码器。(4)利用从统计信息自动获得的所采用的外观特征和阈值将短期tracklet合并到长期tracklet。使用ReMOTS，我们在CVPR 2020 MOTS挑战1中达到了$1^{st}$的位置，sMOTSA评分为$69.9$。
2021-01-13 cs.CV
QDTrack: Quasi-Dense Similarity Learning for Appearance-Only Multiple Object Tracking
ETH Zurich（苏黎世联邦理工学院）；Shanghai AI Laboratory（上海人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
提出类稠密相似性学习并构建 QDTrack，通过稠密区域对比学习和最近邻关联实现仅外观多目标跟踪，在 BDD100K MOT 上达到新最优且开销极小。
2023-09-27 cs.CV
Adaptive Correlation Filters with Long-Term and Short-Term Memory for Object Tracking
Shanghai Jiao Tong University（上海交通大学）；Australian Centre for Robotic Vision, The University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；University of California at Merced（加州大学默塞德分校）
对象跟踪是具有挑战性的，因为目标对象经常随时间经历剧烈的外观变化。最近，自适应相关滤波器已成功地应用于目标跟踪。然而，依赖于高度自适应相关滤波器的跟踪算法容易由于噪声更新而漂移。此外，由于这些算法不保持目标外观的长期记忆，它们不能从由相机视图中的严重遮挡或目标消失引起的跟踪失败中恢复。在本文中，我们提出了学习多个自适应相关滤波器的目标外观的长期和短期记忆的鲁棒性目标跟踪。首先，我们学习一个具有积极学习率的核相关滤波器，用于精确定位目标对象。我们考虑到周围的上下文和特征表示的适当大小。其次，我们学习一个相关滤波器的特征金字塔中心的估计目标位置预测规模的变化。第三，我们学习一个互补的相关滤波器与一个保守的学习率，以保持长期记忆的目标外观。我们使用这个长期滤波器的输出响应来确定跟踪失败是否发生。在跟踪失败的情况下，我们应用一个增量学习的检测器，以滑动窗口的方式恢复目标位置。在大规模基准数据集上的大量实验结果表明，该算法在效率、准确性和鲁棒性方面优于现有方法。
2018-03-23 cs.CV
Globally Optimal Object Tracking with Fully Convolutional Networks
Kyushu University（九州大学）
跟踪是计算机视觉和模式识别中最重要但也是最困难的任务之一。跟踪领域的主要困难是外观变化和遮挡。传统的跟踪方法大多预先设定跟踪目标的参数或模板，并进行相应的修改。因此，我们提出了一种新的和强大的跟踪方法，使用全卷积网络（FCN），以获得一个对象的概率图和动态规划（DP），以寻求通过所有帧的视频的全局最优路径。我们提出的方法解决了对象外观变化的问题，使用FCN和处理遮挡DP。我们表明，我们的方法是有效的，通过视频帧跟踪各种单一的对象。
2016-12-25 cs.CV
Fusing Visual Appearance and Geometry for Multi-modality 6DoF Object Tracking
German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）；Vienna University of Technology（维也纳技术大学）
在先进机器人操作的许多应用中，连续需要六个自由度（6DoF）对象位姿估计。在这项工作中，我们开发了一个多模态跟踪器，融合信息的视觉外观和几何形状来估计对象的姿态。该算法扩展了我们以前的方法ICG，它使用几何，另外考虑表面外观。通常，对象表面包含来自文本、图形和图案的局部特征，以及来自不同材料和颜色的全局差异。为了整合这种视觉信息，开发了两种模式。对于局部特征，关键点特征用于最小化来自关键帧的点与当前图像之间的距离。对于全局差异，一个新的区域的方法被开发出来，考虑对象表面上的多个区域。此外，它还允许外部几何形状的建模。在YCB-Video和OPT数据集上的实验表明，我们的方法ICG+在这两个数据集上表现最好，优于传统方法和基于深度学习的方法。同时，该算法效率高，运行频率超过300 Hz。我们的跟踪器的源代码是公开的。
2023-02-22 cs.CV
Multiple Object Tracking with Motion and Appearance Cues
School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院）
近年来，由于视频质量的提高和帧速率的提高，多目标跟踪问题的性能得到了很大的改善。然而，在实际应用场景中，摄像机运动和每帧检测结果的噪声会显着降低跟踪器的性能。高速、高质量的多目标跟踪器仍然是迫切需要的。在本文中，我们提出了一个新的多目标跟踪器以下流行的检测跟踪计划。我们用光流网络来处理摄像机的运动问题，并利用辅助跟踪器来处理丢失检测问题。此外，我们使用的外观和运动信息，以提高匹配质量。在VisDrone-MOT数据集上的实验结果表明，该方法在实现高效率的同时，显著提高了多目标跟踪的性能。
2019-09-01 cs.CV eess.IV
Learning Discriminative Model Prediction for Tracking
ETH Zürich（苏黎世联邦理工学院）
当前对端到端可训练计算机视觉系统的努力对视觉跟踪的任务提出了重大挑战。与大多数其他视觉问题相比，跟踪需要在推理阶段在线学习鲁棒的目标特定外观模型。为了实现端到端的可训练性，目标模型的在线学习需要嵌入到跟踪架构本身中。由于所施加的挑战，流行的暹罗范式简单地预测目标特征模板，而忽略了在推理过程中的背景外观信息。因此，预测模型具有有限的目标-背景区分度。我们开发了一个端到端的跟踪架构，能够充分利用目标和背景外观信息进行目标模型预测。我们的架构是通过设计一个专用的优化过程，能够在几次迭代中预测一个强大的模型，从一个有区别的学习损失。此外，我们的方法能够学习区分损失本身的关键方面。拟议的跟踪器在6个跟踪基准上设置了新的最先进水平，在VOT 2018上实现了0.440的EAO得分，同时运行速度超过40 FPS。代码和模型可在https://github.com/visionml/pytracking上获得。
2020-06-08 cs.CV
Dense Scene Multiple Object Tracking with Box-Plane Matching
Tencent Youtu Lab（腾讯优图实验室）
多目标跟踪（MOT）是计算机视觉中的一项重要任务。由于遮挡问题，MOT仍然具有挑战性，特别是在密集场景中。在检测跟踪的框架下，我们提出了盒平面匹配（BPM）方法来提高密集场景下的MOT性能。首先，我们设计了分层聚集判别模型（LADM）来过滤噪声检测。然后，为了正确地关联剩余检测，我们引入全局注意力特征模型（GAFM）来提取外观特征，并使用它来计算历史轨迹和当前检测之间的外观相似性。最后，我们提出了盒平面匹配策略，以实现数据关联，根据运动相似性和外观相似性之间的轨迹和检测。凭借这三个模块的有效性，我们的团队在ACM MM Grand Challenge Hieve 2020中获得了第一名。
2021-04-01 cs.CV
Modeling and Propagating CNNs in a Tree Structure for Visual Tracking
POSTECH（浦项科技大学）
提出了一种基于树结构的多目标外观模型的在线视觉跟踪算法。该算法采用卷积神经网络（CNN）来表示目标外观，其中多个CNN协作来估计目标状态并确定树中的在线模型更新的期望路径。通过在树结构的不同分支中维护多个CNN，可以方便地处理目标外观中的多模态，并通过沿着树路径的平滑更新来保持模型的可靠性。由于多个CNN共享卷积层中的所有参数，因此它通过节省内存空间和避免冗余网络评估来利用多个模型，而无需额外成本。通过对前一帧中的状态周围的目标候选者进行采样并根据来自一组活动CNN的加权平均得分来识别最佳样本，来估计最终目标状态。我们的算法展示了出色的性能相比，最先进的技术在具有挑战性的数据集，如在线跟踪基准和视觉对象跟踪的挑战。
2016-08-25 cs.CV
Unified Graph based Multi-Cue Feature Fusion for Robust Visual Tracking
视觉跟踪是一个复杂的问题，由于不受约束的外观变化和动态环境。利用多特征从目标环境中提取互补信息，并对目标的外观变化进行自适应，是该研究的关键问题。为此，我们提出了一个强大的目标跟踪框架的基础上统一图融合（UGF）的多线索，以适应对象的外观。稀疏和密集特征的交叉扩散不仅抑制了单个特征的不足，而且还从多线索中提取了互补信息。这个迭代过程建立了鲁棒的统一特征，这些特征对对象变形、快速运动和遮挡是不变的。统一特征的鲁棒性还使得随机森林分类器能够精确地区分前景和背景，从而增加对背景杂波的恢复能力。此外，我们提出了一种新的基于内核的自适应策略，使用离群值检测和转导的可靠性度量。
2019-05-23 cs.CV
Identity-Centric Video Summarization via Hierarchical Fusion of Biometric, Appearance, and 3D Body Features
Universidad de León（莱昂大学）；Institute for Research and Innovation in Engineering (I4)（工程研究与创新学院（I4））
本文提出一种基于多目标跟踪与行人重识别的视频摘要算法，通过融合面部、3D体型和外观特征实现稳健跟踪，并在自定义数据集上显著提升视觉多样性与时间覆盖率。
2026-09-23 cs.CV
Prototype-based Cross-Modal Object Tracking
提出ProtoTrack跨模态跟踪器，利用多模态原型学习方案适应目标外观变化，解决模态切换时的模型漂移和模板表征不足问题。
2023-12-22 cs.CV
Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds
Westlake University（西湖大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；The future network of intelligence institute (FNII)（未来网络智能研究院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
LiDAR点云中的3D单目标跟踪（3D SOT）在自动驾驶中起着至关重要的作用。目前的方法都遵循基于外观匹配的暹罗范例。然而，激光雷达点云通常是无纹理和不完整的，这阻碍了有效的外观匹配。此外，以往的方法严重忽略了目标之间的关键运动线索。在这项工作中，除了3D暹罗跟踪，我们引入了一个以运动为中心的范例，从一个新的角度来处理3D SOT。在此基础上，我们提出了一种无匹配的两级跟踪器M^2-Track。在第一阶段，M^2跟踪通过运动变换在连续帧内定位目标。然后在第二阶段通过运动辅助形状完成对目标框进行细化。广泛的实验证实，M^2-Track在三个大规模数据集上的性能明显优于之前的最先进技术，同时在KITTI、NuScenes和Waymo Open Dataset上以57 FPS的精度分别提高了约8%、约17%和约22%。进一步的分析验证了每个组件的有效性，并显示了以运动为中心的范式的前景潜力时，与外观匹配相结合。
2022-03-03 cs.CV
Discriminative and Efficient Label Propagation on Complementary Graphs for Multi-Object Tracking
Université catholique de Louvain（鲁汶天主教大学）
给定一组在每个时刻独立检测到的检测，我们研究如何将它们跨时间关联起来。这是通过在一组图上传播标签来完成的，每个图捕捉时空或外观线索如何促进将相同或不同的标签分配给一对检测。图的构造是由局部线性嵌入的检测功能的动机。有趣的是，外观图中节点的邻域被定义为包括外观特征可用的所有节点（即使它们在时间上是遥远的）。这给了我们的框架不寻常的能力，利用外观功能，只有零星可用。一旦图被定义，多目标跟踪被公式化为找到与每个图捕获的约束一致的标签分配的问题，这导致凸（DC）程序的差异。我们建议将全局目标函数分解为节点子问题。这不仅允许计算高效的解决方案，而且还支持图的增量和可扩展的构造，从而使框架适用于大型图和实际跟踪场景。此外，它还提供了并行执行的可能性。
2015-12-01 cs.CV
Online Metric-Weighted Linear Representations for Robust Visual Tracking
Zhejiang University（浙江大学）；University of Adelaide（阿德莱德大学）
在本文中，我们提出了一个视觉跟踪器的基础上的外观的度量加权线性表示。为了捕捉不同的特征维度的相互依赖性，我们开发了两种在线距离度量学习方法，使用邻近比较信息和结构化输出学习。然后将学习的度量并入外观的线性表示中。我们表明，在线距离度量学习显着提高了跟踪器的鲁棒性，特别是对那些表现出剧烈的外观变化的序列。为了约束训练样本数量的增长，我们设计了一种时间加权的储层采样方法。此外，我们使我们的跟踪器自动执行对象识别过程中的对象跟踪，通过引入一个集合的静态模板样本属于几个感兴趣的对象类。整个视频序列的对象识别结果是通过系统地结合跟踪信息和视觉识别在每一帧。在具有挑战性的视频序列上的实验结果证明了该方法在帧间跟踪和目标识别方面的有效性。
2015-07-21 cs.CV
The Challenge of Appearance-Free Object Tracking with Feedforward Neural Networks
Northeastern U.（东北大学）；Brown University（布朗大学）
几乎所有使用人工神经网络进行对象跟踪的模型都依赖于从为对象识别而设计的“主干”架构中提取的外观特征。事实上，通过引入能够更好地通过外观区分对象的主干，已经刺激了对象跟踪的重大进展。然而，广泛的神经生理学和心理物理学证据表明，生物视觉系统跟踪对象使用外观和运动功能。在这里，我们介绍了$\textit{PathTracker}$，一个视觉挑战的灵感来自认知心理学，它测试的能力，观察者学习跟踪对象只通过他们的运动。我们发现，标准的3D卷积深度网络模型在生成的场景中引入杂波或物体长距离移动时很难解决这个任务。这一挑战揭示了跟踪物体运动的路径是前馈神经网络的一个盲点。我们希望，从生物视觉中进行无外观目标跟踪的策略可以激发解决这些深度神经网络故障的解决方案。
2021-09-30 cs.CV cs.LG cs.NE
Robust Visual Object Tracking with Two-Stream Residual Convolutional Networks
Shanghai University（上海大学）；JD AI Research（京东人工智能研究院）；Migu Culture & Technology（咪咕文化科技有限公司）
当前基于深度学习的视觉跟踪方法通过在离线模式下从大量监督训练数据中学习目标分类和/或估计模型已经非常成功。然而，由于存在干扰物密集、背景模糊、运动模糊等问题，大多数算法仍无法实现目标跟踪。受人类“视觉跟踪“能力的启发，本文提出了一种基于两流残差卷积网络（TS-RCN）的视觉跟踪算法，其成功地利用了外观和运动特征来进行模型更新。我们的TS-RCN可以与现有的基于深度学习的视觉跟踪器集成。为了进一步提高跟踪性能，我们采用了一个“更广泛的”残差网络ResNeXt作为其特征提取骨干。据我们所知，TS-RCN是第一个端到端可训练的双流视觉跟踪系统，它充分利用了目标的外观和运动特征。我们在最广泛使用的基准数据集上广泛评估了TS-RCN，包括VOT 2018，VOT 2019和GOT-10 K。实验结果表明，我们的双流模型可以大大优于基于外观的跟踪器，它也达到了最先进的性能。跟踪系统的运行速度高达38.1 FPS。
2020-05-13 cs.CV
Enhanced Kalman with Adaptive Appearance Motion SORT for Grounded Generic Multiple Object Tracking
University of Arkansas（阿肯色大学）；University of Science, VNU-HCM（胡志明市国家大学科学大学）；Vietnam National University（越南国家大学）
针对多目标跟踪依赖预定义类别及现有通用跟踪方法受限于初始边界框的问题，提出基于自然语言描述的Grounded-GMOT范式，构建G2MOT数据集，并设计融合外观与运动线索且增强Kalman滤波的KAM-SORT方法，显著提升了通用多目标跟踪性能。
2024-10-11 cs.CV
TAPL: Dynamic Part-based Visual Tracking via Attention-guided Part Localization
Nanyang Technological University（南洋理工大学）；MediaTek, Inc.（联发科技股份有限公司）
基于整体对象表示的跟踪器在大的外观变化（如变形和遮挡）下性能下降。在这项工作中，我们提出了一个动态的部分为基础的跟踪器，并不断更新的目标部分表示，以适应对象的外观变化。此外，我们设计了一个注意力引导的零件定位网络，直接预测目标零件的位置，并确定最终的限界框与目标零件的分布。我们提出的跟踪器在各种基准测试中取得了令人鼓舞的结果：VOT 2018，OTB 100和GOT-10 k
2021-10-25 cs.CV
Exploit the Connectivity: Multi-Object Tracking with TrackletNet
University of Washington（华盛顿大学）
多目标跟踪（MOT）是一个重要的和实际的任务，涉及到监控系统和移动摄像机应用，如自动驾驶和机器人视觉。然而，由于不可靠的检测，遮挡和快速相机运动，跟踪的目标很容易丢失，这使得MOT非常具有挑战性。最近的作品把跟踪作为一个重新识别（重新ID）的任务，但如何结合外观和时间特征仍然没有得到很好的解决。在本文中，我们提出了一种创新和有效的跟踪方法称为TrackletNet跟踪器（TNT），结合时间和外观信息作为一个统一的框架。首先，我们定义了一个图形模型，将每个轨迹作为一个顶点。轨迹线是通过与CNN特征的外观相似性和具有极线约束的交叉合并（IOU）来生成的，以补偿相邻帧之间的相机移动。然后，对于每一对两个tracklet，相似性是由我们设计的多尺度TrackletNet测量的。之后，轨迹片段被聚类到表示各个对象ID的组中。我们提出的TNT有能力处理MOT中的大多数挑战，并与其他最先进的方法相比，在MOT16和MOT17基准数据集上取得了令人鼓舞的结果。
2018-11-18 cs.CV
Robust Visual Tracking via Hierarchical Convolutional Features
Shanghai Jiao Tong University（上海交通大学）；Australian Centre for Robotic Vision, The University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；University of California, Merced（加州大学默塞德分校）
在本文中，我们提出利用深度卷积神经网络的丰富层次特征来提高视觉跟踪的准确性和鲁棒性。在对象识别数据集上训练的深度神经网络由多个卷积层组成。这些层用不同的抽象级别对目标外观进行编码。例如，最后一个卷积层的输出对目标的语义信息进行编码，并且这种表示对于显著的外观变化是不变的。然而，它们的空间分辨率太粗糙，无法精确定位目标。相比之下，早期卷积层的特征提供了更精确的定位，但对外观变化的不稳定性较低。我们将卷积层的分层特征解释为图像金字塔表示的非线性对应物，并明确利用这些多层次的抽象来表示目标对象。具体来说，我们在每个卷积层的输出上学习自适应相关滤波器来编码目标外观。我们推断每一层的最大响应，以粗到细的方式定位目标。为了进一步处理尺度估计和重新检测目标对象的问题，从跟踪失败所造成的严重遮挡或out-of-the-view运动，我们保守地学习另一个相关滤波器，保持目标外观的长期记忆，作为一个判别分类器。我们将分类器应用于两种类型的对象建议：（1）具有小步长并且紧密围绕估计位置进行尺度估计的建议;以及（2）具有大步长并且跨越整个图像进行目标重新检测的建议。大规模基准数据集上的实验结果表明，该算法对最先进的跟踪方法表现良好。
2018-08-11 cs.CV
