Multiple Object Tracking by Flowing and Fusing
Carnegie Mellon University（卡内基梅隆大学）；Xi’an Jiaotong University（西安交通大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Fudan University（复旦大学）；Kyoto University（京都大学）
大多数多目标跟踪（MOT）方法计算单个目标特征的两个子任务：估计目标的运动和进行成对的重新识别（Re-ID）。由于视频帧中的目标数量不确定，这两个子任务很难在端到端深度神经网络（DNN）中有效地扩展。在本文中，我们设计了一种端到端的DNN跟踪方法，Flow-Tracker-Tracker（FFT），它通过两种有效的技术解决了上述问题：目标流动和目标融合。具体而言，在目标流动中，FlowTracker DNN模块从像素级光流联合学习不确定数量的目标方向运动。在目标融合中，FuseTracker DNN模块细化和融合由FlowTracker和逐帧目标检测提出的目标，而不是信任两个不准确的目标建议来源中的任何一个。由于FlowTracker可以探索复杂的目标运动模式，FuseTracker可以从FlowTracker和检测器中提炼和融合目标，因此我们的方法可以在几个MOT基准测试中获得最先进的结果。作为一种在线MOT方法，FFT在2DMOT 15上产生了46.3的最高MOTA，在MOT 16上产生了56.5的最高MOTA，在MOT 17跟踪基准上产生了56.5的最高MOTA，超过了现有出版物中的所有在线和离线方法。
2020-01-30 cs.CV
Object Tracking in Satellite Videos Based on a Multi-Frame Optical Flow Tracker
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）
目标跟踪是计算机视觉中的一个研究热点。随着超高分辨率遥感技术的发展，利用卫星视频对感兴趣的目标进行跟踪成为可能。然而，由于卫星视频中的目标相对于整幅图像而言往往太小，且与背景过于相似，现有的算法都不能很好地跟踪卫星视频中的目标。基于光流在检测目标微小运动方面的巨大潜力，提出了一种多帧光流跟踪器（MOFT）用于卫星视频中的目标跟踪。采用Lucas-Kanade光流法结合HSV彩色系统和积分图像对卫星视频中的目标进行跟踪，采用多帧差分法对光流跟踪器进行解译。对3个VHR遥感卫星视频数据集的实验表明，与现有目标跟踪算法相比，该方法能够更准确地跟踪目标。
2018-04-25 cs.CV
Object Tracking in Videos: Approaches and Issues
INRIA（法国国家信息与自动化研究所）；Phu Xuan Private University（富春私立大学）
移动目标跟踪在计算机视觉的应用中有着重要的地位。在本文中，我们使用一个跟踪目标为基础的分类，提出了目标跟踪算法。跟踪目标分为三类：兴趣点，外观和轮廓的移动对象。分析了各种跟踪方法的优点和局限性，指出了目标跟踪领域的发展方向。
2013-04-18 cs.CV
Adaptive Objectness for Object Tracking
Temple University（天普大学）；HiScene Information Technologies（海深信息科技）；Toyota Research Institute, North America（丰田北美研究院）
目标跟踪是视觉领域的一个长期存在的问题。虽然已经花费了很大的努力来提高跟踪性能，但一个简单而可靠的先验知识尚未被利用：跟踪中的目标对象必须是非对象以外的对象。最近提出并推广的目标性度量为视觉跟踪中的先验建模提供了一种自然的方法。因此，在本文中，我们提出了适应对象的视觉对象跟踪。而不是直接应用现有的对象性措施，是通用的，并处理各种对象和环境，我们适应它是兼容的特定的跟踪序列和对象。更具体地说，我们使用新提出的BING对象作为基础，然后训练对象自适应对象的每个跟踪任务。训练是通过使用自适应支持向量机，它将来自特定跟踪目标的信息集成到BING测量中来实现的。我们强调，建议的自适应对象，名为ADOBING的好处，是通用的。为了证明这一点，我们在最近的评估中将ADOBING与七个表现最好的跟踪器结合起来。我们在两个流行的基准上运行ADOBING增强的跟踪器及其基础跟踪器，CVPR 2013基准（50个序列）和普林斯顿跟踪基准（100个序列）。在这两个基准测试中，我们的方法不仅始终如一地提高了基础跟踪器，而且还实现了最佳性能。注意到我们在视觉跟踪中集成对象性的方式是通用的和直接的，我们期望通过使用跟踪器特定的对象性得到更多的改进。
2015-01-05 cs.CV
SDOF-Tracker: Fast and Accurate Multiple Human Tracking by Skipped-Detection and Optical-Flow
KDDI Research, Inc.（KDDI研究所）；RIKEN（理化学研究所）；Nagoya University（名古屋大学）
多人跟踪是场景理解的一个基本问题。虽然在现实世界的应用中需要准确性和速度，但最近基于深度学习的跟踪方法专注于准确性，需要大量的运行时间。本研究的目的是提高运行速度，在一定的帧间隔进行人体检测，因为它占了大部分的运行时间。问题是如何在跳过人类检测的同时保持准确性。在本文中，我们提出了一种方法，补充检测结果与光流的基础上，一个人的外观并没有改变很多相邻帧之间。为了保持跟踪的准确性，我们引入了强大的兴趣点选择内的人体区域和跟踪终止度量计算的兴趣点的分布。在MOTChallenge的MOT 20数据集上，提出的SDOF-Tracker在保持MOTA指标的同时，在总运行速度方面实现了最佳性能。我们的代码可在https://github.com/hitottiez/sdof-tracker上获得。
2022-04-30 cs.CV
Instance Flow Based Online Multiple Object Tracking
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation（弗劳恩霍夫光电、系统技术与图像利用研究所）
我们提出了一种方法来执行在线多目标跟踪（MOT）的已知对象类别的单目视频数据。当前的检测跟踪MOT方法建立在2D限界框检测之上。相比之下，我们利用最先进的实例感知语义分割技术来计算目标对象在每帧中的二维形状表示。我们利用光流线索来预测分割实例在后续帧中的位置和形状。我们定义了一个亲和矩阵的后续帧的实例之间的局部性和视觉相似性。实例关联采用匈牙利方法求解。我们使用MOT 2D 2015训练数据集评估了我们算法的不同配置。评估表明，我们的跟踪方法是能够跟踪高相对运动的对象。此外，我们提供了我们的方法在MOT 2D 2015测试集上的结果，以与以前的作品进行比较。我们的MOTA得分为32.1。
2017-05-15 cs.CV
SMOT: Single-Shot Multi Object Tracking
Amazon AWS AI（亚马逊AWS人工智能（Amazon AWS AI））
我们提出了单镜头多目标跟踪器（SMOT），一个新的跟踪框架，任何单镜头检测器（SSD）模型转换成一个在线多目标跟踪器，它强调同时检测和跟踪的对象路径。与现有的检测跟踪方法不同，SMOT采用了最近提出的重检测跟踪方法。我们将此方案与SSD检测器相结合，提出了一种新的跟踪锚分配模块。通过这种设计，SMOT能够以恒定的每帧运行时间生成轨迹。一个轻量级的链接算法，然后用于在线tracklet链接。在Hannah、Music Videos和MOT17三个目标跟踪基准测试中，SMOT达到了最先进的性能。
2020-10-30 cs.CV
Single Object Tracking Research: A Survey
Tianjin University（天津大学）；Key Research Center for Surface Monitoring and Analysis of Cultural Relics（文物本体表面监测与分析研究重点科研基地）
视觉目标跟踪是计算机视觉中的一项重要任务，它有许多现实世界的应用，例如，视频监控视觉导航视觉对象跟踪也具有许多挑战，例如，物体遮挡和变形。为了解决上述问题，准确、高效地跟踪目标，近年来出现了许多跟踪算法。本文介绍了近十年来最流行的两种跟踪框架的基本原理和代表作品，相关滤波器和Siamese网络用于目标跟踪。然后，我们提出了一些基于深度学习的跟踪方法，按不同的网络结构分类。我们还介绍了一些经典的策略来处理跟踪问题的挑战。在此基础上，详细介绍和比较了跟踪的基准和挑战，总结了视觉跟踪的发展历史和发展趋势。重点介绍了目标跟踪技术的未来发展，认为目标跟踪技术在应用于实际场景之前还需要解决一些问题，如长时间跟踪、低功耗高速跟踪和攻击鲁棒性跟踪等问题。在未来，多模态数据的集成，例如，深度图像、热图像与传统的彩色图像相结合，将为视觉跟踪提供更多的解决方案。此外，跟踪任务将与其他一些任务一起进行，例如，视频目标检测和分割。
2022-04-25 cs.CV
Exemplar-based Linear Discriminant Analysis for Robust Object Tracking
Huazhong University of Science and Technology（华中科技大学）
检测跟踪是一种非常有吸引力的跟踪技术，它将跟踪问题视为一个类别检测问题。然而，跟踪中的任务是搜索特定的对象，而不是像检测中那样搜索对象类别。在本文中，我们提出了一种新的跟踪框架的基础上，样本检测器，而不是类别检测器。建议的跟踪器是一个基于样本的线性判别分析（ELDA）检测器的合奏。每个检测器都是非常具体和有区别的，因为它是由单个对象实例和大量否定训练的。为了提高其自适应性，我们更新对象和背景模型。在几个具有挑战性的视频序列上的实验结果表明，我们的跟踪算法的有效性和鲁棒性。
2014-02-24 cs.CV
Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking
Xiamen University（厦门大学）；Xidian University（西安电子科技大学）
事件摄像机是一种异步生物视觉传感器，在快速运动和低照度场景等各种情况下显示出巨大的潜力。然而，大多数基于事件的对象跟踪方法都是针对无纹理对象和无杂乱背景的场景而设计的。很少有基于事件的对象跟踪方法支持基于限界框的对象跟踪。这项工作背后的主要思想是提出一个异步的基于事件的跟踪检测（ETD）方法的通用限界框为基础的对象跟踪。为了实现这一目标，我们提出了一个自适应时间表面与线性时间衰减（ATSLTD）的事件到帧转换算法，异步和有效地扭曲的时空信息的异步视网膜事件的序列的ATSLTD帧具有清晰的对象轮廓。我们饲料的ATSLTD帧序列的建议ETD方法进行准确和有效的对象跟踪，它利用了事件相机的高时间分辨率属性。我们比较了建议的ETD方法与七种流行的对象跟踪方法，这些方法是基于传统的相机或事件相机，以及ETD的两个变体。实验结果表明，所提出的ETD方法在处理各种具有挑战性的环境中的优越性。
2020-02-13 cs.CV
Real-time Multi-Object Tracking Based on Bi-directional Matching
Jiangxi University of Science and Technology（江西理工大学）
近年来，无锚点目标检测模型与匹配算法相结合，可以实现实时的【形】多目标跟踪，并保证较高的跟踪精度。然而，多目标跟踪仍然存在很大的挑战。例如，当目标的大部分被遮挡或目标只是暂时从图像中消失时，这通常会导致大多数现有跟踪算法的跟踪中断。因此，本研究提供一种多目标追踪的双向匹配演算法，利用双向运动预测资讯来改善遮蔽处理。在匹配算法中使用滞留区域来临时存储未能被跟踪的对象。当物体从遮挡中恢复时，我们的方法将首先尝试将它们与滞留区域中的物体进行匹配，以避免错误地生成新的身份，从而形成更连续的轨迹。实验结果表明，该方法可以提高多目标跟踪的性能，在存在遮挡。此外，本研究还提供了一个注意力上采样模块，不仅保证了跟踪的准确性，而且加快了训练速度。在MOT17挑战赛中，该算法实现了63.4%的MOTA，55.3%的IDF1和20.1 FPS的跟踪速度。
2023-03-15 cs.CV
Seeing Behind Objects for 3D Multi-Object Tracking in RGB-D Sequences
Technical University of Munich（慕尼黑工业大学）；University College London（伦敦大学学院）；Adobe Research（Adobe研究院）
RGB-D视频序列中的多目标跟踪是一个具有挑战性的问题，因为随着时间的推移，变化的视点，运动和遮挡的组合。我们观察到，具有完整的几何形状的对象的援助，在他们的跟踪，因此建议联合推断的完整的几何形状的对象，以及跟踪它们，随着时间的推移，刚性移动的对象。我们的关键见解是，推断对象的完整几何形状显着有助于跟踪。通过幻觉对象的看不见的区域，我们可以获得相同实例之间的额外对应关系，从而即使在强烈的外观变化下也提供鲁棒的跟踪。从RGB-D帧序列中，我们检测每个帧中的对象，并学习预测它们的完整对象几何形状以及到规范空间的密集对应映射。这使我们能够导出每个帧中对象的6DoF姿态，以及帧之间的对应关系，从而在RGB-D序列中提供强大的对象跟踪。在合成和真实RGB-D数据上的实验表明，我们在动态对象跟踪上实现了最先进的性能。此外，我们表明，我们的对象完成显着有助于跟踪，提供了一个平均MOTA的$6.5\%$的改进。
2020-12-16 cs.CV
Automatic Parameter Adaptation for Multi-object Tracking
INRIA（法国国家信息与自动化研究所）
对象跟踪质量通常取决于视频上下文（例如对象遮挡水平、对象密度）。为了减少这种依赖性，本文提出了一种学习方法，以适应跟踪器参数的上下文变化。在离线阶段中，为视频上下文聚类学习令人满意的跟踪参数。在在线控制阶段，一旦检测到上下文变化，就使用学习值来调谐跟踪参数。实验结果表明，该方法的性能优于现有的跟踪器。本文的主要贡献有两个方面：（1）提出了一种基于视频序列分类的离线跟踪参数学习方法;（2）提出了一种基于跟踪上下文的在线跟踪参数调整方法。
2013-05-13 cs.CV
Tracking 6-DoF Object Motion from Events and Frames
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
事件相机是用于低延迟跟踪和高动态范围成像的有前途的设备。在本文中，我们提出了一种新的方法为6度的自由度（6-DoF）的对象运动跟踪相结合的测量事件和帧为基础的相机。我们制定跟踪从高速率事件的概率生成模型的eventmeasurement过程中的对象。在第二层上，我们通过直接图像对齐在较慢速率的图像帧中细化对象轨迹。我们评估了我们的方法的准确性在几个目标跟踪场景与合成数据，并alsocperformed实验与真实数据。
2021-03-29 cs.CV
Learning of Global Objective for Network Flow in Multi-Object Tracking
Rochester Institute of Technology（罗切斯特理工学院）；Monash University（莫纳什大学）
研究了基于最小费用流（MCF）的多目标跟踪问题，传统上将其作为线性规划的一个实例进行研究。鉴于其计算上易于处理的推理，MCF跟踪的成功在很大程度上依赖于底层线性规划的学习成本函数。大多数以前的研究集中在学习成本函数，在训练过程中只考虑两个帧，因此学习的成本函数是次优的MCF，其中多帧数据关联必须在推理过程中考虑。为了解决这个问题，在本文中，我们提出了一种新的可微框架，通过解决一个双层优化问题，在学习过程中将训练和推理联系在一起，其中下层解决线性规划，上层包含一个包含全局跟踪结果的损失函数。通过经由梯度下降将损失反向传播通过可微层，全局参数化成本函数被显式地学习和正则化。通过这种方法，我们能够为全球MCF跟踪学习更好的目标。因此，与当前最先进的方法相比，我们在流行的多目标跟踪基准（如MOT16，MOT17和MOT20）上实现了具有竞争力的性能。
2022-03-30 cs.CV
Globally Optimal Object Tracking with Fully Convolutional Networks
Kyushu University（九州大学）
跟踪是计算机视觉和模式识别中最重要但也是最困难的任务之一。跟踪领域的主要困难是外观变化和遮挡。传统的跟踪方法大多预先设定跟踪目标的参数或模板，并进行相应的修改。因此，我们提出了一种新的和强大的跟踪方法，使用全卷积网络（FCN），以获得一个对象的概率图和动态规划（DP），以寻求通过所有帧的视频的全局最优路径。我们提出的方法解决了对象外观变化的问题，使用FCN和处理遮挡DP。我们表明，我们的方法是有效的，通过视频帧跟踪各种单一的对象。
2016-12-25 cs.CV
Transparent Object Tracking Benchmark
University of North Texas（北德克萨斯大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
视觉跟踪近年来取得了长足的发展。然而，目前该领域的研究主要集中在不透明物体的跟踪，而很少关注透明物体的跟踪。在本文中，我们首次尝试在探索这个问题，提出了一个透明的对象跟踪基准（TOTB）。具体来说，TOTB由来自15个不同透明对象类别的225个视频（86K帧）组成。每个序列都使用轴对齐的边界框手动标记。据我们所知，TOTB是第一个致力于透明对象跟踪的基准测试。为了了解现有跟踪器的性能，并为未来的TOTB研究提供比较，我们广泛评估了25种最先进的跟踪算法。评估结果表明，需要更多的努力，以提高透明对象跟踪。此外，我们观察到一些不平凡的结果，从评价是不一致的一些共同的信念，在不透明的对象跟踪。例如，我们发现更深层次的特征并不总是有利于改进。此外，为了鼓励未来的研究，我们引入了一种新的跟踪器，名为TransATOM，它利用透明功能进行跟踪，并大大超过了所有25种评估方法。通过发布TOTB，我们希望在学术界和工业界促进透明物体跟踪的未来研究和应用。TOTB和评估结果以及TransATOM可在https://hengfan2010.github.io/projects/TOTB上获得。
2021-08-01 cs.CV
Visual Multiple-Object Tracking for Unknown Clutter Rate
Curtin University（科廷大学）
在多目标跟踪应用中，模型参数整定是实现可靠性能的前提。具体地，由于各种感测条件和视场中的变化，难以知道错误测量的统计。在本文中，我们有兴趣设计一个多目标跟踪算法，处理未知的错误测量率。最近提出的鲁棒多贝努利滤波器用于杂波估计，而广义标记多贝努利滤波器被认为是用于目标跟踪。实际视频的性能评估证明了该跟踪算法在实际场景中的有效性。
2017-11-30 cs.CV
Unified Transformer Tracker for Object Tracking
University of Technology Sydney（悉尼科技大学）；National University of Singapore（新加坡国立大学）；Meta AI；Zhejiang University（浙江大学）
目标跟踪作为计算机视觉的一个重要研究领域，已经形成了两个独立的研究群体，分别研究单目标跟踪（SOT）和多目标跟踪（MOT）。然而，由于两个任务的训练数据集和跟踪对象不同，一个跟踪场景中的当前方法不容易适应另一个。虽然UniTrack \cite{wang2021different}证明了具有多个头部的共享外观模型可以用于处理单个跟踪任务，但它未能利用大规模跟踪数据集进行训练，并且在单个对象跟踪上表现不佳。在这项工作中，我们提出了统一的Transformer跟踪器（UTT），以解决跟踪问题，在不同的情况下，一个范例。我们的UTT中开发了一个跟踪Transformer，用于SOT和MOT中的目标跟踪。利用目标和跟踪帧特征之间的相关性对目标进行定位。我们证明，SOT和MOT任务可以在这个框架内解决。该模型可以通过在单个任务的数据集上交替优化SOT和MOT目标来同时进行端到端训练。在SOT和MOT数据集上训练的统一模型在几个基准上进行了广泛的实验。代码将在https://github.com/Flowerfan/Trackron上提供。
2022-06-08 cs.CV
Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking
Technical University Munich（慕尼黑工业大学）；University of Adelaide（阿德莱德大学）；ETH Zürich（苏黎世联邦理工学院）；TU Darmstadt（达姆施塔特工业大学）
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大，但基准往往提供了最客观的业绩衡量标准，因此是研究的重要指南。我们为2014年底推出的多目标跟踪提供了一个基准，目标是为多目标跟踪方法的标准化评估创建一个框架。本文收集了迄今为止的两个基准测试版本，并对近50种最先进的跟踪器进行了深入分析，这些跟踪器在超过11000帧上进行了测试。我们展示了多人跟踪方法的当前趋势和弱点，并提供了研究人员应该专注于推动该领域向前发展的指针。
2017-04-10 cs.CV
Particle Video Revisited: Tracking Through Occlusions Using Point Trajectories
Carnegie Mellon University（卡内基梅隆大学）
跟踪视频中的像素通常被研究为光流估计问题，其中每个像素用将其定位在下一帧中的位移向量来描述。即使更广泛的时间背景是免费提供的，以前的努力，考虑到这一点只产生了小的收益超过2帧的方法。在本文中，我们重温了沙子和泰勒的“粒子视频”的方法，并研究像素跟踪作为一个长距离的运动估计问题，其中每个像素被描述的轨迹，将其定位在多个未来的帧。我们使用驱动流和对象跟踪当前最先进技术的组件重新构建了这种经典方法，例如密集成本图，迭代优化和学习外观更新。我们训练我们的模型使用从现有的光流数据，我们综合增加多帧遮挡挖掘的远程非模态点轨迹。我们在轨迹估计基准和关键点标签传播任务中测试了我们的方法，并与最先进的光流和特征跟踪方法进行了比较。
2022-07-25 cs.CV
Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking
Czech Technical University in Prague（捷克布拉格技术大学）
视觉对象跟踪主要集中在不透明对象上，而透明对象跟踪很少受到关注。由于透明物体的外观直接受背景影响，因此最近出现了第一个专用评估数据集。我们通过提出第一个透明对象跟踪训练数据集Trans2k来促进这一努力，该数据集由超过2k个序列组成，总共有104，343张图像，由边界框和分割掩码注释。注意到透明对象可以由现代渲染器逼真地渲染，我们量化特定于域的属性，并渲染包含现有对象训练数据集中未涵盖的视觉属性和跟踪情况的数据集。当使用Trans2k进行训练时，我们在各种现代跟踪架构中观察到一致的性能提升（高达16%），并显示出由于缺乏适当的训练集而无法实现的见解。数据集和渲染引擎将公开发布，以释放现代基于学习的跟踪器的功能，并促进透明对象跟踪的新设计。
2022-10-07 cs.CV
Visual Object Tracking on Multi-modal RGB-D Videos: A Review
本综述系统总结RGB-D视觉目标跟踪的基准数据集、性能评估指标和现有方法，并展望未来研究方向，为复杂场景下的多模态跟踪提供全面参考。
2024-03-17 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University（波特兰州立大学）；Intel Corporation（英特尔公司）
我们提出了一种新的算法，利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化（BO）框架编码的时空信息，有效的视频对象跟踪。特别是，我们把视频跟踪问题作为一个动态（即时间演变）优化问题。使用高斯过程先验，我们建模一个动态的目标函数，表示跟踪对象在每帧中的位置。通过利用时间相关性，所提出的方法以统计原则和有效的方式查询搜索空间，提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
Camouflaged Object Tracking: A Benchmark
College of Computer Science and Engineering, Guilin University of Technology, China（桂林理工大学计算机科学与工程学院）；Guangxi Key Laboratory of Embedded Technology and Intelligent System, Guilin University of Technology, China（广西嵌入式技术与智能系统重点实验室）；School of Automation Science and Engineering, Xi’an Jiaotong University, Xi’an, Shaanxi 710049, China（西安交通大学自动化科学与工程学院）；College of Computer Science, Sichuan University, Sichuan 610065, China（四川大学计算机学院）
针对伪装目标跟踪研究不足的问题，本文构建了包含200个序列的COTD基准，评估现有算法并发现其缺陷，同时提出HiPTrack-MLS框架以提升伪装目标跟踪性能。
2025-05-30 cs.CV
Multi-Branch Siamese Networks with Online Selection for Object Tracking
Polytechnique Montreal（蒙特利尔高等理工学院）；TELUQ University（魁北克大学电视学院）
在本文中，我们提出了一个强大的目标跟踪算法的基础上，选择分支选择机制，选择最有效的对象表示从多分支连体网络。虽然大多数深度学习跟踪器使用单个CNN进行目标表示，但提出的多分支连体跟踪器（MBST）采用了针对不同任务预先训练的CNN的多个分支，并用于我们跟踪方法中的各种目标表示。利用我们的分支选择机制，以在线方式根据目标特征选择适当的CNN分支。通过使用最充分的目标表示相对于被跟踪的对象，我们的方法实现了实时跟踪，同时获得改进的性能相比，标准的暹罗网络跟踪器的对象跟踪基准。
2018-08-31 cs.CV
Faster object tracking pipeline for real time tracking
Infocusp Innovations Private Limited（Infocusp创新私人有限公司）
多目标跟踪（MOT）是基于视觉的应用中一个具有挑战性的实际问题。MOT的最新方法使用来自Faster RCNN等模型的预计算检测，在后续阶段执行边界框和关联的微调。然而，这不适合于实际的工业应用，因为不能预先检测。在他们最近的工作中，Wang等人提出了一种跟踪管道，该管道使用联合检测和嵌入模型，并实时执行目标定位和关联。在研究通过检测进行跟踪的范例时，我们发现通过与模型预测并行地执行定位和关联任务可以使跟踪管道更快。这一点，以及其他计算优化，如使用混合精度模型和执行分批检测，导致跟踪流水线的速度提高了57.8%（19 FPS到30 FPS）的全高清分辨率。此外，该速度与图像序列中的目标密度无关。本文的主要贡献是展示了一个通用的管道，可用于加快基于检测的对象跟踪方法。我们还审查了不同的批处理大小以获得最佳性能，同时考虑了GPU内存使用和速度。
2020-11-08 cs.CV
A Novel Low-cost FPGA-based Real-time Object Tracking System
Shenzhen Graduate School, Harbin Institute of Technology（哈尔滨工业大学深圳研究生院）；Sanechips Technology Co., Ltd（中兴微电子技术有限公司）
在目前的视觉目标跟踪系统中，基于CPU或GPU的视觉目标跟踪系统具有高计算成本并且消耗令人望而却步的量的功率。因此，在本文中，为了减少Camshift算法的计算负担，我们提出了一种新的视觉目标跟踪算法，利用二进制分类器和卡尔曼预测器的属性。此外，我们提出了一个低成本的基于FPGA的实时的【形】目标跟踪硬件架构。OTB基准测试结果表明，该系统具有极强的实时的【形】稳定性和鲁棒性。评估结果表明，我们的算法的准确率约为48%，平均速度约为每秒309帧。
2018-04-22 cs.CV
Robust video object tracking using particle filter with likelihood based feature fusion and adaptive template updating
Nanjing University（南京大学）
针对复杂视频场景中的目标跟踪问题，提出了一种鲁棒的算法解决方案。在这种解决方案中，引导粒子滤波器（PF）初始化的对象检测器，模型的视频信号的时间演变的背景下，自适应高斯混合。对象的运动由马尔可夫模型表示，该模型定义了状态转移先验。采用颜色和纹理特征表示目标，提出了一种基于边缘似然的特征融合方法。相应的目标模板模型更新程序的开发，以考虑在跟踪过程中的对象的可能的规模变化。实验结果表明，我们的算法击败了现有的几个替代方案，在解决具有挑战性的情况下，视频跟踪任务。
2015-09-28 cs.CV
Beyond Traditional Single Object Tracking: A Survey
The University of British Columbia（不列颠哥伦比亚大学）
该综述聚焦单目标跟踪任务，梳理多类前沿视觉技术在该领域的应用，提出新的方法分类体系，开展性能对比与优劣分析，给出非传统技术应用指南并指明未来研究方向。
2024-05-16 cs.CV
Optical Flow-Guided 6DoF Object Pose Tracking with an Event Camera
National University of Defense Technology（国防科技大学）；Wuhan University（武汉大学）
本文提出基于事件相机的光学流引导的6自由度物体姿态跟踪方法，通过混合特征提取和光流优化提升跟踪精度与鲁棒性。
2025-12-24 cs.CV
Robust 6-DoF Object Pose Tracking with Built-In Recovery under Occlusions and Rapid Object Motions
Woven by Toyota, Inc.（丰田编织公司）；University of Bonn（波恩大学）；University of Bonn, Center for Robotics, and the Lamarr Institute for Machine Learning and Artificial Intelligence（波恩大学机器人中心以及拉玛尔机器学习与人工智能研究所）
针对RGB-D数据中未见物体的6自由度跟踪问题，尤其是遮挡和快速运动场景，提出结合关键点匹配与优化对齐及故障检测恢复模块的方法，在多场景评估中表现出色，是鲁棒6自由度物体跟踪的重要进展。
2026-07-28 cs.CV
TransTrack: Multiple Object Tracking with Transformer
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；ByteDance AI Lab（字节跳动人工智能实验室）；Tongji University（同济大学）
在这项工作中，我们提出了TransTrack，一个简单而有效的计划来解决多目标跟踪问题。TransTrack利用了Transformer体系结构，这是一种基于注意力的查询键机制。它将来自前一帧的对象特征应用为当前帧的查询，并引入一组学习的对象查询以检测新出现的对象。该算法通过在Single Shot内完成目标检测和目标关联，简化了检测跟踪方法中复杂的多步设置，建立了一种新的联合检测跟踪方法。在MOT 17和MOT 20基准测试中，TransTrack的MOTA分别达到74.5%和64.5%，与现有方法相比具有一定的竞争力。我们希望TransTrack提供一个新的视角多目标跟踪。代码可在以下网址获得：\url{https://github.com/PeizeSun/TransTrack}。
2021-05-04 cs.CV
MOTS: Multi-Object Tracking and Segmentation
RWTH Aachen University（亚琛工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文将多目标跟踪问题扩展到多目标跟踪与分割（MOTS）。为了实现这一目标，我们使用半自动注释程序为两个现有的跟踪数据集创建密集的像素级注释。我们的新注释包括65，213个像素掩码，用于10，870个视频帧中的977个不同对象（汽车和行人）。对于评估，我们扩展现有的多对象跟踪指标，这个新的任务。此外，我们提出了一种新的基线方法，该方法通过单个卷积网络联合解决检测，跟踪和分割问题。我们通过在MOTS注释上训练时实现性能的改进来证明我们的数据集的价值。我们相信，我们的数据集、指标和基线将成为开发超越2D边界框的多目标跟踪方法的宝贵资源。我们在https://www.vision.rwth-aachen.de/page/mots上提供注释、代码和模型。
2019-04-08 cs.CV
A data set for evaluating the performance of multi-class multi-object video tracking
University of South Australia（南澳大学）；Defence Science and Technology Group（国防科技集团）
评估多目标视频检测、跟踪和分类系统的挑战之一是拥有可用于比较不同系统的可用数据集。然而，跟踪和分类的性能度量是不同的。适用于评估跟踪系统的数据集可能不适合分类。跟踪视频数据集通常仅具有地面实况轨道ID，而分类视频数据集仅具有地面实况类别标签ID。前者识别多个帧中的同一对象，而后者识别单个帧中的对象类型。本文描述了DARPA Neovision2 Tower数据集的地面真实元数据的进步，以允许跟踪和分类的评估。本文中提出的地面实况数据集包含5种不同类别的对象（汽车，公共汽车，卡车，人，骑自行车者）的唯一对象ID，每个视频871帧。除了对象ID和类标签之外，地面实况数据还包含原始限界框坐标以及存在未注释对象的实例中的新边界框。在多个对象之间的遮挡期间或当对象重新进入视场时，保持唯一ID。这将提供：评估不同类型目标的多目标跟踪性能的坚实基础，使用标准多目标跟踪（MOT）框架直接比较跟踪系统性能，使用Neovision2指标进行分类性能。这些数据已被托管。
2017-04-21 cs.CV
Multi-Class Multi-Object Tracking using Changing Point Detection
Inha University（仁荷大学）
提出了一种基于贝叶斯滤波框架的鲁棒多类多目标跟踪算法（MCMOT）。通过结合检测响应和变化点检测（CPD）算法，实现了对无限目标类别的多目标跟踪。CPD模型用于观察由于漂移和基于轨道状态的时空特性的遮挡而导致的突然或异常变化。采用基于卷积神经网络（CNN）的对象检测器和基于Lucas-Kanede Tracker（KLT）的运动检测器的集成来计算前景区域的似然度作为不同对象类的检测响应。使用最近引入的具有挑战性的基准视频进行了广泛的实验; ImageNet VID和MOT基准数据集。与最先进的视频跟踪技术的比较显示了非常令人鼓舞的结果。
2016-08-30 cs.CV
ABCTracker: an easy-to-use, cloud-based application for tracking multiple objects
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；The University of Arizona（亚利桑那大学）
视觉多目标跟踪有可能加速许多形式的定量分析，特别是在研究群体动物的运动，行为或社会互动的研究社区。尽管其增加分析吞吐量的潜力，与可访问性，适应性，准确性，或可扩展的应用程序出现与现有的跟踪系统的并发症。经过多次原型设计和测试，我们开发出了一个多目标跟踪系统- ABCTracker -这是一个既符合系统要求又符合技术知识要求的系统，易于适应新的视频，能够通过混合自动和半自动跟踪功能产生准确的跟踪数据。
2020-01-29 cs.CV
Self-supervised Object Tracking with Cycle-consistent Siamese Networks
Hong Kong University of Science and Technology（香港科技大学）
与监督学习相比，用于视觉对象跟踪的自监督学习具有有价值的优点，例如不需要费力的人工注释和在线训练。在这项工作中，我们利用一个端到端的暹罗网络在一个周期一致的自我监督框架的对象跟踪。自我监督可以通过利用前向和后向跟踪中的周期一致性来执行。为了更好地利用深度网络的端到端学习，我们建议在我们的跟踪框架中集成暹罗区域建议和掩码回归网络，以便在不对每帧进行注释的情况下学习更快，更准确的跟踪器。在用于视觉对象跟踪的VOT数据集和用于视频对象分割传播的DAVIS数据集上的实验表明，我们的方法在这两个任务上都优于以前的方法。
2020-08-03 cs.CV
Object Preserving Siamese Network for Single Object Tracking on Point Clouds
East China University of Science and Technology（华东理工大学）
显然，目标是三维单目标跟踪（SOT）任务的关键因素。然而，以前的基于Siamese的跟踪器忽略了骨干采样过程中随机丢弃的对象点带来的负面影响，这阻碍了跟踪器预测准确的边界框（BBoxes）。探索一种方法，寻求最大限度地保存对象点及其对象感知功能是特别重要的。受此启发，我们提出了一个对象保持暹罗网络（OPSNet），它可以显着保持对象的完整性和提高跟踪性能。首先，对象高亮模块增强对象感知特征，并从模板和搜索区域中提取区分特征。然后，对象保留采样选择对象候选者以获得对象保留搜索区域种子，并丢弃对跟踪贡献较小的背景点。最后，对象定位网络基于对象保留的搜索区域种子精确定位3D BBox。大量的实验表明，我们的方法优于最先进的性能（在KITTI和Waymo Open Dataset上分别获得了9.4%和2.5%的成功率）。
2023-01-28 cs.CV
GUSOT: Green and Unsupervised Single Object Tracking for Long Video Sequences
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）
近年来，依赖于深度学习技术的有监督和无监督深度跟踪器很受欢迎。然而，它们需要高计算复杂性和高存储器成本。提出了一种绿色无监督单目标跟踪器GUSOT，用于资源受限环境下的长视频目标跟踪。GUSOT基于基线跟踪器UHP-SOT++构建，适用于短期跟踪，GUSOT包含两个额外的新模块：1）丢失的对象恢复，2）基于颜色显着性的形状建议。它们分别有助于解决跟踪丢失问题和提供更灵活的对象建议。因此，它们使GUSOT能够在长期内实现更高的跟踪精度。我们在具有长视频序列的大规模数据集LaSOT上进行了实验，并表明GUSOT提供了一种轻量级的高性能跟踪解决方案，可以在移动和边缘计算平台中找到应用。
2022-07-15 cs.CV
Multi-Object Tracking by Hierarchical Visual Representations
Carnegie Mellon University（卡内基梅隆大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出一种组合-语义-上下文层次化视觉表示范式，并设计基于注意力的特征融合模块，在多目标跟踪基准上以查询类方法实现最优准确率与时间效率。
2024-02-24 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
视频对象分割（VOS）的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大，训练样本的缺乏，尽管深度学习的发展方兴未艾，但它仍然是一项艰巨的任务。为了解决VOS问题，我们提出了由对象建议，跟踪和分割组件组成的统一框架，带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验，我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
Video object tracking based on YOLOv7 and DeepSORT
Northwestern Polytechnical University（西北工业大学）
多目标跟踪（MOT）是计算机视觉领域的一项重要技术，在自动驾驶、智能监控、行为识别等方向有着广泛的应用。在当前流行的基于深度学习的MOT方法中，基于检测的跟踪（DBT）在工业中应用最为广泛，其性能取决于其目标检测网络。目前性能较好、应用最广泛的DBT算法是YOLOv 5-DeepSORT。受YOLOv 5-DeepSORT的启发，结合在目标检测方面表现较好的YOLOv 7网络的提出，将YOLOv 7作为目标检测部分应用到DeepSORT中，提出了YOLOv 7-DeepSORT。经过实验评估，与之前的YOLOv 5-DeepSORT相比，YOLOv 7-DeepSORT在跟踪精度上表现更好。
2022-07-25 cs.CV
Improving Multiple Object Tracking with Optical Flow and Edge Preprocessing
Polytechnique Montréal（蒙特利尔综合理工学院）
在本文中，我们提出了一种新的方法来检测道路用户在城市环境中，导致多目标跟踪的改进。我们的方法作为一个输入的前景图像，并提高了目标检测和分割。这个新图像可以用作跟踪器的输入，跟踪器使用来自背景减除的前景斑点。第一步是为城市视频中的所有帧创建前景图像。然后，从前景图像的原始斑点开始，我们合并彼此接近并且具有相似光流的斑点。下一步是提取不同对象的边缘，以检测可能非常接近的多个对象（并合并在同一个斑点中），并调整原始斑点的大小。同时，我们使用光流来检测在相反方向上移动的物体的遮挡。最后，我们决定我们保留哪些信息，以便构建一个新的前景图像与斑点，可用于跟踪。该系统在城市交通数据集的四个视频上进行了验证。我们的方法提高了召回率和精度指标相比，香草背景减法的目标检测任务，并提高了CLEAR MOT指标的跟踪任务，大多数视频。
2018-01-29 cs.CV
An Analysis of Kalman Filter based Object Tracking Methods for Fast-Moving Tiny Objects
McNeese State University（麦基内斯州立大学）；University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校）；Informatics Research Institute (IRI)（信息研究研究院）；Center for Advanced Computer Studies (CACS)（高级计算机研究中心）
本文评估了五种基于卡尔曼滤波的跟踪方法在快速运动微小物体上的性能，发现DeepOCSORT跟踪误差最低但所有方法均存在显著漂移，误差率比标准基准高3-4倍，表明现有方法需针对此类场景进行专门改进。
2025-09-22 cs.CV
A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2，它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计，进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下，D3 S2仅针对分割作为主要输出进行训练，在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器，并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
Flow Guided Short-term Trackers with Cascade Detection for Long-term Tracking
School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院）
目标跟踪的研究已经有几十年的历史了，但现有的研究大多集中在短时跟踪上。对于较长的序列，目标往往被完全遮挡或长时间处于视野之外，现有的短时目标跟踪算法往往会丢失目标，即使目标再次出现也很难重新捕捉到。本文提出了一种新的长期目标跟踪算法flow_MDNet_RPN，该算法在短期目标跟踪算法的基础上增加了跟踪结果判断模块和检测模块。实验结果表明，该算法对目标消失问题具有较好的跟踪效果。
2019-09-01 cs.CV eess.IV
Track, then Decide: Category-Agnostic Vision-based Multi-Object Tracking
Visual Computing Institute, RWTH Aachen University（亚琛工业大学视觉计算研究所）
基于视觉的多目标跟踪最常见的范例是检测跟踪，这是因为对于几个重要的目标类别（如汽车和行人），可靠的检测器是可用的。然而，未来的移动系统将需要有能力应对丰富的人造环境，在这种环境中，为每一种可能的物体类别获取探测器是不可行的。在本文中，我们提出了一个无模型的多目标跟踪方法，使用一个类别无关的图像分割方法来跟踪对象。我们提出了一个有效的分割掩模为基础的跟踪器相关联的像素精确的掩模报告的分割。我们的方法可以利用语义信息，只要它是可用于分类对象的轨道水平，同时保留跟踪通用的未知对象的能力，在没有这样的信息。我们的实验表明，我们的方法实现的性能与最先进的跟踪检测方法的流行的对象类别，如汽车和行人。此外，我们表明，该方法可以发现和鲁棒跟踪各种各样的其他对象。
2017-12-21 cs.CV
Tracking without bells and whistles
Technical University of Munich（慕尼黑工业大学）
在视频序列中跟踪多个对象的问题提出了几个具有挑战性的任务。对于检测跟踪，这些包括对象重新识别，运动预测和处理遮挡。我们提出了一个跟踪器（没有花里胡哨的东西），它可以在不专门针对任何这些任务的情况下完成跟踪，特别是，我们不对跟踪数据进行训练或优化。为此，我们利用对象检测器的限界框回归来预测对象在下一帧中的位置，从而将检测器转换为跟踪器。我们展示了Tracktor的潜力，并通过简单的重新识别和相机运动补偿扩展它，在三个多对象跟踪基准上提供了一个新的最先进的技术。然后，我们对几种最先进的跟踪方法的性能和故障情况进行了分析，并与我们的Tracktor进行了比较。令人惊讶的是，没有一种专用的跟踪方法在处理复杂的跟踪场景，即小的和被遮挡的对象或丢失的检测方面要好得多。然而，我们的方法解决了大多数容易跟踪的情况。因此，我们激励我们的方法作为一个新的跟踪范式，并指出有前途的未来研究方向。总体而言，Tracktor的跟踪性能优于任何当前的跟踪方法，我们的分析揭示了剩余的和未解决的跟踪挑战，以启发未来的研究方向。
2019-08-17 cs.CV
3D Object Tracking with Transformer
Northeastern University（东北大学）
特征融合和相似度计算是三维目标跟踪中的两个核心问题，特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息，使相似度计算更加有效。然而，大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性，而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制，Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征，在当前点云特征中加入更多的目标线索，计算区域注意力，提高了相似度计算的效率。基于此特征融合网络，我们提出了一个端到端的点云目标跟踪框架，一个简单而有效的方法，用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明，我们的方法达到了新的最先进的性能。代码可在：https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering
Gwangju Institute of Science and Technology（光州科学技术院）
在本文中，我们提出的方法来处理多目标跟踪过程中的时间误差。当对象被遮挡或噪声检测出现在对象附近时，会发生时间误差。在这些情况下，跟踪可能会失败，并发生漂移或ID切换等各种错误。仅利用运动和形状信息很难克服时间误差。因此，本文提出了历史外观匹配方法和两步训练的联合输入连体网络。该方法可以防止目标在被遮挡或最后匹配信息不可靠时的跟踪失败。我们还提供了有用的技术，以消除噪声检测有效地根据现场条件。跟踪性能，特别是身份一致性，大大提高了附加我们的方法。
2018-09-18 cs.CV
Iterative Scale-Up ExpansionIoU and Deep Features Association for Multi-Object Tracking in Sports
University of Washington（华盛顿大学）；Electronics and Telecommunications Research Institute（电子通信研究院）；National Center for High-Performance Computing（国家高性能计算中心）
针对体育场景中运动员非线性运动导致 Kalman filter 失效的问题，提出 Deep-EIoU 多目标跟踪方法，利用迭代尺度扩展 ExpansionIoU 和深度特征关联实现鲁棒在线跟踪，在多个体育基准上超越 SOTA。
2023-11-19 cs.CV
SpOT: Spatiotemporal Modeling for 3D Object Tracking
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究院）
3D多目标跟踪旨在通过时间唯一且一致地识别所有移动实体。尽管在此设置中可用的丰富的时空信息，当前的3D跟踪方法主要依赖于抽象的信息和有限的历史，例如单帧对象边界框。在这项工作中，我们开发了一个整体表示的交通场景，利用空间和时间信息的演员在现场。具体来说，我们重新制定跟踪作为一个时空问题，通过跟踪对象的时间戳点和边界框序列在一个很长的时间历史。在每个时间戳，我们通过对整个对象历史序列的学习改进来改进跟踪对象的位置和运动估计。通过将时间和空间结合起来考虑，我们的表征自然地编码了基本的物理先验，例如物体永久性和跨时间的一致性。我们的时空跟踪框架在Waymo和nuScenes基准测试中达到了最先进的性能。
2022-07-12 cs.CV
Derivation of a Constant Velocity Motion Model for Visual Tracking
School of Computing and Communications, Lancaster University（兰卡斯特大学计算与通信学院）
运动模型在视觉跟踪应用中起着重要的作用，它可以预测目标在下一帧中的可能位置。与雷达或航空航天领域的目标跟踪只考虑点不同，计算机视觉中的目标跟踪涉及到目标的大小。等速运动模型是视觉跟踪中应用最广泛的运动模型，但对于新加入该研究领域的研究者来说，还没有一个清晰易懂的关于物体大小的推导。在本文中，我们推导出了包含物体大小的恒速运动模型，我们认为这可以帮助新的研究人员很快适应它。
2020-10-20 cs.CV
