iSEE: Object Permanence Through Self-Supervision
INSAIT, Sofia University “St. Kliment Ohridski”（索非亚大学“圣克莱门特·奥赫里德”INSAIT）
iSEE通过自监督实现对象永久性，利用槽注意力、外观位置分离和重新出现训练，在无标签情况下提升遮挡跟踪性能。
2026-10-02 cs.CV
Object Permanence in Object Detection Leveraging Temporal Priors at Inference Time
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）
物体永存性是指物体不会突然消失在物理世界中。人类在很小的时候就理解了这个概念，并且知道另一个人仍然在那里，即使它暂时被遮挡。神经网络目前经常面临这一挑战。因此，我们引入显式对象永久性的两阶段检测方法从粒子滤波器的灵感。在核心部分，我们的检测器在推理时使用先前帧的预测作为当前帧的附加建议。实验证实，反馈回路提高检测性能的一个高达10.3 mAP的计算开销很小。我们的方法适合于扩展两阶段检测器，即使在严重遮挡的情况下也能进行稳定可靠的检测。此外，应用我们的方法而不重新训练现有模型的能力，有望在现实世界的任务中得到广泛应用。
2022-11-28 cs.CV
Improving Object Permanence using Agent Actions and Reasoning
心理学中的客体恒存性意味着知道物体仍然存在，即使它们不再可见。机器人在不受控制的环境中自主操作是一个至关重要的概念。现有的方法从低级感知中学习物体持久性，但在更复杂的场景中表现不佳，例如当物体被其他物体包含和携带时。关于在物体消失之前对物体执行的操作的知识允许我们推断其位置，例如，该物体已被放置在载体中。在本文中，我们认为，对象持久性可以提高机器人使用的知识执行的行动，并描述了一种方法来推断隐藏的对象状态代理的行动。我们表明，考虑代理的行动，不仅提高了基于规则的推理模型，但也纯神经方法，显示其普遍适用性。然后，我们使用1，371个合成视频的数据集对告密者定位任务进行定量实验，在那里我们比较了有和没有动作注释的不同物体持久性模型的性能。我们证明，带有动作注释的模型可以显着提高神经方法和基于规则的方法的性能。最后，我们评估我们的方法在现实世界中的应用程序的可用性进行定性实验与两个通用机器人（UR5和UR16e）在实验室和工业环境。机器人完成了变速箱装配的基准任务，并在工业环境中使用真实的传感器数据展示了物体持久性能力。
2021-10-01 cs.CV cs.RO
Tracking through Containers and Occluders in the Wild
Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究院）；Woven Planet
针对杂乱动态环境下目标跟踪难题，本文提出TCOW基准与模型，构建合成加真实标注的混合数据集，评估发现现有Transformer视频模型距真正具备物体恒存性仍有较大性能差距。
2023-05-04 cs.AI cs.CV cs.LG
MONCE Tracking Metrics: a comprehensive quantitative performance evaluation methodology for object tracking
Lockheed Martin AI Center（洛克希德·马丁人工智能中心）
评估跟踪模型的性能是一项复杂的任务，特别是对于在国防应用中至关重要的非连续多目标跟踪器。虽然有各种优秀的跟踪基准，这项工作将它们扩展到量化长期，非连续，多目标和检测模型辅助跟踪器的性能。我们提出了一套MONCE（多对象非连续性实体）图像跟踪指标，提供客观的跟踪模型性能基准以及诊断洞察力，以预期平均重叠，短期/长期重新识别，跟踪召回，跟踪精度，寿命，定位和缺席预测的形式驱动跟踪模型的开发。
2022-04-11 cs.CV
Adaptive Objectness for Object Tracking
Temple University（天普大学）；HiScene Information Technologies（海深信息科技）；Toyota Research Institute, North America（丰田北美研究院）
目标跟踪是视觉领域的一个长期存在的问题。虽然已经花费了很大的努力来提高跟踪性能，但一个简单而可靠的先验知识尚未被利用：跟踪中的目标对象必须是非对象以外的对象。最近提出并推广的目标性度量为视觉跟踪中的先验建模提供了一种自然的方法。因此，在本文中，我们提出了适应对象的视觉对象跟踪。而不是直接应用现有的对象性措施，是通用的，并处理各种对象和环境，我们适应它是兼容的特定的跟踪序列和对象。更具体地说，我们使用新提出的BING对象作为基础，然后训练对象自适应对象的每个跟踪任务。训练是通过使用自适应支持向量机，它将来自特定跟踪目标的信息集成到BING测量中来实现的。我们强调，建议的自适应对象，名为ADOBING的好处，是通用的。为了证明这一点，我们在最近的评估中将ADOBING与七个表现最好的跟踪器结合起来。我们在两个流行的基准上运行ADOBING增强的跟踪器及其基础跟踪器，CVPR 2013基准（50个序列）和普林斯顿跟踪基准（100个序列）。在这两个基准测试中，我们的方法不仅始终如一地提高了基础跟踪器，而且还实现了最佳性能。注意到我们在视觉跟踪中集成对象性的方式是通用的和直接的，我们期望通过使用跟踪器特定的对象性得到更多的改进。
2015-01-05 cs.CV
An equalised global graphical model-based approach for multi-camera object tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）
非重叠多摄像机视觉目标跟踪通常包括两个步骤：单摄像机目标跟踪和摄像机间目标跟踪。大多数跟踪方法都是针对同一场景下的单摄像机目标跟踪，而对于实际监控场景，需要进行多摄像机间的目标跟踪，单摄像机跟踪方法无法有效地实现目标跟踪。在本文中，我们试图提高整体的多摄像机目标跟踪性能的全局图模型与改进的相似性度量。该方法区别对待单摄像机跟踪和摄像机间跟踪的相似性，并在全局图模型中得到优化。实验结果表明，该方法在单摄像机跟踪效果较差的情况下也能取得较好的效果。
2016-07-19 cs.CV
Object Tracking in Videos: Approaches and Issues
INRIA（法国国家信息与自动化研究所）；Phu Xuan Private University（富春私立大学）
移动目标跟踪在计算机视觉的应用中有着重要的地位。在本文中，我们使用一个跟踪目标为基础的分类，提出了目标跟踪算法。跟踪目标分为三类：兴趣点，外观和轮廓的移动对象。分析了各种跟踪方法的优点和局限性，指出了目标跟踪领域的发展方向。
2013-04-18 cs.CV
Track, then Decide: Category-Agnostic Vision-based Multi-Object Tracking
Visual Computing Institute, RWTH Aachen University（亚琛工业大学视觉计算研究所）
基于视觉的多目标跟踪最常见的范例是检测跟踪，这是因为对于几个重要的目标类别（如汽车和行人），可靠的检测器是可用的。然而，未来的移动系统将需要有能力应对丰富的人造环境，在这种环境中，为每一种可能的物体类别获取探测器是不可行的。在本文中，我们提出了一个无模型的多目标跟踪方法，使用一个类别无关的图像分割方法来跟踪对象。我们提出了一个有效的分割掩模为基础的跟踪器相关联的像素精确的掩模报告的分割。我们的方法可以利用语义信息，只要它是可用于分类对象的轨道水平，同时保留跟踪通用的未知对象的能力，在没有这样的信息。我们的实验表明，我们的方法实现的性能与最先进的跟踪检测方法的流行的对象类别，如汽车和行人。此外，我们表明，该方法可以发现和鲁棒跟踪各种各样的其他对象。
2017-12-21 cs.CV
SMOT: Single-Shot Multi Object Tracking
Amazon AWS AI（亚马逊AWS人工智能（Amazon AWS AI））
我们提出了单镜头多目标跟踪器（SMOT），一个新的跟踪框架，任何单镜头检测器（SSD）模型转换成一个在线多目标跟踪器，它强调同时检测和跟踪的对象路径。与现有的检测跟踪方法不同，SMOT采用了最近提出的重检测跟踪方法。我们将此方案与SSD检测器相结合，提出了一种新的跟踪锚分配模块。通过这种设计，SMOT能够以恒定的每帧运行时间生成轨迹。一个轻量级的链接算法，然后用于在线tracklet链接。在Hannah、Music Videos和MOT17三个目标跟踪基准测试中，SMOT达到了最先进的性能。
2020-10-30 cs.CV
Multiple Object Tracking from appearance by hierarchically clustering tracklets
National Institute of Informatics（国立信息学研究所）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多目标跟踪（MOT）中的当前方法依赖于检测之间的时空相干性结合对象外观来匹配来自连续帧的对象。在这项工作中，我们探索MOT使用对象外观作为视频中的对象之间的关联的主要来源，使用空间和时间先验作为加权因子。我们形成初始的tracklets利用的想法，即在时间上接近的对象的实例应该是相似的外观，并建立最终的对象轨迹融合的tracklets在一个层次化的方式。我们进行了大量的实验，显示了我们的方法在三个不同的MOT基准，MOT17，MOT20和DanceTrack的有效性，在MOT17和MOT20中具有竞争力，并在DanceTrack中建立了最先进的结果。
2022-10-07 cs.CV
Track to Reconstruct and Reconstruct to Track
RWTH Aachen University（亚琛工业大学）
对象跟踪和3D重建通常一起执行，其中跟踪用作重建的输入。然而，获得的重建也为改进跟踪提供了有用的信息。我们提出了一种新的方法，关闭这个循环，首先跟踪重建，然后重建跟踪。我们的方法，MOTSFusion（多对象跟踪，分割和动态对象融合），利用从动态对象重建中提取的3D运动来跟踪对象，通过长时间的完全遮挡，并恢复丢失的检测。我们的方法首先建立短的轨迹使用二维光流，然后融合到动态的三维物体重建。这些重建的精确3D对象运动用于通过遮挡将轨迹线合并为长期轨迹，并在检测丢失时定位对象。在KITTI上，我们的基于重建的跟踪减少了初始tracklet的ID开关的数量超过50%，并且在限界框和分割跟踪方面优于所有以前的方法。
2020-04-19 cs.CV
Multi-Object Tracking with Siamese Track-RCNN
Amazon Web Service (AWS) Rekognition（亚马逊云科技（AWS）Rekognition）
多目标跟踪系统通常由检测器、短期链接器、重新识别特征提取器和求解器的组合组成，该求解器从这些单独的组件获取输出并进行最终预测。因此，这项工作的目的是将所有这些统一在一个单一的跟踪系统。为此，我们提出了Siamese Track-RCNN，这是一个两阶段的检测和跟踪框架，由三个功能分支组成：（1）检测分支定位对象实例;（2）基于Siamese的跟踪分支估计对象运动;（3）对象重新识别分支在重新出现时重新激活先前终止的跟踪。我们在MOTChallenge的两个流行数据集上测试我们的跟踪系统。Siamese Track-RCNN实现了比最先进的更高的结果，同时由于其统一的设计，也更高效。
2020-04-16 cs.CV
Hy-Tracker: A Novel Framework for Enhancing Efficiency and Accuracy of Object Tracking in Hyperspectral Videos
Griffith University（格里菲斯大学）；Bangladesh Agricultural University（孟加拉国农业大学）
本文提出Hy-Tracker框架，首次将YOLOv7引入高光谱视频目标跟踪，并结合精化跟踪模块与卡尔曼滤波器，有效应对遮挡和尺度变化，提升跟踪精度与效率。
2023-11-30 cs.CV
Subpixel-Precise Tracking of Rigid Objects in Real-time
MVTec Software GmbH（MVTec软件有限公司）
我们提出了一种新的目标跟踪方案，可以跟踪刚性物体在实时的。该方法使用亚像素精确的图像边缘，以高精度跟踪对象。它可以以大约80 fps的亚像素精度确定对象的位置、比例和旋转。跟踪器为每个帧返回可靠的分数，并且能够自我诊断跟踪失败。此外，相似性度量的选择使得该方法固有地对遮挡、杂波和非线性照明变化具有鲁棒性。我们在OTB-2015和VOT 2016数据集的刚性对象序列上评估了该方法，并讨论了其性能。评估表明，跟踪器是更准确的比国家的最先进的实时的跟踪器，同时同样强大。
2018-07-05 cs.CV
An Analysis of Object Representations in Deep Visual Trackers
Google Research（谷歌研究院）
全卷积深度相关网络是最先进的单目标视觉跟踪方法的组成部分。通常假设这些网络通过将对象实例的特征与整个帧的特征相匹配来检测来执行跟踪。强大的建筑先验知识和对象表示的条件被认为是鼓励这种跟踪策略。尽管有这些强大的先验知识，但我们发现深度跟踪器通常默认通过显着性检测进行跟踪-而不依赖于对象实例表示。我们的分析表明，尽管显著性检测是一种有用的先验知识，但它可以防止深度网络中出现更强大的跟踪策略。这导致我们引入一个辅助检测任务，鼓励更多的歧视性对象表示，提高跟踪性能。
2020-01-08 cs.CV
Unified Transformer Tracker for Object Tracking
University of Technology Sydney（悉尼科技大学）；National University of Singapore（新加坡国立大学）；Meta AI；Zhejiang University（浙江大学）
目标跟踪作为计算机视觉的一个重要研究领域，已经形成了两个独立的研究群体，分别研究单目标跟踪（SOT）和多目标跟踪（MOT）。然而，由于两个任务的训练数据集和跟踪对象不同，一个跟踪场景中的当前方法不容易适应另一个。虽然UniTrack \cite{wang2021different}证明了具有多个头部的共享外观模型可以用于处理单个跟踪任务，但它未能利用大规模跟踪数据集进行训练，并且在单个对象跟踪上表现不佳。在这项工作中，我们提出了统一的Transformer跟踪器（UTT），以解决跟踪问题，在不同的情况下，一个范例。我们的UTT中开发了一个跟踪Transformer，用于SOT和MOT中的目标跟踪。利用目标和跟踪帧特征之间的相关性对目标进行定位。我们证明，SOT和MOT任务可以在这个框架内解决。该模型可以通过在单个任务的数据集上交替优化SOT和MOT目标来同时进行端到端训练。在SOT和MOT数据集上训练的统一模型在几个基准上进行了广泛的实验。代码将在https://github.com/Flowerfan/Trackron上提供。
2022-06-08 cs.CV
Multi-object Tracking with Tracked Object Bounding Box Association
Nanyang Technological University（南洋理工大学）
CenterTrack跟踪算法使用简单的检测模型和单帧空间偏移来定位对象并预测它们在单个网络中的关联，从而实现最先进的跟踪性能。然而，这种联合检测和跟踪方法仍然遭受高身份切换由于较差的关联方法。为了减少大量的身份切换和提高跟踪精度，本文提出了一种简单的跟踪对象的限界框和重叠预测的基础上，当前帧的CenterTrack算法。具体来说，我们提出了一个交集在联合（IOU）的距离成本矩阵的关联步骤，而不是简单的点位移距离。我们在MOT17测试数据集上评估了我们提出的跟踪器，结果表明，与原始CenterTrack相比，在相同的tracklet寿命下，我们提出的方法可以将身份切换显著减少22.6%，并在IDF1中获得1.5%的显着改善。源代码发布于https://github.com/Nanyangny/CenterTrack-IOU。
2021-05-17 cs.CV
Multi-Branch Siamese Networks with Online Selection for Object Tracking
Polytechnique Montreal（蒙特利尔高等理工学院）；TELUQ University（魁北克大学电视学院）
在本文中，我们提出了一个强大的目标跟踪算法的基础上，选择分支选择机制，选择最有效的对象表示从多分支连体网络。虽然大多数深度学习跟踪器使用单个CNN进行目标表示，但提出的多分支连体跟踪器（MBST）采用了针对不同任务预先训练的CNN的多个分支，并用于我们跟踪方法中的各种目标表示。利用我们的分支选择机制，以在线方式根据目标特征选择适当的CNN分支。通过使用最充分的目标表示相对于被跟踪的对象，我们的方法实现了实时跟踪，同时获得改进的性能相比，标准的暹罗网络跟踪器的对象跟踪基准。
2018-08-31 cs.CV
Seeing Behind Objects for 3D Multi-Object Tracking in RGB-D Sequences
Technical University of Munich（慕尼黑工业大学）；University College London（伦敦大学学院）；Adobe Research（Adobe研究院）
RGB-D视频序列中的多目标跟踪是一个具有挑战性的问题，因为随着时间的推移，变化的视点，运动和遮挡的组合。我们观察到，具有完整的几何形状的对象的援助，在他们的跟踪，因此建议联合推断的完整的几何形状的对象，以及跟踪它们，随着时间的推移，刚性移动的对象。我们的关键见解是，推断对象的完整几何形状显着有助于跟踪。通过幻觉对象的看不见的区域，我们可以获得相同实例之间的额外对应关系，从而即使在强烈的外观变化下也提供鲁棒的跟踪。从RGB-D帧序列中，我们检测每个帧中的对象，并学习预测它们的完整对象几何形状以及到规范空间的密集对应映射。这使我们能够导出每个帧中对象的6DoF姿态，以及帧之间的对应关系，从而在RGB-D序列中提供强大的对象跟踪。在合成和真实RGB-D数据上的实验表明，我们在动态对象跟踪上实现了最先进的性能。此外，我们表明，我们的对象完成显着有助于跟踪，提供了一个平均MOTA的$6.5\%$的改进。
2020-12-16 cs.CV
Exemplar-based Linear Discriminant Analysis for Robust Object Tracking
Huazhong University of Science and Technology（华中科技大学）
检测跟踪是一种非常有吸引力的跟踪技术，它将跟踪问题视为一个类别检测问题。然而，跟踪中的任务是搜索特定的对象，而不是像检测中那样搜索对象类别。在本文中，我们提出了一种新的跟踪框架的基础上，样本检测器，而不是类别检测器。建议的跟踪器是一个基于样本的线性判别分析（ELDA）检测器的合奏。每个检测器都是非常具体和有区别的，因为它是由单个对象实例和大量否定训练的。为了提高其自适应性，我们更新对象和背景模型。在几个具有挑战性的视频序列上的实验结果表明，我们的跟踪算法的有效性和鲁棒性。
2014-02-24 cs.CV
Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking
Technical University Munich（慕尼黑工业大学）；University of Adelaide（阿德莱德大学）；ETH Zürich（苏黎世联邦理工学院）；TU Darmstadt（达姆施塔特工业大学）
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大，但基准往往提供了最客观的业绩衡量标准，因此是研究的重要指南。我们为2014年底推出的多目标跟踪提供了一个基准，目标是为多目标跟踪方法的标准化评估创建一个框架。本文收集了迄今为止的两个基准测试版本，并对近50种最先进的跟踪器进行了深入分析，这些跟踪器在超过11000帧上进行了测试。我们展示了多人跟踪方法的当前趋势和弱点，并提供了研究人员应该专注于推动该领域向前发展的指针。
2017-04-10 cs.CV
Automatic Parameter Adaptation for Multi-object Tracking
INRIA（法国国家信息与自动化研究所）
对象跟踪质量通常取决于视频上下文（例如对象遮挡水平、对象密度）。为了减少这种依赖性，本文提出了一种学习方法，以适应跟踪器参数的上下文变化。在离线阶段中，为视频上下文聚类学习令人满意的跟踪参数。在在线控制阶段，一旦检测到上下文变化，就使用学习值来调谐跟踪参数。实验结果表明，该方法的性能优于现有的跟踪器。本文的主要贡献有两个方面：（1）提出了一种基于视频序列分类的离线跟踪参数学习方法;（2）提出了一种基于跟踪上下文的在线跟踪参数调整方法。
2013-05-13 cs.CV
Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
在多对象跟踪中，跟踪器在其存储器中维护场景中每个对象的外观和运动信息。该存储器用于寻找轨迹和检测之间的匹配，并基于匹配结果进行更新。许多方法孤立地对每个目标进行建模，并且缺乏使用场景中的所有目标来联合更新内存的能力。当场景中存在相似外观的对象时，这可能是有问题的。在本文中，我们解决的问题，同时考虑所有的轨道在内存更新过程中，只有一个小的空间开销，通过一个新的多轨道池模块。我们还提出了一个训练策略，适用于多轨池生成硬跟踪情节在线。我们表明，这些创新的组合结果在一个强有力的歧视性的外观模型，使贪婪的数据关联的使用，以实现在线跟踪性能。我们的实验证明了在公共多目标跟踪（MOT）数据集上实时的【形】，最先进的性能。
2021-01-28 cs.CV
Real-time Multi-Object Tracking Based on Bi-directional Matching
Jiangxi University of Science and Technology（江西理工大学）
近年来，无锚点目标检测模型与匹配算法相结合，可以实现实时的【形】多目标跟踪，并保证较高的跟踪精度。然而，多目标跟踪仍然存在很大的挑战。例如，当目标的大部分被遮挡或目标只是暂时从图像中消失时，这通常会导致大多数现有跟踪算法的跟踪中断。因此，本研究提供一种多目标追踪的双向匹配演算法，利用双向运动预测资讯来改善遮蔽处理。在匹配算法中使用滞留区域来临时存储未能被跟踪的对象。当物体从遮挡中恢复时，我们的方法将首先尝试将它们与滞留区域中的物体进行匹配，以避免错误地生成新的身份，从而形成更连续的轨迹。实验结果表明，该方法可以提高多目标跟踪的性能，在存在遮挡。此外，本研究还提供了一个注意力上采样模块，不仅保证了跟踪的准确性，而且加快了训练速度。在MOT17挑战赛中，该算法实现了63.4%的MOTA，55.3%的IDF1和20.1 FPS的跟踪速度。
2023-03-15 cs.CV
Re3 : Real-Time Recurrent Regression Networks for Visual Tracking of Generic Objects
Paul G. Allen School of Computer Science, University of Washington（保罗·G·艾伦计算机科学学院，华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
鲁棒的对象跟踪需要了解和理解被跟踪的对象：它的外观，它的运动，以及它如何随着时间的推移而变化。跟踪器必须能够修改其基础模型并适应新的观测。我们提出了Re 3，一个实时的【形】深度对象跟踪器，能够将时间信息纳入其模型。我们不是专注于一组有限的对象或在测试时训练模型来跟踪特定的实例，而是在各种各样的对象上预训练我们的通用跟踪器，并在运行中有效地更新; Re 3同时跟踪和更新外观模型，只需一次向前传递。这种轻量级模型能够以150 FPS的速度跟踪物体，同时在具有挑战性的基准测试中获得有竞争力的结果。我们还表明，我们的方法处理临时遮挡比其他可比的跟踪器使用实验，直接测量性能的序列与遮挡。
2018-02-26 cs.CV
Object Preserving Siamese Network for Single Object Tracking on Point Clouds
East China University of Science and Technology（华东理工大学）
显然，目标是三维单目标跟踪（SOT）任务的关键因素。然而，以前的基于Siamese的跟踪器忽略了骨干采样过程中随机丢弃的对象点带来的负面影响，这阻碍了跟踪器预测准确的边界框（BBoxes）。探索一种方法，寻求最大限度地保存对象点及其对象感知功能是特别重要的。受此启发，我们提出了一个对象保持暹罗网络（OPSNet），它可以显着保持对象的完整性和提高跟踪性能。首先，对象高亮模块增强对象感知特征，并从模板和搜索区域中提取区分特征。然后，对象保留采样选择对象候选者以获得对象保留搜索区域种子，并丢弃对跟踪贡献较小的背景点。最后，对象定位网络基于对象保留的搜索区域种子精确定位3D BBox。大量的实验表明，我们的方法优于最先进的性能（在KITTI和Waymo Open Dataset上分别获得了9.4%和2.5%的成功率）。
2023-01-28 cs.CV
Single Object Tracking Research: A Survey
Tianjin University（天津大学）；Key Research Center for Surface Monitoring and Analysis of Cultural Relics（文物本体表面监测与分析研究重点科研基地）
视觉目标跟踪是计算机视觉中的一项重要任务，它有许多现实世界的应用，例如，视频监控视觉导航视觉对象跟踪也具有许多挑战，例如，物体遮挡和变形。为了解决上述问题，准确、高效地跟踪目标，近年来出现了许多跟踪算法。本文介绍了近十年来最流行的两种跟踪框架的基本原理和代表作品，相关滤波器和Siamese网络用于目标跟踪。然后，我们提出了一些基于深度学习的跟踪方法，按不同的网络结构分类。我们还介绍了一些经典的策略来处理跟踪问题的挑战。在此基础上，详细介绍和比较了跟踪的基准和挑战，总结了视觉跟踪的发展历史和发展趋势。重点介绍了目标跟踪技术的未来发展，认为目标跟踪技术在应用于实际场景之前还需要解决一些问题，如长时间跟踪、低功耗高速跟踪和攻击鲁棒性跟踪等问题。在未来，多模态数据的集成，例如，深度图像、热图像与传统的彩色图像相结合，将为视觉跟踪提供更多的解决方案。此外，跟踪任务将与其他一些任务一起进行，例如，视频目标检测和分割。
2022-04-25 cs.CV
TrackFormer: Multi-Object Tracking with Transformers
Technical University of Munich（慕尼黑工业大学）；Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））
多目标跟踪（MOT）的挑战性任务，需要同时推理的轨迹初始化，身份和时空轨迹。我们制定了这个任务作为一个帧到帧集预测问题，并介绍TrackFormer，端到端的可训练MOT方法的基础上的编码器-解码器Transformer架构。我们的模型实现了通过关注帧之间的数据关联，通过一个视频序列演变的一组跟踪预测。Transformer解码器从静态对象查询中提取新的轨迹，并利用概念上新的和保持身份的轨迹查询在空间和时间上自回归地跟随现有轨迹。两种查询类型都受益于对全局帧级特征的自关注和编码器-解码器关注，从而省略了任何额外的图形优化或运动和/或外观的建模。TrackFormer引入了一种新的注意力跟踪模式，虽然设计简单，但能够在多目标跟踪（MOT 17和MOT 20）和分割（MOTS 20）任务上实现最先进的性能。该代码可在https://github.com/timmeinhardt/trackformer上获得。
2022-04-29 cs.CV
A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2，它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计，进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下，D3 S2仅针对分割作为主要输出进行训练，在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器，并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
Trajectory Factory: Tracklet Cleaving and Re-connection by Deep Siamese Bi-GRU for Multiple Object Tracking
Peking University（北京大学）
多目标跟踪（MOT）在监控、自动驾驶等复杂场景中是一项具有挑战性的任务。在本文中，我们提出了一种新的tracklet处理方法，切割和重新连接tracklet人群或长期闭塞的暹罗双门递归单元（GRU）。tracklet生成利用由CNN和RNN提取的对象特征来创建稀疏场景中的高置信度tracklet候选。由于生成过程中的误跟踪，来自不同对象的轨迹被双向GRU分成几个子轨迹。在此基础上，采用基于Siamese GRU的轨迹重连接方法，将属于同一对象的子轨迹连接起来，形成一个完整的轨迹。此外，我们从现有的MOT数据集中提取tracklet图像，并提出了一个新的数据集来训练我们的网络。建议的数据集包含超过95160个行人图像。它有793个不同的人。平均来说，每个人有120张照片，有位置和大小。实验结果表明，我们的模型的优势，在MOT 16的最先进的方法。
2018-04-12 cs.CV
Globally Optimal Object Tracking with Fully Convolutional Networks
Kyushu University（九州大学）
跟踪是计算机视觉和模式识别中最重要但也是最困难的任务之一。跟踪领域的主要困难是外观变化和遮挡。传统的跟踪方法大多预先设定跟踪目标的参数或模板，并进行相应的修改。因此，我们提出了一种新的和强大的跟踪方法，使用全卷积网络（FCN），以获得一个对象的概率图和动态规划（DP），以寻求通过所有帧的视频的全局最优路径。我们提出的方法解决了对象外观变化的问题，使用FCN和处理遮挡DP。我们表明，我们的方法是有效的，通过视频帧跟踪各种单一的对象。
2016-12-25 cs.CV
Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking
Xiamen University（厦门大学）；Xidian University（西安电子科技大学）
事件摄像机是一种异步生物视觉传感器，在快速运动和低照度场景等各种情况下显示出巨大的潜力。然而，大多数基于事件的对象跟踪方法都是针对无纹理对象和无杂乱背景的场景而设计的。很少有基于事件的对象跟踪方法支持基于限界框的对象跟踪。这项工作背后的主要思想是提出一个异步的基于事件的跟踪检测（ETD）方法的通用限界框为基础的对象跟踪。为了实现这一目标，我们提出了一个自适应时间表面与线性时间衰减（ATSLTD）的事件到帧转换算法，异步和有效地扭曲的时空信息的异步视网膜事件的序列的ATSLTD帧具有清晰的对象轮廓。我们饲料的ATSLTD帧序列的建议ETD方法进行准确和有效的对象跟踪，它利用了事件相机的高时间分辨率属性。我们比较了建议的ETD方法与七种流行的对象跟踪方法，这些方法是基于传统的相机或事件相机，以及ETD的两个变体。实验结果表明，所提出的ETD方法在处理各种具有挑战性的环境中的优越性。
2020-02-13 cs.CV
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Monash University（莫纳什大学）；CVLab-EPFL（洛桑联邦理工学院计算机视觉实验室）
尽管最近在通过联合检测和跟踪实现的多目标跟踪（MOT）方面取得了进展，但处理长遮挡仍然是一个挑战。这是由于这样的技术倾向于忽略长期运动信息的事实。在本文中，我们引入了一个概率自回归运动模型，直接测量它们的可能性来评分tracklet建议。这是通过训练我们的模型来学习自然轨迹的底层分布来实现的。因此，我们的模型不仅允许我们为现有的轨迹片段分配新的检测，而且还允许我们在对象丢失很长时间时对轨迹片段进行补绘，例如，由于遮挡，通过采样轨迹以填充由误检测引起的间隙。我们的实验证明了我们的方法在跟踪具有挑战性的序列中的对象方面的优越性;它在多个MOT基准数据集（包括MOT 16，MOT 17和MOT 20）上的大多数标准MOT指标中表现优于最先进的技术。
2020-12-10 cs.CV
Transparent Object Tracking Benchmark
University of North Texas（北德克萨斯大学）；Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
视觉跟踪近年来取得了长足的发展。然而，目前该领域的研究主要集中在不透明物体的跟踪，而很少关注透明物体的跟踪。在本文中，我们首次尝试在探索这个问题，提出了一个透明的对象跟踪基准（TOTB）。具体来说，TOTB由来自15个不同透明对象类别的225个视频（86K帧）组成。每个序列都使用轴对齐的边界框手动标记。据我们所知，TOTB是第一个致力于透明对象跟踪的基准测试。为了了解现有跟踪器的性能，并为未来的TOTB研究提供比较，我们广泛评估了25种最先进的跟踪算法。评估结果表明，需要更多的努力，以提高透明对象跟踪。此外，我们观察到一些不平凡的结果，从评价是不一致的一些共同的信念，在不透明的对象跟踪。例如，我们发现更深层次的特征并不总是有利于改进。此外，为了鼓励未来的研究，我们引入了一种新的跟踪器，名为TransATOM，它利用透明功能进行跟踪，并大大超过了所有25种评估方法。通过发布TOTB，我们希望在学术界和工业界促进透明物体跟踪的未来研究和应用。TOTB和评估结果以及TransATOM可在https://hengfan2010.github.io/projects/TOTB上获得。
2021-08-01 cs.CV
Multi-Class Multi-Object Tracking using Changing Point Detection
Inha University（仁荷大学）
提出了一种基于贝叶斯滤波框架的鲁棒多类多目标跟踪算法（MCMOT）。通过结合检测响应和变化点检测（CPD）算法，实现了对无限目标类别的多目标跟踪。CPD模型用于观察由于漂移和基于轨道状态的时空特性的遮挡而导致的突然或异常变化。采用基于卷积神经网络（CNN）的对象检测器和基于Lucas-Kanede Tracker（KLT）的运动检测器的集成来计算前景区域的似然度作为不同对象类的检测响应。使用最近引入的具有挑战性的基准视频进行了广泛的实验; ImageNet VID和MOT基准数据集。与最先进的视频跟踪技术的比较显示了非常令人鼓舞的结果。
2016-08-30 cs.CV
Tracking 6-DoF Object Motion from Events and Frames
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
事件相机是用于低延迟跟踪和高动态范围成像的有前途的设备。在本文中，我们提出了一种新的方法为6度的自由度（6-DoF）的对象运动跟踪相结合的测量事件和帧为基础的相机。我们制定跟踪从高速率事件的概率生成模型的eventmeasurement过程中的对象。在第二层上，我们通过直接图像对齐在较慢速率的图像帧中细化对象轨迹。我们评估了我们的方法的准确性在几个目标跟踪场景与合成数据，并alsocperformed实验与真实数据。
2021-03-29 cs.CV
GUSOT: Green and Unsupervised Single Object Tracking for Long Video Sequences
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）
近年来，依赖于深度学习技术的有监督和无监督深度跟踪器很受欢迎。然而，它们需要高计算复杂性和高存储器成本。提出了一种绿色无监督单目标跟踪器GUSOT，用于资源受限环境下的长视频目标跟踪。GUSOT基于基线跟踪器UHP-SOT++构建，适用于短期跟踪，GUSOT包含两个额外的新模块：1）丢失的对象恢复，2）基于颜色显着性的形状建议。它们分别有助于解决跟踪丢失问题和提供更灵活的对象建议。因此，它们使GUSOT能够在长期内实现更高的跟踪精度。我们在具有长视频序列的大规模数据集LaSOT上进行了实验，并表明GUSOT提供了一种轻量级的高性能跟踪解决方案，可以在移动和边缘计算平台中找到应用。
2022-07-15 cs.CV
Instant 3D Object Tracking with Applications in Augmented Reality
Google Research（谷歌研究院）
三维物体姿态跟踪是增强现实应用的重要组成部分。我们提出了一个即时运动跟踪系统，跟踪一个对象的姿态在空间（由其3D限界框表示）在移动设备上实时。我们的系统不需要任何事先的感官校准或初始化功能。我们采用深度神经网络来检测物体并估计其初始3D姿态。然后使用鲁棒平面跟踪器跟踪估计的位姿。我们的跟踪器能够在移动设备上实时执行相对规模的9自由度跟踪。通过有效地结合使用CPU和GPU，我们在移动设备上实现了26-FPS+的性能。
2020-06-23 cs.CV
Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking
Czech Technical University in Prague（捷克布拉格技术大学）
视觉对象跟踪主要集中在不透明对象上，而透明对象跟踪很少受到关注。由于透明物体的外观直接受背景影响，因此最近出现了第一个专用评估数据集。我们通过提出第一个透明对象跟踪训练数据集Trans2k来促进这一努力，该数据集由超过2k个序列组成，总共有104，343张图像，由边界框和分割掩码注释。注意到透明对象可以由现代渲染器逼真地渲染，我们量化特定于域的属性，并渲染包含现有对象训练数据集中未涵盖的视觉属性和跟踪情况的数据集。当使用Trans2k进行训练时，我们在各种现代跟踪架构中观察到一致的性能提升（高达16%），并显示出由于缺乏适当的训练集而无法实现的见解。数据集和渲染引擎将公开发布，以释放现代基于学习的跟踪器的功能，并促进透明对象跟踪的新设计。
2022-10-07 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University（波特兰州立大学）；Intel Corporation（英特尔公司）
我们提出了一种新的算法，利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化（BO）框架编码的时空信息，有效的视频对象跟踪。特别是，我们把视频跟踪问题作为一个动态（即时间演变）优化问题。使用高斯过程先验，我们建模一个动态的目标函数，表示跟踪对象在每帧中的位置。通过利用时间相关性，所提出的方法以统计原则和有效的方式查询搜索空间，提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
No Blind Spots: Full-Surround Multi-Object Tracking for Autonomous Vehicles using Cameras & LiDARs
UC San Diego（加州大学圣地亚哥分校）
在线多目标跟踪（MOT）对于自主和高度自动化车辆的高级空间推理和路径规划至关重要。在本文中，我们提出了一个模块化的框架，用于跟踪多个对象（车辆），能够接受对象的建议，从不同的传感器模态（视觉和范围）和可变数量的传感器，产生连续的对象跟踪。这项工作是MDP框架MOT的推广，有一些关键的扩展-首先，我们跟踪对象跨多个摄像机和跨不同的传感器模态。这是通过准确有效地融合传感器之间的对象建议来完成的。第二，直接在现实世界中跟踪感兴趣的对象（目标）。这与传统的技术不同，传统的技术只是在图像平面中跟踪对象。这样做允许轨迹容易地被自主智能体用于导航和相关任务。为了验证我们的方法的有效性，我们测试它在现实世界中的高速公路数据收集从一个高度传感器化的测试平台能够捕捉全环绕信息。我们证明，我们的框架是非常适合跟踪对象通过整个演习周围的自我车辆，其中一些需要几分钟以上才能完成。我们还利用我们的方法的模块化，通过比较包括/排除不同的传感器，改变传感器的总数，以及最终跟踪结果的对象建议的质量的影响。
2019-02-19 cs.CV
Multiple Object Tracking with Kernelized Correlation Filters in Urban Mixed Traffic
University of Electronic Science and Technology of China（电子科技大学）；Polytechnique Montréal（蒙特利尔理工学院）
最近，核相关滤波器跟踪器（KCF）在视觉对象跟踪方面取得了有竞争力的性能和鲁棒性。另一方面，视觉跟踪器通常不用于多对象跟踪。在本文中，我们研究了如何一个强大的视觉跟踪器，如KCF可以提高多目标跟踪。由于KCF是一个快速跟踪器，许多可以并行使用，仍然导致快速跟踪。我们建立了一个基于KCF和背景差分的多目标跟踪系统。背景减除被应用于提取运动对象，并结合KCF输出获得它们的尺度和大小，而KCF用于数据关联以及处理碎片和遮挡问题。因此，KCF和背景减法相互帮助，以采取跟踪决策在每一帧。有时KCF输出是最值得信赖的（例如在遮挡期间），而在某些其他情况下，它是背景减除输出。为了验证我们的系统的有效性，该算法被证明在四个城市的视频记录从一个标准的数据集。结果表明，我们的方法是有竞争力的国家的最先进的跟踪器，即使我们使用一个更简单的数据关联步骤。
2017-03-27 cs.CV
A New Dataset and a Distractor-Aware Architecture for Transparent Object Tracking
Faculty of computer and information science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Center for Machine Perception, Czech Technical University in Prague（布拉格捷克理工大学机器感知中心）
针对透明物体跟踪因背景干扰和相似物导致性能下降且缺乏训练数据的问题，提出首个含2k序列的数据集Trans2k及将定位与识别分离的新型抗干扰跟踪器DiTra，实现性能最优并良好泛化。
2024-01-08 cs.CV
Tracklet Association Tracker: An End-to-End Learning-based Association Approach for Multi-Object Tracking
Tsinghua Univeristy（清华大学）；Horizon Robotics（地平线机器人）
传统的多目标跟踪方法将任务分为两部分：相似度学习和数据关联。任务的分离需要在亲和学习阶段定义一个手工制作的训练目标，并在数据关联阶段定义一个手工制作的成本函数，这阻止了跟踪目标直接从特征中学习。本文提出了一种基于数据驱动关联的多目标跟踪框架，称为Tracklet关联跟踪器（TAT）。该框架旨在通过一个双层优化公式将特征学习和数据关联结合为一体，从而可以直接从特征中学习关联结果。为了提高性能，我们还采用了流行的层次关联，并执行必要的对齐和选择原始检测响应。我们的模型训练速度比类似方法快20倍以上，并在MOT2016和MOT2017基准测试中实现了最先进的性能。
2018-08-05 cs.CV
Object Tracking with Correlation Filters using Selective Single Background Patch
M. S. Ramaiah University of Applied Sciences（M. S. 拉迈亚应用科学大学）
与现有的跟踪器相比，相关滤波器在提高跟踪性能方面起着重要作用。跟踪器使用自适应相关响应来预测目标的位置。近年来提出了许多种具有高精度和高帧速率的相关跟踪器。本文提出了一种选择单个背景块的方法，以具有更好的跟踪性能。本文还提出了一种相关滤波器的变形，即用图像复原滤波器对相关滤波器进行修正。使用目标跟踪基准序列对该方法进行了验证。
2018-05-09 cs.CV
Detection-aware multi-object tracking evaluation
Universidad Autónoma de Madrid（马德里自治大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
你如何公平地评估两种多目标跟踪算法（即跟踪器），每一种都采用不同的目标检测器？探测器不断改进，因此跟踪器可以随着时间的推移减少估计物体状态的工作量。那么，将使用新探测器的新跟踪器与使用旧探测器的另一跟踪器进行比较是否公平？在本文中，我们提出了一种新的性能指标，跟踪努力措施（TEM），使用不同的检测器来评估跟踪器。TEM估计跟踪器相对于其输入数据（即检测）在帧级（帧内复杂度）和序列级（帧间复杂度）的改进。我们评估TEM在众所周知的数据集，四个跟踪器和八个检测集。结果表明，不同于传统的跟踪评估措施，TEM可以量化跟踪器所做的努力，减少相关的输入检测。其实现可在https://github.com/vpulab/MOT-evaluation上公开获取。
2022-12-16 cs.CV
e-TLD: Event-based Framework for Dynamic Object Tracking
Temasek Laboratories, National University of Singapore（新加坡国立大学淡马锡实验室）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系）
本文提出了一个长期的目标跟踪框架，在一般跟踪条件下的运动事件摄像机。作为这些革命性相机的首个同类产品，跟踪框架通过在线学习对对象使用判别式表示，并在对象返回视野时检测和重新跟踪对象。其中一个关键的新颖性是使用一个基于事件的本地滑动窗口技术，在混乱和纹理背景的场景中可靠地跟踪。此外，贝叶斯自举被用来协助实时处理和提高对象表示的区分能力。另一方面，当对象重新进入相机的视场时，数据驱动的全局滑动窗口检测器定位对象以进行后续跟踪。大量的实验表明，所提出的框架跟踪和检测各种形状和大小的任意对象，包括动态对象，如人类的能力。这是一个显着的改进相比，早期的作品，简单地跟踪对象，只要他们是在简单的背景设置可见。在三种运动设置下，即平移，旋转和6-DOF，使用五个不同对象的地面真实位置，报告了基于事件的跟踪框架的定量测量，并对各种性能问题提出了重要见解。最后，在C++中的实时实现突出了在实验室设置中的缩放，旋转，视点和遮挡场景下的跟踪能力。
2020-09-02 cs.CV
Object Tracking in Satellite Videos Based on a Multi-Frame Optical Flow Tracker
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）
目标跟踪是计算机视觉中的一个研究热点。随着超高分辨率遥感技术的发展，利用卫星视频对感兴趣的目标进行跟踪成为可能。然而，由于卫星视频中的目标相对于整幅图像而言往往太小，且与背景过于相似，现有的算法都不能很好地跟踪卫星视频中的目标。基于光流在检测目标微小运动方面的巨大潜力，提出了一种多帧光流跟踪器（MOFT）用于卫星视频中的目标跟踪。采用Lucas-Kanade光流法结合HSV彩色系统和积分图像对卫星视频中的目标进行跟踪，采用多帧差分法对光流跟踪器进行解译。对3个VHR遥感卫星视频数据集的实验表明，与现有目标跟踪算法相比，该方法能够更准确地跟踪目标。
2018-04-25 cs.CV
Robust Mobile Object Tracking Based on Multiple Feature Similarity and Trajectory Filtering
本文提出了一种新的算法来跟踪移动目标在不同的场景条件。提出的跟踪器的主要思想包括估计，多特征相似性度量和轨迹滤波。为每个跟踪对象定义特征集（距离，面积，形状比率，颜色直方图）以搜索最佳匹配对象。将其最佳匹配目标与卡尔曼滤波器估计的目标状态相结合，更新跟踪目标的位置和大小。然而，移动对象的轨迹通常是支离破碎的，因为遮挡和误检测。因此，我们也提出了一个轨迹过滤，称为全球跟踪器，旨在消除噪声轨迹和融合属于同一个移动对象的碎片轨迹。该方法已被测试与不同场景条件下的五个视频。其中三个是由ETISEO基准测试项目（http：//www-sop.inria.fr/orion/ETISEO）提供的，其中所提出的跟踪器性能与其他七种跟踪算法进行了比较。与现有技术相比，我们的方法的优点是：（i）不需要先验知识信息（例如，不需要校准和上下文模型），（ii）跟踪器通过组合多个特征相似性而更可靠，（iii）跟踪器可以在不同的场景条件下执行：单个/多个移动对象、弱/强照明、室内/室外场景，（iv）定义并应用轨迹滤波以提高跟踪器性能，（v）跟踪器性能优于现有技术的许多算法。
2011-06-14 cs.CV
How To Train Your Deep Multi-Object Tracker
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Technical University of Munich（慕尼黑工业大学）；MIT（麻省理工学院）
基于视觉的多对象跟踪（MOT）的最新趋势是利用深度学习的表征能力来联合学习检测和跟踪对象。然而，现有的方法训练仅使用损失函数来训练某些子模块，这些损失函数通常不与诸如多目标跟踪准确度（MOTA）和精确度（MOTP）的已建立的跟踪评估度量相关。由于这些度量是不可微的，因此选择合适的损失函数用于多目标跟踪方法的端到端训练仍然是一个开放的研究问题。在本文中，我们通过提出MOTA和MOTP的可微分代理来弥合这一差距，我们将其结合在一个适用于深度多目标跟踪器的端到端训练的损失函数中。作为一个关键成分，我们提出了一个深度匈牙利网（DHN）模块，它近似于匈牙利匹配算法。DHN允许估计对象轨迹和地面实况对象之间的对应关系，以计算MOTA和MOTP的可区分代理，这些代理又用于直接优化深度跟踪器。我们通过实验证明，所提出的可区分框架提高了现有多目标跟踪器的性能，并且我们在MOTChallenge基准测试中建立了一个新的最先进的框架。我们的代码可从https://github.com/yihongXU/deepMOT公开获取。
2020-04-23 cs.CV
Multi-appearance Segmentation and Extended 0-1 Program for Dense Small Object Tracking
Nanjing University of Science and Technology（南京理工大学）
针对密集小目标在集群背景下的快速多目标跟踪问题，研究了考虑批量优化的面向轨迹的多假设跟踪算法（TOMHT）。采用基于自相关的运动评分检验和阶段性假设合并方法，建立了相应的假设生成和管理方法。提出了一种新的一对多约束，并将其应用于复杂遮挡情况下的航迹排除问题。此外，为了达到更好的效果，我们开发了一种多外观分割检测，它利用树状拓扑信息，并实现了一个目标的一个阈值。实验结果验证了我们的方法的强度，表明我们的跟踪器的速度和性能的优势。
2017-12-14 cs.CV
Is First Person Vision Challenging for Object Tracking?
University of Udine（乌迪内大学）；University of Catania（卡塔尼亚大学）
理解人与物体的交互是第一人称视觉（FPV）的基础。跟踪由相机佩戴者操纵的对象的跟踪算法可以提供有用的线索以有效地对这种交互进行建模。计算机视觉文献中可用的视觉跟踪解决方案在过去几年中针对各种各样的目标对象和跟踪场景显著提高了它们的性能。然而，尽管之前有几次尝试利用FPV应用程序中的跟踪器，但仍然缺少对该领域中最先进的跟踪器的性能的系统分析。在本文中，我们填补了空白，提出了第一个系统的研究FPV中的对象跟踪。我们的研究广泛地分析了最近的视觉跟踪器和基线FPV跟踪器的性能，从不同的方面考虑，并考虑一个新的性能指标。这是通过TREK-150实现的，TREK-150是一个由150个密集注释的视频序列组成的新基准数据集。我们的研究结果表明，FPV中的对象跟踪是具有挑战性的，这表明，更多的研究工作应该致力于这个问题，使跟踪可以受益于FPV任务。
2021-08-31 cs.CV
MeMOT: Multi-Object Tracking with Memory
AWS AI Labs（AWS人工智能实验室）；University of Washington（华盛顿大学）
我们提出了一个在线跟踪算法，执行目标检测和数据关联下一个共同的框架，能够链接对象后，很长一段时间跨度。这是通过保存一个大的时空存储器来存储被跟踪对象的身份嵌入，并通过自适应地引用和聚合有用的信息，从内存中的需要来实现。我们的模型，称为MeMOT，由三个主要模块组成，都是基于transformer的：1）假设生成，在当前视频帧中产生对象建议; 2）内存编码，从内存中提取每个跟踪对象的核心信息;和3）内存解码，同时解决多对象跟踪的目标检测和数据关联任务。在广泛采用的MOT基准数据集上进行评估时，MeMOT观察到非常有竞争力的性能。
2022-03-31 cs.CV
