GUSOT: Green and Unsupervised Single Object Tracking for Long Video Sequences
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）
近年来，依赖于深度学习技术的有监督和无监督深度跟踪器很受欢迎。然而，它们需要高计算复杂性和高存储器成本。提出了一种绿色无监督单目标跟踪器GUSOT，用于资源受限环境下的长视频目标跟踪。GUSOT基于基线跟踪器UHP-SOT++构建，适用于短期跟踪，GUSOT包含两个额外的新模块：1）丢失的对象恢复，2）基于颜色显着性的形状建议。它们分别有助于解决跟踪丢失问题和提供更灵活的对象建议。因此，它们使GUSOT能够在长期内实现更高的跟踪精度。我们在具有长视频序列的大规模数据集LaSOT上进行了实验，并表明GUSOT提供了一种轻量级的高性能跟踪解决方案，可以在移动和边缘计算平台中找到应用。
2022-07-15 cs.CV
An HMM-based framework for identity-aware long-term multi-object tracking from sparse and uncertain identification: use case on long-term tracking in livestock
Centre de développement du porc du Québec（魁北克猪发展中心）
针对长期多目标跟踪中的身份切换问题，提出基于HMM的框架，结合稀疏不确定的身份识别与跟踪，在猪跟踪及MOT17/20数据集上显著提升了ByteTrack和FairMOT的F1分数。
2025-09-12 cs.CV
Long-Term 3D Point Tracking By Cost Volume Fusion
Oregon State University（俄勒冈州立大学）
本文提出首个无需测试时微调的三维长期点跟踪深度学习框架，通过代价体积融合模块整合外观与运动信息，显著优于场景流链式及二维点跟踪方法。
2024-07-18 cs.CV
Quo Vadis: Is Trajectory Forecasting the Key Towards Long-Term Multi-Object Tracking?
Technical University of Munich（慕尼黑工业大学）
单目多目标跟踪的最新发展在跟踪可见对象和桥接短遮挡间隙方面非常成功，主要依赖于数据驱动的外观模型。虽然我们已经显著提高了短期跟踪性能，但桥接较长的遮挡间隙仍然难以实现：最先进的对象跟踪器只能桥接不到10%的超过三秒的遮挡。我们认为，缺少的关键是在较长的时间范围内推理未来的轨迹。直觉上，遮挡间隙越长，可能关联的搜索空间就越大。在本文中，我们表明，即使是一个小而多样的移动代理的轨迹预测集将显着减少这个搜索空间，从而提高长期跟踪的鲁棒性。我们的实验表明，我们的方法的关键组成部分是在鸟瞰图空间中进行推理，并在考虑其定位不确定性的同时生成一组小而多样的预测。通过这种方式，我们可以在MOTChallenge数据集上推进最先进的跟踪器，并显着提高其长期跟踪性能。本文的源代码和实验数据可在https://github.com/dendorferpatrick/QuoVadis上获得。
2022-10-25 cs.CV
CDTB: A Color and Depth Visual Object Tracking Dataset and Benchmark
University of Ljubljana（卢布尔雅那大学）；Tampere University（坦佩雷大学）；Czech Technical University in Prague（捷克布拉格技术大学）
提出了一种长期的视觉目标跟踪性能评估方法和基准测试。性能度量的设计遵循长期跟踪定义，以最大限度地提高分析探测强度。新的措施优于现有的解释潜力和更好地区分不同的跟踪行为。我们表明，这些措施概括了短期的性能指标，从而将两个跟踪问题。此外，新的措施是非常强大的时间注释稀疏性，并允许注释的序列比在当前数据集长数百倍，而不增加人工注释劳动。提出了一个新的具有挑战性的数据集，精心挑选的序列与许多目标失踪。提出了一种新的跟踪分类定位跟踪器的短期/长期频谱。该基准包含对最大数量的长期跟踪器的广泛评估，并与最先进的短期跟踪器进行比较。我们分析了跟踪架构实现对长期性能的影响，并探讨了各种重新检测策略以及视觉模型更新策略对长期跟踪漂移的影响。该方法集成在VOT工具包中，以自动进行实验分析和基准测试，并促进长期跟踪器的未来开发。
2019-07-01 cs.CV
Long-Term Face Tracking for Crowded Video-Surveillance Scenarios
Herta（赫塔）
大多数当前的多目标跟踪器专注于短期跟踪，并且基于不实时操作的深度和复杂系统，这通常使它们对于视频监控不切实际。在本文中，我们提出了一个长期的多人脸跟踪架构，设想在拥挤的环境中工作，特别是在运动和遮挡方面不受约束，并且人脸通常是人的唯一可见部分。我们的系统受益于人脸检测和人脸识别领域的进步，以实现长期跟踪。它遵循一种通过检测进行跟踪的方法，将快速短期视觉跟踪器与基于人脸验证的新型在线tracklet重连接策略相结合。此外，还包括一个校正模块，用于校正过去的轨道分配，而无需额外的计算成本。我们提出了一系列的实验，介绍了新的，专门的指标，长期跟踪能力和视频数据集，我们公开发布的评估。研究结果表明，在这种情况下，我们的方法可以获得比最先进的深度学习跟踪器长50%的跟踪。
2020-10-17 cs.CV
Monocular Event-Inertial Odometry with Adaptive decay-based Time Surface and Polarity-aware Tracking
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学网络系统与控制研究所）
本文提出一种结合自适应衰减时间表面与极性感知跟踪的单目事件-惯性里程计，通过引入极性反转时间表面解决运动方向变化导致的极性翻转问题，在多种数据集上优于现有最先进技术。
2024-09-21 cs.CV cs.RO
DELTA: Dense Efficient Long-range 3D Tracking for any video
Snap Inc.（Snap公司）
DELTA提出联合全局-局部注意力与Transformer上采样器，实现单目视频中密集3D像素级跟踪，速度快8倍以上，在2D/3D基准上达到最先进精度。
2025-02-28 cs.CV
LSDM: Long-Short Diffeomorphic Motion for Weakly-Supervised Ultrasound Landmark Tracking
University of Leicester（莱斯特大学）；University Hospitals of Leicester NHS Trust（莱斯特大学医院NHS信托）；Affiliated Hospital of Nantong University（南通大学附属医院）
随着时间的推移对解剖标志的准确跟踪对于诸如微创手术和肿瘤放射治疗的疾病评估具有高度的兴趣。超声成像是一种很有前途的模式，受益于低成本和实时采集。然而，生成精确的地标轨迹是非常具有挑战性的，因为尝试可以容易地被不同的干扰（例如地标变形、视觉模糊和部分观察）扭曲。在本文中，我们提出了一个长短同构运动网络，这是一个多任务的框架，具有可学习的变形之前，寻找合理的变形的地标。具体来说，我们设计了一种新的双态表示在长和短的时间域划定运动的利润和减少长期累积跟踪误差。为了进一步减轻局部解剖模糊性，我们提出了一个期望最大化运动对齐模块，以迭代优化长和短变形，对齐到相同的方向和空间表示。所提出的多任务系统可以以弱监督的方式进行训练，这只需要很少的地标标注用于跟踪，并且对于长短变形学习，零标注。我们在两个超声标志跟踪数据集上进行了广泛的实验。实验结果表明，我们提出的方法可以实现更好的或有竞争力的地标跟踪性能相比，其他国家的最先进的跟踪方法，具有较强的泛化能力，在不同的扫描仪类型和不同的超声模态。
2023-01-31 cs.CV
Tracking The Untrackable: Learning To Track Multiple Cues with Long-Term Dependencies
Stanford University（斯坦福大学）
针对多目标跟踪（MTT）问题的大多数现有解决方案在很长一段时间内不以连贯的端到端方式组合线索。然而，我们提出了一种在线方法，编码跨多个线索的长期时间依赖性。跟踪方法的一个关键挑战是准确地跟踪被遮挡的目标或与周围物体具有相似外观特性的目标。为了解决这一挑战，我们提出了一种递归神经网络（RNN）的结构，它在时间窗口上联合推理多个线索。我们能够纠正许多数据关联错误，并从闭塞状态恢复观测。我们展示了我们的数据驱动的方法的鲁棒性，通过跟踪多个目标使用他们的外观，运动，甚至相互作用。我们的方法在多个公开数据集上的性能优于以前的作品，包括具有挑战性的MOT基准。
2017-04-03 cs.CV
Towards long-term player tracking with graph hierarchies and domain-specific features
York University（约克大学）
提出SportsSUSHI层次图方法，利用球衣号码、球队ID和场地坐标等特征，在SoccerNet和新曲棍球数据集上提升长期球员跟踪的关联准确性。
2025-02-28 cs.CV
Leveraging Long-Term Predictions and Online-Learning in Agent-based Multiple Person Tracking
City University of Hong Kong（香港城市大学）
本文提出了一种基于粒子滤波和RVO的多人跟踪算法，RVO是一种基于Agent的人群模型，它通过推断无碰撞速度来预测行人的运动。除了位置和速度，我们的跟踪算法可以估计的内部目标（所需的目的地或所需的速度）的跟踪行人在一个在线的方式，从而消除了需要事先指定此信息。此外，我们通过推导高阶粒子滤波器来利用RVO的长期预测，该滤波器聚合来自不同先前时间步长的多个预测。这产生了一个跟踪器，可以恢复从短期闭塞和虚假噪声的外观模型。实验结果表明，该跟踪算法不需要场景先验信息或人工标注的目标信息，能够在线预测行人的行为，提高了低帧速率下真实拥挤场景下的跟踪效果。
2014-03-07 cs.CV
Adaptive Correlation Filters with Long-Term and Short-Term Memory for Object Tracking
Shanghai Jiao Tong University（上海交通大学）；Australian Centre for Robotic Vision, The University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；University of California at Merced（加州大学默塞德分校）
对象跟踪是具有挑战性的，因为目标对象经常随时间经历剧烈的外观变化。最近，自适应相关滤波器已成功地应用于目标跟踪。然而，依赖于高度自适应相关滤波器的跟踪算法容易由于噪声更新而漂移。此外，由于这些算法不保持目标外观的长期记忆，它们不能从由相机视图中的严重遮挡或目标消失引起的跟踪失败中恢复。在本文中，我们提出了学习多个自适应相关滤波器的目标外观的长期和短期记忆的鲁棒性目标跟踪。首先，我们学习一个具有积极学习率的核相关滤波器，用于精确定位目标对象。我们考虑到周围的上下文和特征表示的适当大小。其次，我们学习一个相关滤波器的特征金字塔中心的估计目标位置预测规模的变化。第三，我们学习一个互补的相关滤波器与一个保守的学习率，以保持长期记忆的目标外观。我们使用这个长期滤波器的输出响应来确定跟踪失败是否发生。在跟踪失败的情况下，我们应用一个增量学习的检测器，以滑动窗口的方式恢复目标位置。在大规模基准数据集上的大量实验结果表明，该算法在效率、准确性和鲁棒性方面优于现有方法。
2018-03-23 cs.CV
Learning regression and verification networks for long-term visual tracking
Dalian University of Technology（大连理工大学）
与短期跟踪相比，长期跟踪任务需要确定被跟踪对象是否存在，然后如果存在则估计准确的限界框，或者如果不存在则进行图像范围的重新检测。到目前为止，虽然这项任务更接近于设计实用的跟踪系统，但几乎没有尝试。在这项工作中，我们提出了一种基于深度回归和验证网络的新型长期跟踪框架。离线训练回归模型的设计使用对象感知的特征融合和区域建议网络生成一系列的候选人，并有效地估计他们的相似性得分。验证网络评估这些候选对象，以输出最佳的一个作为跟踪对象及其分类分数，该分类分数在线更新以适应基于新的可靠观察的外观变化。将相似度和分类得分相结合以获得最终的置信度值，基于该置信度值，我们的跟踪器可以准确地确定目标的不存在，并在目标重新出现时进行图像范围的重新检测以成功捕获目标。广泛的实验表明，我们的跟踪器在VOT2018长期挑战中实现了最佳性能，并在OxUvA长期数据集上获得了最先进的结果。
2018-11-19 cs.CV
Exploring 3 R's of Long-term Tracking: Re-detection, Recovery and Reliability
Center for Visual Information Technology, Kohli Center on Intelligent Systems（视觉信息技术中心，科利智能系统中心）；IIIT-Hyderabad（海得拉巴国际信息技术学院）
最近的工作提出了几个长期跟踪基准，并强调了走向长期跟踪的重要性，以弥合差距的应用程序的要求。然而，目前的评估方法并没有集中在几个方面，这是至关重要的，从长远来看，如重新检测，恢复和可靠性。在本文中，我们提出了新的评估策略，从长远的角度更深入地分析跟踪器。更具体地说，（a）我们测试重新检测能力的跟踪器在野外通过模拟虚拟削减，（b）我们调查的机会在故障后的恢复跟踪器的作用和（c）我们提出了一种新的度量允许视觉推理的跟踪器的能力连续跟踪（没有任何故障）在给定的精度。我们提出了几个原始的见解来自一个广泛的定量和定性实验。
2019-10-27 cs.CV
Long-term face tracking in the wild using deep learning
Wayne State University（韦恩州立大学）
本文研究了长期的人脸跟踪特定的人给定他/她的脸图像在一个单一的帧作为查询的视频流。通过利用大数据上的预训练深度学习模型，开发了一种新的系统，用于在不受约束的环境中精确跟踪视频人脸，描绘各种人和物体在帧内和帧外移动。在建议的系统中，我们提出了一个检测验证跟踪方法（被称为“DVT”），它完成了长期的人脸跟踪任务，通过人脸检测，人脸验证和（短期）人脸跟踪的合作。基于级联卷积神经网络的离线训练的检测器定位出现在帧中的所有面部，并且基于深度卷积神经网络和相似性度量学习的离线训练的面部验证器决定是否有面部或哪个面部对应于查询的人。一个在线训练的跟踪器从一帧到另一帧跟踪人脸。当在情景喜剧和电视节目上验证时，DVT方法在召回率和准确率方面优于跟踪学习检测（tracking-learning-detection，缩写为SVM）和人脸识别。该系统还测试了许多其他类型的视频，并显示出非常有前途的结果。
2018-05-19 cs.CV
Long-Term Identity-Aware Multi-Person Tracking for Surveillance Video Summarization
多人跟踪在监控视频分析中起着至关重要的作用。然而，大多数现有的工作集中在短期（例如，分钟长或小时长）的视频序列。因此，我们提出了一个多人跟踪算法非常长期（例如长达一个月）的多摄像机监控场景。长期跟踪是具有挑战性的，因为1）同一个人的服装/外观将在多天内变化很大，以及2）一个人将多次离开和重新进入场景。为了应对这些挑战，我们利用人脸识别信息，这是强大的服装变化，自动重新初始化我们的跟踪器在多天的记录。不幸的是，识别的面孔往往不可用。因此，我们的跟踪器传播身份信息的帧没有识别的脸，通过揭露的外观和空间流形形成的人检测。我们在23天的15台摄像机数据集（总共4，935小时）上测试了我们的算法，我们能够在53.2%的时间内以69.8%的精度定位一个人。我们进一步进行视频摘要实验，我们的跟踪输出的基础上。对116.25小时视频的分析结果表明，我们能够为不同的人生成合理的视觉日记（即一个人所做的事情的摘要），从而为每天生成的大量监控视频的自动摘要打开了大门。
2017-04-11 cs.CV
Rank-based verification for long-term face tracking in crowded scenes
Herta（赫塔公司）
当前大多数多对象跟踪器都专注于短期跟踪，并且基于深度和复杂的系统，这些系统通常无法实时操作，这使得它们对于视频监控来说不切实际。在本文中，我们提出了一个长期的，多人脸跟踪架构，设想在拥挤的环境中工作，脸往往是一个人的唯一可见的部分。我们的系统受益于人脸检测和人脸识别领域的进步，以实现长期跟踪，特别是不受运动和遮挡的人。它遵循一个跟踪检测的方法，结合了一个快速的短期视觉跟踪器与一个新的在线tracklet重连接策略基于排名的人脸验证。所提出的基于秩的约束有利于更高的类间距离之间的轨迹，并减少由于错误的重新连接的错误的传播。此外，还包括一个校正模块来校正过去的分配，而不需要额外的计算成本。我们提出了一系列实验，引入新的专门指标来评估长期跟踪能力，并公开发布了一个视频数据集，其中包含10个手动注释的视频，总长度为8' 54”。我们的研究结果验证了每个拟议模块的鲁棒性，并表明，在这些具有挑战性的背景下，我们的方法产生的跟踪时间比最先进的深度学习跟踪器长50%。
2021-07-28 cs.CV
MFT: Long-Term Tracking of Every Pixel
Czech Technical University in Prague（布拉格捷克理工大学）
提出MFT多流密集跟踪器，利用对数间隔光流和CNN可靠性选择，在TAP-Vid基准上显著优于基线，速度远超点跟踪方法，且对遮挡鲁棒、减少漂移。
2023-11-10 cs.CV
HiM2SAM: Enhancing SAM2 with Hierarchical Motion Estimation and Memory Optimization towards Long-term Tracking
KTH Royal Institute of Technology, Stockholm, Sweden（皇家理工学院）；College of Computer Science, Nankai University, Tianjin, China（南开大学计算机学院）；IIS, ETH Zurich, Zurich, Switzerland（苏黎世联邦理工学院信息与系统研究所）；Nanjing University of Aeronautics and Astronautics, Nanjing, China（南京航空航天大学）
本文提出HiM2SAM，通过分层运动估计和记忆库优化增强SAM2，无需额外训练即可提升视频长期目标跟踪性能，在多个数据集上取得显著提升。
2025-08-31 cs.CV
EgoTracks: A Long-term Egocentric Visual Object Tracking Dataset
Meta AI；UT Austin（德克萨斯大学奥斯汀分校）
针对现有第一人称跟踪数据集存在的时长较短、重检测问题重视不足等局限，研究团队推出源自Ego4D的长期第一人称跟踪数据集EgoTracks，同时改进STARK跟踪器得到EgoSTARK基线模型并公开发布相关资源。
2023-10-01 cs.CV
Training-Free Long-Term Multi-Object Tracking for Sports Video Analytics
Inria（法国国家信息与自动化研究所）
针对体育视频长期多目标跟踪的挑战，提出无训练的McByte++框架，通过整合轻量掩码传播等技术提升效率与性能，在相关基准测试中取得显著指标提升且速度大幅加快。
2026-08-18 cs.CV
Long-term Tracking in the Wild: A Benchmark
University of Oxford（牛津大学）；FiveAI；University of Amsterdam（阿姆斯特丹大学）
我们介绍了OxUvA数据集和基准评估单对象跟踪算法。基准测试通过定义对大量不同视频的标准化评估，在对象跟踪领域取得了长足的进步。然而，这些作品只专注于长度只有几十秒的序列，并且目标总是可见的。因此，大多数研究人员都设计了适合这种“短期”情况的方法，这是很难代表从业者的需求。为了解决这一差距，我们编制了一个长期的，大规模的跟踪序列的数据集，平均长度大于两分钟，频繁的目标对象消失。OxUvA数据集比近年来的对象跟踪数据集要大得多：它包括366个序列，跨越14小时的视频。我们评估几种算法的性能，同时考虑到定位目标的能力，并确定它是否存在或不存在。我们的目标是为社区提供一个大型和多样化的基准，使跟踪方法的设计和评估准备用于“在野外”。项目网址为http://oxuva.net
2018-08-10 cs.CV
Flow Guided Short-term Trackers with Cascade Detection for Long-term Tracking
School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院）
目标跟踪的研究已经有几十年的历史了，但现有的研究大多集中在短时跟踪上。对于较长的序列，目标往往被完全遮挡或长时间处于视野之外，现有的短时目标跟踪算法往往会丢失目标，即使目标再次出现也很难重新捕捉到。本文提出了一种新的长期目标跟踪算法flow_MDNet_RPN，该算法在短期目标跟踪算法的基础上增加了跟踪结果判断模块和检测模块。实验结果表明，该算法对目标消失问题具有较好的跟踪效果。
2019-09-01 cs.CV eess.IV
High-Performance Long-Term Tracking with Meta-Updater
Dalian University of Technology（大连理工大学）；University of Amsterdam（阿姆斯特丹大学）；Peng Cheng Laboratory（鹏城实验室）；China Science IntelliCloud Technology Co., Ltd（中科智能云科技有限公司）
长期视觉跟踪由于比短期跟踪更接近实际应用而受到越来越多的关注。大多数排名靠前的长期跟踪器采用离线训练的暹罗架构，因此，它们无法从在线更新的短期跟踪器的巨大进步中受益。然而，由于长期的不确定性和噪声观测，直接引入基于在线更新的跟踪器来解决长期问题是相当危险的。在这项工作中，我们提出了一种新的离线训练的元更新器，以解决一个重要但未解决的问题：跟踪器是否准备好在当前帧中更新？所提出的元更新器可以以顺序的方式有效地集成几何、区分和外观线索，然后使用设计的级联LSTM模块来挖掘顺序信息。我们的元更新器学习二进制输出来指导跟踪器的更新，并且可以很容易地嵌入到不同的跟踪器中。这项工作还引入了一个长期的跟踪框架，包括一个在线本地跟踪器，一个在线验证器，一个基于SiamRPN的重检测器，和我们的元更新器。在VOT 2018 LT、VOT 2019 LT、OxUvALT、TLP和LaSOT基准测试上的大量实验结果表明，我们的跟踪器的性能明显优于其他竞争算法。我们的项目可以在网站上找到：https://github.com/Daikenan/LTMU。
2020-04-01 cs.CV
Delving into the Trajectory Long-tail Distribution for Muti-object Tracking
Huazhong University of Science and Technology（华中科技大学）
针对多目标跟踪数据集中行人轨迹长度长尾分布问题，提出SVA和DVA数据增强策略及组Softmax模块，可集成于现有系统，有效减轻长尾分布对跟踪性能的影响。
2024-05-24 cs.CV
WaspMOT: A Benchmark for Long-Term Multi-Object Tracking of Trichogramma Wasps
Inria（法国国家信息与自动化技术研究院）；INRAE Institut Sophia Agrobiotech（法国国家农业生物技术研究院）；Université Côte d'Azur（蔚蓝海岸大学）；Indian Institute of Technology Delhi（德里印度理工学院）；Institute of Plant Protection, Chinese Academy of Agricultural Sciences（中国农业科学院植物保护研究所）
研究针对多目标跟踪在长期身份保持评估不足的问题，引入WaspMOT基准，通过对赤眼蜂长时间跟踪构建数据集，评估五种检测跟踪方法，发现都有轨迹碎片化问题，简单拼接基线可提升性能，揭示了现有方法局限。
2026-07-30 cs.CV
GlobalTrack: A Simple and Strong Baseline for Long-term Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
长期跟踪器的一个关键能力是在非常大的区域（通常是整个图像）中搜索目标，以处理可能的目标缺失或跟踪失败。然而，目前缺乏全局实例搜索的强大基线。在这项工作中，我们的目标是弥合这一差距。具体来说，我们提出了GlobalTrack，一个纯粹的全球实例搜索为基础的跟踪器，不假设目标的位置和规模的时间一致性。GlobalTrack是基于两阶段目标检测器开发的，它能够执行全图像和多尺度搜索的任意实例，只有一个单一的查询作为指导。我们进一步提出了一个交叉查询损失，以提高我们的方法对干扰的鲁棒性。由于没有在线学习，没有对位置或尺度变化的惩罚，没有尺度平滑，也没有轨迹细化，我们的基于纯全局实例搜索的跟踪器在四个大规模跟踪基准上实现了相当的，有时更好的性能（即，LaSOT上的AUC为52.1%，TLP上的成功率为63.8%，OxUvA上的MaxGM为60.3%，TrackingNet上的标准化精度为75.4%），而最先进的方法通常需要复杂的后处理。更重要的是，我们的跟踪器运行时没有累积错误，即，任何类型的临时跟踪故障都不会影响其在未来帧上的性能，使其成为长期跟踪的理想选择。我们希望这项工作将成为长期跟踪的一个强有力的基线，并将促进这一领域的未来工作。代码可在www.example.com上获得。
2019-12-18 cs.CV
Online Long-term Point Tracking in the Foundation Model Era
本文提出基于Transformer的在线长期点跟踪模型Track-On，将每个跟踪点视为查询并逐帧处理，利用视觉基础模型初始化与记忆机制传播上下文，在七个基准上达到SOTA，证明了无未来信息下在线长期跟踪的可行性。
2025-07-12 cs.CV
Long and Short Memory Balancing in Visual Co-Tracking using Q-Learning
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
采用一个或多个额外的分类器来打破检测跟踪中的自学习循环已经获得了相当大的关注。大多数这样的跟踪器仅仅利用冗余来解决跟踪循环中的累积标签误差，并且遭受高计算复杂性以及可能中断所有分类器的跟踪挑战（例如，时间遮挡）。我们提出了主动协同跟踪框架，在该框架中，跟踪器的主分类器标记视频序列的样本，并且仅在不确定时参考辅助分类器。基于不确定性的来源和两个分类器的差异（例如，准确度、速度、更新频率等），两个分类器之间的信息交换应该采取不同的策略。在这里，我们引入了一种强化学习方法，通过考虑特定序列中跟踪器的状态来找到合适的策略。所提出的方法产生的最好的跟踪检测方法相比，有前途的结果。
2019-02-14 cs.CV
Unsupervised learning-based long-term superpixel tracking
IMT Atlantique（IMT大西洋高等矿业电信学院）；LaTIM UMR 1101, Inserm（LaTIM（INSERM UMR 1101））；ICube UMR 7357, CNRS, Université de Strasbourg（斯特拉斯堡大学CNRS ICube（UMR 7357））；Université de Bretagne Occidentale（布列塔尼西部大学）
寻找结构实体之间的对应关系分解图像是计算机视觉应用的高度兴趣。特别是，我们分析了如何准确地跟踪超像素-通过聚合共享相似特征的相邻像素生成的视觉基元-在依赖于无监督学习和时间整合的延长的时间段内。提出了一种用于长期超像素跟踪的两步视频处理流水线。首先，基于无监督学习的超像素匹配使用从灰度扩展到多通道和前向-后向一致性约束的新的上下文丰富特征来提供连续帧和远距离帧之间的对应关系。然后，沿着贯穿具有各种帧间距离的整个序列的多步路径组合所得到的基本匹配。这产生了一个大的候选长期超像素配对集合，在其上执行多数投票。视频对象跟踪实验证明了我们的基本估计器对最先进的方法的准确性，并证明了多步积分的能力，以提供准确的长期超像素匹配相比，通常的直接和顺序集成。
2019-02-25 cs.CV
Research on Data Fusion Algorithm Based on Deep Learning in Target Tracking
Xijing University（西京学院）
针对深度长短期记忆网络（DLSTM）算法无法进行并行计算、无法获取全局信息的局限性，本文首先根据眼动数据和跟踪数据的特点进行特征提取和特征处理，然后通过在深度长短期记忆网络中引入卷积神经网络（CNN），提出了一种新的网络结构和融合策略，提出了一种基于长短期记忆网络的眼动追踪数据融合算法。实验结果表明，与两种基于深度学习的融合算法相比，本文提出的算法在融合质量方面表现良好。
2022-11-23 cs.CV
Unifying Short and Long-Term Tracking with Graph Hierarchies
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
在长视频中跟踪对象有效地意味着解决一系列问题，从未被遮挡对象的短期关联到被遮挡然后重新出现在场景中的对象的长期关联。解决这两个任务的方法通常是不相交的，并且是针对特定场景而设计的，而性能最好的方法通常是技术的混合，这会产生缺乏通用性的工程解决方案。在这项工作中，我们质疑混合方法的必要性，并介绍SUSHI，一个统一的和可扩展的多对象跟踪器。我们的方法处理长剪辑，将它们分割成一个层次结构的子剪辑，这使得高可扩展性。我们利用图神经网络来处理层次结构的所有级别，这使得我们的模型在时间尺度上是统一的，并且具有高度的通用性。因此，我们在四个不同的数据集上获得了比最先进的显着改进。我们的代码和模型可以在bit.ly/sushi-mot上找到。
2023-03-30 cs.CV
MeMOTR: Long-Term Memory-Augmented Transformer for Multi-Object Tracking
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室）；Shanghai AI Lab（上海人工智能实验室）
本文提出MeMOTR，通过长时记忆注入和定制记忆注意力层增强Transformer的轨迹嵌入稳定性与区分性，在多目标跟踪基准上显著超越现有方法。
2024-02-21 cs.CV
TAPTRv3: Spatial and Temporal Context Foster Robust Tracking of Any Point in Long Video
Tsinghua University（清华大学）；South China University of Technology（华南理工大学）；International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA））
TAPTRv3通过引入上下文感知交叉注意力和可见性感知长时注意力，利用空间与时间上下文改进TAPTRv2，在长视频点跟踪任务中实现鲁棒跟踪并达到最先进性能。
2025-09-26 cs.CV
Robust Long-Term Object Tracking via Improved Discriminative Model Prediction
KAIST（韩国科学技术院）；Korea University（高丽大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种改进的判别模型预测方法，用于基于预训练的短期跟踪器的鲁棒长期跟踪。基线预训练的短期跟踪器是SuperDiMP，它将PrDiMP的边界框回归器与标准DiMP分类器相结合。我们的跟踪器RLT-DiMP在以下三个方面改进了SuperDiMP：（1）使用随机擦除减少不确定性：为了使我们的模型鲁棒，我们利用擦除随机小矩形区域后多个图像的一致性作为确定性。然后，我们相应地校正模型的跟踪状态。(2)随机搜索与时空约束：我们提出了一个强大的随机搜索方法与分数惩罚，以防止突然检测的距离。(3)背景增强以实现更具鉴别力的特征学习：我们增强了搜索区域中不包括的各种背景，以在背景杂波中训练更鲁棒的模型。在VOT-LT 2020基准数据集上的实验中，所提出的方法实现了与最先进的长期跟踪器相当的性能。源代码可在https://github.com/bismex/RLT-DIMP上获得。
2020-08-25 cs.CV
Sea You Later: Metadata-Guided Long-Term Re-Identification for UAV-Based Multi-Object Tracking
National Taiwan University（台湾大学）；National Center for High-performance Computing（国家高性能计算中心）；University of Washington（华盛顿大学）
针对无人机海事多目标跟踪中短期和长期重识别的挑战，提出利用GPS等元数据融合轨迹的MG-MOT算法，在SeaDroneSee数据集上取得HOTA 69.5%和IDF1 85.9%的SOTA性能。
2023-11-22 cs.CV
MCBLT: Multi-Camera Multi-Object 3D Tracking in Long Videos
NVIDIA（英伟达）；Technical University of Munich（慕尼黑工业大学）；University of Washington（华盛顿大学）
提出MCBLT框架，通过多视角图像聚合与层次图神经网络在鸟瞰图中实现3D目标检测与跟踪，在AICity'24和WildTrack数据集上分别以81.22 HOTA和95.6 IDF1刷新最优性能。
2025-03-26 cs.CV
LEAP-VO: Long-term Effective Any Point Tracking for Visual Odometry
TU Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；MPI for Intelligent Systems（智能系统研究所）；Microsoft（微软公司）
本文提出 LEAP-VO 视觉里程计系统，通过结合视觉、轨迹间和时间线索的长时任意点跟踪模块 LEAP 及逐点不确定性推理，显著提升遮挡和动态场景下的性能。
2025-11-05 cs.CV
PointOdyssey: A Large-Scale Synthetic Dataset for Long-Term Point Tracking
Stanford University（斯坦福大学）
本文提出大规模合成数据集PointOdyssey及生成框架，通过真实运动捕捉与3D渲染提供长视频和丰富标注，支持长期细粒度点跟踪算法训练，并改进PIP方法在多基准上的性能。
2023-07-27 cs.CV
Global Tracking via Ensemble of Local Trackers
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
长时间跟踪的关键在于难以跟踪因视野外或遮挡而产生的不连续运动目标。现有的长期跟踪方法遵循两种典型的策略。第一种策略采用一个局部跟踪器进行平滑跟踪，当目标丢失时，使用另一个重检测器进行目标检测。虽然它可以利用时间背景，如历史外观和目标的位置，这种策略的潜在限制是，本地跟踪器往往误识别附近的干扰作为目标，而不是激活重新检测器时，真正的目标是在视图。另一种长期跟踪策略是在全局范围内对目标进行跟踪，而不是根据先前的跟踪结果进行局部跟踪。不幸的是，这种全局跟踪策略不能有效地利用时间上下文。在这项工作中，我们结合了这两种策略的优势：在全球范围内跟踪目标，同时利用时间的背景。具体来说，我们通过传播完整图像的本地跟踪器的集合来执行全局跟踪。目标的平滑运动可以由一个局部跟踪器稳定地处理。当本地跟踪器由于突然不连续移动而意外丢失目标时，靠近目标的另一个本地跟踪器然后被激活，并且可以容易地接管跟踪以定位目标。当激活的本地跟踪器通过利用时间上下文在本地执行跟踪时，本地跟踪器的集合使我们的模型呈现用于跟踪的全局视图。在六个数据集上的大量实验表明，我们的方法对最先进的算法表现良好。
2022-03-30 cs.CV
Can Visual Foundation Models Achieve Long-term Point Tracking?
Koç University（科克大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文评估了Stable Diffusion和DINOv2等视觉基础模型在长期点跟踪中的几何感知能力，发现其在零样本设置下表现卓越，且DINOv2在适应设置中达到与监督模型相当的性能，可作为对应学习的强初始化。
2024-08-24 cs.CV
Detector-Augmented SAMURAI for Long-Duration Drone Tracking
Institute for the Protection of Terrestrial Infrastructures, German Aerospace Center (DLR)（地面基础设施保护研究所，德国航空航天中心（DLR））；ACIDA Lab, Technical University of Applied Sciences Würzburg-Schweinfurt（应用技术大学施魏尔堡-施维恩富特学院ACIDA实验室）；Data Science Institute, European University of Technology（欧洲技术大学数据科学研究所）；LIST3N, Université de Technologie de Troyes（图卢兹理工大学LIST3N）
本文提出增强检测器的SAMURAI模型，用于提升无人机在复杂城市环境中的长时间跟踪鲁棒性，显著提高了成功率并降低了误检率。
2026-08-18 cs.CV
Robust Performance-driven 3D Face Tracking in Long Range Depth Scenes
Rutgers University（罗格斯大学）；Hong Kong Polytechnic University（香港理工大学）；Nanyang Technological University（南洋理工大学）
我们介绍了一种新的鲁棒的混合3D人脸跟踪框架RGBD视频流，这是能够跟踪头部姿势和面部动作，而无需预先校准或干预的用户。特别是，我们强调提高跟踪性能的情况下，跟踪对象是在一个很大的距离从相机，点云的质量严重恶化。这是通过灵活的3D形状回归器和形状参数的联合2D+3D优化的组合来实现的。我们的方法适合面部blendshapes到人类头部的点云，同时由在通用RGB数据集上训练的高效快速的3D形状回归器驱动。作为一个在线跟踪系统，未知用户的身份是适应的飞行，从而改善了三维模型重建，因此更好的跟踪性能。其结果是一个强大的RGBD人脸跟踪器，能够处理广泛的目标场景深度，超出了传统的深度或RGB人脸跟踪器所能提供的范围。最后，由于blendshape不能准确地恢复真实的面部形状，我们使用跟踪的3D人脸模型作为一个新的过滤过程中的先验，以进一步细化深度图，用于其他任务，如3D重建。
2015-07-10 cs.CV
The Second-place Solution for CVPR 2022 SoccerNet Tracking Challenge
Fujitsu Research（富士通研究院）
这是我们在CVPR 2022 SoccerNet跟踪挑战赛中获得的第二名解决方案。我们的方法主要包括两个步骤：使用级联缓冲区IoU（C-BIoU）跟踪器进行在线短期跟踪，以及使用外观特征和层次聚类进行离线长期跟踪。在每一步中，在线跟踪产生的HOTA分数接近90，离线跟踪进一步提高HOTA分数到93.2左右。
2022-12-06 cs.CV
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Monash University（莫纳什大学）；CVLab-EPFL（洛桑联邦理工学院计算机视觉实验室）
尽管最近在通过联合检测和跟踪实现的多目标跟踪（MOT）方面取得了进展，但处理长遮挡仍然是一个挑战。这是由于这样的技术倾向于忽略长期运动信息的事实。在本文中，我们引入了一个概率自回归运动模型，直接测量它们的可能性来评分tracklet建议。这是通过训练我们的模型来学习自然轨迹的底层分布来实现的。因此，我们的模型不仅允许我们为现有的轨迹片段分配新的检测，而且还允许我们在对象丢失很长时间时对轨迹片段进行补绘，例如，由于遮挡，通过采样轨迹以填充由误检测引起的间隙。我们的实验证明了我们的方法在跟踪具有挑战性的序列中的对象方面的优越性;它在多个MOT基准数据集（包括MOT 16，MOT 17和MOT 20）上的大多数标准MOT指标中表现优于最先进的技术。
2020-12-10 cs.CV
Video-based Surgical Skills Assessment using Long term Tool Tracking
Johnson & Johnson（强生公司）；Johnson & Johnson Medical GmbH（强生医疗有限公司）
掌握手术所需的技术技能是一项极具挑战性的任务。基于视频的评估允许外科医生接收关于其技术技能的反馈，以促进学习和发展。目前，这种反馈主要来自手动视频审查，这是时间密集型的，并限制了跟踪外科医生在许多情况下的进展的可行性。在这项工作中，我们介绍了一种基于运动的方法来自动评估手术技能的手术案例视频饲料。所提出的流水线首先可靠地跟踪手术工具以创建运动轨迹，然后使用这些轨迹来预测外科医生的技术技能水平。跟踪算法采用了一个简单而有效的重新识别模块，与其他最先进的方法相比，改进了ID切换。当仪器定期在屏幕上和屏幕外移动或定期被遮挡时，这对于创建可靠的工具轨迹至关重要。基于运动的分类模型采用了最先进的自我注意力Transformer网络来捕获技能评估所必需的短期和长期运动模式。在体内（Cholec80）数据集上评估所提出的方法，其中使用Calot三角解剖的专家级GOALS技能评估作为定量技能测量。我们比较基于变压器的技能评估与传统的机器学习方法，使用建议和国家的最先进的跟踪。我们的研究结果表明，使用可靠的跟踪方法的运动轨迹是有益的评估外科医生的技能，仅基于视频流。
2022-07-05 cs.CV
SMTrack: State-Aware Mamba for Efficient Temporal Modeling in Visual Tracking
SMTrack提出了一种基于状态的Mamba模型，通过线性计算复杂度实现高效视觉跟踪，无需复杂模块或高计算成本，提升跟踪鲁棒性。
2026-02-02 cs.CV
MotionTrack: Learning Robust Short-term and Long-term Motions for Multi-Object Tracking
Xi’an Jiaotong University（西安交通大学）；Wormpex AI Research（Wormpex AI研究院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出多目标跟踪器 MotionTrack，通过 Interaction Module 和 Refind Module 在统一框架中学习短期与长期运动，以应对密集人群和极端遮挡，并在 MOT17 和 MOT20 上取得领先性能。
2023-04-17 cs.CV
Vehicle Detection and Tracking From Surveillance Cameras in Urban Scenes
Polytechnique Montreal（蒙特利尔综合理工学院）；Cysca Technologies（Cysca技术公司）
在城市场景中检测和跟踪车辆是许多交通相关应用中的关键一步，因为它有助于提高道路使用者的安全性。在多目标跟踪中，目标信息描述、长时间遮挡和快速运动等问题仍然是一个亟待解决的难题。我们提出了一个多车辆检测和跟踪系统跟踪的检测范式，解决了前面提到的挑战。我们的MOT方法扩展了基于交集的跟踪器与车辆重新识别功能。这使我们能够利用外观信息，以更好地匹配对象后，长的闭塞阶段和/或当对象的位置显着转移，由于快速运动。我们在UA-DETRAC基准测试中优于我们的基线MOT方法，同时保持适合在线用例的总处理速度。
2021-09-25 cs.CV
Exploring Structure for Long-Term Tracking of Multiple Objects in Sports Videos
University of São Paulo（圣保罗大学）；CNRS（法国国家科学研究中心）；Télécom ParisTech（巴黎电信学院）
在本文中，我们提出了一种新的方法，利用结构关系来跟踪多个对象，可能会经历长期的闭塞和突然的运动。我们使用一种无模型方法，仅依赖于视频第一帧中给出的注释来在线跟踪所有对象，即不需要了解未来帧的信息。我们从第一帧初始化一个概率属性关系图（ARG），它是增量更新沿视频。而不是使用的结构信息只评估场景，所提出的方法认为它产生新的跟踪假设。通过这种方式，我们的方法能够生成用于改善或恢复丢失对象的跟踪的相关对象候选者。所提出的方法进行了评估，乒乓球，排球，和ACASVA数据集上的几个视频。结果表明，我们的方法是非常强大的，灵活的，能够优于其他国家的最先进的方法在体育视频，目前的结构模式。
2016-12-19 cs.CV
Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification
Sensetime Group Limited（商汤集团有限公司）；Beihang University（北京航空航天大学）；The University of Sydney（悉尼大学）
在本文中，我们提出了一个统一的多目标跟踪（MOT）框架学习，充分利用长期和短期的线索处理复杂的情况下，在MOT场景。此外，为了更好的关联，我们提出了切换感知分类（SAC），它考虑到潜在的身份切换的原因（切换）。具体而言，所提出的框架包括一个单一的对象跟踪（SOT）子网捕捉短期线索，一个重新识别（ReID）子网提取长期线索和切换感知分类器进行匹配决策使用提取的功能，从主要目标和切换。短期线索有助于发现假阴性，而长期线索避免了发生遮挡时的严重错误，SAC学会以有效的方式组合多个线索并提高鲁棒性。该方法是具有挑战性的MOT基准进行评估，并取得了国家的最先进的结果。
2019-01-18 cs.CV
Long-term Correlation Tracking using Multi-layer Hybrid Features in Sparse and Dense Environments
Heriot Watt University（赫瑞-瓦特大学）；Sheffield Hallam University（谢菲尔德哈勒姆大学）
在稀疏和拥挤的环境中跟踪感兴趣的目标是一个具有挑战性的问题，尚未成功地解决在文献中。在本文中，我们提出了一种新的长期视觉跟踪算法，学习判别相关滤波器和使用在线分类器，跟踪目标的兴趣在稀疏和拥挤的视频序列。首先，我们使用卷积神经网络（CNN）和传统手工特征的多层混合来学习翻译相关滤波器。我们结合了较低的卷积层（保留更多空间细节以进行精确定位）和较高的卷积层（编码语义信息以处理外观变化）的优势，然后将这些与定向梯度直方图（HOG）和颜色命名传统特征相结合。其次，我们包括一个重新检测模块，用于克服由于长期遮挡而导致的跟踪失败，方法是使用手工设计的功能在最有信心的帧上训练增量（在线）SVM。仅当对象的相关响应低于某个预定义阈值时，才激活该重新检测模块。这生成高分检测建议，使用高斯混合概率假设密度（GM-PHD）滤波器对高分检测建议进行时间滤波，以通过去除作为杂波的其他检测建议来找到具有最大权重的检测建议作为目标状态估计。最后，我们学习了一个尺度相关滤波器，用于通过使用HOG特征在估计或重新检测的位置周围构建目标金字塔来估计目标的尺度。我们在稀疏和密集数据集上进行了广泛的实验，结果表明我们的方法显着优于最先进的方法。
2019-02-03 cs.CV
NOOUGAT: Towards Unified Online and Offline Multi-Object Tracking
NVIDIA；Technical University of Munich（慕尼黑技术大学）
NOOUGAT提出一种统一的多目标跟踪框架，通过图神经网络和自回归长时跟踪层处理非重叠子片段，实现灵活的时间范围，提升在线和离线跟踪性能。
2026-04-20 cs.CV
