A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2，它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计，进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下，D3 S2仅针对分割作为主要输出进行训练，在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器，并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
Robust Multi-body Feature Tracker: A Segmentation-free Approach
ANU（澳大利亚国立大学）；EPFL（洛桑联邦理工学院）
特征跟踪是计算机视觉中的一个基本问题，在许多计算机视觉任务中有应用，例如视觉SLAM和动作识别。本文介绍了一种新的多体特征跟踪器，利用多体刚性假设，以提高跟踪鲁棒性下的一般透视相机模型。解决这个问题的传统方法将包括在解决两个子任务之间交替：运动分割和每个段的刚性约束下的特征跟踪。然而，这种方法需要知道运动的数量，以及将点分配给运动组，这通常对运动估计敏感。相比之下，在这里，我们引入了一个无分割的多体特征跟踪解决方案，绕过了运动分配步骤，并减少到解决一系列具有封闭形式的解决方案的子问题。我们的实验证明了我们的方法在跟踪精度和对噪声的鲁棒性方面的好处。
2016-03-15 cs.CV
Object Tracking in Satellite Videos Based on a Multi-Frame Optical Flow Tracker
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）
目标跟踪是计算机视觉中的一个研究热点。随着超高分辨率遥感技术的发展，利用卫星视频对感兴趣的目标进行跟踪成为可能。然而，由于卫星视频中的目标相对于整幅图像而言往往太小，且与背景过于相似，现有的算法都不能很好地跟踪卫星视频中的目标。基于光流在检测目标微小运动方面的巨大潜力，提出了一种多帧光流跟踪器（MOFT）用于卫星视频中的目标跟踪。采用Lucas-Kanade光流法结合HSV彩色系统和积分图像对卫星视频中的目标进行跟踪，采用多帧差分法对光流跟踪器进行解译。对3个VHR遥感卫星视频数据集的实验表明，与现有目标跟踪算法相比，该方法能够更准确地跟踪目标。
2018-04-25 cs.CV
Automatic Tracker Selection w.r.t Object Detection Performance
INRIA（法国国家信息与自动化研究所）
跟踪算法的性能取决于视频内容。本文提出了一种新的多目标跟踪方法，能够应付视频内容的变化。首先，使用Kanade-Lucas-Tomasi（KLT）特征跟踪来改进目标检测。其次，对于每个移动对象，一个合适的跟踪器中选择一个基于KLT的跟踪器和歧视性外观为基础的跟踪器。这一选择得到了在线跟踪评价的支持。该方法已在三个公共视频数据集上进行了实验。实验结果表明，所提出的方法相比，最近的最先进的跟踪器的性能更好。
2014-04-08 cs.CV
Evaluation of Object Trackers in Distorted Surveillance Videos
Pontificia Universidad Javeriana（哈维里亚纳宗座大学）；Universidad de San Buenaventura（圣布埃纳文图拉大学）
真实场景中的目标跟踪是一个困难的问题，受到各种图像因素的影响，如遮挡，杂波，混乱，目标形状，不稳定的速度和缩放。虽然这些条件确实会影响跟踪性能，但在场景相关的挑战（如遮挡、杂乱等）之间没有明确的区别，以及由来自捕获、压缩、处理和传输的损伤的传统概念所带来的挑战。本文关注的是后者的质量解释，因为它会影响视频跟踪性能。在这项工作中，我们的目标是评估两个国家的最先进的跟踪器（ECOCK和ECOCK）系统和实验的监控视频中的捕获失真，如曝光不足和散焦的影响。我们用成功曲线和精度曲线的曲线下面积（AUC）值来评估这些跟踪器。尽管事实上，在视频跟踪调查中，BROCK和BROCK的排名很高。这项研究的结论是，失能扭曲严重影响这些跟踪器的性能。出于这个原因，相对于这些失真的鲁棒跟踪器的设计和构造仍然是一个悬而未决的问题，可以通过创建利用感知特征来补偿由这些失真提供的退化的算法来回答。
2018-04-04 cs.CV
Video based real-time positional tracker
VirtuallyLive（VirtuallyLive（虚拟生活））
我们提出了一个系统，使用视频作为输入来跟踪对象相对于周围环境的位置在实时的【形】。所采用的神经网络是在来自我们自己的自动生成器的100%合成数据集上训练的。位置跟踪器依赖于放置在所选竞技场周围的1到n个摄像机。系统通过理解由相机形成的重叠矩阵来返回被跟踪对象相对于更广阔世界的位置，因此这些可以外推到真实世界坐标。在大多数情况下，我们实现了更高的更新速率和定位精度比任何现有的基于GPS的系统，特别是对于室内物体或那些从晴朗的天空遮挡。
2020-10-29 cs.CV
Learning to Track Objects from Unlabeled Videos
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）
在本文中，我们建议从头开始学习无监督单对象跟踪器（USOT）。我们确定了三个主要挑战，即，运动目标发现、丰富的时间变化利用和在线更新是现有无监督跟踪器性能瓶颈的主要原因。为了缩小无监督跟踪器和有监督跟踪器之间的差距，我们提出了一种有效的无监督学习方法，包括三个阶段。首先，我们用无监督光流和动态规划对连续移动的物体进行采样，而不是随机裁剪。其次，我们训练一个天真的暹罗跟踪从头开始使用单帧对。第三，我们继续用一种新的周期记忆学习方案训练跟踪器，该方案在更长的时间跨度内进行，并且还使我们的跟踪器能够在线更新。大量的实验表明，从未标记视频中学习的USOT在很大程度上优于最先进的无监督跟踪器，并且与最近的监督深度跟踪器相当。代码可在https://github.com/VISION-SJTU/USOT上获得。
2021-08-28 cs.CV
Hy-Tracker: A Novel Framework for Enhancing Efficiency and Accuracy of Object Tracking in Hyperspectral Videos
Griffith University（格里菲斯大学）；Bangladesh Agricultural University（孟加拉国农业大学）
本文提出Hy-Tracker框架，首次将YOLOv7引入高光谱视频目标跟踪，并结合精化跟踪模块与卡尔曼滤波器，有效应对遮挡和尺度变化，提升跟踪精度与效率。
2023-11-30 cs.CV
Multi-Object Tracking with Hallucinated and Unlabeled Videos
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Web Services（亚马逊云服务）
在本文中，我们探索了在没有跟踪注释的情况下学习端到端深度神经跟踪器。这一点很重要，因为大规模训练数据对于训练深度神经跟踪器至关重要，而跟踪注释的获取成本很高。在跟踪注释的地方，我们首先幻觉视频从图像与限界框注释使用放大/缩小运动变换，以获得免费的跟踪标签。我们添加视频模拟增强来创建一个多样化的跟踪数据集，尽管只是简单的运动。接下来，为了解决更难的跟踪问题，我们在一个未标记的真实视频池中挖掘硬例子，跟踪器在我们的幻觉视频数据上进行训练。对于硬示例挖掘，我们提出了一个基于优化的连接过程，首先从未标记的视频池中识别并纠正硬示例。最后，我们使用幻觉数据和挖掘的硬视频示例联合训练我们的跟踪器。我们的弱监督跟踪器在MOT 17和TAO人员数据集上实现了最先进的性能。在MOT 17上，我们进一步证明了我们自己生成的数据和现有的手动注释数据的结合带来了额外的改进。
2021-08-19 cs.CV
Detect or Track: Towards Cost-Effective Video Object Detection/Tracking
Huazhong University of Science and Technology（华中科技大学）；Microsoft Research Asia（微软亚洲研究院）
最先进的目标探测器和跟踪器正在快速发展。跟踪器通常比探测器更有效，但有漂移的风险。因此提出了一个问题--如何在给定的时间预算内利用现有的检测器和跟踪器来提高视频目标检测/跟踪的准确性？基线是跳帧--每隔N帧检测一次，并跟踪其间的帧。然而，该基线是次优的，因为检测频率应当取决于跟踪质量。为此，我们提出了一个调度器网络，它决定在一定的帧检测或跟踪，作为一个概括的暹罗跟踪器。尽管调度器网络结构简单，但它比跳帧基线和基于流的方法更有效，这在视频目标检测/跟踪中的ImageNet VID数据集上得到了验证。
2018-11-13 cs.CV
DriveTrack: A Benchmark for Long-Range Point Tracking in Real-World Videos
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Systems（奥多比系统公司）
针对真实世界视频点跟踪标注数据不足的问题，本文提出DriveTrack基准与自动标注框架，发布10亿条点轨迹的数据集，可提升跟踪器准确率并助力相关敏感度分析。
2023-12-15 cs.CV
Organoid Tracker: A SAM2-Powered Platform for Zero-shot Cyst Analysis in Human Kidney Organoid Videos
Vanderbilt University（范德比尔特大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文提出基于SAM2的Organoid Tracker开源平台，通过零样本分割自动化分析肾脏类器官显微视频，提取囊腔形成率等定量指标，解决人工分析瓶颈，加速多囊肾病研究。
2025-09-14 cs.CV
3D Based Landmark Tracker Using Superpixels Based Segmentation for Neuroscience and Biomechanics Studies
Temple University（天普大学）
检查运动改善了我们对运动控制的基本理解，并有助于治疗运动障碍。小鼠和大鼠是人类疾病的首要模型，并且越来越多地成为基础神经科学的首选模型系统。需要高帧速率（250 Hz）来量化这些奔跑的啮齿动物的运动学。手动跟踪，特别是对于多个标记物，变得非常耗时，并且对于大样本量是不可能的。因此，近年来对这些标记的自动分割的需求已经增长。在这里，我们通过提出一种使用SLIC超像素方法来分割标记的方法来解决这一需求。使用直接线性变换（DLT）将图像平面上的2D坐标投影到3D域，并且使用3D卡尔曼滤波器基于来自先前帧的标记的速度和位置来预测标记的位置。最后，使用概率函数来找到超像素之间的最佳匹配。该方法被评估为不同的困难跟踪的标记，它实现了95%的标记的正确标记。
2017-11-23 cs.CV
Track to Detect and Segment: An Online Multi-Object Tracker
SUNY Buffalo（纽约州立大学布法罗分校）；TJU（天津大学）；Horizon Robotics
大多数在线多目标跟踪器在没有来自跟踪的任何输入的情况下在神经网络中独立地执行目标检测。在本文中，我们提出了一个新的在线联合检测和跟踪模型，TRADES（TRAck到DEtect和段），利用跟踪线索，以协助检测端到端。TraDeS通过成本量推断对象跟踪偏移，该成本量用于传播先前的对象特征以改进当前目标检测和分割。TraDeS在MOT（2D跟踪）、nuScenes（3D跟踪）、MOTS和Youtube-VIS（实例分割跟踪）4个数据集上的有效性和优越性得到了验证。项目页面：https://jialianwu.com/projects/TraDeS.html。
2021-03-16 cs.CV
SAM2Matting: Generalized Image and Video Matting
Fudan University（复旦大学）；Shanghai University of Finance and Economics（上海财经大学）
提出SAM2Matting框架，将VOS追踪器增强为高保真视频抠图，通过区域提议桥接和专用抠图头解耦任务，仅用图像训练即实现视频抠图新SOTA，支持多种提示类型并保持强时间一致性。
2026-06-26 cs.CV
Tracking for Half an Hour
University of Amsterdam（阿姆斯特丹大学）
长期跟踪需要对大量模型更新的极端稳定性和对目标消失和丢失的鲁棒性，因为这将不可避免地发生。出于动机，我们随机选择了10个OTB序列，通过附加反向版本将每个序列加倍，并将每个加倍序列重复20次。在大多数这些重复的视频中，最好的当前跟踪器在每个循环中的表现都很差。这说明了短期跟踪优化与长期跟踪优化之间的差异。在长期跟踪器中，组合的全局和局部搜索策略是有益的，允许从故障和消失中恢复。最重要的是，建议跟踪还采用谨慎的更新，自我质量评估的指导。建议的跟踪器仍然是最好的20秒的OTB视频，同时实现国家的最先进的100秒的无人机20L基准。在10个新的半小时的视频与城市自行车，体育比赛等，拟议的跟踪器优于其他人的大幅度2010年tracker来第二。
2017-11-28 cs.CV
TrackPGD: Efficient Adversarial Attack using Object Binary Masks against Robust Transformer Trackers
Université Laval（拉瓦尔大学）；Mila（米拉研究所）
针对Transformer跟踪器对抗鲁棒性评估不足及现有白盒攻击适配性差的问题，提出基于SegPGD的TrackPGD攻击方法，利用目标二进制掩码解决类别数量有限和像素不平衡问题，在多数据集上有效误导多种跟踪器。
2024-11-26 cs.CV
Effects of Blur and Deblurring to Visual Object Tracking
Colledge of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Key Research Center for Surface Monitoring and Analysis of Cultural Relics (SMARC), State Administration of Cultural Heritage, China（国家文物局文物表面监测与分析重点研究中心）；Department of Computer Science and Engineering, University of South Carolina（南卡罗来纳大学计算机科学与工程系）
直观地说，运动模糊可能会损害视觉对象跟踪的性能。然而，我们缺乏定量评估跟踪器的鲁棒性，以不同程度的运动模糊。与此同时，虽然图像去模糊方法可以产生视觉上更清晰的视频以取悦人眼，但视觉对象跟踪是否可以从图像去模糊中受益还不清楚。在本文中，我们通过构建一个模糊视频跟踪基准来解决这两个问题，该基准包含具有不同运动模糊水平的各种视频，以及用于评估跟踪器的地面实况跟踪结果。我们在这个基准上广泛评估了23个跟踪器，并观察到一些新的有趣结果。具体来说，我们发现，轻模糊可以提高许多跟踪器的性能，但严重的模糊总是伤害跟踪性能。我们还发现，图像去模糊可能有助于提高跟踪性能的严重模糊的视频，但伤害的性能轻微模糊的视频。根据这些观察，我们提出了一个新的GAN为基础的计划，以提高跟踪器的鲁棒性运动模糊。在该方案中，一个微调的模糊度作为一个自适应评估器，有选择地去模糊帧在跟踪过程中使用。我们使用该方案成功地提高了6跟踪器的准确性和鲁棒性。
2019-08-21 cs.CV
On the Interaction Between Deep Detectors and Siamese Trackers in Video Surveillance
École de technologie supérieure（高等技术学院）；Genetec Inc.（Genetec公司）
视觉目标跟踪是实时视频监控中的一个重要功能，如人员定位和时空识别等。在现实世界的应用中，对象检测器和跟踪器必须定期进行交互，以发现新的对象，从而启动跟踪。与检测器的周期性交互还可以允许跟踪器利用新的边界框来验证和/或更新其对象模板。然而，由于外观、背景和遮挡的变化，由最先进的检测器提供的边界框是有噪声的，这可能导致跟踪器漂移。此外，基于CNN的检测器可以以计算复杂性为代价提供高水平的准确性，因此对于实时应用，应该最小化相互作用。在本文中，提出了一种新的方法来管理探测器跟踪器的相互作用，从暹罗FC家庭的跟踪器。通过将变化检测机制集成到深Siamese-FC跟踪器中，其模板可以响应于导致跟踪期间漂移的目标外观的变化而进行调整。突变检测使用由检测器产生的限界框来触发跟踪器模板的更新，而在渐变的情况下，检测器用于更新用于鲁棒匹配的模板的演进集合。使用最先进的Siamese-FC跟踪器和YOLOv 3检测器对来自OTB-100数据集的模拟视频监控场景的视频子集进行实验。结果强调了使用准确探测器的可靠VOT的重要性。它们还表明，我们的自适应暹罗跟踪器是强大的噪声目标检测，并可以显着提高暹罗FC跟踪的性能。
2019-10-31 cs.CV eess.IV
Robust Visual Tracking by Segmentation
ETH Zürich（苏黎世联邦理工学院）
估计目标的范围提出了一个基本的挑战，在视觉对象跟踪。通常，跟踪器是以框为中心的，并且完全依赖于限界框来定义场景中的目标。在实践中，对象通常具有复杂的形状，并且不与图像轴对齐。在这些情况下，边界框不提供目标的准确描述，并且通常包含大部分背景像素。我们提出了一个以分割为中心的跟踪管道，不仅可以产生高度准确的分割掩码，而且可以在内部使用分割掩码而不是边界框。因此，我们的跟踪器能够更好地学习目标表示，该目标表示可以清楚地将场景中的目标与背景内容区分开来。为了实现必要的鲁棒性具有挑战性的跟踪情况下，我们提出了一个单独的实例定位组件，用于条件的分割解码器时，产生的输出掩码。我们从分割掩码中推断出一个限界框，在具有挑战性的跟踪数据集上验证我们的跟踪器，并在LaSOT上实现了最新的技术水平，成功AUC得分为69.7%。由于大多数跟踪数据集不包含掩模注释，因此我们无法使用它们来评估预测的分割掩模。相反，我们在两个流行的视频对象分割数据集上验证了我们的分割质量。
2022-07-20 cs.CV
GUSOT: Green and Unsupervised Single Object Tracking for Long Video Sequences
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）
近年来，依赖于深度学习技术的有监督和无监督深度跟踪器很受欢迎。然而，它们需要高计算复杂性和高存储器成本。提出了一种绿色无监督单目标跟踪器GUSOT，用于资源受限环境下的长视频目标跟踪。GUSOT基于基线跟踪器UHP-SOT++构建，适用于短期跟踪，GUSOT包含两个额外的新模块：1）丢失的对象恢复，2）基于颜色显着性的形状建议。它们分别有助于解决跟踪丢失问题和提供更灵活的对象建议。因此，它们使GUSOT能够在长期内实现更高的跟踪精度。我们在具有长视频序列的大规模数据集LaSOT上进行了实验，并表明GUSOT提供了一种轻量级的高性能跟踪解决方案，可以在移动和边缘计算平台中找到应用。
2022-07-15 cs.CV
Bridging Images and Videos: A Simple Learning Framework for Large Vocabulary Video Object Detection
Adobe Research（奥多比研究院）；KAIST（韩国科学技术院）
扩展对象分类法是实现识别系统的强大现实部署的重要步骤之一。自从引入LVIS基准以来，我们在图像方面取得了显著的进步。为了继续在视频方面取得成功，最近推出了一个新的视频基准TAO。鉴于检测和跟踪社区最近取得的令人鼓舞的结果，我们有兴趣将这两项进展结合起来，构建一个强大的大词汇量视频跟踪器。然而，LVIS和TAO中的监督本质上是稀疏的，甚至是缺失的，这对训练大词汇量跟踪器提出了两个新的挑战。首先，LVIS中没有跟踪监督，这导致检测（使用LVIS和TAO）和跟踪（仅使用TAO）的学习不一致。第二，TAO中的检测监督是局部的，这导致在视频微调期间对缺失的LVIS类别的灾难性遗忘。为了解决这些挑战，我们提出了一个简单但有效的学习框架，充分利用所有可用的训练数据来学习检测和跟踪，同时不会丢失任何LVIS类别来识别。有了这个新的学习方案，我们证明了各种大词汇量跟踪器的持续改进是有能力的，在具有挑战性的TAO基准测试中设置了强大的基线结果。
2022-12-20 cs.CV
Attentive Deep Regression Networks for Real-Time Visual Face Tracking in Video Surveillance
Middle East Technical University（中东技术大学）
视觉人脸跟踪是视频监控系统中的重要任务之一。然而，由于姿势、比例、表情和照明的变化，这被认为是一项艰巨的任务。最近的研究表明，深度学习方法在目标跟踪任务中具有巨大的潜力，自适应特征选择方法可以提高其性能。受此启发，我们提出了一个端到端的专注的基于深度学习的跟踪器，这是建立在最先进的GOTURN跟踪器之上，用于视频监控中的实时的【形】视觉人脸跟踪任务。我们的方法优于最先进的GOTURN和IVT跟踪器非常大的利润率，它实现的速度是远远超出了实时的【形】跟踪的要求。此外，为了克服视觉人脸跟踪中数据稀缺的问题，我们还对ChokePoint数据集的G1和G2集进行了限界框标注，使其适用于监控条件下人脸跟踪的进一步研究。
2019-08-10 cs.CV
Segmentation-Guided Homography Estimation for Long-Term Planar Tracking
Visual Recognition Group, Faculty of Electrical Engineering, Czech Technical University in Prague（视觉识别组，电气工程系，布拉格捷克技术大学）
本文提出SAM-H和WOFTSAM两种新型平面跟踪器，通过结合SAM 2的鲁棒分割跟踪与8自由度单应性估计，显著提升平面跟踪的准确性和鲁棒性。
2026-08-26 cs.CV
Search Tracker: Human-derived object tracking in-the-wild through large-scale search and retrieval
Georgia Institute of Technology（佐治亚理工学院）；Anonymous University（匿名大学）
在复杂的光照变化、场景混乱和遮挡的情况下，人类使用上下文和场景知识来轻松地定位移动对象。在本文中，我们提出了一种方法来利用人类知识的形式注释的视频库在一个新的搜索和检索为基础的设置来跟踪对象看不见的视频序列。对于每个视频序列，生成表示运动信息的文档。在多个尺度下针对库查询未看到的视频的文档，以找到具有相似运动特征的视频。这为我们提供了未看到的视频中的对象的粗略定位。我们进一步调整这些检索到的对象位置，以新的视频使用一个有效的变形方案。所提出的方法在野外视频监控数据集上进行了验证，在这些数据集上，我们的性能优于最先进的基于外观的跟踪器。我们还引入了一个新的具有挑战性的数据集，具有复杂的对象外观变化。
2016-02-05 cs.CV cs.MM
When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation
University of Tübingen（蒂宾根大学）；Woven by Toyota（丰田编织（丰田旗下机构））
针对SAM等跟踪器在遮挡等场景下的身份漂移问题，提出Dual-Agent框架，通过视觉语言验证代理与修正代理实现失效检测与恢复，在多个基准上提升性能且可跨模型迁移。
2026-10-14 cs.CV
StreamDAM: Presence-Aware Memory for Real-Time Streaming Video Object Segmentation
本文针对实时流视频目标分割中现有离线模型无法适配帧率约束、内存机制失效的问题，提出StreamDAM方法，通过模型内优化和存在信号控制，实现了最优的流跟踪性能，恢复了离线模型的大部分准确率。
2026-08-05 cs.CV
Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）
Track4DGen通过结合基础跟踪器和混合4D高斯点划法，提升多视角视频生成和4D生成的稳定性与精度。
2025-12-05 cs.CV
MobiFace: A Novel Dataset for Mobile Face Tracking in the Wild
Imperial College London（帝国理工学院）
人脸跟踪是移动应用程序中关键的第一步，它试图在移动环境中分析目标人脸。然而，这个问题很少受到关注，主要是由于缺乏专门的人脸跟踪基准。在这项工作中，我们介绍了在移动情况下的单人脸跟踪的第一个数据集，人脸。它由70个不同的智能手机用户在完全不受约束的环境中拍摄的80个未经编辑的实时流媒体移动视频组成。手动标记超过$95K$的边界框。这些视频经过精心挑选，以涵盖典型的智能手机使用情况。视频还标注了14个属性，包括6个新提出的属性和8个常见的对象跟踪。评估了36个最先进的跟踪器，包括面部标志跟踪器，通用对象跟踪器和我们已经微调或改进的跟踪器。结果表明，移动人脸跟踪不能通过现有的方法来解决。此外，我们还发现，对人脸训练数据进行微调可以显著提高基于深度学习的跟踪器的性能，这表明人脸捕捉到了移动人脸跟踪的独特特征。我们的目标是为社区提供多样化的数据集，以实现移动人脸跟踪器的设计和评估。数据集、注释和评价服务器将位于\url{https://mobiface.github.io/}上。
2019-01-22 cs.CV
Patch-based adaptive weighting with segmentation and scale (PAWSS) for visual tracking
Surgical Vision Group, University College London（伦敦大学学院外科视觉组）；Deliveroo
检测跟踪算法广泛用于视觉跟踪，其中问题被视为分类任务，其中使用在线学习技术随时间更新对象模型。在对象经历变形或尺度变化的挑战性条件下，更新步骤易于在模型外观中包括背景信息或缺乏估计尺度变化的能力，这降低了分类器的性能。在本文中，我们将采用基于补丁的自适应加权分割和规模（PAWSS）跟踪框架，解决规模和背景的问题。一个简单但有效的基于颜色的分割模型被用来抑制背景信息，并提取多尺度样本来丰富训练池，这使得跟踪器能够处理帧之间的增量和突然的尺度变化。实验上，我们评估我们的方法上的在线跟踪基准（OTB）数据集和视觉对象跟踪（VOT）挑战数据集。结果表明，我们的方法优于最近的国家的最先进的跟踪器，它特别是提高了成功率分数上的OTB数据集，而在VOT数据集，PAWSS排名前列的跟踪器，同时在实时帧速率操作。
2017-08-03 cs.CV
Patient-Specific Real-Time Segmentation in Trackerless Brain Ultrasound
Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布莱根妇女医院）；Massachusetts Institute of Technology（麻省理工学院）
针对无追踪器术中脑超声解读难的问题，研究提出首个患者特异性实时脑肿瘤分割框架，用术前MR模拟生成的合成超声数据训练模型，性能优于非特异性模型、专家及高端追踪系统。
2024-05-16 cs.CV eess.IV
A Simple and Strong Baseline for Universal Targeted Attacks on Siamese Visual Tracking
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；University of Science and Technology of China（中国科学技术大学）；Zhengzhou University（郑州大学）；CAS Center for Excellence in Brain Science and Intelligence Technology, National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室、中国科学院脑科学与智能技术卓越创新中心）
最近，暹罗追踪器被证明很容易受到对抗攻击。然而，现有的攻击方法为每个视频独立地制作扰动，这带来了不可忽略的计算成本。在本文中，我们证明了存在的普遍扰动，可以使有针对性的攻击，例如，迫使跟踪器遵循具有指定偏移的地面实况轨迹，从而在网络中是视频不可知的并且不受推断的影响。具体来说，我们通过向模板图像添加通用的不可感知扰动并添加假目标来攻击跟踪器，即，一个小的通用对抗补丁，到搜索图像坚持预定义的轨迹，使跟踪器输出的位置和大小的假目标，而不是真正的目标。我们的方法允许扰动一个新的视频，除了简单的加法操作之外，不需要额外的成本-并且不需要梯度优化或网络推理。在多个数据集上的实验结果表明，该方法可以有效地欺骗暹罗跟踪器在有针对性的攻击方式。我们表明，所提出的扰动不仅在视频中是普遍的，而且在不同的跟踪器中也很好地推广。因此，这种扰动在数据和网络架构方面都具有双重普遍性。我们将公开我们的代码。
2021-10-11 cs.CV
Spatial Pyramid Context-Aware Moving Object Detection and Tracking for Full Motion Video and Wide Aerial Motion Imagery
University of Missouri（密苏里大学）
一个鲁棒的、快速的自动运动目标检测与跟踪系统对于视频监控系统、城市交通监控与导航、机器人等不同功能的目标对象的特征描述和时空信息提取是必不可少的。在本论文中，我提出了一个协同空间金字塔上下文感知运动目标检测和跟踪系统。该视觉跟踪器由一个通常依赖于视觉对象特征的主跟踪器和两个基于对象时间运动信息的辅助跟踪器组成，辅助跟踪器将被动态调用以辅助主跟踪器。SPCT利用不同层次的图像空间背景，使视频跟踪系统具有抗遮挡、抗背景噪声的能力，提高了目标定位的准确性和鲁棒性。我们选择了一个预先选择的七通道互补功能，包括RGB颜色，强度和空间金字塔的HoG编码对象的颜色，形状和空间布局信息。为了满足实时性的要求，我们采用了积分直方图作为构造块。提出了一种新的快速算法，利用积分直方图方法的扩展，在恒定时间复杂度下精确地计算空间加权局部直方图。探索了不同的技术来有效地计算GPU架构上的积分直方图，并应用于快速时空中值计算和三维人脸重建纹理。我们提出了一个多组件框架的基础上的语义融合的运动信息与投影建筑足迹地图，显着降低误报率，在城市场景中有许多高大的建筑物。在广泛的VOTC 2016基准数据集和航拍视频上进行的实验证实，在智能融合框架中结合互补跟踪线索可以实现对全动态视频和宽航拍动态图像的持续跟踪。
2017-11-05 cs.CV
Learning Dynamic Compact Memory Embedding for Deformable Visual Object Tracking
Tianjin University（天津大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；University of Science and Technology of China（中国科学技术大学）；Automotive Data of China (Tianjin) Co., Ltd（中国汽车技术研究中心有限公司）
最近，基于模板的跟踪器已成为领先的跟踪算法，具有良好的性能，在效率和准确性方面。然而，查询特征和给定的模板之间的相关操作只利用准确的目标定位，导致状态估计错误，特别是当目标遭受严重的变形变化。为了解决这个问题，已经提出了基于分割的跟踪器，其采用逐像素匹配来有效地提高可变形对象的跟踪性能。然而，大多数现有的跟踪器仅参考初始帧中的目标特征，从而缺乏处理挑战性因素的区分能力，例如，相似的干扰，背景杂乱，外观变化等，为此，我们提出了一个动态紧凑的内存嵌入，以提高基于分割的变形视觉跟踪方法的歧视。具体来说，我们初始化的内存嵌入与目标功能在第一帧。在跟踪过程中，将当前目标特征中与已有记忆高度相关的特征在线更新到记忆嵌入中。为了进一步提高可变形物体的分割精度，本文采用点到全局的匹配策略来度量像素级查询特征与整个模板之间的相关性，以获取更详细的变形信息。对包括VOT 2016，VOT 2018，VOT 2019，GOT-10 K，TrackingNet和LaSOT在内的六个具有挑战性的跟踪基准进行了广泛的评估，证明了我们的方法优于最近的显着跟踪器。此外，我们的方法优于优秀的基于分割的跟踪器，即，DAVIS 2017基准测试中的D3 S和SiamMask。
2021-11-23 cs.CV
Long-Term Face Tracking for Crowded Video-Surveillance Scenarios
Herta（赫塔）
大多数当前的多目标跟踪器专注于短期跟踪，并且基于不实时操作的深度和复杂系统，这通常使它们对于视频监控不切实际。在本文中，我们提出了一个长期的多人脸跟踪架构，设想在拥挤的环境中工作，特别是在运动和遮挡方面不受约束，并且人脸通常是人的唯一可见部分。我们的系统受益于人脸检测和人脸识别领域的进步，以实现长期跟踪。它遵循一种通过检测进行跟踪的方法，将快速短期视觉跟踪器与基于人脸验证的新型在线tracklet重连接策略相结合。此外，还包括一个校正模块，用于校正过去的轨道分配，而无需额外的计算成本。我们提出了一系列的实验，介绍了新的，专门的指标，长期跟踪能力和视频数据集，我们公开发布的评估。研究结果表明，在这种情况下，我们的方法可以获得比最先进的深度学习跟踪器长50%的跟踪。
2020-10-17 cs.CV
OLViT: Multi-Modal State Tracking via Attention-Based Embeddings for Video-Grounded Dialog
University of Stuttgart（斯图加特大学）
OLViT通过对象状态跟踪器和语言状态跟踪器维护多模态对话状态，可无缝集成到大语言模型中，并在DVD和SIMMC 2.1数据集上取得最先进性能。
2024-02-20 cs.CV
Predicting the Best of N Visual Trackers
Khalifa University of Science and Technology（哈利法科技大学）；Information Technology University（信息技术大学）；Czech Technical University（捷克技术大学）
针对单一跟踪器无法在所有场景保持最优的问题，提出BofN元跟踪器，利用TP2N网络基于初始帧预测最佳跟踪器，并在视频级和帧级上显著提升多个基准的性能。
2024-07-22 cs.AI cs.CV eess.IV
Measuring the Accuracy of Object Detectors and Trackers
MVTec Software GmbH（MVTec软件有限公司）；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
目标检测器和跟踪器的准确性通常通过交集大于并集（IoU）标准进行评估。到目前为止，大多数方法仅限于轴对齐或定向框，因此，许多数据集仅用框标记。然而，轴对齐或定向的框不能准确地捕捉对象的形状。为了解决这个问题，在目标检测和目标跟踪领域已经开始出现大量密集分割的数据集。然而，评估对象检测器和跟踪器的准确性，这些检测器和跟踪器仅限于密集分割数据上的框，并不简单。为了缩小这一差距，我们引入了相对交集超过并集（rIoU）准确性度量。该度量使用分割的最佳框对IoU进行归一化，以生成范围在0和1之间的准确度度量，并允许更精确地测量准确度。此外，它使得能够以有效且简单的方式来理解场景以及目标检测或跟踪方法的优点和缺点。我们展示了如何有效地计算新的措施，并提出了一个易于使用的评估框架。该框架已在DAVIS和VOT2016细分上进行测试，并已向社区提供。
2017-04-24 cs.CV
DeepSea MOT: A benchmark dataset for multi-object tracking on deep-sea video
Monterey Bay Aquarium Research Institute（蒙特利尔湾水族馆研究研究所）；University of Virginia（弗吉尼亚大学）
本研究构建了首个公开的深海视频多目标跟踪基准数据集DeepSea MOT，含两类深海生境的四段视频，用高阶跟踪精度评估多款检测模型与跟踪器性能，并提供配套工作流和示例代码。
2025-09-03 cs.CV
K-Track: Kalman-Enhanced Tracking for Accelerating Deep Point Trackers on Edge Devices
Northeastern University（东北大学）
K-Track通过结合深度学习与卡尔曼滤波，实现边缘设备上点跟踪的高效部署，提升速度的同时保持高精度。
2025-12-11 cs.CV
Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking
University of Science and Technology of China (USTC)（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在视频对象跟踪中，连续帧之间存在丰富的时间上下文，这在很大程度上被现有的跟踪器所忽视。在这项工作中，我们的桥梁的各个视频帧，并探讨他们通过强大的对象跟踪的Transformer架构的时间上下文。与传统的自然语言处理任务中使用的Transformer不同，我们将其编码器和解码器分成两个并行分支，并在类似于Siamese的跟踪流水线中进行了精心设计。Transformer编码器通过基于注意力的特征增强来提升目标模板，这有利于高质量的跟踪模型生成。Transformer解码器将跟踪线索从先前模板传播到当前帧，这有助于对象搜索过程。我们的transformer辅助跟踪框架是整洁的，并以端到端的方式进行训练。与建议的Transformer，一个简单的暹罗匹配的方法是能够超越目前的顶级性能的跟踪器。通过将我们的Transformer与最近的判别跟踪管道相结合，我们的方法在流行的跟踪基准上创造了几个新的最先进的记录。
2021-03-24 cs.CV
Two is a crowd: tracking relations in videos
University of Amsterdam（阿姆斯特丹大学）
单独跟踪多个对象不同于跟踪相关对象的组。当一个对象是组的一部分时，它的轨迹取决于其他组成员的轨迹。大多数当前最先进的跟踪器遵循独立跟踪每个对象的方法，并在必要时处理重叠轨迹的机制。这种方法没有考虑对象间关系，这可能导致对组的成员的不可靠跟踪，特别是在拥挤的场景中，其中个体线索由于遮挡而变得不可靠。为了克服这些限制，并扩展这样的跟踪器拥挤的场景，我们提出了一个插件的关系编码模块（REM）。REM通过在相应的时空图上运行消息来编码被跟踪对象之间的关系，计算被跟踪对象的关系嵌入。我们在MOT17和MOT20上的实验表明，基线跟踪器在使用REM进行简单扩展后改善了其结果。建议的模块允许跟踪严重甚至完全闭塞的对象，利用关系线索。
2021-08-11 cs.CV
A Faster Method for Tracking and Scoring Videos Corresponding to Sentences
Purdue University（普渡大学）
先前的工作提出了句子跟踪器，一种用于对句子描述视频剪辑的程度或视频剪辑描述句子的程度进行评分的方法。我们提出了一种改进的方法，用于优化相同的成本函数，采用这种先前的工作，减少空间复杂度从指数的句子长度的多项式，以及产生一个定性相同的结果，在时间多项式的句子长度，而不是指数。由于这种新方法与之前的方法是插件兼容的，因此它可以用于相同的应用程序：具有连续查询的视频检索、生成视频剪辑的连续描述、以及用句子集中跟踪器的注意力，同时允许这些应用以显著更大数量的目标检测、用具有显著更大数量的状态的HSTIM建模的单词含义，刑期大大延长，但结果的质量没有明显下降。
2014-11-14 cs.CV
NextStop: An Improved Tracker For Panoptic LIDAR Segmentation Data
School of Electrical Engineering, Tel-Aviv University（特拉维夫大学电气工程学院）
针对现有4D全景LiDAR分割跟踪器在运动估计和小目标处理上的不足，NextStop通过集成卡尔曼滤波、数据关联和生命周期管理，提升了跟踪性能，尤其改善了行人和骑行者等小目标的跟踪可靠性。
2025-03-24 cs.AI cs.CV cs.RO
Custom Video-Oculography Device and Its Application to Fourth Purkinje Image Detection during Saccades
Texas State University（德克萨斯州立大学）
我们构建了一个自定义的基于视频的眼动追踪器，可以将每个视频帧保存为全分辨率图像（MJPEG）。可以离线处理图像以检测眼睛特征，包括瞳孔和角膜反射（第一浦肯野图像，P1）位置。可以执行用于检测瞳孔和角膜反射的多种算法的比较。该系统提供高度灵活的刺激创建，混合图形，图像和视频刺激。我们可以根据所需的图像质量和帧速率更换摄像机和红外照明器。使用该系统，我们已经检测到的第四浦肯野图像（P4）的帧中的位置。我们表明，当我们通过计算P1-P4来估计注视时，信号与DPI眼睛跟踪器估计的注视比较好，DPI眼睛跟踪器本机检测和跟踪P1和P4。
2019-04-15 cs.CV
Radar Tracker: Moving Instance Tracking in Sparse and Noisy Radar Point Clouds
CARIAD SE；Center for Robotics, University of Bonn（机器人中心，波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文提出一种基于学习的雷达跟踪器，通过时间偏移预测、注意力机制及几何与外观特征融合，提升稀疏含噪雷达点云中移动实例的跟踪与分割性能，并在 RadarScenes 基准上优于现有方法。
2025-07-04 cs.CV
Parallel WiSARD object tracker: a ram-based tracking system
UFRJ University（里约热内卢联邦大学）
本文提出了并行WiSARD对象跟踪器（PWOT），一种新的对象跟踪器的基础上的WiSARD失重神经网络，是对量化误差的鲁棒性。视频中的目标跟踪在许多应用中是一项重要且具有挑战性的任务。由于天气条件、目标轨迹和外观、遮挡、照明条件和噪音，可能会出现困难。跟踪是一个高级应用，需要实时的逐帧定位目标。本文提出了一种快速混合图像分割（阈值和边缘检测）在YcbCr颜色模型和一个并行RAM为基础的可编程逻辑器件，提高效率时，量化错误发生。最初的WiSARD训练算法被更改为允许跟踪。
2014-03-12 cs.CV
Tracking in Aerial Hyperspectral Videos using Deep Kernelized Correlation Filters
Rochester Institute of Technology（罗切斯特理工学院）；Chester F. Carlson Center for Imaging Science（切斯特·F·卡尔森成像科学中心）；School of Mathematical Sciences, Rochester Institute of Technology（罗切斯特理工学院数学科学学院）
高光谱成像具有巨大的潜力，以提高国家的最先进的飞行器跟踪与低空间和时间分辨率。最近，自适应多模态高光谱传感器由于其能够快速记录来自空中平台的扩展数据而引起了越来越多的兴趣。在这项研究中，我们将传统目标跟踪中的流行概念，即（1）核相关滤波器（KCF）和（2）深度卷积神经网络（CNN）特征应用于高光谱域中的空中跟踪。我们提出了基于深度高光谱核相关滤波器的跟踪器（DeepHKCF），使用自适应多模态高光谱传感器有效地跟踪飞行器。我们通过设计一个单一的KCF在多个感兴趣区域（ROI）的方法来解决时间分辨率低，以覆盖一个合理的大面积。为了提高从多个ROI中提取深度卷积特征的速度，我们设计了一种有效的ROI映射策略。所提出的跟踪器还提供了灵活性，以耦合到更先进的相关滤波器跟踪器。DeepHKCF跟踪器在数字成像和遥感图像生成（DIRSIG）软件生成的合成高光谱视频中设置的深度特征表现非常出色。此外，我们使用DIRSIG生成一个大型的合成单通道数据集，以在广域运动图像（WAMI）平台中执行车辆分类。通过这种方式，DIRSIG软件的高保真度得到了证明，并发布了大规模的飞行器分类数据集，以支持在WAMI平台上进行飞行器检测和跟踪的研究。
2018-05-06 cs.CV
The generator is the tracker: Multi-object tracking by painting persistent identity colours
Cornell University（康奈尔大学）
研究多目标跟踪问题，核心方法是用轻量级LoRA微调文本到视频扩散模型生成带持久身份颜色的视频，无需传统跟踪组件。主要贡献是在DanceTrack测试服务器上达到40.3 HOTA，有独特错误分布，颜色分配可在遮挡后重新识别身份。
2026-07-21 cs.CV
Accelerated Video Annotation driven by Deep Detector and Tracker
Institute for Flight Mechanics and Controls, University of Stuttgart（斯图加特大学飞行力学与控制研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出一种结合深度学习检测器SSD和跟踪器RE³的视频标注方法，以减少标注漂移和人工监督，并在无人机视频帧上验证其有效性。
2023-02-19 cs.CV cs.HC
Integration of Regularized l1 Tracking and Instance Segmentation for Video Object Tracking
Istanbul Technical University（伊斯坦布尔理工大学）
我们介绍了一种检测跟踪方法，该方法将深度对象检测器与粒子滤波跟踪器集成在正则化框架下，其中跟踪对象由稀疏字典表示。一种新的观察模型，建立检测器和跟踪器之间的共识制定，使我们能够更新字典的指导下，深检测器。这产生了通过视频序列的对象外观的有效表示，因此提高了对遮挡和姿态变化的鲁棒性。此外，我们提出了一个新的状态向量，包括平移，旋转，缩放和剪切参数，允许跟踪变形的对象边界框，从而显着增加了规模变化的鲁棒性。在具有挑战性的VOT 2016和VOT 2018基准测试数据集上报告的数值结果表明，引入的跟踪器L1 DPF-M在两个数据集上实现了相当的鲁棒性，同时在两个数据集上的性能优于最先进的跟踪器，在IoU-th=0.5时成功率的提高分别为11%和9%。
2019-12-30 cs.CV eess.IV
LaSOT: A High-quality Large-scale Single Object Tracking Benchmark
Stony Brook University（石溪大学）；Temple University（天普大学）；South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）；HiScene Information Technologies（亮风台信息科技有限公司）；Amazon Web Services（亚马逊云科技）
尽管近年来视觉跟踪技术取得了很大的进展，但由于缺乏专门的大规模基准测试，其进一步的发展，包括算法设计和评估，受到限制。为了解决这个问题，我们提出了LaSOT，一个高质量的大规模单目标跟踪基准。LaSOT包含85个对象类的多样化选择，并提供1，550个总计超过387万帧。每个视频帧都用限界框仔细手动注释。据我们所知，这使得LaSOT成为最大的密集注释跟踪基准。我们发布LaSOT的目标是为跟踪器的培训和评估提供一个专用的高质量平台。LaSOT的平均视频长度约为2，500帧，其中每个视频包含现实世界视频片段中存在的各种挑战因素，例如目标消失和重新出现。这些较长的视频长度允许对长期跟踪器进行评估。为了利用视觉外观和自然语言之间的紧密联系，我们为LaSOT中的每个视频提供了语言规范。我们相信这样的增加将允许未来的研究使用语言特征来改善跟踪。两个协议，全重叠和一次拍摄，被指定为灵活的评估跟踪器。我们对LaSOT上的48个基线跟踪器进行了广泛的评估和深入的分析，结果显示仍然存在显着的改进空间。完整的基准测试、跟踪结果以及分析可在http://vision.cs.stonybrook.edu/~lasot/上获得。
2020-09-12 cs.CV
1st Place Winner of the 2024 Pixel-level Video Understanding in the Wild (CVPR'24 PVUW) Challenge in Video Panoptic Segmentation and Best Long Video Consistency of Video Semantic Segmentation
Device Solutions Research America, Samsung Semiconductor, Inc.（三星半导体公司美国设备解决方案研究中心）
本文提出基于DINOv2 ViT-g和DVIS框架的视频理解方案，在PVUW'24挑战赛中获VPS第一名、VSS第三名及VC16第一名。
2024-06-08 cs.CV
Object Detection, Tracking, and Motion Segmentation for Object-level Video Segmentation
University of Freiburg（弗莱堡大学）
我们提出了一种方法，结合帧级的目标检测的概念，从对象跟踪和运动分割的视频对象分割。该方法基于现成的检测器提取时间上一致的对象管。除了每个管的类别标签之外，这还提供了独立于运动的位置先验。对于最终的视频分割，我们将这些信息与运动线索相结合。该方法克服了弱监督/无监督视频分割的典型问题，如没有运动的场景，占主导地位的摄像机运动，以及作为一个单元移动的对象。与大多数跟踪方法相比，它提供了一个准确的，时间上一致的分割每个对象。我们报告了四个视频分割数据集的结果：YouTube Objects，SegTrackv 2，egoMotion和FBMS。
2016-08-10 cs.CV
