Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation
Facebook AI（脸书人工智能研究院）
我们介绍了一种方法，同时分类，分割和跟踪对象实例的视频序列。我们的方法名为MaskProp，通过添加掩码传播分支将流行的Mask R-CNN适应视频，该分支将帧级对象实例掩码从每个视频帧传播到视频剪辑中的所有其他帧。这使得我们的系统能够预测剪辑级实例轨道相对于对象实例分割在中间帧的剪辑。剪辑级实例轨道生成密集的序列中的每一帧，最后聚合产生视频级对象的实例分割和分类。我们的实验表明，我们的剪辑级实例分割，使我们的方法在视频中的运动模糊和对象遮挡鲁棒。MaskProp在YouTube-VIS数据集上实现了最佳报告准确性，优于ICCV 2019年视频实例分割挑战赛冠军，尽管它更简单，使用的标记数据数量级更少（130万与1B图像和860 K与14 M边界框）。
2021-07-09 cs.CV
IA-MOT: Instance-Aware Multi-Object Tracking with Motion Consistency
University of Washington（华盛顿大学）
多目标跟踪（MOT）是计算机视觉的一项重要任务。然而，大多数跟踪检测MOT方法，与可用的检测到的边界框，不能有效地处理静态，缓慢移动和快速移动的摄像机的情况下，由于自我运动和频繁的遮挡。在这项工作中，我们提出了一种新的跟踪框架，称为“实例感知MOT”（IA-MOT），它可以跟踪多个对象，无论是静态或移动摄像机，通过共同考虑的实例级功能和对象运动。首先，通过发送给定的检测作为区域建议，从具有额外嵌入头的Mask R-CNN检测器的变体中提取鲁棒的外观特征。同时，空间注意力，集中在边界框内的前景，从给定的实例掩码中产生，并应用到提取的嵌入特征。在跟踪阶段，使用匈牙利关联算法通过特征相似性和运动一致性来对齐对象实例掩码。此外，对象重新识别（ReID）被纳入恢复ID开关造成的长期闭塞或错过检测。总的来说，在MOTS 20和KITTI-MOTS数据集上进行评估时，我们提出的方法在CVPR 2020研讨会的BMTT挑战赛第三轨道中获得了第一名。
2020-06-24 cs.CV
Explicitly Modeling the Discriminability for Instance-Aware Visual Object Tracking
近年来，视觉对象跟踪性能得到了显着提高，但仍然存在一些严峻的挑战，如干扰物和遮挡。我们怀疑的原因是，跟踪目标的特征表示只表达学习，但没有完全区分建模。在本文中，我们提出了一种新的实例感知跟踪器（IAT）明确挖掘的特征表示，改进了经典的视觉跟踪管道与实例级分类器的可区分性。首先，我们引入了一个对比学习机制来制定分类任务，确保每个训练样本可以被唯一地建模，并与大量其他样本高度区分。此外，我们设计了一个有效的负样本选择方案，以包含实例分类分支中的各种内部和内部类。此外，我们实现了两个变种的建议IAT，包括视频级和对象级。它们分别将\textbf{instance}的概念以不同的粒度实现为视频和目标包围盒。前者增强了从背景中识别目标的能力，而后者则增强了区分能力，从而缓解了目标-干扰物困境。在8个基准数据集上进行的广泛的实验评估表明，所提出的两个版本的IAT在30 FPS下运行时都取得了领先的结果。代码将在发布时可用。
2021-10-28 cs.CV
Instance Tracking in 3D Scenes from Egocentric Videos
UC Irvine（加利福尼亚大学欧文分校）；Texas A&M University（得克萨斯农工大学）；Institute of Collaborative Innovation（协同创新研究院）；University of Macau（澳门大学）
本文提出IT3DEgo基准及评估协议，并设计利用预训练分割检测模型与三维异我中心坐标的实例跟踪方法，在第一人称视频中显著优于单目标跟踪方法。
2024-06-07 cs.CV
PointTrack++ for Effective Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
多目标跟踪与分割（MOTS）是一种新型的计算机视觉任务，旨在联合执行多目标跟踪（MOT）和实例分割。在这项工作中，我们提出了PointTrack++，一个有效的在线框架MOTS，显着扩展了我们最近提出的PointTrack框架。首先，PointTrack采用一个有效的一阶段框架进行实例分割，并通过将紧凑的图像表示转换为无序的2D点云来学习实例嵌入。与PointTrack相比，我们提出的PointTrack++提供了三个主要的改进。首先，在实例分割阶段，我们采用焦点损失训练的语义分割解码器来提高实例选择的质量。其次，为了进一步提高分割性能，我们提出了一种数据增强策略，通过复制和粘贴实例到训练图像。最后，我们在实例关联阶段引入了一种更好的训练策略，以提高学习到的实例嵌入的可识别性。由此产生的框架在第五届BMTT MOTChallenge上实现了最先进的性能。
2020-07-03 cs.CV
Online Multi-Object Tracking with Instance-Aware Tracker and Dynamic Model Refreshment
Temple University（天普大学）
无模型单目标跟踪（SOT）算法的最新进展在很大程度上启发了将SOT应用于\emph{multi-object tracking}（MOT）以提高鲁棒性并减轻对外部检测器的依赖。然而，SOT算法通常被设计用于区分目标和它的环境，因此遇到的问题时，目标是空间混合与相似的对象在MOT中经常观察到的。为了解决这个问题，在本文中，我们提出了一个实例感知跟踪器，通过编码内和目标模型之间的意识，集成SOT技术的MOT。特别是，我们构建每个目标模型融合信息区分目标从背景和其他情况（跟踪目标）。为了保持所有目标模型的唯一性，我们的实例感知跟踪器考虑来自所有目标模型的响应图，并专门分配空间位置以优化整体准确性。我们的另一个贡献是通过卷积神经网络学习的动态模型刷新策略。该方法既能消除初始化噪声，又能适应目标尺寸和外观的变化。为了证明所提出的方法的有效性，它是在流行的MOT15和MOT16挑战基准进行评估。在这两个基准，我们的方法实现了最好的整体性能与公布的结果相比。
2019-02-21 cs.CV
Cell Tracking according to Biological Needs -- Strong Mitosis-aware Multi-Hypothesis Tracker with Aleatoric Uncertainty
Leibniz University Hanover（莱比锡大学汉诺威分校）
针对细胞跟踪缺乏长期一致性和谱系树重建能力的问题，提出结合偶然不确定性估计与感知有丝分裂分配的多假设跟踪框架，在九个数据集上实现约6倍性能提升。
2025-06-27 cs.CV
Efficient Asymmetric Co-Tracking using Uncertainty Sampling
Kyoto University（京都大学）
自适应检测跟踪方法是跟踪任意目标的常用方法。他们将跟踪问题视为分类任务，并使用在线学习技术来更新对象模型。然而，这些方法在其检测器的效率和有效性上投入了大量资金。评估每个帧的大量样本（例如，通过滑动窗口获得）迫使检测器为了速度而牺牲精度。此外，边界样本在检测器中的误分类在跟踪中引入累积误差。在这项研究中，我们提出了一个共同跟踪的基础上，两个检测器的有效合作：一个快速自适应的基于样本的检测器和另一个更复杂，但速度较慢的检测器与长期记忆。检测器的采样标记和协同学习由不确定性采样单元进行，提高了系统的速度和准确性。我们还引入了一个预算机制，该机制可以防止第一个检测器中的示例数量无限增长，以保持其快速响应。实验证明了所提出的跟踪器的效率和有效性对它的基线和其优越的性能对国家的最先进的跟踪器在各种基准视频。
2017-03-31 cs.CV
Global Instance Tracking: Locating Target More Like Humans
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
目标跟踪是人类视觉系统的基本能力，人们已经用计算机视觉任务来模拟目标跟踪。然而，现有的跟踪器在严峻的实验环境中表现良好，但在遮挡和快速运动等挑战中失败。巨大的差距表明，研究只衡量跟踪性能，而不是智力。如何科学判断追踪者的智能水平？与决策问题不同，缺乏三个条件（具有挑战性的任务，公平的环境和科学的评估程序）使其难以回答问题。在这篇文章中，我们首先提出了全局实例跟踪（GIT）任务，这是应该搜索一个任意的用户指定的实例在视频中没有任何假设的相机或运动的一致性，以模拟人类的视觉跟踪能力。随后，我们构建了一个高质量、大规模的基准测试VideoCube，以创建一个具有挑战性的环境。最后，我们设计了一个科学的评估程序，以人类的能力为基准来判断跟踪智能。此外，我们还提供了一个在线平台，包括工具包和更新的排行榜。虽然实验结果表明跟踪器和人类之间存在一定的差距，但我们希望向前迈出一步，生成真正的类人跟踪器。数据库、工具包、评估服务器和基线结果可在http://videocube.aitestunion.com上获得。
2022-02-26 cs.CV
Uncertainty-Aware Voxel based 3D Object Detection and Tracking with von-Mises Loss
University of Michigan（密歇根大学）
目标检测与跟踪是实现自主飞行的关键。具体地，3D目标检测和跟踪最近已经成为新兴的热门话题。尽管已经提出了各种方法用于目标检测，但是3D检测和跟踪任务中的不确定性较少被探索。不确定性有助于我们解决感知系统中的错误并提高鲁棒性。针对三维目标检测中最具代表性的SECOND检测算法，提出了一种通过在SECOND检测器中加入不确定性回归来提高目标跟踪性能的方法。我们的方法估计的位置和尺寸的不确定性与高斯负对数似然（NLL）损失估计和角度不确定性估计引入冯米塞斯NLL损失。我们将不确定性输出馈送到经典的目标跟踪框架中，并证明了与具有常数协方差假设的香草跟踪器相比，我们的方法提高了跟踪性能。
2020-11-04 cs.CV cs.LG
3D Multi-Object Tracking Based on Uncertainty-Guided Data Association
Chongqing University（重庆大学）；State Key Laboratory of Mechanical Transmissions（机械传动国家重点实验室）
在现有的文献中，大多数基于检测跟踪框架的三维多目标跟踪算法在数据关联阶段采用确定性的轨迹和检测进行相似性计算。也就是说，在跟踪和检测中存在的固有的不确定性被忽视了。在这项工作中，我们放弃了常用的确定性的轨道和确定性的检测数据关联，相反，我们建议模型的轨道和检测的随机向量，其中考虑到不确定性。然后，基于詹森-香农分歧，两个多维分布，即跟踪和检测之间的相似性，评估数据关联的目的。最后，在我们的成本函数设计中加入了跟踪不确定性的水平，以指导数据关联过程。在KITTI和nuScenes两个典型数据集上进行了对比实验，结果表明，该方法的跟踪性能优于现有的3D跟踪算法。为了社区的利益，我们的代码已在https://github.com/hejiawei2023/UG3DMOT上提供。
2023-03-03 cs.CV
Video Text Tracking With a Spatio-Temporal Complementary Model
Huazhong University of Science and Technology（华中科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
文本跟踪是指跟踪视频中的多个文本，并为每个文本构建一个轨迹。现有的方法通过利用检测跟踪框架来堆叠该任务，即，检测每个帧中的文本实例，并将对应的文本实例关联到召唤帧中。我们认为，这种模式的跟踪精度在更复杂的情况下受到严重限制，例如，由于运动模糊等，文本实例的漏检测导致文本轨迹的中断。此外，不同的文本实例具有相似的外观，容易混淆，导致文本实例的不正确关联。为此，本文提出了一种新的时空互补文本跟踪模型.我们利用Siamese ComplementaryModule充分利用文本在时间维度上的连续性，有效地避免了文本实例的漏检，从而保证了每个文本轨迹的完整性。通过文本相似性学习网络将文本实例的语义线索和视觉线索整合到一个统一的表示中，从而在存在相似外观的文本实例时提供高的区分能力，避免了它们之间的误关联。我们的方法在几个公共基准测试中达到了最先进的性能。源代码可在https://github.com/lsabrinax/VideoTextSCM上获得。
2021-12-29 cs.CV
Enhancing accuracy of uncertainty estimation in appearance-based gaze tracking with probabilistic evaluation and calibration
本文提出了一种基于概率评估和校准的方法，用于提升基于外观的注视跟踪中不确定性估计的准确性，通过引入严格评价指标和修正策略来减少模型偏差并提高性能。
2026-03-11 cs.CV
Tracking by Instance Detection: A Meta-Learning Approach
Microsoft Research Asia（微软亚洲研究院）
我们认为跟踪问题是一种特殊类型的目标检测问题，我们称之为实例检测。通过正确的初始化，检测器可以通过从单个图像学习新实例来快速转换为跟踪器。我们发现，模型不可知的元学习（MAML）提供了一个策略来初始化检测器，满足我们的需求。我们提出了一个原则性的三步方法来建立一个高性能的跟踪器。首先，选择任何经过梯度下降训练的现代对象检测器。其次，使用MAML进行离线训练（或初始化）。第三，使用初始帧执行领域自适应。我们按照这个过程构建了两个跟踪器，名为Retina-MAML和FCOS-MAML，基于两个现代检测器RetinaNet和FCOS。对四个基准的评估表明，这两个跟踪器对最先进的跟踪器具有竞争力。在OTB-100上，Retina-MAML达到了有史以来最高的AUC 0.712。在TrackingNet上，FCOS-MAML以0.757的AUC和0.822的标准化精度位居排行榜第一。这两个跟踪器都以40 FPS实时运行。
2020-04-02 cs.CV
Cross-Classification Clustering: An Efficient Multi-Object Tracking Technique for 3-D Instance Segmentation in Connectomics
MIT（麻省理工学院）；Harvard University（哈佛大学）；Neural Magic Inc.（Neural Magic公司）；Tel-Aviv University（特拉维夫大学）
对对象的像素精确跟踪是许多计算机视觉应用中的关键要素，通常通过迭代的单个对象跟踪或实例分割以及随后的对象匹配来解决。在这里，我们介绍了交叉分类聚类（3C），一种同时跟踪图像堆栈中复杂的、相互关联的对象的技术。交叉分类的关键思想是通过对每个图像运行对数数量的独立分类，将聚类问题有效地转化为分类问题，让这些分类的交叉标记将每个像素唯一地分类为对象标签。我们应用3C机制来实现连接组学中最先进的准确性-从电子显微镜体积神经组织的纳米级映射。我们的重建系统增加了可扩展性的数量级超过现有的单对象跟踪方法（如洪水填充网络）。这种可扩展性对于connectomics管道的部署非常重要，因为目前最好的性能技术需要大多数实验室无法达到的计算基础设施。我们的算法可以在其他需要对多个对象进行像素精确跟踪的领域中提供优势，例如视频和医学图像的分割。
2019-06-15 cs.CV
Towards Discriminative Representations with Contrastive Instances for Real-Time UAV Tracking
Southern University of Science and Technology（南方科技大学）；Guilin University of Technology（桂林理工大学）
针对无人机跟踪中轻量级模型判别性不足的问题，首次将对比学习引入该领域，通过无标注对比实例学习增强特征判别力，提出的DRCI跟踪器在四个基准上性能超越现有最优方法。
2023-08-22 cs.CV
Learning to Track Instances without Video Annotations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；University of Oregon（俄勒冈大学）
跟踪多个实例的分割掩模已经被深入研究，但仍然面临两个基本挑战：1）大规模、逐帧注释的要求，以及2）两阶段方法的复杂性。为了解决这些挑战，我们引入了一个新的半监督框架，通过学习实例跟踪网络，只有一个标记的图像数据集和未标记的视频序列。通过实例对比目标，我们学习嵌入来区分每个实例。我们表明，即使只使用图像进行训练，所学习的特征表示对实例外观变化也具有鲁棒性，因此能够跨帧稳定地跟踪对象。我们通过以自我监督的方式从未标记的视频中学习对应关系来进一步增强嵌入的跟踪能力。此外，我们将该模块集成到单阶段实例分割和姿态估计框架中，与两阶段网络相比，这显著降低了跟踪的计算复杂性。我们在YouTube-VIS和PoseTrack数据集上进行实验。在没有任何视频注释工作的情况下，我们提出的方法可以实现与大多数完全监督方法相当甚至更好的性能。
2021-04-01 cs.CV
IP-MOT: Instance Prompt Learning for Cross-Domain Multi-Object Tracking
SIAT（中国科学院深圳先进技术研究院）；HUST（华中科技大学）
针对现有多目标跟踪方法跨域泛化性不足、现有文本表示无法区分同类别不同实例的问题，提出IP-MOT模型，通过实例级伪文本提示调优和带知识蒸馏的查询平衡策略提升跨域跟踪性能，在多个基准上取得优异效果。
2024-10-30 cs.CV
Multi-person Articulated Tracking with Spatial and Temporal Embeddings
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；SenseTime Computer Vision Research Group（商汤科技计算机视觉研究组）
我们提出了一个统一的框架，多人姿态估计和跟踪。我们的框架包括两个主要组件，~ \ie ~SpatialNet和TemporalNet。SpatialNet在单个帧中完成身体部位检测和部位级数据关联，而TemporalNet将连续帧中的人体实例分组为轨迹。具体来说，除了身体部位检测热图，SpatialNet还预测身体部位关联的关键点嵌入（KE）和空间实例嵌入（SIE）。我们将分组过程建模为可区分的姿势引导训练（PGG）模块，以使整个部分检测和分组管道完全端到端可训练。TemporalNet将关键点的空间分组扩展到人类实例的时间分组。考虑到来自两个连续帧的人类建议，TemporalNet利用人类嵌入（HE）中编码的外观特征和时间实例嵌入（TIE）中体现的时间一致的几何特征进行鲁棒跟踪。大量的实验证明了我们提出的模型的有效性。值得注意的是，我们在ICCV'17 PoseTrack数据集上展示了比最先进的姿势跟踪方法的实质性改进，多对象跟踪准确性（MOTA）从65.4%提高到71.8%。
2019-03-21 cs.CV
TAU-Bench: From Anomaly Instance Tracking to Fine-Grained Video Anomaly Understanding
该研究引入TAU-Bench这一以跟踪为核心的基准，用于联合评估异常实例跟踪与细粒度视频异常理解，发现现有视觉-语言模型存在语义推理与视觉接地的差距，为构建更可靠的视频异常理解系统提供了关键评估方向。
2026-08-07 cs.CV
Siamese Instance Search for Tracking
QUVA Lab（QUVA实验室）
在本文中，我们提出了一个跟踪器，这是从根本上不同于国家的最先进的跟踪器：我们没有应用模型更新，没有遮挡检测，没有跟踪器的组合，没有几何匹配，仍然提供国家的最先进的跟踪性能，在流行的在线跟踪基准（OTB）和六个非常具有挑战性的YouTube视频。该跟踪器简单地将第一帧中目标的初始块与新帧中的候选块进行匹配，并通过学习的匹配函数返回最相似的块。匹配功能的强度来自广泛的一般训练，即，在没有任何目标数据的情况下，使用我们设计用于跟踪的连体深度神经网络。一旦学习，匹配函数就被原样使用，而不需要任何调整，以跟踪以前看不见的目标。事实证明，学习的匹配函数是如此强大，以至于一个简单的跟踪器建立在它的基础上，创造了Siamese Instance搜索跟踪器，SINT，它只使用来自第一帧的目标的原始观察，足以达到最先进的性能。此外，我们提出的跟踪器甚至允许目标重新识别后，目标是缺席一个完整的视频镜头。
2016-05-19 cs.CV
UncTrack: Reliable Visual Object Tracking with Uncertainty-Aware Prototype Memory Network
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））；State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；School of Cyber Science and Technology, Shenzhen Campus, Sun Yat-sen University（中山大学深圳校区网络空间安全学院）
针对现有Transformer跟踪器忽视目标定位不确定性的问题，提出UncTrack跟踪器，通过Transformer编码器实现特征交互，结合不确定性感知定位解码器与原型记忆网络，提升复杂场景下目标状态预测的可靠性，实验性能优于现有方法。
2025-03-17 cs.CV
Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking
VinAI Research（VinAI研究院）；Posts & Telecommunications Inst. of Tech.（邮电技术研究院）
针对现有3D实例分割因无监督合并导致的过分割问题，提出3D感知2D掩码跟踪模块与动态规划优化视图的3D掩码优化模块，在ScanNet200和ScanNet++上的三类任务中提升了性能。
2024-11-25 cs.CV
Beyond Local Search: Tracking Objects Everywhere with Instance-Specific Proposals
Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术中心）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）
大多数检测跟踪方法在当前帧中的预测对象位置周围采用局部搜索窗口，假设先前的位置是准确的，轨迹是平滑的，并且计算能力允许可以容纳最大速度但又足够小以减少失配的搜索半径。然而，这些可能并不总是有效的，特别是对于快速和不规则移动的对象。在这里，我们提出了一个对象跟踪器，不限于本地搜索窗口，并有能力有效地探测整个帧。我们的方法产生了少量的“高品质”的建议，一个新的实例特定的对象性措施，并评估他们对对象模型，可以通过从现有的跟踪检测方法作为核心跟踪器。在跟踪过程中，我们更新的对象模型集中在硬假阳性提供的建议，这有助于抑制干扰所造成的困难的背景杂波，并学习如何重新排名的建议，根据对象模型。由于我们大大减少了核心跟踪器评估的假设数量，我们可以使用更丰富的对象描述符和更强大的检测器。我们的方法在流行的跟踪基准上优于最新的最先进的跟踪器，并为快速移动的对象以及超低帧速率视频提供了更好的鲁棒性。
2016-05-06 cs.CV
UGO: Unified Architecture for General Multi-Object Tracking by Segmentation
University of Ljubljana（卢布尔雅那大学）
UGO提出统一分割架构，结合示例条件检测与实例传播头，通过能量最小化整合和分层记忆，在GMOT基准和视频计数上达到新最优，并可与专业MOT方法竞争。
2026-09-30 cs.CV
Instance Segmentation GNNs for One-Shot Conformal Tracking at the LHC
Princeton Institute for Computational Science and Engineering（普林斯顿计算科学与工程研究所）；Princeton University（普林斯顿大学）；Department of Physics（物理系）
三维实例分割一直是计算机视觉中一个具有挑战性的问题。在对撞机（如LHC）上的粒子跟踪可以被概念化为一个实例分割任务：从粒子检测器中的点云开始，算法必须识别哪些命中属于单个粒子轨迹并提取轨迹属性。图神经网络（GNN）在标准实例分割任务上表现出了良好的性能。在这项工作中，我们证明了实例分割GNN架构对粒子跟踪的适用性;此外，我们重新想象了传统的笛卡尔空间寻迹方法，而是在保形几何中工作，允许GNN在Single Shot中识别轨迹并提取参数。
2021-03-11 cs.CV hep-ex
OpenVIS: Open-vocabulary Video Instance Segmentation
Academy for Engineering and Technology, Fudan University（复旦大学工程与应用技术研究院）；Amazon Web Services（亚马逊云科技）
针对开放词汇视频实例分割任务，提出InstFormer框架，通过对比损失优化掩码提议、适配CLIP构建实例编码器及通用滚动关联跟踪，在有限类别微调下实现基准最优与全监督任务的竞争力表现。
2024-08-17 cs.CV
Instance-Aware Representation Learning and Association for Online Multi-Person Tracking
Sun Yat-sen University（中山大学）；Guangdong University of Foreign Studies（广东外语外贸大学）；WINNER Technology；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Guilin University of Electronic Technology（桂林电子科技大学）
多人跟踪（MPT）通常在检测到关联范式中解决。在这种方法中，首先在每帧中提取人的检测，然后通过数据关联（通常离线）的过程来恢复人的轨迹。然而，它们的性能通常退化存在的检测错误，相互作用和闭塞。在本文中，我们提出了一种基于深度学习的MPT方法，该方法学习被跟踪人员的实例感知表示，并鲁棒地在线推断被跟踪人员的状态。具体地说，我们设计了一个多分支神经网络（MBN），它通过一批候选区域作为输入来预测所有目标的分类置信度和位置。在我们的MBN架构中，每个分支（实例子网）对应于一个要跟踪的个人，新的分支可以动态创建，用于处理新出现的人。然后，基于MBN的输出，我们构造一个联合关联矩阵，该矩阵表示被跟踪人的有意义的状态（例如，被跟踪或从场景中消失），并使用高效的匈牙利算法来求解。此外，我们允许的instance-pronouncer更新跟踪过程中，通过在线挖掘硬的例子，会计随着时间的推移，人的外观变化。我们全面评估我们的框架上流行的MPT基准，展示了其优异的性能与最近的在线MPT方法相比。
2019-05-29 cs.CV
Machine Learning Models for Improved Tracking from Range-Doppler Map Images
Systems & Technology Research (STR)（系统与技术研究公司（STR））
本文针对GMTI雷达的距离-多普勒图图像提出机器学习目标检测与不确定性估计模型，显著提升了复杂空对地多目标场景下多假设跟踪器的性能。
2024-07-03 cs.CV
UncertaintyTrack: Exploiting Detection and Localization Uncertainty in Multi-Object Tracking
Institute For Aerospace Studies (UTIAS), University of Toronto（多伦多大学航空航天研究所（UTIAS））
本文提出UncertaintyTrack扩展，使多个基于检测的跟踪器能够利用概率检测器的定位不确定性，在Berkeley Deep Drive MOT数据集上将ID切换减少约19%并提升mMOTA 2-3%。
2024-04-29 cs.CV cs.RO
Uncertainty-aware Unsupervised Multi-Object Tracking
Zhejiang University（浙江大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文提出不确定性感知的无监督多目标跟踪框架U2MOT，利用不确定性度量修正关联并增强特征一致性，在MOT-Challenges和VisDrone-MOT上达到最先进性能。
2023-12-20 cs.CV
Instance As Identity: A Generic Online Paradigm for Video Instance Segmentation
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）；Beijing Jiaotong University（北京交通大学）
在一个统一的框架中对检测和跟踪的时间信息进行建模已被证明是视频实例分割（VIS）的一个有前途的解决方案。然而，如何有效地将时态信息纳入在线模型仍然是一个悬而未决的问题。在这项工作中，我们提出了一个新的在线VIS范例命名为实例作为身份（IAI），它的模型的时间信息检测和跟踪的有效方式。具体地说，IAI采用了一种新的识别模块来预测跟踪实例的识别号。为了跨帧传递时间信息，IAI利用了一个结合当前特征和过去嵌入的关联模块。值得注意的是，IAI可以与不同的图像模型集成。我们在三个VIS基准上进行了广泛的实验。IAI在YouTube-VIS-2019（ResNet-101 43.7 mAP）和YouTube-VIS-2021（ResNet-50 38.0 mAP）上的表现优于所有在线竞争对手。令人惊讶的是，在更具挑战性的OVIS上，IAI实现了SOTA性能（20.6 mAP）。代码可在https://github.com/zfonemore/IAI上获得
2022-08-16 cs.CV
Collaborative Multi-Object Tracking with Conformal Uncertainty Propagation
University of Connecticut（康涅狄格大学）；New York University（纽约大学）；Sony AI（索尼AI）
针对现有研究未利用协同目标检测不确定性提升多目标跟踪性能的问题，提出MOT-CUP框架，通过保形预测量化并传播COD不确定性，在V2X-Sim数据集上实现精度提升与不确定性降低，尤其在高遮挡场景效果显著。
2024-01-31 cs.CV
Learning Moving-Object Tracking with FMCW LiDAR
University of Macau（澳门大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种基于学习的运动物体跟踪方法，利用我们新开发的激光雷达传感器，调频连续波（FMCW）激光雷达。与大多数现有的商业激光雷达传感器相比，我们的FMCW激光雷达可以提供额外的多普勒速度信息的点云的每个3D点。受益于此，我们可以以半自动的方式生成实例标签作为基础事实。给定标签，我们提出了一个对比学习框架，该框架在嵌入空间中将来自同一实例的特征拉到一起，并将来自不同实例的特征推开，以提高跟踪质量。在我们记录的驾驶数据上进行了大量的实验，结果表明，我们的方法比基线方法有很大的优势。
2022-03-02 cs.CV
SG-Net: Spatial Granularity Network for One-Stage Video Instance Segmentation
Purdue University（普渡大学）；University of Florida（佛罗里达大学）
视频实例分割（VIS）是计算机视觉中一个新的关键问题。到目前为止，性能最好的VIS方法通过添加跟踪分支扩展了两阶段Mask R-CNN，留下了很大的改进空间。相比之下，我们从一个新的角度来处理VIS任务，并提出了一个一阶段的空间粒度网络（SG-Net）。与传统的两阶段方法相比，SG-Net具有四个优点：1）该方法具有一阶段紧凑的结构，每个任务头（检测、分割和跟踪）是相互依赖的，因此它们可以有效地共享特征并享受联合优化; 2）我们的掩模预测是在每个检测实例的子区域上动态执行的，从而产生细粒度的高质量掩模; 3）我们的每个任务预测避免使用昂贵的基于提议的RoI特征，从而大大降低了每个实例的运行时复杂度; 4）我们的跟踪头为跟踪对象的中心运动建模，这有效地增强了对不同对象外观的跟踪鲁棒性。在评估中，我们在YouTube-VIS数据集上进行了最先进的比较。大量的实验表明，我们的紧凑的一阶段的方法可以实现提高性能的准确性和推理速度。我们希望我们的SG-Net可以作为VIS任务的强大而灵活的基线。我们的代码将可用。
2021-04-05 cs.CV
UNIT: Unsupervised Online Instance Segmentation through Time
Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
针对激光雷达点云在线实例分割与追踪人工标注成本高的问题，提出基于伪标签训练的无监督类别无关在线实例分割方法，在两个户外激光雷达数据集上优于强基线。
2024-09-12 cs.CV
Video Instance Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究中心）
在本文中，我们提出了一个新的计算机视觉任务，命名为视频实例分割。这个新任务的目标是同时检测，分割和跟踪视频中的实例。也就是说，这是第一次将图像实例分割问题扩展到视频领域。为了促进对这一新任务的研究，我们提出了一个名为YouTube-VIS的大规模基准测试，它由2883个高分辨率YouTube视频，40个类别的标签集和131 k个高质量实例掩码组成。此外，我们还提出了一种名为MaskTrack R-CNN的新算法来完成这项任务。我们的新方法为Mask R-CNN引入了一个新的跟踪分支，以同时联合执行检测，分割和跟踪任务。最后，我们在新数据集上评估了所提出的方法和几个强基线。实验结果清楚地证明了所提出的算法的优点，并揭示了未来的改进洞察力。我们相信视频实例分割任务将激励社区沿着视频理解的研究路线。
2019-08-16 cs.CV
ASIST: Annotation-free synthetic instance segmentation and tracking for microscope video analysis
Vanderbilt University（范德堡大学）；Tufts University（塔夫茨大学）
实例对象分割和跟踪提供跨显微镜视频的对象的全面量化。最近的单阶段基于像素嵌入的深度学习方法已经显示出与“分段然后关联”的两阶段解决方案相比的优越性能。然而，将基于监督像素嵌入的方法应用于显微镜视频的一个主要限制是资源密集型手动标记，其涉及跟踪数百个重叠对象及其跨视频帧的时间关联。受最近基于生成对抗网络（GAN）的无注释图像分割的启发，我们提出了一种新的无注释合成实例分割和跟踪（ASIST）算法，用于分析亚细胞微绒毛的显微镜视频。本文的贡献主要体现在三个方面：（1）提出了一种新的无注释视频分析范式。(2)将基于嵌入的实例分割和跟踪与无注释的合成学习聚合为一个整体框架;（3）据我们所知，这是第一次研究使用基于嵌入的深度学习来研究微绒毛实例分割和跟踪。从实验结果来看，与监督学习相比，所提出的无注释方法取得了更好的性能。
2020-11-02 cs.CV eess.IV
False Negative Reduction in Video Instance Segmentation using Uncertainty Estimates
University of Wuppertal, Germany（伍珀塔尔大学）
本文提出基于不确定性估计的视频实例分割中假负样本减少方法，通过时间序列不一致性检测和实例级指标优化，提升假负与假阳性样本的平衡性能。
2021-06-28 cs.CV
Robust 6DoF Pose Tracking Considering Contour and Interior Correspondence Uncertainty for AR Assembly Guidance
Beijing Institute of Technology（北京理工大学）；Sun Yat-Sen University（中山大学）
本文针对AR装配引导中的6DoF位姿跟踪鲁棒性问题，提出融合扇形搜索轮廓对应与稀疏内部对应的统一能量函数方法，在杂乱背景和旋转对称物体场景下仅用CPU即实现超100 FPS的高精度跟踪。
2025-07-02 cs.CV
SCOUT-SLAM: Structurally-Coupled Dual Uncertainty-Aware 3DGS SLAM in the Wild
Indian Institute of Science（印度科学理工学院）
SCOUT-SLAM提出结构耦合双不确定性框架，通过共享网络和低秩适应估计跟踪不确定性，打破跟踪与重建的循环依赖，在动态基准上实现最先进跟踪精度与无伪影静态重建。
2026-09-15 cs.CV
Instance-level Visual Active Tracking with Occlusion-Aware Planning
South China University of Technology（南方科技大学）；Pazhou Laboratory（Pazhou实验室）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出OA-VAT方法，通过实例感知原型初始化、在线原型增强跟踪和遮挡感知轨迹规划模块，解决遮挡和相似干扰问题，实现高精度实时跟踪。
2026-04-23 cs.CV
Sampling-based Uncertainty Estimation for an Instance Segmentation Network
University of Kassel（卡塞尔大学）
针对实例分割网络预测中的不确定性问题，本文基于MC-Dropout技术，采用贝叶斯高斯混合模型进行高效聚类以描述每个对象的不确定性，并集成focal loss与校准技术优化Mask-RCNN，实现每个实例最准确的不确定性近似。
2023-05-24 cs.CV
Uncertainty-Guided Inference-Time Depth Adaptation for Transformer-Based Visual Tracking
本文提出UncL-STARK，通过动态不确定性引导的深度适应，在不修改网络的情况下，提升基于变换器的视觉跟踪效率，实现计算开销降低和能耗节省。
2026-02-19 cs.CV
Multi-Adapter RGBT Tracking
Anhui University（安徽大学）
RGBT跟踪的任务是利用可见光和热红外数据的互补优势，实现鲁棒的视觉跟踪，近年来受到越来越多的关注。现有的工作集中在特定模态的信息集成，通过引入模态权重来实现自适应融合或学习不同模态的鲁棒特征表示。虽然这些方法可以有效地部署特定于模态的属性，但它们忽略了模态共享线索以及实例感知信息的潜在价值，这对于RGBT跟踪中不同模态的有效融合至关重要。在本文中，我们提出了一种新的多适配器卷积网络（MANET），用于在端到端训练的深度框架中联合执行模态共享，模态特定和实例感知的特征学习，以进行RGBT跟踪。我们在网络中设计了三种适配器。具体而言，通用适配器用于提取共享对象表示，模态适配器用于编码模态特定信息以发挥其互补优势，实例适配器用于建模特定对象的外观属性和时间变化。此外，为了降低视觉跟踪实时性要求的计算复杂性，设计了通用适配器和模态适配器的并行结构。在两个RGBT跟踪基准数据集上进行的大量实验表明，该跟踪器与其他最先进的RGB和RGBT跟踪算法相比具有出色的性能。
2019-07-17 cs.CV
Uncertainty Estimation in Instance Segmentation with Star-convex Shapes
本文针对星凸形状实例分割中的空间不确定性估计问题，提出结合空间确定性与分数确定性分数的径向聚类方法，并验证其与 Deep Ensemble 技术结合可提升校准效果和模型可靠性。
2023-09-19 cs.CV
End-to-end video instance segmentation via spatial-temporal graph neural networks
Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
视频实例分割是将图像实例分割扩展到视频域的一项具有挑战性的任务。现有的方法要么只依赖于单帧信息的检测和分割子问题或处理跟踪作为一个单独的后处理步骤，这限制了他们的能力，充分利用和共享有用的时空信息的所有子问题。在本文中，我们提出了一种新的基于图神经网络（GNN）的方法来处理上述限制。具体地说，图节点表示的实例特征用于检测和分割，而图边缘表示的实例关系用于跟踪。帧间和帧内信息通过图更新有效地传播和共享，并且所有子问题（即检测，分割和跟踪）在统一的框架中联合优化。与现有方法相比，我们的方法在YoutubeVIS验证数据集上的性能有了很大的改进，并在ResNet-50主干上实现了35.2%的AP，以22 FPS运行。代码可在http://github.com/lucaswithai/visgraph.git上获得。
2022-03-07 cs.CV
Segment as Points for Efficient Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
当前的多目标跟踪和分割（MOTS）方法遵循检测跟踪范式，并采用卷积进行特征提取。然而，由于受固有感受野的影响，基于卷积的特征提取不可避免地会混淆前景特征和背景特征，导致后续实例关联中的歧义。在本文中，我们提出了一种高效的方法来学习基于段的实例嵌入，通过转换紧凑的图像表示无序的2D点云表示。我们的方法生成了一个新的点跟踪范例，其中判别实例嵌入是从随机选择的点而不是图像中学习的。此外，多个信息数据模态转换成逐点表示，以丰富逐点特征。由此产生的在线MOTS框架，名为PointTrack，超过了所有最先进的方法，包括3D跟踪方法的大幅度（MOTSA高出5.4%，比MOTSFusion快18倍），接近实时速度（22 FPS）。在三个数据集上的评估证明了我们方法的有效性和效率。此外，基于现有MOTS数据集缺乏拥挤场景的观察，我们构建了一个更具挑战性的MOTS数据集，名为APOLLO MOTS，具有更高的实例密度。APOLLO MOTS和我们的代码都可以在https://github.com/detectRecog/PointTrack上公开获得。
2020-07-03 cs.CV
GlobalTrack: A Simple and Strong Baseline for Long-term Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
长期跟踪器的一个关键能力是在非常大的区域（通常是整个图像）中搜索目标，以处理可能的目标缺失或跟踪失败。然而，目前缺乏全局实例搜索的强大基线。在这项工作中，我们的目标是弥合这一差距。具体来说，我们提出了GlobalTrack，一个纯粹的全球实例搜索为基础的跟踪器，不假设目标的位置和规模的时间一致性。GlobalTrack是基于两阶段目标检测器开发的，它能够执行全图像和多尺度搜索的任意实例，只有一个单一的查询作为指导。我们进一步提出了一个交叉查询损失，以提高我们的方法对干扰的鲁棒性。由于没有在线学习，没有对位置或尺度变化的惩罚，没有尺度平滑，也没有轨迹细化，我们的基于纯全局实例搜索的跟踪器在四个大规模跟踪基准上实现了相当的，有时更好的性能（即，LaSOT上的AUC为52.1%，TLP上的成功率为63.8%，OxUvA上的MaxGM为60.3%，TrackingNet上的标准化精度为75.4%），而最先进的方法通常需要复杂的后处理。更重要的是，我们的跟踪器运行时没有累积错误，即，任何类型的临时跟踪故障都不会影响其在未来帧上的性能，使其成为长期跟踪的理想选择。我们希望这项工作将成为长期跟踪的一个强有力的基线，并将促进这一领域的未来工作。代码可在www.example.com上获得。
2019-12-18 cs.CV
UTrack: Multi-Object Tracking with Uncertain Detections
German Aerospace Center (DLR)（德国航空航天中心（DLR））
本文提出UTrack，首次在目标检测中快速获取经验预测分布并将不确定性融入多目标跟踪，设计了新型关联方法，在MOT17、MOT20、DanceTrack和KITTI等基准上验证了有效性。
2024-08-30 cs.CV
SCATR: Mitigating New Instance Suppression in LiDAR-based Tracking-by-Attention via Second Chance Assignment and Track Query Dropout
University of Toronto（多伦多大学）
SCATR通过二次分配和轨迹查询丢弃缓解基于LiDAR的跟踪-注意力中的新实例抑制，实现性能提升
2026-03-02 cs.CV
An Analysis of Object Representations in Deep Visual Trackers
Google Research（谷歌研究院）
全卷积深度相关网络是最先进的单目标视觉跟踪方法的组成部分。通常假设这些网络通过将对象实例的特征与整个帧的特征相匹配来检测来执行跟踪。强大的建筑先验知识和对象表示的条件被认为是鼓励这种跟踪策略。尽管有这些强大的先验知识，但我们发现深度跟踪器通常默认通过显着性检测进行跟踪-而不依赖于对象实例表示。我们的分析表明，尽管显著性检测是一种有用的先验知识，但它可以防止深度网络中出现更强大的跟踪策略。这导致我们引入一个辅助检测任务，鼓励更多的歧视性对象表示，提高跟踪性能。
2020-01-08 cs.CV
Hallucinated Adversarial Learning for Robust Visual Tracking
Xiamen University（厦门大学）；Beihang University（北京航空航天大学）
人类可以很容易地从一个样本中学习新的概念，这主要是因为他们有非凡的能力去想象或幻觉看不见的样本在不同的环境中会是什么样子。实现这种使被跟踪实例的不同新样本产生幻觉的能力可以帮助跟踪器减轻低数据跟踪机制中的过拟合问题。为了实现这一点，我们提出了一个有效的对抗性的方法，表示为对抗性的“幻觉”（AH），强大的视觉跟踪。所提出的AH的目的是首先学习一对相同身份的实例之间的可转移的非线性变形，然后将这些变形应用到一个看不见的跟踪实例，以生成不同的正训练样本。通过将AH纳入在线检测跟踪框架，我们提出了幻觉对抗跟踪器（HAT），它与在线分类器（例如，MDNet）以端到端的方式。此外，提出了一种新的选择性变形传递（SDT）方法，以更好地选择更适合传递的变形。在3个流行的基准测试上的大量实验表明，我们的HAT达到了最先进的性能。
2019-06-17 cs.CV
Integration of Regularized l1 Tracking and Instance Segmentation for Video Object Tracking
Istanbul Technical University（伊斯坦布尔理工大学）
我们介绍了一种检测跟踪方法，该方法将深度对象检测器与粒子滤波跟踪器集成在正则化框架下，其中跟踪对象由稀疏字典表示。一种新的观察模型，建立检测器和跟踪器之间的共识制定，使我们能够更新字典的指导下，深检测器。这产生了通过视频序列的对象外观的有效表示，因此提高了对遮挡和姿态变化的鲁棒性。此外，我们提出了一个新的状态向量，包括平移，旋转，缩放和剪切参数，允许跟踪变形的对象边界框，从而显着增加了规模变化的鲁棒性。在具有挑战性的VOT 2016和VOT 2018基准测试数据集上报告的数值结果表明，引入的跟踪器L1 DPF-M在两个数据集上实现了相当的鲁棒性，同时在两个数据集上的性能优于最先进的跟踪器，在IoU-th=0.5时成功率的提高分别为11%和9%。
2019-12-30 cs.CV eess.IV
