Seg2Track++: Probabilistic Track Validation and Data Association for Multi-Object Tracking and Segmentation
University of Coimbra, Institute of Systems and Robotics, Department of Electrical and Computer Engineering（科英布拉大学，系统与机器人研究所，电气与计算机工程系）
提出Seg2Track++框架，结合SAM2实例分割与概率轨迹验证，实现零样本多目标跟踪与分割，提升身份保持并抑制假阳性传播。
2026-06-02 cs.CV
Post-Hoc MOTS: Exploring the Capabilities of Time-Symmetric Multi-Object Tracking
ITK, PPCU（PPCU信息技术学院）
本研究针对此前仅在视频显微镜场景评估的时间对称MOTS架构，拓展至行人跟踪等场景测试其泛用能力，通过消融实验对比其与受限变体、卡尔曼滤波器的性能，并开展预训练与非预训练模型的注意力分析。
2024-12-11 cs.CV cs.LG
Towards Grand Unification of Object Tracking
Peng Cheng Laboratory（鹏城实验室）；Dalian University of Technology（大连理工大学）；ByteDance（字节跳动）；The University of Hong Kong（香港大学）
我们提出了一个统一的方法，称为独角兽，可以同时解决四个跟踪问题（SOT，MOT，VOS，MOTS）与一个单一的网络使用相同的模型参数。由于对象跟踪问题本身的零散定义，大多数现有的跟踪器都是针对单个或部分任务开发的，并且过度专注于特定任务的特性。相比之下，Unicorn提供了一个统一的解决方案，在所有跟踪任务中采用相同的输入、主干、嵌入和头部。首次实现了跟踪网络结构和学习范式的统一。Unicorn在8个跟踪数据集中的表现与其特定任务的同行相当或更好，包括LaSOT，TrackingNet，MOT 17，BDD 100 K，DAVIS 16 -17，MOTS 20和BDD 100 K MOTS。我们相信，Unicorn将成为迈向通用愿景模型的坚实一步。代码可在https://github.com/MasterBin-IIAU/Unicorn上获得。
2022-08-11 cs.CV
SearchTrack: Multiple Object Tracking with Object-Customized Search and Motion-Aware Features
National Taiwan University（台湾大学）；National Tsing Hua University（清华大学）
提出了一种新的多目标跟踪与分割方法SearchTrack。为了解决检测到的对象之间的关联问题，SearchTrack提出了对象自定义搜索和运动感知功能。通过为每个对象保持一个卡尔曼滤波器，我们将预测的运动编码到运动感知特征中，该特征包括运动和外观线索。对于每个对象，SearchTrack通过学习特定于对象的动态卷积的一组权重来创建定制的完全卷积搜索引擎。实验表明，我们的SearchTrack方法优于竞争对手的方法在MOTS和MOT任务，特别是在关联精度方面。我们的方法在KITTI MOTS上实现了71.5 HOTA（汽车）和57.6 HOTA（行人），在MOT17上实现了53.4 HOTA。在关联精度方面，我们的方法在KITTI MOTS上实现了2D在线方法中最先进的性能。我们的代码可在https://github.com/qa276390/SearchTrack上获得。
2022-10-29 cs.CV
Seg2Track-SAM2: SAM2-based Multi-object Tracking and Segmentation
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）；Department of Electrical and Computer Engineering（电气与计算机工程系）
Seg2Track-SAM2基于SAM2提出多目标跟踪与分割框架，通过整合预训练检测器与专用模块，实现跟踪初始化、数据关联和细化，提升身份一致性和内存效率。
2026-03-02 cs.CV
Weakly Supervised Multi-Object Tracking and Segmentation
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；Facebook（脸书）
本文提出了弱监督多目标跟踪与分割问题，即联合弱监督实例分割和多目标跟踪，其中不提供任何类型的模板标注。为了解决这个问题，我们设计了一种新的协同训练策略，利用多任务学习，即分类和跟踪任务指导训练的无监督实例分割。为此，我们提取Grad-CAM热图提供的弱前景定位信息，以生成部分地面实况以供学习。此外，RGB图像级信息被用来细化对象边缘处的掩模预测。我们在KITTI MOTS上评估了我们的方法，这是这项任务最具代表性的基准，将完全监督和弱监督方法之间的MOTSP指标的性能差距分别缩小到12%和12.7%。
2021-01-03 cs.CV
ReIDTrack: Multi-Object Track and Segmentation Without Motion
Lenovo（联想）；Tsinghua University（清华大学）
本文提出ReIDTrack，一种无运动信息的多目标跟踪与分割方法，仅依赖高性能检测模型CBNetV2与自监督外观模型MoCo-v2进行关联，在CVPR2023 WAD workshop的MOTS和MOT赛道分别取得第一名和第二名。
2023-08-03 cs.AI cs.CV
PointTrack++ for Effective Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
多目标跟踪与分割（MOTS）是一种新型的计算机视觉任务，旨在联合执行多目标跟踪（MOT）和实例分割。在这项工作中，我们提出了PointTrack++，一个有效的在线框架MOTS，显着扩展了我们最近提出的PointTrack框架。首先，PointTrack采用一个有效的一阶段框架进行实例分割，并通过将紧凑的图像表示转换为无序的2D点云来学习实例嵌入。与PointTrack相比，我们提出的PointTrack++提供了三个主要的改进。首先，在实例分割阶段，我们采用焦点损失训练的语义分割解码器来提高实例选择的质量。其次，为了进一步提高分割性能，我们提出了一种数据增强策略，通过复制和粘贴实例到训练图像。最后，我们在实例关联阶段引入了一种更好的训练策略，以提高学习到的实例嵌入的可识别性。由此产生的框架在第五届BMTT MOTChallenge上实现了最先进的性能。
2020-07-03 cs.CV
IA-MOT: Instance-Aware Multi-Object Tracking with Motion Consistency
University of Washington（华盛顿大学）
多目标跟踪（MOT）是计算机视觉的一项重要任务。然而，大多数跟踪检测MOT方法，与可用的检测到的边界框，不能有效地处理静态，缓慢移动和快速移动的摄像机的情况下，由于自我运动和频繁的遮挡。在这项工作中，我们提出了一种新的跟踪框架，称为“实例感知MOT”（IA-MOT），它可以跟踪多个对象，无论是静态或移动摄像机，通过共同考虑的实例级功能和对象运动。首先，通过发送给定的检测作为区域建议，从具有额外嵌入头的Mask R-CNN检测器的变体中提取鲁棒的外观特征。同时，空间注意力，集中在边界框内的前景，从给定的实例掩码中产生，并应用到提取的嵌入特征。在跟踪阶段，使用匈牙利关联算法通过特征相似性和运动一致性来对齐对象实例掩码。此外，对象重新识别（ReID）被纳入恢复ID开关造成的长期闭塞或错过检测。总的来说，在MOTS 20和KITTI-MOTS数据集上进行评估时，我们提出的方法在CVPR 2020研讨会的BMTT挑战赛第三轨道中获得了第一名。
2020-06-24 cs.CV
Online Multi-Object Tracking and Segmentation with GMPHD Filter and Mask-based Affinity Fusion
Gwangju Institute of Technology（光州科学技术院）；Hyundai Motor Company（现代汽车公司）；SI Analytics Co., Ltd.（SI Analytics有限公司）；Korea University（高丽大学）；University of Alberta（阿尔伯塔大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Polish Academy of Sciences（波兰科学院）
在本文中，我们提出了一个高度实用的全在线多目标跟踪和分割（MOTS）的方法，使用实例分割的结果作为输入。该方法基于高斯混合概率假设密度（GMPHD）滤波器，分层数据关联（HDA），和基于掩码的亲和融合（MAF）模型，以实现高性能的在线跟踪。HDA由两个关联组成：段到轨关联和轨到轨关联。一个亲和力，位置和运动，通过使用GMPHD滤波器计算，和其他的亲和力，通过使用从一个单一的对象跟踪器，如核相关滤波器的响应计算的外观。这两个亲和度通过使用诸如被称为MAF的最小-最大归一化的分数级融合方法来简单地融合。此外，为了减少假阳性段的数量，我们采用基于掩码IoU的合并（掩码合并）。提出的MOTS框架的关键模块：HDA，MAF，和掩码合并，是很容易扩展到同时跟踪多种类型的对象与CPU只执行并行处理。此外，开发的框架只需要简单的参数调整，不像许多现有的MOTS方法，需要密集的超参数优化。在两个流行的MOTS数据集上的实验中，对关键模块进行了改进。例如，与训练集中的基线方法相比，ID转换减少了一半以上。总之，我们的跟踪器在测试集中达到了最先进的MOTS性能。
2021-06-11 cs.CV cs.LG cs.MM
MeNToS: Tracklets Association with a Space-Time Memory Network
Polytechnique Montréal（蒙特利尔理工学院）
我们提出了一种多目标跟踪和分割（MOTS）的方法，不需要微调或每个基准超参数选择。所提出的方法特别解决了数据关联问题。事实上，最近引入的HOTA度量，通过均匀地平衡检测和关联质量，与人类视觉评估具有更好的一致性，已经表明数据关联仍然需要改进。在使用实例分割和光流创建轨迹之后，所提出的方法依赖于为单次视频对象分割开发的时空记忆网络（STM），以改善轨迹与时间间隙的关联。据我们所知，我们的方法，名为MeNToS，是第一个使用STM网络来跟踪MOTS的对象掩码。我们在RobMOTS挑战赛中获得了第四名。项目页面是https://mehdimiah.com/mentos.html。
2021-07-15 cs.CV
OmniTracker: Unifying Object Tracking by Tracking-with-Detection
Shanghai Key Lab of Intelligent Information Processing and School of Computer Science, Fudan University（上海智能信息处理关键实验室和复旦大学计算机学院）；Microsoft Research, Redmond（微软研究院（红mond））；Microsoft Research, Asia（微软亚洲研究院）
OmniTracker通过结合跟踪与检测的优势，统一解决不同目标跟踪任务，实现高效且一致的模型架构和参数共享。
2026-03-02 cs.CV
PolyTrack: Tracking with Bounding Polygons
Polyechnique Montréal（蒙特利尔理工学院）
在本文中，我们提出了一种新的方法称为PolyTrack的快速多目标跟踪和分割使用边界多边形。Polytrack通过生成中心关键点的热图来检测对象。对于每个实例，通过计算每个实例上的边界多边形而不是传统的限界框来进行粗略分割。跟踪是通过将两个连续帧作为输入并计算在第一帧中检测到的每个对象的中心偏移来预测其在第二帧中的位置来完成的。还应用卡尔曼滤波器来减少ID开关的数量。由于我们的目标应用是自动驾驶系统，我们将我们的方法应用于城市环境视频。我们在MOTS和KITTIMOTS数据集上训练和评估了PolyTrack。结果表明，跟踪多边形可以是一个很好的替代限界框和面具跟踪。PolyTrack的代码可在https://github.com/gafaua/PolyTrack上获得。
2021-11-02 cs.CV
Multi-Object Tracking and Segmentation via Neural Message Passing
Technical University of Munich（慕尼黑工业大学）
图提供了一种自然的方式来制定多对象跟踪（MOT）和多对象跟踪和分割（MOTS）的跟踪检测范式。然而，它们也为学习方法带来了一个重大挑战，因为定义一个可以在这种结构化域上操作的模型并不简单。在这项工作中，我们利用经典的网络流制定MOT定义一个完全可微的框架的消息传递网络（MPN）的基础上。通过直接在图域上操作，我们的方法可以在整个检测集上进行全局推理，并利用上下文特征。然后，它联合预测数据关联问题的最终解决方案和场景中所有对象的分割掩码，同时利用两个任务之间的协同作用。我们在几个公开的数据集中实现了跟踪和分割的最先进的结果。我们的代码可在github.com/ocetintas/MPNTrackSeg上获得。
2022-07-15 cs.CV
Track to Reconstruct and Reconstruct to Track
RWTH Aachen University（亚琛工业大学）
对象跟踪和3D重建通常一起执行，其中跟踪用作重建的输入。然而，获得的重建也为改进跟踪提供了有用的信息。我们提出了一种新的方法，关闭这个循环，首先跟踪重建，然后重建跟踪。我们的方法，MOTSFusion（多对象跟踪，分割和动态对象融合），利用从动态对象重建中提取的3D运动来跟踪对象，通过长时间的完全遮挡，并恢复丢失的检测。我们的方法首先建立短的轨迹使用二维光流，然后融合到动态的三维物体重建。这些重建的精确3D对象运动用于通过遮挡将轨迹线合并为长期轨迹，并在检测丢失时定位对象。在KITTI上，我们的基于重建的跟踪减少了初始tracklet的ID开关的数量超过50%，并且在限界框和分割跟踪方面优于所有以前的方法。
2020-04-19 cs.CV
Learning a Neural Solver for Multiple Object Tracking
Technical University of Munich（慕尼黑工业大学）
图提供了一种自然的方式来制定多目标跟踪（MOT）的跟踪检测范式。然而，它们也为学习方法引入了一个重大挑战，因为定义一个可以在这样的\textit{structured domain}上操作的模型并不是微不足道的。因此，大多数基于学习的工作都致力于学习MOT的更好功能，然后将这些功能与完善的优化框架一起使用。在这项工作中，我们利用经典的网络流制定MOT定义一个完全可微的框架的消息传递网络（MPN）的基础上。通过直接在图域上操作，我们的方法可以在整个检测集上进行全局推理并预测最终解决方案。因此，我们表明，MOT中的学习不需要局限于特征提取，但它也可以应用于数据关联步骤。我们在三个公开的基准上显示了MOTA和IDF1的显着改善。我们的代码可在https://bit.ly/motsolv上获得。
2020-04-18 cs.CV
TrackFormer: Multi-Object Tracking with Transformers
Technical University of Munich（慕尼黑工业大学）；Facebook AI Research (FAIR)（Facebook人工智能研究院（FAIR））
多目标跟踪（MOT）的挑战性任务，需要同时推理的轨迹初始化，身份和时空轨迹。我们制定了这个任务作为一个帧到帧集预测问题，并介绍TrackFormer，端到端的可训练MOT方法的基础上的编码器-解码器Transformer架构。我们的模型实现了通过关注帧之间的数据关联，通过一个视频序列演变的一组跟踪预测。Transformer解码器从静态对象查询中提取新的轨迹，并利用概念上新的和保持身份的轨迹查询在空间和时间上自回归地跟随现有轨迹。两种查询类型都受益于对全局帧级特征的自关注和编码器-解码器关注，从而省略了任何额外的图形优化或运动和/或外观的建模。TrackFormer引入了一种新的注意力跟踪模式，虽然设计简单，但能够在多目标跟踪（MOT 17和MOT 20）和分割（MOTS 20）任务上实现最先进的性能。该代码可在https://github.com/timmeinhardt/trackformer上获得。
2022-04-29 cs.CV
Prediction-Tracking-Segmentation
Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于预测驱动的视频视觉跟踪和分割方法。我们建立了一个预测模型来指导有效地找到更准确的跟踪区域，而不是仅仅依赖于与外观线索的匹配来进行跟踪。与建议的预测机制，我们提高了模型的鲁棒性，对分心和遮挡跟踪过程中。我们不仅在视觉跟踪任务（VOT 2016和VOT 2018）上，而且在视频分割数据集（DAVIS 2016和DAVIS 2017）上都证明了最先进方法的显著改进。
2019-04-05 cs.CV
MOTCOM: The Multi-Object Tracking Dataset Complexity Metric
Aalborg University（奥尔堡大学）；Pioneer Center for AI（人工智能先锋中心）；Technical University of Munich（慕尼黑工业大学）
多目标跟踪（MOT）序列的复杂性目前还没有一个全面的度量标准。这种指标的缺乏降低了可解释性，使数据集的比较复杂化，并将关于跟踪器性能的对话减少到领先地位的问题。作为补救措施，我们提出了新型MOT数据集复杂性度量（MOTCOM），它是受MOT中关键问题启发的三个子度量的组合：遮挡、不稳定运动和视觉相似性。MOTCOM的见解可以开启关于跟踪器性能的细致入微的讨论，并可能导致更广泛地承认为不太知名的数据集或旨在解决子问题的数据集开发的新贡献。我们在综合MOT17，MOT20和MOTSynth数据集上评估了MOTCOM，并表明MOTCOM在描述MOT序列的复杂性方面远远优于传统的轨道密度和数量。项目页面https://vap.aau.dk/motcom
2022-07-20 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
视频对象分割（VOS）的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大，训练样本的缺乏，尽管深度学习的发展方兴未艾，但它仍然是一项艰巨的任务。为了解决VOS问题，我们提出了由对象建议，跟踪和分割组件组成的统一框架，带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验，我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2，它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计，进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下，D3 S2仅针对分割作为主要输出进行训练，在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器，并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
Bag of Tricks for Domain Adaptive Multi-Object Tracking
SI Analytics（SI分析公司）
本文介绍了SI Analytics的研究团队开发的SIA_Track。所提出的方法是建立从预先存在的检测器和跟踪器下的跟踪检测范式。我们使用的跟踪器是一个在线跟踪器，它只是将新收到的检测与现有的跟踪联系起来。我们的方法的核心部分是对象检测器的训练过程，其中合成和未标记的真实数据仅用于训练。为了最大限度地提高真实数据的性能，我们首先建议使用伪标签，使用合成数据集训练的模型为真实数据生成不完美的标签。在此之后，模型汤方案被应用到聚合的权重在迭代伪标记过程中产生的。此外，跨域混合采样也有助于提高对真实数据的检测性能。我们的方法，SIA_Track，在BMTT 2022挑战赛中获得MOTSynth2MOT17赛道的第一名。该代码可在https://github.com/SIAnalytics/BMTT2022_SIA_track上获得。
2022-05-31 cs.CV
On Duality Of Multiple Target Tracking and Segmentation
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
传统上，目标跟踪和分割被视为两个独立的问题，并独立解决。然而，在本文中，我们认为跟踪和分割实际上是密切相关的，解决一个应该帮助另一个。一方面，对象轨迹是一组边界框，每帧中有一个限界框，它将为目标/背景分割任务提供强有力的高级指导。另一方面，对象分割将对象与其他对象和背景分离，这将有助于确定每帧中的轨迹位置。我们提出了一个新的框架，它结合了在线多目标跟踪和视频分割。在我们的方法中，跟踪和分割问题耦合拉格朗日对偶分解，这导致更准确的分割结果，也\emph{helps resolve typical difficulties in multiple target tracking, such as occlusion handling, ID-switch and track drifting}。为了跟踪目标，通过结构化学习为每个目标学习单独的外观模型，并采用网络流从密集采样的候选对象生成轨迹。对于分割，多标签条件随机场（CRF）应用于视频片段中的基于超像素的时空图，以将背景或目标标签分配给每个超像素。不同序列上的实验表明，我们的方法优于国家的最先进的方法，多目标跟踪以及分割。
2016-10-14 cs.CV
Robust Visual Tracking by Segmentation
ETH Zürich（苏黎世联邦理工学院）
估计目标的范围提出了一个基本的挑战，在视觉对象跟踪。通常，跟踪器是以框为中心的，并且完全依赖于限界框来定义场景中的目标。在实践中，对象通常具有复杂的形状，并且不与图像轴对齐。在这些情况下，边界框不提供目标的准确描述，并且通常包含大部分背景像素。我们提出了一个以分割为中心的跟踪管道，不仅可以产生高度准确的分割掩码，而且可以在内部使用分割掩码而不是边界框。因此，我们的跟踪器能够更好地学习目标表示，该目标表示可以清楚地将场景中的目标与背景内容区分开来。为了实现必要的鲁棒性具有挑战性的跟踪情况下，我们提出了一个单独的实例定位组件，用于条件的分割解码器时，产生的输出掩码。我们从分割掩码中推断出一个限界框，在具有挑战性的跟踪数据集上验证我们的跟踪器，并在LaSOT上实现了最新的技术水平，成功AUC得分为69.7%。由于大多数跟踪数据集不包含掩模注释，因此我们无法使用它们来评估预测的分割掩模。相反，我们在两个流行的视频对象分割数据集上验证了我们的分割质量。
2022-07-20 cs.CV
Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation
ETH Zürich（苏黎世联邦理工学院）；HKUST（香港科技大学）；Kuaishou Technology（快手科技）
多目标跟踪和分割需要检测、跟踪和分割属于一组给定类别的对象。大多数方法仅利用时间维度来解决关联问题，而依赖于对分割掩码本身的单帧预测。我们提出了原型交叉注意网络（PCAN），能够利用丰富的时空信息进行在线多目标跟踪和分割。PCAN首先将一个时空记忆提炼成一组原型，然后利用交叉注意从过去的帧中检索丰富的信息。为了分割每个对象，PCAN采用原型外观模块来学习一组对比的前景和背景原型，然后随时间传播。大量的实验表明，PCAN在Youtube-VIS和BDD 100 K数据集上的性能优于当前的视频实例跟踪和分割竞赛获胜者，并且对一阶段和两阶段分割框架都显示出有效性。代码和视频资源可在http://vis.xyz/pub/pcan上获得。
2021-11-30 cs.CV
Visual Object Tracking by Segmentation with Graph Convolutional Network
Anhui University（安徽大学）
基于分割的跟踪技术在计算机视觉和多媒体领域得到了广泛的研究。基于超像素的目标分割和跟踪方法通常被开发用于此任务。然而，它们独立地执行超像素的特征表示和学习，这可能导致次优结果。在本文中，我们提出了利用图卷积网络（GCN）模型的超像素为基础的目标跟踪。该模型提供了一个通用的端到端框架，该框架将i）标签线性预测和ii）每个超像素的结构感知特征信息集成在一起以获得对象分割，并进一步提高跟踪性能。所提出的GCN方法的主要优点有两个主要方面。首先，它提供了一个有效的端到端的方式来利用空间和时间的一致性约束的目标对象分割。其次，它利用混合图卷积模块来学习用于超像素表示和标记的上下文感知和区分特征。一个有效的算法已被开发，以优化所提出的模型。在五个数据集上进行的大量实验表明，我们的方法比现有的替代方法获得了更好的性能。
2020-09-08 cs.CV
Towards Automatic Video Annotation with ASH: Zero-Shot Open-Vocabulary Multi-Object Tracking and Segmentation
University of Windsor（温莎大学）
本文提出GPT和ASH两项技术，将SAM3扩展为零样本开放词汇多目标跟踪与分割，实现任意长度视频的自动标注，在MOTS20上达到最先进性能且内存低于25GB。
2026-10-02 cs.CV
SiamMask: A Framework for Fast Online Object Tracking and Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fudan University（复旦大学）；Five AI Limited（Five AI有限公司）；University of Oxford（牛津大学）
在本文中，我们介绍了SiamMask，一个框架来执行视觉对象跟踪和视频对象分割，在实时，用同样的简单方法。我们通过使用二进制分割任务增加损失来改进流行的全卷积Siamese方法的离线训练过程。一旦离线训练完成，SiamMask只需要一个限界框进行初始化，可以同时进行视觉对象跟踪和分割在高帧速率。此外，我们表明，它是可以扩展的框架来处理多个对象的跟踪和分割，通过简单地重复使用级联方式的多任务模型。实验结果表明，我们的方法具有较高的处理效率，在每秒55帧左右。它在视觉对象跟踪基准测试中产生实时的最先进的结果，同时在视频对象分割基准测试中以高速展示具有竞争力的性能。
2022-07-05 cs.CV
Fast Online Object Tracking and Segmentation: A Unifying Approach
CASIA（中国科学院自动化研究所）；University of Oxford（牛津大学）；FiveAI
在本文中，我们说明了如何执行视觉对象跟踪和半监督视频对象分割，在实时，一个简单的方法。我们的方法被称为SiamMask，通过使用二进制分割任务增加其损失，改进了用于对象跟踪的流行全卷积Siamese方法的离线训练过程。一旦经过训练，SiamMask仅依赖于单个限界框初始化并在线运行，以每秒55帧的速度生成与类别无关的对象分割掩码和旋转边界框。尽管其简单性，多功能性和快速性，我们的策略使我们能够在VOT-2018上建立实时跟踪器的新技术水平，同时在DAVIS-2016和DAVIS-2017上展示半监督视频对象分割任务的竞争力和最佳速度。该项目的网站是http://www.robots.ox.ac.uk/~qwang/SiamMask。
2019-05-05 cs.CV
Multi-appearance Segmentation and Extended 0-1 Program for Dense Small Object Tracking
Nanjing University of Science and Technology（南京理工大学）
针对密集小目标在集群背景下的快速多目标跟踪问题，研究了考虑批量优化的面向轨迹的多假设跟踪算法（TOMHT）。采用基于自相关的运动评分检验和阶段性假设合并方法，建立了相应的假设生成和管理方法。提出了一种新的一对多约束，并将其应用于复杂遮挡情况下的航迹排除问题。此外，为了达到更好的效果，我们开发了一种多外观分割检测，它利用树状拓扑信息，并实现了一个目标的一个阈值。实验结果验证了我们的方法的强度，表明我们的跟踪器的速度和性能的优势。
2017-12-14 cs.CV
360VOTS: Visual Object Tracking and Segmentation in Omnidirectional Videos
Division of Integrative Systems and Design（整合系统与设计系）；Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科学与技术大学）
针对360°图像宽视场和球面畸变带来的跟踪分割难题，提出eBFoV表示和通用360跟踪框架，并构建含290序列的360VOS数据集与基准，实验验证其有效性。
2025-06-20 cs.CV
Video Object Segmentation and Tracking: A Survey
China University of Mining and Technology（中国矿业大学）；Nanyang Technological University（南洋理工大学）
目标分割和跟踪是计算机视觉领域的基础研究领域。这两个主题很难处理一些常见的挑战，如遮挡，变形，运动模糊和尺度变化。前者包括异质对象、交互对象、边缘模糊性和形状复杂性。而后者在处理快速运动、视野外和实时处理方面存在困难。将视频对象分割和跟踪（VOST）这两个问题结合起来，可以克服各自的困难，提高其性能。VOST可广泛应用于视频摘要、高清视频压缩、人机交互、自动驾驶汽车等实际应用中。本文旨在提供一个全面的审查国家的最先进的跟踪方法，并将这些方法分为不同的类别，并确定新的趋势。首先，我们提供了一个分层分类现有的方法，包括无监督的VOS，半监督的VOS，交互式VOS，弱监督的VOS，和基于分割的跟踪方法。其次，我们提供了一个详细的讨论和概述的技术特点的不同方法。第三，总结了相关视频数据集的特点，并给出了各种评价指标。最后，我们指出了一组有趣的未来工作，并得出我们自己的结论。
2019-04-26 cs.CV
SAM2MOT: A Novel Paradigm of Multi-Object Tracking by Segmentation
受SAM2启发，提出分割驱动的SAM2MOT多目标跟踪范式，突破传统检测-关联框架，将分割置于核心以解决假阳性和遮挡问题，集成预训练模型形成零样本系统，在主流基准上取得SOTA结果，降低对标注数据的依赖。
2025-11-18 cs.CV
Patch-based adaptive weighting with segmentation and scale (PAWSS) for visual tracking
Surgical Vision Group, University College London（伦敦大学学院外科视觉组）；Deliveroo
检测跟踪算法广泛用于视觉跟踪，其中问题被视为分类任务，其中使用在线学习技术随时间更新对象模型。在对象经历变形或尺度变化的挑战性条件下，更新步骤易于在模型外观中包括背景信息或缺乏估计尺度变化的能力，这降低了分类器的性能。在本文中，我们将采用基于补丁的自适应加权分割和规模（PAWSS）跟踪框架，解决规模和背景的问题。一个简单但有效的基于颜色的分割模型被用来抑制背景信息，并提取多尺度样本来丰富训练池，这使得跟踪器能够处理帧之间的增量和突然的尺度变化。实验上，我们评估我们的方法上的在线跟踪基准（OTB）数据集和视觉对象跟踪（VOT）挑战数据集。结果表明，我们的方法优于最近的国家的最先进的跟踪器，它特别是提高了成功率分数上的OTB数据集，而在VOT数据集，PAWSS排名前列的跟踪器，同时在实时帧速率操作。
2017-08-03 cs.CV
UGO: Unified Architecture for General Multi-Object Tracking by Segmentation
University of Ljubljana（卢布尔雅那大学）
UGO提出统一分割架构，结合示例条件检测与实例传播头，通过能量最小化整合和分层记忆，在GMOT基准和视频计数上达到新最优，并可与专业MOT方法竞争。
2026-09-30 cs.CV
Robust Multi-body Feature Tracker: A Segmentation-free Approach
ANU（澳大利亚国立大学）；EPFL（洛桑联邦理工学院）
特征跟踪是计算机视觉中的一个基本问题，在许多计算机视觉任务中有应用，例如视觉SLAM和动作识别。本文介绍了一种新的多体特征跟踪器，利用多体刚性假设，以提高跟踪鲁棒性下的一般透视相机模型。解决这个问题的传统方法将包括在解决两个子任务之间交替：运动分割和每个段的刚性约束下的特征跟踪。然而，这种方法需要知道运动的数量，以及将点分配给运动组，这通常对运动估计敏感。相比之下，在这里，我们引入了一个无分割的多体特征跟踪解决方案，绕过了运动分配步骤，并减少到解决一系列具有封闭形式的解决方案的子问题。我们的实验证明了我们的方法在跟踪精度和对噪声的鲁棒性方面的好处。
2016-03-15 cs.CV
MOTSLAM: MOT-assisted monocular dynamic SLAM using single-view depth estimation
Kyushu University（九州大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Fukuoka University（福冈大学）；The University of Tokyo（东京大学）
针对静态场景的视觉SLAM系统已经开发出具有令人满意的精度和鲁棒性。动态3D对象跟踪随后已经成为视觉SLAM中的重要能力，其需要理解包括自动驾驶、增强和虚拟现实的各种场景中的动态环境。然而，由于难以关联动态特征并估计它们的位置，仅用单目图像执行动态SLAM仍然是一个具有挑战性的问题。在本文中，我们提出了MOTSLAM，一个动态的视觉SLAM系统与单目配置，跟踪动态对象的姿态和包围盒。MOTLAM首先执行多个对象跟踪（MOT）与相关的2D和3D限界框检测以创建初始3D对象。然后，基于神经网络的单目深度估计被应用于提取动态特征的深度。最后，相机姿势，物体姿势，静态和动态地图点，联合优化使用一种新的光束法平差。我们在KITTI数据集上的实验表明，我们的系统在单目动态SLAM上的相机自我运动和对象跟踪方面都达到了最佳性能。
2022-10-05 cs.CV
D3S -- A Discriminative Single Shot Segmentation Tracker
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S，它缩小了视觉对象跟踪和视频对象分割之间的差距。单次网络应用具有互补几何特性的两个目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象以同时实现高鲁棒性和在线目标分割。D3 S没有对每个数据集进行微调，并且只对分割进行训练作为主要输出，在VOT 2016，VOT 2018和GOT-10 k基准测试中表现优于所有跟踪器，并且在TrackingNet上的表现接近最先进的跟踪器。D3 S在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下，同时运行速度更快一个数量级，接近实时。
2020-04-14 cs.CV
Integrating Boxes and Masks: A Multi-Object Framework for Unified Visual Tracking and Segmentation
Zhejiang University（浙江大学）；Baidu Research（百度研究院）
本文提出多目标掩码-框集成框架MITS，统一支持框和掩码初始化与预测，在VOT和VOS基准上取得最先进性能，并在GOT-10k上超越此前最佳方法约6%。
2023-09-21 cs.CV
Cross-Classification Clustering: An Efficient Multi-Object Tracking Technique for 3-D Instance Segmentation in Connectomics
MIT（麻省理工学院）；Harvard University（哈佛大学）；Neural Magic Inc.（Neural Magic公司）；Tel-Aviv University（特拉维夫大学）
对对象的像素精确跟踪是许多计算机视觉应用中的关键要素，通常通过迭代的单个对象跟踪或实例分割以及随后的对象匹配来解决。在这里，我们介绍了交叉分类聚类（3C），一种同时跟踪图像堆栈中复杂的、相互关联的对象的技术。交叉分类的关键思想是通过对每个图像运行对数数量的独立分类，将聚类问题有效地转化为分类问题，让这些分类的交叉标记将每个像素唯一地分类为对象标签。我们应用3C机制来实现连接组学中最先进的准确性-从电子显微镜体积神经组织的纳米级映射。我们的重建系统增加了可扩展性的数量级超过现有的单对象跟踪方法（如洪水填充网络）。这种可扩展性对于connectomics管道的部署非常重要，因为目前最好的性能技术需要大多数实验室无法达到的计算基础设施。我们的算法可以在其他需要对多个对象进行像素精确跟踪的领域中提供优势，例如视频和医学图像的分割。
2019-06-15 cs.CV
Large-Scale Multi-Hypotheses Cell Tracking Using Ultrametric Contours Maps
Chan Zuckerberg Biohub（陈·扎克伯格生物中心）
本研究提出一种基于分割选择的大规模3D细胞追踪方法，利用分割假设层级与相邻帧重叠最大化选分割，在细胞追踪挑战赛3D数据集上达SOTA，支持现成模型集成，可处理百万级实例的太字节级数据。
2024-04-11 cs.CV
Multi-Object Tracking and Segmentation with a Space-Time Memory Network
Polytechnique Montréal（蒙特利尔综合理工学院）
提出基于时空记忆网络的多目标跟踪与分割方法 MeNToS，利用实例分割和光流创建轨迹段，并通过时空记忆网络改善具有时间间隔的轨迹段关联，在 HOTA 指标上表现出优于重新识别网络的长期关联性能。
2023-05-16 cs.CV
SAMIDARE: Advanced Tracking-by-Segmentation for Dense Scenarios
Toyota Technological Institute（丰田技术研究所）
本文提出SAMIDARE框架，通过改进分割到跟踪的方法，解决密集场景中分割误差和ID切换问题，提升鲁棒性和效率。
2026-04-24 cs.CV
Unsupervised Spatio-temporal Latent Feature Clustering for Multiple-object Tracking and Segmentation
Marquette University（马凯特大学）
视频序列中多个运动对象的时间标识符的一致性是一个具有挑战性的问题。这个问题的解决方案将直接影响多个对象跟踪和分割问题。我们提出了一种策略，将时间识别任务作为一个时空聚类问题。我们提出了一种无监督学习方法，使用卷积和完全连接的自动编码器，我们称之为深度异构自动编码器，从分割掩码和检测边界框中学习判别特征。我们从预训练的实例分割网络中提取掩码及其相应的边界框，并使用任务相关的不确定性权重联合训练自编码器以生成共同的潜在特征。然后，我们构建约束图，鼓励满足一组已知的时间条件的对象之间的关联。然后将特征向量和约束图提供给kmeans聚类算法以分离潜在空间中的相应数据点。我们使用具有挑战性的合成和真实世界的多对象视频数据集来评估我们的方法的性能。我们的研究结果表明，我们的技术优于几个国家的最先进的方法。
2021-11-05 cs.CV
Depthwise-Dilated Convolutional Adapters for Medical Object Tracking and Segmentation Using the Segment Anything Model 2
提出DD-SAM2框架，通过深度可分离扩张适配器高效微调SAM2，实现医学视频目标跟踪与分割，在肿瘤分割和左心室跟踪上取得高Dice分数。
2025-09-05 cs.CV
Learning Spatio-Appearance Memory Network for High-Performance Visual Tracking
Southeast University（东南大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）；Tianjin University of Technology（天津理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）
现有的视觉对象跟踪通常学习基于边界框的模板来跨帧匹配目标，无法准确学习像素级表示，从而在处理严重的外观变化方面受到限制。为了解决这些问题，已经在基于分割的跟踪上做出了很多努力，其学习逐像素对象感知模板，并且可以实现比基于边界框模板的跟踪更高的准确性。然而，现有的基于分割的跟踪器是无效的学习跨帧的时空对应关系，由于没有使用丰富的时间信息。为了克服这个问题，本文提出了一种新的基于分割的跟踪架构，它配备了一个空间外观记忆网络，以学习准确的时空对应关系。其中，外观记忆网络探索时空非局部相似性，以学习分割掩模和当前帧之间的密集对应关系。同时，空间记忆网络被建模为判别相关滤波器，以学习特征图和空间图之间的映射。外观记忆网络有助于过滤掉空间记忆网络中的噪声样本，而后者为前者提供更准确的目标几何中心。这种相互促进作用大大提高了跟踪性能。没有花里胡哨的东西，我们简单而有效的跟踪架构分别在VOT 2016，VOT 2018，VOT 2019，GOT-10 K，TrackingNet和VOT 2020基准上设置了新的最先进的技术。此外，我们的跟踪器在两个视频对象分割基准DAVIS 16和DAVIS 17上的性能大大优于领先的基于分割的跟踪器SiamMask和D3 S。源代码可以在https://github.com/phiphiphi31/DMB上找到。
2021-04-06 cs.CV
SFTrack++: A Fast Learnable Spectral Segmentation Approach for Space-Time Consistent Tracking
Bitdefender（比特梵德）；University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
我们提出了一种对象跟踪方法，SFTrack++，顺利地学习，以保持跟踪对象的一致性，在空间和时间维度上采取谱聚类的方法，从视频的像素图，使用快速的3D过滤公式，找到这个图的邻接矩阵的主特征向量。为了更好地捕捉跟踪对象的复杂方面，我们丰富了我们的配方多通道输入，允许不同的观点相同的输入。在我们的实验中，通道输入是多种跟踪方法的输出。在组合它们之后，我们不是仅仅依靠隐藏层表示来预测一个好的跟踪限界框，而是显式地学习一个中间的、更精细的，即跟踪对象的分割图。这防止了粗糙的公共限界框方法在学习过程中引入噪声和干扰物。我们使用五个顶级跟踪器作为输入，在五个跟踪基准上测试我们的方法SFTrack++：OTB，UAV，NFS，GOT-10 k和TrackingNet。我们的实验结果验证了预先注册的假设。我们获得了一致和强大的结果，在三个传统的基准测试（OTB，UAV，NFS）上具有竞争力，并且在GOT-10 k和TrackingNet上（更新，更大，更多样化的数据集）上显著领先于其他人（在准确性上超过$1.1\%$）。
2021-11-04 cs.CV
Segmentation-Guided Homography Estimation for Long-Term Planar Tracking
Visual Recognition Group, Faculty of Electrical Engineering, Czech Technical University in Prague（视觉识别组，电气工程系，布拉格捷克技术大学）
本文提出SAM-H和WOFTSAM两种新型平面跟踪器，通过结合SAM 2的鲁棒分割跟踪与8自由度单应性估计，显著提升平面跟踪的准确性和鲁棒性。
2026-08-26 cs.CV
Temporal-Enhanced Multimodal Transformer for Referring Multi-Object Tracking and Segmentation
College of Computer Science, National University of Defense Technology（国防科技大学计算机学院）；JD Technology（京东科技）；Meituan Inc.（美团公司）
本文提出TenRMOT，通过在编码与解码阶段进行跨模态融合并引入查询更新模块利用时序先验，同时构建Ref-KITTI Segmentation数据集，提升指称多目标跟踪与分割性能。
2024-10-17 cs.CV
Saliency based Semi-supervised Learning for Orbiting Satellite Tracking
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of Space Utilization, Chinese Academy of Sciences（中国科学院空间利用重点实验室）
在轨卫星的轨道和边界是空间机器人进行在轨修复和操作的基础信息。然而，由于在轨卫星的自由和快速运动、快速变化的背景和照明条件的突然变化，这项任务具有挑战性。传统的跟踪通常依赖于目标物体的单个限界框，然而，视觉跟踪需要提供更详细的信息，如二进制掩码。在本文中，我们提出了一种SSLT（基于显着性的半监督学习跟踪）算法，提供了限界框和目标卫星的分割二进制掩码在12帧/秒，而不需要注释数据。我们的方法，SSLT，提高了分割性能，通过生成一个显着图为基础的半监督在线学习方法内的初始限界框估计跟踪。一旦训练了定制的分割模型，将使用二进制分割结果来细化限界框和卫星轨迹。实验使用来自NASA（国家航空航天局）的真实在轨交会对接视频，来自ESA（欧洲航天局）的模拟卫星动画序列和我们实验室拍摄的3D打印卫星模型的图像序列，与最先进的跟踪和分割方法相比，我们的方法具有鲁棒性，通用性和快速性。我们的数据集将在未来发布用于学术用途。
2019-09-09 cs.CV
A Simple Video Segmenter by Tracking Objects Along Axial Trajectories
Johns Hopkins University（约翰斯·霍普金斯大学）；ByteDance（字节跳动）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对高分辨率视频分割中自注意力显存开销大的问题，提出Axial-VS，用轴向轨迹注意力实现clip内分割与跨clip跟踪，并取得最先进性能。
2024-06-12 cs.CV
Stitch-Inferencer: Enhance Endoscopic Video Segmentation and Tracking via Panoramic Reconstruction
Jmees Inc（Jmees公司）
针对内窥镜视频理解中视野受限和遮挡问题，提出Stitch-Inferencer框架，用全景画布取代隐式特征记忆，跨帧拼接观察以扩大视野，让现有模型利用长程上下文，实验证明其能在保持实时性的同时提升分割和跟踪性能。
2026-07-17 cs.CV
Towards Accurate Pixel-wise Object Tracking by Attention Retrieval
近年来，目标跟踪中的目标编码从粗边界盒编码发展到细粒度分割图编码。回顾能够在跟踪期间预测掩模的事实上的实时方法，我们观察到它们通常从骨干网络分叉一个轻分支用于分段。虽然有效，但在不考虑背景杂波的负面影响的情况下直接融合骨干特征往往会引入假阴性预测，从而落后于分割精度。为了缓解这个问题，我们提出了一个注意力检索网络（ARN）执行软空间约束的骨干功能。我们首先建立一个查找表（LUT）与地面真理掩模在开始帧，然后检索LUT，以获得空间约束的注意力地图。此外，我们引入了一个多分辨率的多级分割网络（MMS），以进一步削弱背景杂波的影响，通过重用的预测掩模过滤骨干功能。我们的方法在最近的像素对象跟踪基准VOT 2020上设置了一个新的最先进的状态，同时以40 fps运行。值得注意的是，该模型在VOT 2020、DAVIS 2016和DAVIS 2017上分别超过SiamMask 11.7/4.2/5.5点。我们将在https://github.com/researchmm/TracKit上发布我们的代码。
2020-09-08 cs.CV
Track, then Decide: Category-Agnostic Vision-based Multi-Object Tracking
Visual Computing Institute, RWTH Aachen University（亚琛工业大学视觉计算研究所）
基于视觉的多目标跟踪最常见的范例是检测跟踪，这是因为对于几个重要的目标类别（如汽车和行人），可靠的检测器是可用的。然而，未来的移动系统将需要有能力应对丰富的人造环境，在这种环境中，为每一种可能的物体类别获取探测器是不可行的。在本文中，我们提出了一个无模型的多目标跟踪方法，使用一个类别无关的图像分割方法来跟踪对象。我们提出了一个有效的分割掩模为基础的跟踪器相关联的像素精确的掩模报告的分割。我们的方法可以利用语义信息，只要它是可用于分类对象的轨道水平，同时保留跟踪通用的未知对象的能力，在没有这样的信息。我们的实验表明，我们的方法实现的性能与最先进的跟踪检测方法的流行的对象类别，如汽车和行人。此外，我们表明，该方法可以发现和鲁棒跟踪各种各样的其他对象。
2017-12-21 cs.CV
