Learning to Segment Every Thing
BAIR, UC Berkeley（加州大学伯克利分校伯克利人工智能研究中心）；Facebook AI Research (FAIR)（脸书人工智能研究院）
大多数用于对象实例分割的方法要求所有训练样本都用分割掩模标记。这个要求使得注释新类别的成本很高，并且将实例分割模型限制在大约100个注释良好的类。本文的目标是提出一种新的部分监督训练范式，连同一个新的权重传递函数，使训练实例分割模型的一个大的类别集，所有这些都有框注释，但只有一小部分有掩码注释。这些贡献使我们能够训练Mask R-CNN使用Visual Genome数据集的框注释和COCO数据集中80个类的掩码注释来检测和分割3000个视觉概念。我们在COCO数据集的对照研究中评估了我们的方法。这项工作是对视觉世界有广泛理解的实例分割模型的第一步。
2018-03-27 cs.CV
ContrastMask: Contrastive Learning to Segment Every Thing
Tencent（腾讯）；Shanghai Jiao Tong University（上海交通大学）
部分监督的实例分割是一种通过对有限的已见类别进行学习，从而消除繁重的注释负担，从而从新的未见类别中分割对象的任务。解决这个问题的关键是建立一个有效的类无关掩码分割模型。与以前只在可见类别上学习这种模型的方法不同，在本文中，我们提出了一种新的方法，名为ContrastMask，它在统一的像素级对比学习框架下学习可见和不可见类别上的掩码分割模型。在这个框架中，已看到的类别的注释掩码和未看到的类别的伪掩码用作对比学习的先验，其中来自掩码区域（前景）的特征被拉在一起，并且与来自背景的特征进行对比，反之亦然。通过该框架，前景和背景之间的特征区分度得到了很大的提高，有利于学习与类别无关的掩模分割模型。COCO数据集上的详尽实验证明了我们的方法的优越性，它优于以前的最先进的。
2022-03-24 cs.CV
Seeing Behind Things: Extending Semantic Segmentation to Occluded Regions
The University of Adelaide（阿德莱德大学）；Chalmers University of Technology（查尔姆斯理工大学）
近年来，由于深度神经网络（DNN）的出现，语义分割和实例级分割取得了实质性进展。提出了许多具有卷积神经网络（CNN）的深度架构，这些架构大大超过了传统的机器学习分割方法。这些架构通常通过优化交叉熵损失来预测每个像素的直接可观察的语义类别。在这项工作中，我们推动了语义分割的限制，预测直接可见以及被遮挡的对象或对象部分的语义标签，其中网络的输入是一个单一的深度图像。我们组的语义类别成一个背景和多个前景对象组，我们提出了一个修改的标准交叉熵损失，以应付设置。在我们的实验中，我们证明了通过最小化所提出的损失来训练的CNN能够预测可见和遮挡对象部分的语义类别，而无需增加网络大小（与标准分割任务相比）。结果在新生成的数据集（从SUNC扩展）数据集上进行了验证。
2019-09-17 cs.CV
Object Detection, Tracking, and Motion Segmentation for Object-level Video Segmentation
University of Freiburg（弗莱堡大学）
我们提出了一种方法，结合帧级的目标检测的概念，从对象跟踪和运动分割的视频对象分割。该方法基于现成的检测器提取时间上一致的对象管。除了每个管的类别标签之外，这还提供了独立于运动的位置先验。对于最终的视频分割，我们将这些信息与运动线索相结合。该方法克服了弱监督/无监督视频分割的典型问题，如没有运动的场景，占主导地位的摄像机运动，以及作为一个单元移动的对象。与大多数跟踪方法相比，它提供了一个准确的，时间上一致的分割每个对象。我们报告了四个视频分割数据集的结果：YouTube Objects，SegTrackv 2，egoMotion和FBMS。
2016-08-10 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
视频对象分割（VOS）的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大，训练样本的缺乏，尽管深度学习的发展方兴未艾，但它仍然是一项艰巨的任务。为了解决VOS问题，我们提出了由对象建议，跟踪和分割组件组成的统一框架，带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验，我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2，它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计，进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下，D3 S2仅针对分割作为主要输出进行训练，在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器，并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
On Duality Of Multiple Target Tracking and Segmentation
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
传统上，目标跟踪和分割被视为两个独立的问题，并独立解决。然而，在本文中，我们认为跟踪和分割实际上是密切相关的，解决一个应该帮助另一个。一方面，对象轨迹是一组边界框，每帧中有一个限界框，它将为目标/背景分割任务提供强有力的高级指导。另一方面，对象分割将对象与其他对象和背景分离，这将有助于确定每帧中的轨迹位置。我们提出了一个新的框架，它结合了在线多目标跟踪和视频分割。在我们的方法中，跟踪和分割问题耦合拉格朗日对偶分解，这导致更准确的分割结果，也\emph{helps resolve typical difficulties in multiple target tracking, such as occlusion handling, ID-switch and track drifting}。为了跟踪目标，通过结构化学习为每个目标学习单独的外观模型，并采用网络流从密集采样的候选对象生成轨迹。对于分割，多标签条件随机场（CRF）应用于视频片段中的基于超像素的时空图，以将背景或目标标签分配给每个超像素。不同序列上的实验表明，我们的方法优于国家的最先进的方法，多目标跟踪以及分割。
2016-10-14 cs.CV
A Multi-cut Formulation for Joint Segmentation and Tracking of Multiple Objects
University of Freiburg（弗莱堡大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
最近，最小成本多分割公式已被提出，并被证明是成功的运动轨迹分割和多目标跟踪的情况下。这两个任务都受益于将图形模型分解为基于吸引和排斥成对项的最佳数量的连接组件。这两个任务在不同的粒度级别上制定，因此，主要利用局部信息进行运动分割，主要利用高级信息进行多目标跟踪。在本文中，我们认为，点轨迹和它们的局部关系可以有助于多目标跟踪的高层次任务，也认为，高层次的线索，从目标检测和跟踪有助于解决运动分割。我们提出了一个联合图形模型的点轨迹和目标检测的多割运动分割{ \it和}多目标跟踪问题的解决方案在一次。FBMS 59运动分割基准以及2D MOT 2015基准的行人跟踪序列的结果证明了这种联合方法的前景。
2016-07-21 cs.CV
Segment This Thing: Foveated Tokenization for Efficient Point-Prompted Segmentation
Meta Reality Labs（Meta现实实验室）
本研究提出STT高效点提示分割模型，通过以提示点为中心的变分辨率中心凹式令牌化减少图像令牌，在不缩小模型规模的前提下降低计算成本，性能具竞争力且可在消费级硬件交互运行，适用于AR与机器人领域。
2025-06-10 cs.CV eess.IV
CellTrack R-CNN: A Novel End-To-End Deep Neural Network for Cell Segmentation and Tracking in Microscopy Images
University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；Sydney Nano Institute（悉尼纳米研究所）
显微图像中的细胞分割与跟踪对于生物学和医学的新发现具有重要意义。在这项研究中，我们提出了一种新的方法，将细胞分割和细胞跟踪结合到一个统一的基于端到端深度学习的框架中，其中细胞检测和分割是通过当前的实例分割管道执行的，细胞跟踪是通过将暹罗网络与管道集成来实现的。此外，通过将空间信息引入网络，融合空间预测和视觉预测，提高了跟踪性能。我们的方法在DeepCell基准数据集上进行了评估。尽管简单有效，但我们的方法在细胞分割和细胞跟踪准确性方面优于最先进的算法。
2021-02-20 cs.CV
Track to Detect and Segment: An Online Multi-Object Tracker
SUNY Buffalo（纽约州立大学布法罗分校）；TJU（天津大学）；Horizon Robotics
大多数在线多目标跟踪器在没有来自跟踪的任何输入的情况下在神经网络中独立地执行目标检测。在本文中，我们提出了一个新的在线联合检测和跟踪模型，TRADES（TRAck到DEtect和段），利用跟踪线索，以协助检测端到端。TraDeS通过成本量推断对象跟踪偏移，该成本量用于传播先前的对象特征以改进当前目标检测和分割。TraDeS在MOT（2D跟踪）、nuScenes（3D跟踪）、MOTS和Youtube-VIS（实例分割跟踪）4个数据集上的有效性和优越性得到了验证。项目页面：https://jialianwu.com/projects/TraDeS.html。
2021-03-16 cs.CV
Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation
ETH Zürich（苏黎世联邦理工学院）；HKUST（香港科技大学）；Kuaishou Technology（快手科技）
多目标跟踪和分割需要检测、跟踪和分割属于一组给定类别的对象。大多数方法仅利用时间维度来解决关联问题，而依赖于对分割掩码本身的单帧预测。我们提出了原型交叉注意网络（PCAN），能够利用丰富的时空信息进行在线多目标跟踪和分割。PCAN首先将一个时空记忆提炼成一组原型，然后利用交叉注意从过去的帧中检索丰富的信息。为了分割每个对象，PCAN采用原型外观模块来学习一组对比的前景和背景原型，然后随时间传播。大量的实验表明，PCAN在Youtube-VIS和BDD 100 K数据集上的性能优于当前的视频实例跟踪和分割竞赛获胜者，并且对一阶段和两阶段分割框架都显示出有效性。代码和视频资源可在http://vis.xyz/pub/pcan上获得。
2021-11-30 cs.CV
Robust Visual Tracking by Segmentation
ETH Zürich（苏黎世联邦理工学院）
估计目标的范围提出了一个基本的挑战，在视觉对象跟踪。通常，跟踪器是以框为中心的，并且完全依赖于限界框来定义场景中的目标。在实践中，对象通常具有复杂的形状，并且不与图像轴对齐。在这些情况下，边界框不提供目标的准确描述，并且通常包含大部分背景像素。我们提出了一个以分割为中心的跟踪管道，不仅可以产生高度准确的分割掩码，而且可以在内部使用分割掩码而不是边界框。因此，我们的跟踪器能够更好地学习目标表示，该目标表示可以清楚地将场景中的目标与背景内容区分开来。为了实现必要的鲁棒性具有挑战性的跟踪情况下，我们提出了一个单独的实例定位组件，用于条件的分割解码器时，产生的输出掩码。我们从分割掩码中推断出一个限界框，在具有挑战性的跟踪数据集上验证我们的跟踪器，并在LaSOT上实现了最新的技术水平，成功AUC得分为69.7%。由于大多数跟踪数据集不包含掩模注释，因此我们无法使用它们来评估预测的分割掩模。相反，我们在两个流行的视频对象分割数据集上验证了我们的分割质量。
2022-07-20 cs.CV
Weakly Supervised Object Localization Using Things and Stuff Transfer
University of Edinburgh（爱丁堡大学）；Tencent Youtu Lab（腾讯优图实验室）
我们建议通过从具有可用注释的源集中转移事物和知识来帮助位置注释不可用的类的弱监督对象定位。源类和目标类可能共享相似的外观（例如熊的皮毛与猫的皮毛相似），或者出现在相似的背景下（例如马和羊出现在草地上）。为了利用这一点，我们从源集合中获取三种类型的知识：在事物和材料类上训练的分割模型;目标和源类之间的相似关系;以及源中事物和材料类之间的共现关系。分割模型用于在目标图像上生成事物和东西分割图，而类相似性和共现知识有助于细化它们。然后，我们将这些地图作为新的线索到一个多实例学习框架（MIL），传播转移的知识从像素级的对象建议的水平。在广泛的实验中，我们进行了从PASCAL上下文数据集（源）到ILSVRC，COCO和PASCAL VOC 2007数据集（目标）的转移。我们评估我们在广泛不同的事物类别之间的迁移，包括一些外观不相似，但出现在类似背景下的事物。结果表明，与标准MIL相比有显着改善，并且我们在传输设置方面优于最先进的技术。
2017-08-07 cs.CV
DQFormer: Towards Unified LiDAR Panoptic Segmentation with Decoupled Queries
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学控制科学与工程学院 Cyber-Systems 研究所）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Institute of Industrial Technology Research, Zhejiang University（浙江大学工业技术研究院）；Institute of Intelligent and Software Technology, Hangzhou Dianzi University（杭州电子科技大学智能与软件技术研究所）
本文提出统一 LiDAR 全景分割框架 DQFormer，通过解耦 things/stuff 查询进行独立解码并解耦分类与分割以减轻模糊性，在 nuScenes 和 SemanticKITTI 数据集上取得优越性能。
2024-08-28 cs.CV
Visual Object Tracking by Segmentation with Graph Convolutional Network
Anhui University（安徽大学）
基于分割的跟踪技术在计算机视觉和多媒体领域得到了广泛的研究。基于超像素的目标分割和跟踪方法通常被开发用于此任务。然而，它们独立地执行超像素的特征表示和学习，这可能导致次优结果。在本文中，我们提出了利用图卷积网络（GCN）模型的超像素为基础的目标跟踪。该模型提供了一个通用的端到端框架，该框架将i）标签线性预测和ii）每个超像素的结构感知特征信息集成在一起以获得对象分割，并进一步提高跟踪性能。所提出的GCN方法的主要优点有两个主要方面。首先，它提供了一个有效的端到端的方式来利用空间和时间的一致性约束的目标对象分割。其次，它利用混合图卷积模块来学习用于超像素表示和标记的上下文感知和区分特征。一个有效的算法已被开发，以优化所提出的模型。在五个数据集上进行的大量实验表明，我们的方法比现有的替代方法获得了更好的性能。
2020-09-08 cs.CV
Multi-Object Tracking and Segmentation via Neural Message Passing
Technical University of Munich（慕尼黑工业大学）
图提供了一种自然的方式来制定多对象跟踪（MOT）和多对象跟踪和分割（MOTS）的跟踪检测范式。然而，它们也为学习方法带来了一个重大挑战，因为定义一个可以在这种结构化域上操作的模型并不简单。在这项工作中，我们利用经典的网络流制定MOT定义一个完全可微的框架的消息传递网络（MPN）的基础上。通过直接在图域上操作，我们的方法可以在整个检测集上进行全局推理，并利用上下文特征。然后，它联合预测数据关联问题的最终解决方案和场景中所有对象的分割掩码，同时利用两个任务之间的协同作用。我们在几个公开的数据集中实现了跟踪和分割的最先进的结果。我们的代码可在github.com/ocetintas/MPNTrackSeg上获得。
2022-07-15 cs.CV
SiamMask: A Framework for Fast Online Object Tracking and Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Fudan University（复旦大学）；Five AI Limited（Five AI有限公司）；University of Oxford（牛津大学）
在本文中，我们介绍了SiamMask，一个框架来执行视觉对象跟踪和视频对象分割，在实时，用同样的简单方法。我们通过使用二进制分割任务增加损失来改进流行的全卷积Siamese方法的离线训练过程。一旦离线训练完成，SiamMask只需要一个限界框进行初始化，可以同时进行视觉对象跟踪和分割在高帧速率。此外，我们表明，它是可以扩展的框架来处理多个对象的跟踪和分割，通过简单地重复使用级联方式的多任务模型。实验结果表明，我们的方法具有较高的处理效率，在每秒55帧左右。它在视觉对象跟踪基准测试中产生实时的最先进的结果，同时在视频对象分割基准测试中以高速展示具有竞争力的性能。
2022-07-05 cs.CV
Real-Time Salient Closed Boundary Tracking via Line Segments Perceptual Grouping
University of Alberta（阿尔伯塔大学）
提出了一种新的实时的【形】跟踪视频图像序列中显著闭合边界的方法。该方法对由直线检测产生的一组直线段进行操作。跟踪方案被连贯地集成到感知分组框架中，其中通过识别这些线段的子集并将它们顺序地连接以形成具有最大显著性和与前一个的一定相似性的闭合边界来解决视觉跟踪问题。具体来说，我们定义了一个新的跟踪标准，它结合了分组成本和区域相似性约束。所提出的标准，使所得的边界跟踪更强大的局部极小值。为了实现实时的【形】跟踪性能，我们使用德洛内三角剖分剖分与检测到的线段建立一个图模型，然后减少跟踪问题，找到这个图中的最佳周期。这是解决我们新提出的封闭边界候选搜索算法称为“双向最短路径（BDSP）”。所提出的方法的效率和鲁棒性进行了测试，在真实的视频序列，以及在机器人手臂浇注实验。
2017-08-09 cs.CV
A Simple Video Segmenter by Tracking Objects Along Axial Trajectories
Johns Hopkins University（约翰斯·霍普金斯大学）；ByteDance（字节跳动）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对高分辨率视频分割中自注意力显存开销大的问题，提出Axial-VS，用轴向轨迹注意力实现clip内分割与跨clip跟踪，并取得最先进性能。
2024-06-12 cs.CV
MOTS: Multi-Object Tracking and Segmentation
RWTH Aachen University（亚琛工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
本文将多目标跟踪问题扩展到多目标跟踪与分割（MOTS）。为了实现这一目标，我们使用半自动注释程序为两个现有的跟踪数据集创建密集的像素级注释。我们的新注释包括65，213个像素掩码，用于10，870个视频帧中的977个不同对象（汽车和行人）。对于评估，我们扩展现有的多对象跟踪指标，这个新的任务。此外，我们提出了一种新的基线方法，该方法通过单个卷积网络联合解决检测，跟踪和分割问题。我们通过在MOTS注释上训练时实现性能的改进来证明我们的数据集的价值。我们相信，我们的数据集、指标和基线将成为开发超越2D边界框的多目标跟踪方法的宝贵资源。我们在https://www.vision.rwth-aachen.de/page/mots上提供注释、代码和模型。
2019-04-08 cs.CV
Advancing Complex Video Object Segmentation via Tracking-Enhanced Prompt: The 1st Winner for 5th PVUW MOSE Challenge
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Shenzhen Loop Area Institute, China（深圳市环区研究所）
本文提出TEP方法，通过跟踪增强提示解决SAM3在处理小目标和语义主导对象时的不足，取得PVUW挑战赛优异成绩。
2026-04-01 cs.CV
Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks
Graz University of Technology（格拉茨工业大学）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医成像研究所）；BioTechMed-Graz（格拉茨生物医学技术中心）
与语义分割不同，实例分割为同一类的每个实例分配唯一的标签。在这项工作中，我们提出了一种新的经常性的全卷积网络架构，用于跟踪这种实例分割随着时间的推移。该网络架构将卷积门控递归单元（ConvGRU）集成到堆栈沙漏网络中，以利用时间视频信息。此外，我们还训练了一种基于余弦相似性的新型嵌入损失网络，这样网络就可以为整个视频中的每个实例预测唯一的嵌入。然后，这些嵌入在后续视频帧中被聚类以创建最终跟踪的实例分割。我们通过分割心脏MR视频中的左心室来评估复发性沙漏网络，它优于不包含视频信息的网络。此外，我们证明了余弦嵌入损失的适用性分割叶实例上的静止图像的植物。最后，我们评估的框架实例分割和跟踪六个数据集的ISBI细胞跟踪的挑战，它显示了国家的最先进的性能。
2018-07-30 cs.CV
PointIT: A Fast Tracking Framework Based on 3D Instance Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
最近最流行的跟踪框架集中在2D图像序列。他们很少跟踪点云中的3D对象。在本文中，我们提出了PointIT，一个快速，简单的跟踪方法的基础上三维道路上的实例分割。首先，我们将3D LiDAR数据转换为尺寸为64 x 512 x 4的球形图像，并将其送入实例片段模型，以获得每个类的预测实例掩码。然后，我们使用MobileNet作为我们的主要编码器，而不是原来的ResNet，以减少计算复杂性。最后，利用该实例框架对排序算法进行了扩展，实现了三维LiDAR点云数据的跟踪。该模型是在球形图像数据集上训练的，具有由KITTI 3D Object Track数据集提供的相应实例标签掩码。实验结果表明，该网络的平均跟踪精度（AP）达到0.617，多目标跟踪性能也得到了提高。
2019-02-18 cs.CV
HOIST-Former: Hand-held Objects Identification, Segmentation, and Tracking in the Wild
Stony Brook University（石溪大学）；VinAI Research（VinAI研究院）
针对手持物体因遮挡和短暂性难以识别、分割与跟踪的问题，提出基于transformer的HOIST-Former架构，利用手与物体特征迭代汇聚和接触损失进行优化，并构建包含4,125个视频的HOIST数据集，有效提升了分割与跟踪性能。
2024-04-22 cs.CV
SAM2MOT: A Novel Paradigm of Multi-Object Tracking by Segmentation
受SAM2启发，提出分割驱动的SAM2MOT多目标跟踪范式，突破传统检测-关联框架，将分割置于核心以解决假阳性和遮挡问题，集成预训练模型形成零样本系统，在主流基准上取得SOTA结果，降低对标注数据的依赖。
2025-11-18 cs.CV
Fast Online Object Tracking and Segmentation: A Unifying Approach
CASIA（中国科学院自动化研究所）；University of Oxford（牛津大学）；FiveAI
在本文中，我们说明了如何执行视觉对象跟踪和半监督视频对象分割，在实时，一个简单的方法。我们的方法被称为SiamMask，通过使用二进制分割任务增加其损失，改进了用于对象跟踪的流行全卷积Siamese方法的离线训练过程。一旦经过训练，SiamMask仅依赖于单个限界框初始化并在线运行，以每秒55帧的速度生成与类别无关的对象分割掩码和旋转边界框。尽管其简单性，多功能性和快速性，我们的策略使我们能够在VOT-2018上建立实时跟踪器的新技术水平，同时在DAVIS-2016和DAVIS-2017上展示半监督视频对象分割任务的竞争力和最佳速度。该项目的网站是http://www.robots.ox.ac.uk/~qwang/SiamMask。
2019-05-05 cs.CV
Weakly Supervised Multi-Object Tracking and Segmentation
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；Facebook（脸书）
本文提出了弱监督多目标跟踪与分割问题，即联合弱监督实例分割和多目标跟踪，其中不提供任何类型的模板标注。为了解决这个问题，我们设计了一种新的协同训练策略，利用多任务学习，即分类和跟踪任务指导训练的无监督实例分割。为此，我们提取Grad-CAM热图提供的弱前景定位信息，以生成部分地面实况以供学习。此外，RGB图像级信息被用来细化对象边缘处的掩模预测。我们在KITTI MOTS上评估了我们的方法，这是这项任务最具代表性的基准，将完全监督和弱监督方法之间的MOTSP指标的性能差距分别缩小到12%和12.7%。
2021-01-03 cs.CV
BoLTVOS: Box-Level Tracking for Video Object Segmentation
RWTH Aachen University（亚琛工业大学）
我们的方法视频对象分割（VOS）的任务分为两个子任务：限界框水平跟踪，其次是限界框分割。遵循这种范式，我们提出了BoLTVOS（VOS的框级跟踪），它由一个R-CNN检测器，条件是第一帧限界框检测感兴趣的对象，时间一致性重新评分算法，以及将边界框转换为分割掩码的Box 2Seg网络。BoLTVOS仅使用第一帧限界框而不使用掩码来执行VOS。我们在DAVIS 2017和YouTube-VOS上评估了我们的方法，并表明它优于所有不执行第一帧微调的方法。我们进一步提出了BoLTVOS-ft，它学习使用第一帧掩码在跟踪时分割有问题的对象，而不增加运行时间。BoLTVOS-ft的性能优于PReMVOS，后者是DAVIS 2016和YouTube-VOS上之前性能最好的VOS方法，同时运行速度快了45倍。我们的限界框跟踪器在限界框级跟踪数据集OTB 2015和LTB 35上的性能也优于所有以前的短期和长期跟踪器。这个作品的更新版本可以在arXiv：1911.12836找到。
2019-12-29 cs.CV
Multi-appearance Segmentation and Extended 0-1 Program for Dense Small Object Tracking
Nanjing University of Science and Technology（南京理工大学）
针对密集小目标在集群背景下的快速多目标跟踪问题，研究了考虑批量优化的面向轨迹的多假设跟踪算法（TOMHT）。采用基于自相关的运动评分检验和阶段性假设合并方法，建立了相应的假设生成和管理方法。提出了一种新的一对多约束，并将其应用于复杂遮挡情况下的航迹排除问题。此外，为了达到更好的效果，我们开发了一种多外观分割检测，它利用树状拓扑信息，并实现了一个目标的一个阈值。实验结果验证了我们的方法的强度，表明我们的跟踪器的速度和性能的优势。
2017-12-14 cs.CV
Large-Scale Multi-Hypotheses Cell Tracking Using Ultrametric Contours Maps
Chan Zuckerberg Biohub（陈·扎克伯格生物中心）
本研究提出一种基于分割选择的大规模3D细胞追踪方法，利用分割假设层级与相邻帧重叠最大化选分割，在细胞追踪挑战赛3D数据集上达SOTA，支持现成模型集成，可处理百万级实例的太字节级数据。
2024-04-11 cs.CV
Segment as Points for Efficient Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
当前的多目标跟踪和分割（MOTS）方法遵循检测跟踪范式，并采用卷积进行特征提取。然而，由于受固有感受野的影响，基于卷积的特征提取不可避免地会混淆前景特征和背景特征，导致后续实例关联中的歧义。在本文中，我们提出了一种高效的方法来学习基于段的实例嵌入，通过转换紧凑的图像表示无序的2D点云表示。我们的方法生成了一个新的点跟踪范例，其中判别实例嵌入是从随机选择的点而不是图像中学习的。此外，多个信息数据模态转换成逐点表示，以丰富逐点特征。由此产生的在线MOTS框架，名为PointTrack，超过了所有最先进的方法，包括3D跟踪方法的大幅度（MOTSA高出5.4%，比MOTSFusion快18倍），接近实时速度（22 FPS）。在三个数据集上的评估证明了我们方法的有效性和效率。此外，基于现有MOTS数据集缺乏拥挤场景的观察，我们构建了一个更具挑战性的MOTS数据集，名为APOLLO MOTS，具有更高的实例密度。APOLLO MOTS和我们的代码都可以在https://github.com/detectRecog/PointTrack上公开获得。
2020-07-03 cs.CV
360VOTS: Visual Object Tracking and Segmentation in Omnidirectional Videos
Division of Integrative Systems and Design（整合系统与设计系）；Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科学与技术大学）
针对360°图像宽视场和球面畸变带来的跟踪分割难题，提出eBFoV表示和通用360跟踪框架，并构建含290序列的360VOS数据集与基准，实验验证其有效性。
2025-06-20 cs.CV
PointTrack++ for Effective Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
多目标跟踪与分割（MOTS）是一种新型的计算机视觉任务，旨在联合执行多目标跟踪（MOT）和实例分割。在这项工作中，我们提出了PointTrack++，一个有效的在线框架MOTS，显着扩展了我们最近提出的PointTrack框架。首先，PointTrack采用一个有效的一阶段框架进行实例分割，并通过将紧凑的图像表示转换为无序的2D点云来学习实例嵌入。与PointTrack相比，我们提出的PointTrack++提供了三个主要的改进。首先，在实例分割阶段，我们采用焦点损失训练的语义分割解码器来提高实例选择的质量。其次，为了进一步提高分割性能，我们提出了一种数据增强策略，通过复制和粘贴实例到训练图像。最后，我们在实例关联阶段引入了一种更好的训练策略，以提高学习到的实例嵌入的可识别性。由此产生的框架在第五届BMTT MOTChallenge上实现了最先进的性能。
2020-07-03 cs.CV
Segment Anything Meets Point Tracking
ETH Zürich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）；HKUST（香港科技大学）
本文提出 SAM-PT，结合 SAM 与长期点跟踪实现点中心交互式视频分割，通过稀疏点传播利用局部结构信息，在 UVO、DAVIS、YouTube-VOS 和 BDD100K 等基准上取得更好的零样本性能与高效交互。
2023-12-03 cs.CV
Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
视频对象分割（VOS）是视频对象跟踪的最高层次，已经取得了重大进展。虽然VOS任务可以自然地解耦为图像语义分割和视频对象跟踪，但在分割方面的研究工作要比跟踪多得多。在本文中，我们引入“跟踪检测”到VOS可以连贯地集成分割跟踪，提出了一种新的时间聚合网络和一种新的动态时间演化模板匹配机制，以实现显着提高性能。值得注意的是，我们的方法是完全在线的，因此适合一次性学习，我们的端到端可训练模型允许在一次向前传递中进行多个对象分割。我们在DAVIS基准测试中实现了最先进的性能，在速度和准确性方面都没有复杂的花里胡哨，每帧速度为0.14秒，J&F测量值分别为75.9%。
2020-07-11 cs.CV
Video Object Segmentation and Tracking: A Survey
China University of Mining and Technology（中国矿业大学）；Nanyang Technological University（南洋理工大学）
目标分割和跟踪是计算机视觉领域的基础研究领域。这两个主题很难处理一些常见的挑战，如遮挡，变形，运动模糊和尺度变化。前者包括异质对象、交互对象、边缘模糊性和形状复杂性。而后者在处理快速运动、视野外和实时处理方面存在困难。将视频对象分割和跟踪（VOST）这两个问题结合起来，可以克服各自的困难，提高其性能。VOST可广泛应用于视频摘要、高清视频压缩、人机交互、自动驾驶汽车等实际应用中。本文旨在提供一个全面的审查国家的最先进的跟踪方法，并将这些方法分为不同的类别，并确定新的趋势。首先，我们提供了一个分层分类现有的方法，包括无监督的VOS，半监督的VOS，交互式VOS，弱监督的VOS，和基于分割的跟踪方法。其次，我们提供了一个详细的讨论和概述的技术特点的不同方法。第三，总结了相关视频数据集的特点，并给出了各种评价指标。最后，我们指出了一组有趣的未来工作，并得出我们自己的结论。
2019-04-26 cs.CV
TraceNet: Segment one thing efficiently
Coordinated Science Laboratory, University of Illinois at Urbana-Champaign, Champaign, USA（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
本文提出 TraceNet，通过感受野追踪定位用户点击指定的单一实例，仅在相关区域进行重计算，从而在 MS-COCO 和 LVIS 上实现高效且可交互的单一实例分割。
2025-08-27 cs.CV
Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation
Facebook AI（脸书人工智能研究院）
我们介绍了一种方法，同时分类，分割和跟踪对象实例的视频序列。我们的方法名为MaskProp，通过添加掩码传播分支将流行的Mask R-CNN适应视频，该分支将帧级对象实例掩码从每个视频帧传播到视频剪辑中的所有其他帧。这使得我们的系统能够预测剪辑级实例轨道相对于对象实例分割在中间帧的剪辑。剪辑级实例轨道生成密集的序列中的每一帧，最后聚合产生视频级对象的实例分割和分类。我们的实验表明，我们的剪辑级实例分割，使我们的方法在视频中的运动模糊和对象遮挡鲁棒。MaskProp在YouTube-VIS数据集上实现了最佳报告准确性，优于ICCV 2019年视频实例分割挑战赛冠军，尽管它更简单，使用的标记数据数量级更少（130万与1B图像和860 K与14 M边界框）。
2021-07-09 cs.CV
Lattice-allocated Real-time Line Segment Feature Detection and Tracking Using Only an Event-based Camera
Istituto Italiano di Tecnologia（意大利技术研究院）；Sony Interactive Entertainment Inc.（索尼互动娱乐公司）
本研究提出一种仅用事件相机的格点分配流水线，实现实时线段检测与跟踪，在速度和精度上优于现有基线，支持独立运行。
2025-10-08 cs.CV
BURST: A Benchmark for Unifying Object Recognition, Segmentation and Tracking in Video
RWTH Aachen University（亚琛工业大学）；Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；Amazon（亚马逊）
多个现有的基准涉及跟踪和分割视频中的对象，视频对象分割（VOS）和多对象跟踪和分割（MOTS），但由于使用不同的基准数据集和指标（例如J&F，mAP，sMOTSA），它们之间几乎没有交互。因此，出版的作品通常针对特定的基准，并且不容易相互比较。我们认为，开发能够处理多种任务的通用方法需要这些研究子社区之间更大的凝聚力。在本文中，我们的目标是通过提出BURST来促进这一点，BURST是一个包含数千个具有高质量对象掩码的不同视频的数据集，以及一个相关的基准测试，其中包含六个涉及视频中对象跟踪和分割的任务。所有任务都使用相同的数据和可比指标进行评估，这使研究人员能够统一考虑它们，从而更有效地将不同方法的知识汇集到不同任务中。此外，我们展示了所有任务的几个基线，并表明一个任务的方法可以应用于另一个可量化和可解释的性能差异。数据集注释和评估代码可在https://github.com/Ali2500/BURST-benchmark上获得。
2022-11-22 cs.CV
Depthwise-Dilated Convolutional Adapters for Medical Object Tracking and Segmentation Using the Segment Anything Model 2
提出DD-SAM2框架，通过深度可分离扩张适配器高效微调SAM2，实现医学视频目标跟踪与分割，在肿瘤分割和左心室跟踪上取得高Dice分数。
2025-09-05 cs.CV
Dual Decision Improves Open-Set Panoptic Segmentation
The University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）
开集全景分割（OPS）问题是一个新的研究方向，旨在对\known类和\unknown类都进行分割，即，在训练集中从未被注释的对象（“事物”）。OPS的主要挑战是双重的：（1）\unknown对象外观的无限可能性使得难以从有限数量的训练数据对它们进行建模。(2)在训练时，我们只提供“void”类别，它基本上混合了“未知事物”和“背景”类。我们的经验发现，直接使用“无效”类别监督\known类或“背景”分类器，而不进行筛选，将导致不满意的OPS结果。在本文中，我们提出了一个分而治之的计划，发展一个双重决策过程的OPS。我们表明，通过适当地结合一个\known类预测与一个额外的类无关的对象预测头，OPS的性能可以显着提高。具体来说，我们首先建议创建一个只有\known类别的分类器，让“空”类提案从这些类别实现低预测概率。然后，我们区分“未知的东西”从背景中使用的额外的对象预测头。为了进一步提高性能，我们引入了从最新模型生成的“未知事物”伪标签来丰富训练集。我们广泛的实验评估表明，我们的方法显着提高了\unknown类panoptic质量，超过30%的相对改善比现有的最佳性能的方法。
2022-08-03 cs.CV
UnOVOST: Unsupervised Offline Video Object Segmentation and Tracking
RWTH Aachen University（亚琛工业大学）
我们解决了无监督视频对象分割（UVOS），自动生成准确的像素掩模的视频序列中的突出对象，并跟踪这些对象始终通过时间，没有任何输入的对象应该被跟踪的任务。为了解决这个问题，我们提出了UnOVOST（无监督离线视频对象分割和跟踪）作为一个简单的和通用的算法，它能够跟踪和分割各种各样的对象。该算法在多个阶段中建立轨迹，首先将片段分组为时空一致的短轨迹，然后基于它们的视觉相似性将这些轨迹合并为长期一致的对象轨迹。为了实现这一目标，我们引入了一种新的基于tracklet的森林路径切割数据关联算法，该算法建立了一个决策森林的轨道假设，然后将此森林切割成形成长期一致的对象轨道的路径。在DAVIS 2017无监督数据集上评估我们的方法时，我们获得了最先进的性能，平均J &F得分为val的67.9%，测试开发的58%和测试挑战基准的56.4%，在DAVIS 2019无监督视频对象分割挑战赛中获得第一名。UnOVOST甚至可以与许多半监督视频对象分割算法竞争，即使它没有给出任何关于应该跟踪和分割哪些对象的输入。
2020-01-15 cs.CV
Patch-based adaptive weighting with segmentation and scale (PAWSS) for visual tracking
Surgical Vision Group, University College London（伦敦大学学院外科视觉组）；Deliveroo
检测跟踪算法广泛用于视觉跟踪，其中问题被视为分类任务，其中使用在线学习技术随时间更新对象模型。在对象经历变形或尺度变化的挑战性条件下，更新步骤易于在模型外观中包括背景信息或缺乏估计尺度变化的能力，这降低了分类器的性能。在本文中，我们将采用基于补丁的自适应加权分割和规模（PAWSS）跟踪框架，解决规模和背景的问题。一个简单但有效的基于颜色的分割模型被用来抑制背景信息，并提取多尺度样本来丰富训练池，这使得跟踪器能够处理帧之间的增量和突然的尺度变化。实验上，我们评估我们的方法上的在线跟踪基准（OTB）数据集和视觉对象跟踪（VOT）挑战数据集。结果表明，我们的方法优于最近的国家的最先进的跟踪器，它特别是提高了成功率分数上的OTB数据集，而在VOT数据集，PAWSS排名前列的跟踪器，同时在实时帧速率操作。
2017-08-03 cs.CV
Object Segmentation Tracking from Generic Video Cues
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；Fraunhofer ITWM, Competence Center HPC（弗劳恩霍夫工业数学研究所高性能计算能力中心）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Mathematical Image Analysis Group, Saarland University（萨尔大学数学图像分析组）
我们提出了一个轻量级的变分框架，用于基于光流和图像边界的视频对象分割的在线跟踪。虽然这项任务的高端计算机视觉方法依赖于专用CNN架构的序列特定训练，但我们展示了基于运动和颜色的通用视频信息的变分模型的潜力。这些线索通常需要的任务，如机器人导航或把握估计。我们直接利用它们进行视频对象分割，从而以潜在的非常低的额外成本提供准确的分割。我们简单的方法可以提供有竞争力的结果相比，昂贵的基于CNN的方法与参数调整。此外，我们表明，我们的方法可以与最先进的基于CNN的分割相结合，以改善各自的结果。我们在数据集DAVIS 16，17和SegTrack v2上评估了我们的方法。
2020-08-14 cs.CV
Learning a Fast 3D Spectral Approach to Object Segmentation and Tracking over Space and Time
Bitdefender（比特梵德）；University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Politehnica University of Bucharest（布加勒斯特理工大学）
我们提出视频对象分割的频谱图聚类的空间和时间，与一个图节点的每个像素和边缘形成局部时空邻域。我们声称，在这个视频图中最强的集群代表的显着对象。我们首先介绍了一种新的和有效的方法，基于3D过滤近似的谱解，作为图的邻接矩阵的主特征向量，而不显式地建立矩阵。这个关键属性使我们能够在GPU上快速并行实现，比计算特征向量的经典方法快几个数量级。我们的动机频谱时空聚类方法，独特的视频语义分割文献，是这样的聚类是专门保留对象的一致性随着时间的推移，我们使用我们的新的分割一致性措施进行评估。进一步，我们展示了如何在多个输入特征通道上有效地学习解决方案。最后，我们扩展制定我们的方法超出了分割任务，到领域的对象跟踪。在广泛的实验中，我们展示了对顶级方法的显着改进，以及将它们组合在一起的强大集成，在跟踪和分割的多个基准上实现了最先进的水平。
2022-12-15 cs.CV
UGO: Unified Architecture for General Multi-Object Tracking by Segmentation
University of Ljubljana（卢布尔雅那大学）
UGO提出统一分割架构，结合示例条件检测与实例传播头，通过能量最小化整合和分层记忆，在GMOT基准和视频计数上达到新最优，并可与专业MOT方法竞争。
2026-09-30 cs.CV
CML-MOTS: Collaborative Multi-task Learning for Multi-Object Tracking and Segmentation
University of Florida（佛罗里达大学）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出 CML-MOTS 框架，通过在 CNN 的检测、分割和跟踪任务头间引入关联连接实现协作多任务学习，并在 KITTI MOTS 与 MOTS Challenge 上验证了效果。
2023-11-02 cs.CV
SAM-PD: How Far Can SAM Take Us in Tracking and Segmenting Anything in Videos by Prompt Denoising
Zhejiang University（浙江大学）；Hong Kong University of Science and Technology（香港科技大学）
本研究将视频跟踪任务转化为提示去噪任务，提出多提示策略和点精调阶段增强SAM的去噪与抗误差能力，在三个数据集上取得与现有方法相当的性能，为SAM下游应用提供跟踪能力基线。
2024-03-07 cs.CV
Depth-aware Panoptic Segmentation
Institute of Photogrammetry and GeoInformation, Leibniz University Hannover（汉诺威莱布尼茨大学摄影测量与地理信息研究所）
针对全景分割中外观相似的同类物体易被错误合并为同一实例的问题，提出融合RGB与深度信息的CNN全景分割方法及深度感知dice损失，在Cityscapes数据集上将全景质量提升2.2%。
2024-03-21 cs.CV
Segment Anything for Cell Tracking
Institute of Imaging and Computer Vision, RWTH Aachen University, Germany（成像与计算机视觉研究所，亚琛工业大学，德国）
提出一种基于SAM2的零样本细胞追踪框架，无需人工标注即可在2D和3D延时显微镜视频中实现高准确率追踪与有丝分裂检测。
2025-09-12 cs.CV
Fast and Accurate Online Video Object Segmentation via Tracking Parts
Tsinghua University（清华大学）；University of California, Merced（加州大学默塞德分校）；NEC Laboratories America（美国电气股份有限公司实验室）
在线视频对象分割是一项具有挑战性的任务，因为它需要及时准确地处理图像序列。为了通过视频分割目标对象，已经开发了许多基于CNN的方法，通过在第一帧中对对象掩码进行大量微调，这对于在线应用来说是耗时的。在本文中，我们提出了一种快速，准确的视频对象分割算法，可以立即开始分割过程中，一旦收到的图像。我们首先利用基于部分的跟踪方法来处理具有挑战性的因素，如大变形，遮挡，和杂乱的背景。基于跟踪的零件包围盒，我们构建了一个感兴趣的区域分割网络生成零件掩模。最后，采用基于相似性的评分函数，通过将这些对象部分与第一帧中的视觉信息进行比较来细化这些对象部分。我们的方法在DAVIS基准数据集上的准确性方面优于最先进的算法，同时实现了更快的运行时性能。
2018-06-06 cs.CV
Cross-Classification Clustering: An Efficient Multi-Object Tracking Technique for 3-D Instance Segmentation in Connectomics
MIT（麻省理工学院）；Harvard University（哈佛大学）；Neural Magic Inc.（Neural Magic公司）；Tel-Aviv University（特拉维夫大学）
对对象的像素精确跟踪是许多计算机视觉应用中的关键要素，通常通过迭代的单个对象跟踪或实例分割以及随后的对象匹配来解决。在这里，我们介绍了交叉分类聚类（3C），一种同时跟踪图像堆栈中复杂的、相互关联的对象的技术。交叉分类的关键思想是通过对每个图像运行对数数量的独立分类，将聚类问题有效地转化为分类问题，让这些分类的交叉标记将每个像素唯一地分类为对象标签。我们应用3C机制来实现连接组学中最先进的准确性-从电子显微镜体积神经组织的纳米级映射。我们的重建系统增加了可扩展性的数量级超过现有的单对象跟踪方法（如洪水填充网络）。这种可扩展性对于connectomics管道的部署非常重要，因为目前最好的性能技术需要大多数实验室无法达到的计算基础设施。我们的算法可以在其他需要对多个对象进行像素精确跟踪的领域中提供优势，例如视频和医学图像的分割。
2019-06-15 cs.CV
