Robust Online Video Instance Segmentation with Track Queries
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
最近，基于变换的方法在视频实例分割（VIS）上取得了令人印象深刻的结果。然而，这些性能最好的方法中的大多数以离线方式运行，即一次处理整个视频剪辑以预测实例掩码体积。这使得他们无法处理出现在具有挑战性的新视频实例分割数据集中的长视频，如UVO和OVIS。我们提出了一个完全在线的基于transformer的视频实例分割模型，该模型在YouTube-VIS 2019基准测试中执行了最佳离线方法，并且在UVO和OVIS上的性能大大优于它们。这种方法，称为鲁棒在线视频分割（ROVIS），增强了Mask 2Former图像实例分割模型与跟踪查询，一个轻量级的机制进行跟踪信息从帧到帧，最初介绍了TrackFormer方法的多对象跟踪。我们表明，当与足够强大的图像分割架构相结合时，跟踪查询可以表现出令人印象深刻的准确性，同时不限于短视频。
2022-11-16 cs.CV
VideoSeg-R1:Reasoning Video Object Segmentation via Reinforcement Learning
VideoSeg-R1通过引入强化学习，首次实现了视频对象分割的推理任务，采用解耦架构和显式推理链提升效率与准确性。
2025-11-20 cs.CV
Tracking Anything with Decoupled Video Segmentation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
提出解耦视频分割方法DEVA，通过结合图像级分割与通用双向时间传播模型，在数据稀缺任务中实现高效且泛化的“追踪任何事物”。
2023-09-07 cs.CV
Interactive Video Object Segmentation in the Wild
在本文中，我们提出了我们的系统的人在环视频对象分割。我们的系统的骨干是一个单镜头视频对象分割的方法。虽然速度很快，但这种方法需要一个（或几个）帧作为输入的精确像素级分割。由于手动注释这样的分割是不切实际的，我们提出了一种深度交互式图像分割方法，可以准确地分割对象，只有少数点击。在GrabCut数据集上，我们的方法平均只需3.8次点击即可获得90%的IOU，开创了最新的技术水平。此外，由于我们的方法迭代地细化初始分割，它可以有效地纠正视频对象分割失败的帧，从而使用户即使在具有挑战性的序列上也能快速获得高质量的结果。最后，我们调查使用模式，并提供用户注释框架的步骤，他们提供什么样的更正等方面的见解，从而为进一步改进交互式视频分割提供重要的见解。
2017-12-31 cs.CV
3rd Place Solution for PVUW Challenge 2023: Video Panoptic Segmentation
Meituan（美团）
针对自然场景视频全景分割任务，提出将任务转化为分割目标查询、结合多任务联合训练与额外图像语义模型的鲁棒方案，在VIPSeg测试集获50.04% VPQ，拿下PVUW2023该赛道第三。
2023-06-11 cs.CV
Video Panoptic Segmentation
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
全景分割将以往的语义分割和实例分割有机地结合起来，成为视觉识别任务的新标准。在本文中，我们提出并探讨了一个新的视频扩展这项任务，称为视频全景分割。该任务需要生成一致的全景分割以及跨视频帧的实例id的关联。为了激发对这一新任务的研究，我们提出了两种类型的视频全景数据集。第一个是将合成VIPER数据集重新组织成视频全景格式，以利用其大规模像素注释。第二个是城市景观价值的时间延伸。设置，通过提供新的视频全景注释（城市景观-VPS）。此外，我们提出了一种新的视频全景分割网络（VPSNet），共同预测对象类，边界框，面具，实例ID跟踪，和视频帧中的语义分割。为了为这项任务提供适当的指标，我们提出了一个视频全景质量（VPQ）指标，并评估我们的方法和其他几个基线。实验结果证明了所提出的两个数据集的有效性。我们在Cityscapes上的图像PQ以及Cityscapes-VPS和VIPER数据集上的VPQ中实现了最先进的结果。数据集和代码是公开的。
2020-06-19 cs.CV
Highway Driving Dataset for Semantic Video Segmentation
场景理解是语义分割中的一项关键技术。虽然存在几个可用于语义分割的数据集，但它们主要集中在大型深度神经网络的语义图像分割上。因此，这些网络对于实时的应用是无用的，特别是在自动驾驶系统中。为了解决这个问题，我们在语义分割任务上做了两个贡献。第一个贡献是我们引入了语义视频数据集，高速公路驾驶数据集，这是一个语义视频分割任务的密集注释基准。高速公路驾驶数据集由20个具有30 Hz帧速率的视频序列组成，并且每个帧都被密集注释。其次，我们提出了一个基线算法，利用时间相关性。结合我们分析时间相关性的尝试，我们希望高速公路驾驶数据集能够鼓励对语义视频分割的研究。
2020-11-02 cs.CV
PM-VIS+: High-Performance Video Instance Segmentation without Video Annotation
Nanjing Audit University（南京审计大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Lucid Motors（lucid汽车公司）
本文提出PM-VIS+方法，通过利用图像数据集、ImageNet-bbox补充类别、伪掩码与半监督优化，在无需视频标注的情况下实现高性能视频实例分割。
2024-06-28 cs.CV
Shift and matching queries for video semantic segmentation
Nagoya Institute of Technology（名古屋工业大学）
本文提出利用特征移位和查询匹配将基于查询的图像分割模型扩展至视频，以解决逐帧分割无法保持时间一致性的问题，在CityScapes-VPS和VSPW数据集上显著优于基线。
2024-10-10 cs.CV
Temporally stable video segmentation without video annotations
Lightricks；The Hebrew University（希伯来大学）
时间上一致的密集视频注释是稀缺的，很难收集。相比之下，图像分割数据集（和预训练模型）是无处不在的，更容易标记任何新的任务。在本文中，我们介绍了一种方法，以适应静止图像分割模型的视频在无监督的方式，通过使用光流为基础的一致性措施。为了确保推断的分割视频在实践中看起来更稳定，我们通过用户研究验证了一致性度量与人类判断的相关性。训练一个新的多输入多输出解码器使用这种措施作为损失，再加上一种技术，用于完善当前的图像分割数据集和时间加权引导过滤器，我们观察到稳定性的改善，在生成的分段视频的准确性损失最小。
2022-03-17 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
Domain Adaptive Video Segmentation via Temporal Consistency Regularization
Nanyang Technological University（南洋理工大学）
视频语义分割是视频分析和理解的一项重要任务。最近的努力主要集中在通过从完全注释的数据中学习来进行有监督的视频分割，但是当应用于不同领域的视频时，学习的模型通常会经历明显的性能下降。本文介绍了DA-VSN，域自适应视频分割网络，解决域的差距，视频的时间一致性正则化（TCR）的连续帧的目标域视频。DA-VSN由两种新颖且互补的设计组成。第一种是跨域TCR，其通过对抗学习引导目标帧的预测具有与源帧（从注释的源数据学习）相似的时间一致性。第二种是域内TCR，其引导目标帧的不置信预测具有与目标帧的置信预测相似的时间一致性。大量的实验证明了我们提出的域自适应视频分割网络的优越性，它始终优于多个基线的大利润率。
2021-07-23 cs.CV
Video Instance Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究中心）
在本文中，我们提出了一个新的计算机视觉任务，命名为视频实例分割。这个新任务的目标是同时检测，分割和跟踪视频中的实例。也就是说，这是第一次将图像实例分割问题扩展到视频领域。为了促进对这一新任务的研究，我们提出了一个名为YouTube-VIS的大规模基准测试，它由2883个高分辨率YouTube视频，40个类别的标签集和131 k个高质量实例掩码组成。此外，我们还提出了一种名为MaskTrack R-CNN的新算法来完成这项任务。我们的新方法为Mask R-CNN引入了一个新的跟踪分支，以同时联合执行检测，分割和跟踪任务。最后，我们在新数据集上评估了所提出的方法和几个强基线。实验结果清楚地证明了所提出的算法的优点，并揭示了未来的改进洞察力。我们相信视频实例分割任务将激励社区沿着视频理解的研究路线。
2019-08-16 cs.CV
Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?
University of Bath（巴斯大学）
本文探讨利用未标注视频帧和粗略标注降低视频分割标注成本的方法，通过SAM和SAM 2模型实现自动掩码生成，减少约三分之一的标注需求，同时发现数据集帧多样性比数量更重要。
2026-03-29 cs.CV
Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks
Graz University of Technology（格拉茨工业大学）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医成像研究所）；BioTechMed-Graz（格拉茨生物医学技术中心）
与语义分割不同，实例分割为同一类的每个实例分配唯一的标签。在这项工作中，我们提出了一种新的经常性的全卷积网络架构，用于跟踪这种实例分割随着时间的推移。该网络架构将卷积门控递归单元（ConvGRU）集成到堆栈沙漏网络中，以利用时间视频信息。此外，我们还训练了一种基于余弦相似性的新型嵌入损失网络，这样网络就可以为整个视频中的每个实例预测唯一的嵌入。然后，这些嵌入在后续视频帧中被聚类以创建最终跟踪的实例分割。我们通过分割心脏MR视频中的左心室来评估复发性沙漏网络，它优于不包含视频信息的网络。此外，我们证明了余弦嵌入损失的适用性分割叶实例上的静止图像的植物。最后，我们评估的框架实例分割和跟踪六个数据集的ISBI细胞跟踪的挑战，它显示了国家的最先进的性能。
2018-07-30 cs.CV
Design Pseudo Ground Truth with Motion Cue for Unsupervised Video Object Segmentation
University of Southern California（南加州大学）；National Taiwan University（国立台湾大学）
视频对象分割中的一个主要技术缺陷是为训练实例标记对象掩码。因此，我们建议准备廉价的，但高质量的伪真值校正与运动提示的视频对象分割训练。我们的方法进行语义分割使用实例分割网络，然后，选择感兴趣的分割对象作为伪真值的基础上的运动信息。然后，利用伪真值来微调预训练的对象网络，以促进视频的剩余帧中的对象分割。我们表明，伪真值可以有效地提高分割性能。这种简单的无监督视频对象分割方法比现有的方法更有效。DAVIS和FBMS上的实验结果表明，该方法优于国家的最先进的无监督分割方法在各种基准数据集。与类别无关的伪真值具有很大的潜力，可以扩展到多个任意目标跟踪。
2018-12-13 cs.CV
Video K-Net: A Simple, Strong, and Unified Baseline for Video Segmentation
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Lab（上海人工智能实验室）
本文介绍了视频K-Net，一个简单，强大，统一的框架，完全端到端的视频全景分割。该方法建立在K-Net之上，K-Net是一种通过一组可学习的内核统一图像分割的方法。我们观察到，这些来自K-Net的可学习内核（对对象外观和上下文进行编码）可以自然地将视频帧中的相同实例关联起来。受到这一观察的启发，视频K-Net学会了通过简单的基于内核的外观建模和跨时间内核交互来同时分割和跟踪视频中的“事物”和“东西”。尽管简单，它实现了国家的最先进的视频全景分割的结果城市景观VPS，KITTI-STEP和VIPSeg没有花里胡哨。特别是在KITTI-STEP上，该方法比以往的方法提高了近12%的相对性能。在VIPSeg上，视频K-Net提高了近15%的相对改进，并导致39.8%的VPQ。我们还验证了它的泛化视频语义分割，我们提高了2%的VSPW数据集上的各种基线。此外，我们将K-Net扩展到剪辑级视频框架中进行视频实例分割，其中我们在YouTube-2019验证集上获得了ResNet 50骨干的40.5% mAP和Swin-base的54.1% mAP。我们希望这种简单而有效的方法可以作为统一的视频分割设计的一个新的，灵活的基线。代码和模型都在https://github.com/lxtGH/Video-K-Net上发布。
2022-10-19 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern（伯尔尼大学计算机视觉组）
本研究提出无监督视频实例分割方法FlowCut，通过三阶段框架构建带伪标签的数据集，在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
视频对象分割（VOS）是视频对象跟踪的最高层次，已经取得了重大进展。虽然VOS任务可以自然地解耦为图像语义分割和视频对象跟踪，但在分割方面的研究工作要比跟踪多得多。在本文中，我们引入“跟踪检测”到VOS可以连贯地集成分割跟踪，提出了一种新的时间聚合网络和一种新的动态时间演化模板匹配机制，以实现显着提高性能。值得注意的是，我们的方法是完全在线的，因此适合一次性学习，我们的端到端可训练模型允许在一次向前传递中进行多个对象分割。我们在DAVIS基准测试中实现了最先进的性能，在速度和准确性方面都没有复杂的花里胡哨，每帧速度为0.14秒，J&F测量值分别为75.9%。
2020-07-11 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Google（谷歌）
我们利用无监督学习的深度，自我运动，和相机的本质，以提高单图像语义分割的性能，通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号，从而显著提高其质量，或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
Deep Learning Techniques for Video Instance Segmentation: A Survey
Deakin University（迪肯大学）；South China University of Technology（华南理工大学）
本综述全面回顾了2019年提出的视频实例分割领域的深度学习方案，比较了不同架构的性能与复杂度，探讨了提升模型的辅助技术，并指出了未来的主要挑战和研究方向。
2023-10-19 cs.CV
A spatio-temporal network for video semantic segmentation in surgical videos
Medtronic Digital Surgery（美敦力数字外科）；Wellcome/EPSRC Centre for Internventional and Surgical Sciences, University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科学中心）
针对手术视频语义分割中时间一致性问题，提出含时空解码器的网络，提升帧间一致性，在公开和私有数据集上验证了性能改进。
2023-06-19 cs.CV
TrackNet: Simultaneous Object Detection and Tracking and Its Application in Traffic Video Analysis
New York University（纽约大学）；Chongqing University of Technology（重庆理工大学）
目标检测和目标跟踪通常被视为两个独立的过程。使用深度学习网络在2D图像中的目标检测方面取得了重大进展。用于对象跟踪的通常的逐检测跟踪流水线要求在第一帧和所有后续帧中成功检测对象，并且通过关联检测结果来完成跟踪。通过单个网络执行目标检测和目标跟踪仍然是一个具有挑战性的开放问题。我们提出了一种名为trackNet的新型网络结构，通过扩展更快的R-CNN框架，可以直接检测视频片段中包含移动对象的3D管。trackNet内部的Tube Proposal Network（TPN）用于预测每个候选管道的对象和指定边界管道的位置参数。所提出的框架适用于检测和跟踪任何对象，在本文中，我们专注于它的应用交通视频分析。该模型在UA-DETRAC（一个可用于多车辆检测和跟踪的大型交通视频数据集）上进行了训练和测试，并获得了非常有前途的结果。
2019-02-04 cs.CV
The 2017 DAVIS Challenge on Video Object Segmentation
Disney Research（迪士尼研究院）
我们提出了2017年DAVIS视频对象分割挑战赛，这是一个专门为视频对象分割任务设计的公共数据集，基准和竞赛。继ILSVRC和PASCAL VOC等其他成功举措之后，DAVIS挑战赛在场景分类和语义分割领域建立了研究途径，包括数据集，评估方法和公开竞赛，并与CVPR 2017共同举办了一个专门的研讨会。DAVIS挑战赛是对最近出版的DAVIS（密集注释视频分割）的跟进，该杂志促进了几种新颖的最先进的视频对象分割技术的发展。在本文中，我们描述了基准的范围，突出了数据集的主要特征，定义了竞争的评估指标，并提出了一个详细的分析结果的参与者的挑战。
2018-03-01 cs.CV
Foundation Models for Amodal Video Instance Segmentation in Automated Driving
Institute for Communications Technology（通信技术研究所）；Technische Universität Braunschweig（布伦瑞克工业大学）
针对自动驾驶中非模态视频实例分割标注成本高及分割与跟踪性能权衡的问题，提出基于SAM微调的S-AModal方法，利用点记忆与点跟踪实现视频级非模态分割，无需视频标签即达SOTA。
2024-09-21 cs.CV
TubeFormer-DeepLab: Video Mask Transformer
KAIST（韩国科学技术院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
我们介绍了TubeFormer-DeepLab，这是第一次尝试以统一的方式处理多个核心视频分割任务。不同的视频分割任务（例如，视频语义/实例/全景分割）通常被认为是不同的问题。不同社区采用的最新模式各不相同，每项任务都采用了截然不同的方法。相比之下，我们做了一个至关重要的观察，视频分割任务通常可以制定为分配不同的预测标签的视频管的问题（其中一个管是通过连接分割掩模沿时间轴）和标签可以编码不同的值取决于目标任务。这种观察促使我们开发TubeFormer-DeepLab，这是一种简单有效的视频掩码Transformer模型，可广泛应用于多个视频分割任务。TubeFormer-DeepLab直接预测具有特定任务标签的视频管（无论是纯语义类别，还是语义类别和实例身份），这不仅大大简化了视频分割模型，而且还在多个视频分割基准上推进了最先进的结果
2023-03-05 cs.CV
Semantic Video Segmentation : Exploring Inference Efficiency
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔纽约科技学院）；Korea Electronics Technology Institute（韩国电子技术研究院）
我们探索CRF推理的效率超越图像级语义分割，并在视频帧中执行联合推理。其核心思想是将两个世界的最佳组合：语义共同标记和更具表达力的模型。我们的公式使我们能够在几秒钟内执行超过一万个图像的推理，并使系统能够最有效地执行视频语义分割。在CamVid数据集上，使用TextonBoost一元数，我们提出的方法在没有额外时间开销的情况下，比单个语义图像分割的准确率提高了8%。源代码可在https://github.com/subtri/video_inference上获得
2015-09-04 cs.CV
2nd Place Solution for PVUW Challenge 2024: Video Panoptic Segmentation
ZTE（中兴通讯）
本文提出了一种用于野外视频全景分割的鲁棒集成解决方案，基于DVIS++框架生成初始掩码并引入额外图像语义分割模型，在PVUW Challenge 2024中获得第二名。
2024-06-01 cs.CV
PointIT: A Fast Tracking Framework Based on 3D Instance Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
最近最流行的跟踪框架集中在2D图像序列。他们很少跟踪点云中的3D对象。在本文中，我们提出了PointIT，一个快速，简单的跟踪方法的基础上三维道路上的实例分割。首先，我们将3D LiDAR数据转换为尺寸为64 x 512 x 4的球形图像，并将其送入实例片段模型，以获得每个类的预测实例掩码。然后，我们使用MobileNet作为我们的主要编码器，而不是原来的ResNet，以减少计算复杂性。最后，利用该实例框架对排序算法进行了扩展，实现了三维LiDAR点云数据的跟踪。该模型是在球形图像数据集上训练的，具有由KITTI 3D Object Track数据集提供的相应实例标签掩码。实验结果表明，该网络的平均跟踪精度（AP）达到0.617，多目标跟踪性能也得到了提高。
2019-02-18 cs.CV
LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training
Amirkabir University of Technology（阿米尔卡比尔理工大学）；The University of Tokyo（东京大学）
本文提出一种LiDAR与图像特征融合模块，结合两个简单修改，在无需视频训练的情况下显著提升自动驾驶场景的图像与视频全景分割性能，评估指标最高提升5个点。
2024-12-30 cs.CV
Deep Segmentation and Registration in X-Ray Angiography Video
Imperial College（帝国理工学院）
在介入放射学中，捕获运动中的静脉结构的短视频序列，以便帮助医务人员识别血管问题或计划介入。语义分割通过指示血管和器械的准确位置，从而减少歧义，可以大大提高这些视频的有用性。我们提出了一种实时分割方法，这些任务的基础上，在一个连体结构训练的U-Net网络自动生成的注释。我们利用噪声低层次的二进制分割和光流生成多级注释，在一个多级分割方法中不断改进。我们显着提高了性能的最先进的U-Net在90 fps的处理速度。
2018-08-03 cs.CV
Coherent Loss: A Generic Framework for Stable Video Segmentation
Dalian University of Technology（大连理工大学）；Baidu Inc.（百度公司）
视频分割方法对于许多视觉任务特别是用于娱乐的视频处理具有重要意义。由于在大规模不同环境下获取高质量的每帧分割注释和大型视频数据集的挑战，学习方法在测试数据集上显示出整体更高的准确性，但在大多数实际应用中缺乏严格的时间约束来自我校正抖动伪影。我们研究了这种抖动伪影如何降低视频分割结果的视觉质量，并提出了一个时间稳定性的度量来数值评估它。特别是，我们提出了一个通用框架的相干损失，以提高神经网络对抖动伪影的性能，它结合了高精度和高一致性。配备了我们的方法，现有的视频对象/语义分割方法实现了显着的改善，在更令人满意的视觉质量方面的视频人体数据集，我们提供了在这一领域的进一步研究，也DAVIS和城市景观。
2020-10-25 cs.CV
S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation
Ulm University（乌尔姆大学）；Google（谷歌）；KAUST（卡尔斯鲁厄大学）；TU Vienna（维也纳技术大学）
S2D通过稀疏到密集关键掩码蒸馏方法，利用深度运动先验提升无监督视频实例分割的性能。
2025-12-16 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente（特文特大学）；Wuhan University（武汉大学）
近年来，视频对象分割（VOS），即从背景中分割出前景对象的任务，受到了相当大的关注。在本文中，我们提出了一个端到端的可训练深度神经网络，卷积门控递归Mask-RCNN，用于解决半监督VOS任务。我们利用实例分割网络（Mask-RCNN）和视觉记忆模块（Conv-GRU）来处理VOS任务。实例分割网络为实例预测掩模，而视觉记忆模块学习同时为多个实例选择性地传播信息，处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后，我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI（微软云计算与人工智能部门）
视频实例分割的目标是预测每个帧的对象分割掩模，以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模，但它们可能无法在具有挑战性的情况下关联实例，因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明，帧间递归注意显着提高时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019（62.1\%）和YouTubeVIS-2021（54.7\%）数据集上都达到了最先进的准确率。此外，定量和定性的结果表明，所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
Combining detection and tracking for human pose estimation in videos
AWS Rekognition
我们提出了一种新的自上而下的方法，解决了多人的人体姿态估计和跟踪视频中的问题。与现有的自上而下的方法相比，我们的方法不受其人检测器的性能限制，可以预测未本地化的人实例的姿势。它通过在时间上向前和向后传播已知的人的位置并搜索这些区域中的姿势来实现这种能力。我们的方法由三个部分组成：（i）一个剪辑跟踪网络，同时对小视频剪辑进行身体关节检测和跟踪;（ii）一个视频跟踪管道，将剪辑跟踪网络产生的固定长度轨迹合并为任意长度的轨迹;以及（iii）一个时空合并过程，根据空间和时间平滑项细化关节位置。由于我们的剪辑跟踪网络和我们的合并过程的精度，我们的方法产生非常准确的联合预测，并可以修复常见的错误在困难的情况下，如严重纠缠的人。我们的方法在PoseTrack 2017和2018数据集以及所有自上而下和自下而下的方法上实现了联合检测和跟踪的最新结果。
2020-03-30 cs.CV
End-to-End Video Instance Segmentation with Transformers
Meituan（美团）；The University of Adelaide（阿德莱德大学）
视频实例分割（VIS）是一项需要同时对视频中感兴趣的对象实例进行分类、分割和跟踪的任务。最近的方法通常开发复杂的管道来解决这个任务。在这里，我们提出了一个新的视频实例分割框架建立在Transformers，称为VisTR，它认为VIS任务作为一个直接的端到端的并行序列解码/预测问题。给定由多个图像帧组成的视频剪辑作为输入，VisTR直接按顺序输出视频中每个实例的掩码序列。其核心是一个新的、有效的实例序列匹配和分割策略，它在序列级别上作为一个整体对实例进行监督和分割。VisTR将实例分割和跟踪框定在相似性学习的相同视角中，从而大大简化了整体流水线，并且与现有方法显著不同。在没有花哨的情况下，VisTR在所有现有的VIS模型中实现了最高的速度，并且在YouTube-VIS数据集上使用单个模型的方法中实现了最佳结果。这是第一次，我们展示了一个更简单，更快的视频实例分割框架建立在Transformers，实现竞争力的准确性。我们希望VisTR可以激励未来的研究更多的视频理解任务。
2021-10-08 cs.CV
UVid-Net: Enhanced Semantic Segmentation of UAV Aerial Videos by Embedding Temporal Information
Manipal Institute of Technology（马尼帕尔理工学院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
航拍视频的语义分割已被广泛用于环境变化监测、城市规划和灾害管理等决策中。这些决策支持系统的可靠性依赖于视频语义分割算法的准确性。现有的基于CNN的视频语义分割方法已经通过结合诸如LSTM或光流的附加模块来增强图像语义分割方法，该附加模块用于计算视频的时间动态，这是计算开销。建议的研究工作修改的CNN架构，将时间信息，以提高视频语义分割的效率。在这项工作中，一个增强的编码器-解码器为基础的CNN架构（UVid-Net）提出了无人机视频语义分割。所提出的架构的编码器嵌入时间信息的时间一致的标签。通过引入特征细化模块增强了解码器，该模块有助于准确定位类标签。在扩展的ManipalUAVid数据集上对所提出的无人机视频语义分割UVid-Net架构进行了定量评估。已经观察到0.79的性能度量mIoU，其显著大于其他最先进的算法。此外，所提出的工作甚至对于城市街道场景的UVid-Net预训练模型也产生了有希望的结果，并对无人机空中视频的最终层进行了微调。
2021-05-27 cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似，该方法将前一帧的掩码概率图和当前帧的外观作为输入，并预测当前帧的掩码概率图。具体来说，我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外，我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入，而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测，以便检索和分割丢失的实例。
2018-10-24 cs.CV
A Study of Actor and Action Semantic Retention in Video Supervoxel Segmentation
Rutgers University（罗格斯大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
语义计算机视觉社区中的现有方法似乎无法处理现代、开源和社交视频内容的爆炸和丰富。尽管诸如目标检测或词袋模型之类的复杂方法已经被很好地研究，但是它们通常在低级别特征上操作，并且最终遭受可扩展性问题或缺乏语义意义。另一方面，视频超体素分割最近已经建立并应用于大规模数据处理，这可能作为一个中间表示，以高层次的视频语义提取。超体素是视频内容的丰富分解：它们很好地捕捉对象形状和运动。然而，尚不知道超体素分割是否保留了底层视频内容的语义。在本文中，我们进行了系统的研究如何以及演员和动作语义保留在视频超体素分割。我们的研究让人类观察者观看超体素分割视频，并试图区分演员（人类或动物）和动作（八个日常动作之一）。我们收集和分析了一个大的640人的看法超过96个视频在3个不同的超体素尺度。此外，我们进行机器识别实验上定义的超体素分割的功能，称为超体素形状上下文，这是由人类感知的高阶过程的启发。我们的最终研究结果表明，大量的语义已经很好地保留在视频超体素分割，并可用于进一步的视频分析。
2013-11-13 cs.CV
Learning a Fast 3D Spectral Approach to Object Segmentation and Tracking over Space and Time
Bitdefender（比特梵德）；University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Politehnica University of Bucharest（布加勒斯特理工大学）
我们提出视频对象分割的频谱图聚类的空间和时间，与一个图节点的每个像素和边缘形成局部时空邻域。我们声称，在这个视频图中最强的集群代表的显着对象。我们首先介绍了一种新的和有效的方法，基于3D过滤近似的谱解，作为图的邻接矩阵的主特征向量，而不显式地建立矩阵。这个关键属性使我们能够在GPU上快速并行实现，比计算特征向量的经典方法快几个数量级。我们的动机频谱时空聚类方法，独特的视频语义分割文献，是这样的聚类是专门保留对象的一致性随着时间的推移，我们使用我们的新的分割一致性措施进行评估。进一步，我们展示了如何在多个输入特征通道上有效地学习解决方案。最后，我们扩展制定我们的方法超出了分割任务，到领域的对象跟踪。在广泛的实验中，我们展示了对顶级方法的显着改进，以及将它们组合在一起的强大集成，在跟踪和分割的多个基准上实现了最先进的水平。
2022-12-15 cs.CV
Automated Video Segmentation Machine Learning Pipeline
Image Engine Design Inc.（图像引擎设计公司）
本文提出一种自动化视频分割流水线，利用机器学习实现文本提示目标检测、逐帧分割和视频跟踪，生成时间一致的实例掩码，通过容器化部署减少人工并提升VFX制作效率。
2025-07-09 cs.CV
SegFlow: Joint Learning for Video Object Segmentation and Optical Flow
Tsinghua University（清华大学）；University of California, Merced（加州大学默塞德分校）
本文提出了一种端到端的可训练网络SegFlow，用于同时预测视频中的逐像素对象分割和光流。提出的SegFlow有两个分支，其中对象分割和光流的有用信息在一个统一的框架中双向传播。分割分支是基于一个完全卷积网络，这已被证明是有效的图像分割任务，和光流分支利用FlowNet模型。统一框架迭代地离线训练以学习通用概念，并针对特定对象进行在线微调。在视频对象分割和光流数据集上进行的大量实验表明，引入光流提高了分割的性能，反之亦然，对最先进的算法。
2017-09-20 cs.CV
Instance Segmentation GNNs for One-Shot Conformal Tracking at the LHC
Princeton Institute for Computational Science and Engineering（普林斯顿计算科学与工程研究所）；Princeton University（普林斯顿大学）；Department of Physics（物理系）
三维实例分割一直是计算机视觉中一个具有挑战性的问题。在对撞机（如LHC）上的粒子跟踪可以被概念化为一个实例分割任务：从粒子检测器中的点云开始，算法必须识别哪些命中属于单个粒子轨迹并提取轨迹属性。图神经网络（GNN）在标准实例分割任务上表现出了良好的性能。在这项工作中，我们证明了实例分割GNN架构对粒子跟踪的适用性;此外，我们重新想象了传统的笛卡尔空间寻迹方法，而是在保形几何中工作，允许GNN在Single Shot中识别轨迹并提取参数。
2021-03-11 cs.CV hep-ex
The Second Place Solution for The 4th Large-scale Video Object Segmentation Challenge--Track 3: Referring Video Object Segmentation
Ant Group（蚂蚁集团）；Northwestern Polytechnical University（西北工业大学）；Tongji University（同济大学）
引用视频对象分割任务（RVOS）的目的是在所有视频帧中分割由语言表达式引用的给定视频中的对象实例。由于需要理解各个实例中的跨模态语义，因此这项任务比传统的半监督视频对象分割更具挑战性，在传统的半监督视频对象分割中，第一帧中的地面真实对象掩码被给定。随着Transformer在目标检测和目标分割方面的巨大成就，RVOS也取得了显著的进步，其中ReferFormer达到了最先进的性能。在这项工作中，基于强大的基线框架-ReferFormer，我们提出了几个技巧，以进一步提高，包括循环学习率，半监督的方法，和测试时增强推理。改进后的ReferFormer在CVPR 2022推荐Youtube-VOS挑战赛中排名第二。
2022-06-24 cs.CV cs.MM
ASIST: Annotation-free synthetic instance segmentation and tracking for microscope video analysis
Vanderbilt University（范德堡大学）；Tufts University（塔夫茨大学）
实例对象分割和跟踪提供跨显微镜视频的对象的全面量化。最近的单阶段基于像素嵌入的深度学习方法已经显示出与“分段然后关联”的两阶段解决方案相比的优越性能。然而，将基于监督像素嵌入的方法应用于显微镜视频的一个主要限制是资源密集型手动标记，其涉及跟踪数百个重叠对象及其跨视频帧的时间关联。受最近基于生成对抗网络（GAN）的无注释图像分割的启发，我们提出了一种新的无注释合成实例分割和跟踪（ASIST）算法，用于分析亚细胞微绒毛的显微镜视频。本文的贡献主要体现在三个方面：（1）提出了一种新的无注释视频分析范式。(2)将基于嵌入的实例分割和跟踪与无注释的合成学习聚合为一个整体框架;（3）据我们所知，这是第一次研究使用基于嵌入的深度学习来研究微绒毛实例分割和跟踪。从实验结果来看，与监督学习相比，所提出的无注释方法取得了更好的性能。
2020-11-02 cs.CV eess.IV
GSVNet: Guided Spatially-Varying Convolution for Fast Semantic Segmentation on Video
National Yang Ming Chiao Tung University（台湾阳明交通大学）
本文研究了视频的快速语义分割，视频分割通常要求实时甚至比实时更快的处理。用于保存由特征提取引起的计算的一个常见配方是传播少数选定关键帧的特征。然而，快速图像分割的最新进展使得这些解决方案不那么有吸引力。为了利用快速图像分割进一步的视频分割，我们提出了一个简单而有效的传播框架。具体来说，我们在1/8缩小的图像空间中进行轻量级流估计，以在分割空间中进行时间扭曲。此外，我们引入了一个引导的空间变化的卷积融合分割来自以前和当前帧，以减轻传播误差，并使轻量级的特征提取非关键帧。在Cityscapes和CamVid上的实验结果表明，该算法在视频分割上达到了最佳的精度和吞吐量的平衡。
2021-06-08 cs.CV cs.LG
An Efficient 3D CNN for Action/Object Segmentation in Video
Niantic Labs（Niantic实验室）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Google Research（谷歌研究院）；University of Central Florida（中佛罗里达大学）
基于卷积神经网络（CNN）的图像分割技术近年来取得了很大的进展。然而，视频对象分割仍然是一个具有挑战性的任务，由于其高计算复杂性。大多数以前的方法采用双流CNN框架来分别处理空间和运动特征。在本文中，我们提出了一个端到端的编码器-解码器风格的三维CNN，同时聚合空间和时间信息的视频对象分割。为了有效地处理视频，我们为金字塔池化模块和解码器提出了3D可分离卷积，这在保持性能的同时大大减少了操作的数量。此外，我们还扩展了我们的框架，视频动作分割添加一个额外的分类器来预测动作标签的演员在视频中。在多个视频数据集上的实验表明，与现有技术相比，所提出的方法在动作和对象分割方面具有优异的性能。
2019-07-21 cs.CV eess.IV
X2SAM: Any Segmentation in Images and Videos
Sun Yat-Sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
X2SAM是一种统一的分割多模态大语言模型，能够将图像分割能力扩展到视频，结合LLM和Mask Memory模块，支持通用、开放词汇、指称、推理、基于视觉的对话生成及交互式分割。
2026-04-27 cs.AI cs.CV
Mask2Former for Video Instance Segmentation
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；Facebook AI Research (FAIR)（Facebook 人工智能研究院）
我们发现Mask 2Former在视频实例分割上也实现了最先进的性能，而无需修改架构，损失甚至训练管道。在这份报告中，我们展示了通用的图像分割架构，通过直接预测3D分割体积来简单地推广到视频分割。具体来说，Mask 2Former在YouTubeVIS-2019上设定了60.4 AP的最新水平，在YouTubeVIS-2021上设定了52.6 AP。我们相信Mask 2Former也能够处理视频语义和全景分割，因为它在图像分割方面具有多功能性。我们希望这将使国家的最先进的视频分割研究更容易获得，并带来更多的关注，设计通用的图像和视频分割架构。
2021-12-20 cs.AI cs.CV cs.LG
One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos
National University of Singapore（新加坡国立大学）；Amazon（亚马逊）；Show Lab（秀实验室）
本文提出VideoLISA，通过稀疏密集采样和<TRK>单令牌分割跟踪方法，在视频中实现基于语言指令的时序一致推理分割，并在新基准ReasonVOS上验证了其优越性能。
2024-09-29 cs.AI cs.CV
ASIST: Annotation-free Synthetic Instance Segmentation and Tracking by Adversarial Simulations
Vanderbilt University（范德堡大学）；Tufts University（塔夫茨大学）
背景：显微镜视频的定量分析通常需要对细胞和亚细胞对象进行实例分割和跟踪。传统的方法包括两个阶段：（1）执行每帧的实例对象分割，（2）关联对象逐帧。最近，基于像素嵌入的深度学习作为单阶段整体解决方案同时处理这两个步骤。在计算机视觉中，具有一致分割和跟踪的注释训练数据是资源密集型的，其严重性在显微镜成像中成倍增加，这是由于（1）密集对象（例如，重叠或接触），以及（2）高动态（例如，不规则运动和有丝分裂）。对抗性模拟已经提供了成功的解决方案来缓解计算机视觉中的动态场景中缺乏这种注释，例如使用模拟环境（例如，计算机游戏）来训练真实世界的自动驾驶系统。研究方法：在本文中，我们提出了一个无注释的合成实例分割和跟踪（ASIST）方法与对抗性模拟和单阶段基于像素嵌入的学习。出资额：本文的贡献是三方面的：（1）所提出的方法聚合了对抗性模拟和基于单阶段像素嵌入的深度学习;（2）该方法使用细胞（即，HeLa细胞）和亚细胞（即，微绒毛）对象;据我们所知，这是第一个研究探索无注释的显微镜视频实例分割和跟踪研究。结果如下：与完全监督方法相比，ASIST方法向前迈出了重要的一步：相对于完全监督方法，ASIST在微绒毛上的分割，检测和跟踪性能高出7%至11%，并且在Hela细胞视频上的性能相当。
2021-05-21 cs.CV eess.IV
