YouTube-VOS: Sequence-to-Sequence Video Object Segmentation
Adobe Research（Adobe研究院）；Snapchat Research（Snapchat研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
学习长期的时空特征是许多视频分析任务的关键。然而，现有的视频分割方法主要依赖于静态图像分割技术，并且捕获用于分割的时间依赖性的方法必须依赖于预先训练的光流模型，导致问题的次优解决方案。探索用于视频分割的时空特征的端到端顺序学习在很大程度上受到可用视频分割数据集的规模的限制，即，即使最大的视频分割数据集也仅包含90个短视频剪辑。为了解决这个问题，我们构建了一个新的大规模视频对象分割数据集，称为YouTube视频对象分割数据集（YouTube-VOS）。我们的数据集包含3，252个YouTube视频片段和78个类别，包括常见物体和人类活动。这是迄今为止我们所知的最大的视频对象分割数据集，我们已经在https://youtube-vos.org上发布了它。基于这个数据集，我们提出了一种新的序列到序列网络，以充分利用视频中的长期时空信息进行分割。我们证明，与当前最先进的方法相比，我们的方法能够在YouTube-VOS测试集上获得最佳结果，并在DAVIS 2016上获得可比结果。实验表明，大规模数据集确实是我们模型成功的关键因素。
2018-09-03 cs.CV
Rethinking Video Segmentation with Masked Video Consistency: Did the Model Learn as Intended?
Chinese Academy of Sciences, Institute of Automation（中国科学院自动化研究所）；Meitu Inc.（美图公司）；University of Chinese Academy of Sciences（中国科学院大学）
针对视频分割跨帧不一致问题，提出掩码视频一致性与对象掩码注意力策略，在不增参数下于五个数据集上达到最先进性能。
2024-08-20 cs.CV
Robust Online Video Instance Segmentation with Track Queries
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
最近，基于变换的方法在视频实例分割（VIS）上取得了令人印象深刻的结果。然而，这些性能最好的方法中的大多数以离线方式运行，即一次处理整个视频剪辑以预测实例掩码体积。这使得他们无法处理出现在具有挑战性的新视频实例分割数据集中的长视频，如UVO和OVIS。我们提出了一个完全在线的基于transformer的视频实例分割模型，该模型在YouTube-VIS 2019基准测试中执行了最佳离线方法，并且在UVO和OVIS上的性能大大优于它们。这种方法，称为鲁棒在线视频分割（ROVIS），增强了Mask 2Former图像实例分割模型与跟踪查询，一个轻量级的机制进行跟踪信息从帧到帧，最初介绍了TrackFormer方法的多对象跟踪。我们表明，当与足够强大的图像分割架构相结合时，跟踪查询可以表现出令人印象深刻的准确性，同时不限于短视频。
2022-11-16 cs.CV
VideoSeg-R1:Reasoning Video Object Segmentation via Reinforcement Learning
VideoSeg-R1通过引入强化学习，首次实现了视频对象分割的推理任务，采用解耦架构和显式推理链提升效率与准确性。
2025-11-20 cs.CV
Tracking Anything with Decoupled Video Segmentation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
提出解耦视频分割方法DEVA，通过结合图像级分割与通用双向时间传播模型，在数据稀缺任务中实现高效且泛化的“追踪任何事物”。
2023-09-07 cs.CV
Interactive Video Object Segmentation in the Wild
在本文中，我们提出了我们的系统的人在环视频对象分割。我们的系统的骨干是一个单镜头视频对象分割的方法。虽然速度很快，但这种方法需要一个（或几个）帧作为输入的精确像素级分割。由于手动注释这样的分割是不切实际的，我们提出了一种深度交互式图像分割方法，可以准确地分割对象，只有少数点击。在GrabCut数据集上，我们的方法平均只需3.8次点击即可获得90%的IOU，开创了最新的技术水平。此外，由于我们的方法迭代地细化初始分割，它可以有效地纠正视频对象分割失败的帧，从而使用户即使在具有挑战性的序列上也能快速获得高质量的结果。最后，我们调查使用模式，并提供用户注释框架的步骤，他们提供什么样的更正等方面的见解，从而为进一步改进交互式视频分割提供重要的见解。
2017-12-31 cs.CV
3rd Place Solution for PVUW Challenge 2023: Video Panoptic Segmentation
Meituan（美团）
针对自然场景视频全景分割任务，提出将任务转化为分割目标查询、结合多任务联合训练与额外图像语义模型的鲁棒方案，在VIPSeg测试集获50.04% VPQ，拿下PVUW2023该赛道第三。
2023-06-11 cs.CV
Video Panoptic Segmentation
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
全景分割将以往的语义分割和实例分割有机地结合起来，成为视觉识别任务的新标准。在本文中，我们提出并探讨了一个新的视频扩展这项任务，称为视频全景分割。该任务需要生成一致的全景分割以及跨视频帧的实例id的关联。为了激发对这一新任务的研究，我们提出了两种类型的视频全景数据集。第一个是将合成VIPER数据集重新组织成视频全景格式，以利用其大规模像素注释。第二个是城市景观价值的时间延伸。设置，通过提供新的视频全景注释（城市景观-VPS）。此外，我们提出了一种新的视频全景分割网络（VPSNet），共同预测对象类，边界框，面具，实例ID跟踪，和视频帧中的语义分割。为了为这项任务提供适当的指标，我们提出了一个视频全景质量（VPQ）指标，并评估我们的方法和其他几个基线。实验结果证明了所提出的两个数据集的有效性。我们在Cityscapes上的图像PQ以及Cityscapes-VPS和VIPER数据集上的VPQ中实现了最先进的结果。数据集和代码是公开的。
2020-06-19 cs.CV
Highway Driving Dataset for Semantic Video Segmentation
场景理解是语义分割中的一项关键技术。虽然存在几个可用于语义分割的数据集，但它们主要集中在大型深度神经网络的语义图像分割上。因此，这些网络对于实时的应用是无用的，特别是在自动驾驶系统中。为了解决这个问题，我们在语义分割任务上做了两个贡献。第一个贡献是我们引入了语义视频数据集，高速公路驾驶数据集，这是一个语义视频分割任务的密集注释基准。高速公路驾驶数据集由20个具有30 Hz帧速率的视频序列组成，并且每个帧都被密集注释。其次，我们提出了一个基线算法，利用时间相关性。结合我们分析时间相关性的尝试，我们希望高速公路驾驶数据集能够鼓励对语义视频分割的研究。
2020-11-02 cs.CV
PM-VIS+: High-Performance Video Instance Segmentation without Video Annotation
Nanjing Audit University（南京审计大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Lucid Motors（lucid汽车公司）
本文提出PM-VIS+方法，通过利用图像数据集、ImageNet-bbox补充类别、伪掩码与半监督优化，在无需视频标注的情况下实现高性能视频实例分割。
2024-06-28 cs.CV
Shift and matching queries for video semantic segmentation
Nagoya Institute of Technology（名古屋工业大学）
本文提出利用特征移位和查询匹配将基于查询的图像分割模型扩展至视频，以解决逐帧分割无法保持时间一致性的问题，在CityScapes-VPS和VSPW数据集上显著优于基线。
2024-10-10 cs.CV
Temporally stable video segmentation without video annotations
Lightricks；The Hebrew University（希伯来大学）
时间上一致的密集视频注释是稀缺的，很难收集。相比之下，图像分割数据集（和预训练模型）是无处不在的，更容易标记任何新的任务。在本文中，我们介绍了一种方法，以适应静止图像分割模型的视频在无监督的方式，通过使用光流为基础的一致性措施。为了确保推断的分割视频在实践中看起来更稳定，我们通过用户研究验证了一致性度量与人类判断的相关性。训练一个新的多输入多输出解码器使用这种措施作为损失，再加上一种技术，用于完善当前的图像分割数据集和时间加权引导过滤器，我们观察到稳定性的改善，在生成的分段视频的准确性损失最小。
2022-03-17 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
Domain Adaptive Video Segmentation via Temporal Consistency Regularization
Nanyang Technological University（南洋理工大学）
视频语义分割是视频分析和理解的一项重要任务。最近的努力主要集中在通过从完全注释的数据中学习来进行有监督的视频分割，但是当应用于不同领域的视频时，学习的模型通常会经历明显的性能下降。本文介绍了DA-VSN，域自适应视频分割网络，解决域的差距，视频的时间一致性正则化（TCR）的连续帧的目标域视频。DA-VSN由两种新颖且互补的设计组成。第一种是跨域TCR，其通过对抗学习引导目标帧的预测具有与源帧（从注释的源数据学习）相似的时间一致性。第二种是域内TCR，其引导目标帧的不置信预测具有与目标帧的置信预测相似的时间一致性。大量的实验证明了我们提出的域自适应视频分割网络的优越性，它始终优于多个基线的大利润率。
2021-07-23 cs.CV
Video Instance Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究中心）
在本文中，我们提出了一个新的计算机视觉任务，命名为视频实例分割。这个新任务的目标是同时检测，分割和跟踪视频中的实例。也就是说，这是第一次将图像实例分割问题扩展到视频领域。为了促进对这一新任务的研究，我们提出了一个名为YouTube-VIS的大规模基准测试，它由2883个高分辨率YouTube视频，40个类别的标签集和131 k个高质量实例掩码组成。此外，我们还提出了一种名为MaskTrack R-CNN的新算法来完成这项任务。我们的新方法为Mask R-CNN引入了一个新的跟踪分支，以同时联合执行检测，分割和跟踪任务。最后，我们在新数据集上评估了所提出的方法和几个强基线。实验结果清楚地证明了所提出的算法的优点，并揭示了未来的改进洞察力。我们相信视频实例分割任务将激励社区沿着视频理解的研究路线。
2019-08-16 cs.CV
Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?
University of Bath（巴斯大学）
本文探讨利用未标注视频帧和粗略标注降低视频分割标注成本的方法，通过SAM和SAM 2模型实现自动掩码生成，减少约三分之一的标注需求，同时发现数据集帧多样性比数量更重要。
2026-03-29 cs.CV
Design Pseudo Ground Truth with Motion Cue for Unsupervised Video Object Segmentation
University of Southern California（南加州大学）；National Taiwan University（国立台湾大学）
视频对象分割中的一个主要技术缺陷是为训练实例标记对象掩码。因此，我们建议准备廉价的，但高质量的伪真值校正与运动提示的视频对象分割训练。我们的方法进行语义分割使用实例分割网络，然后，选择感兴趣的分割对象作为伪真值的基础上的运动信息。然后，利用伪真值来微调预训练的对象网络，以促进视频的剩余帧中的对象分割。我们表明，伪真值可以有效地提高分割性能。这种简单的无监督视频对象分割方法比现有的方法更有效。DAVIS和FBMS上的实验结果表明，该方法优于国家的最先进的无监督分割方法在各种基准数据集。与类别无关的伪真值具有很大的潜力，可以扩展到多个任意目标跟踪。
2018-12-13 cs.CV
Video K-Net: A Simple, Strong, and Unified Baseline for Video Segmentation
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Lab（上海人工智能实验室）
本文介绍了视频K-Net，一个简单，强大，统一的框架，完全端到端的视频全景分割。该方法建立在K-Net之上，K-Net是一种通过一组可学习的内核统一图像分割的方法。我们观察到，这些来自K-Net的可学习内核（对对象外观和上下文进行编码）可以自然地将视频帧中的相同实例关联起来。受到这一观察的启发，视频K-Net学会了通过简单的基于内核的外观建模和跨时间内核交互来同时分割和跟踪视频中的“事物”和“东西”。尽管简单，它实现了国家的最先进的视频全景分割的结果城市景观VPS，KITTI-STEP和VIPSeg没有花里胡哨。特别是在KITTI-STEP上，该方法比以往的方法提高了近12%的相对性能。在VIPSeg上，视频K-Net提高了近15%的相对改进，并导致39.8%的VPQ。我们还验证了它的泛化视频语义分割，我们提高了2%的VSPW数据集上的各种基线。此外，我们将K-Net扩展到剪辑级视频框架中进行视频实例分割，其中我们在YouTube-2019验证集上获得了ResNet 50骨干的40.5% mAP和Swin-base的54.1% mAP。我们希望这种简单而有效的方法可以作为统一的视频分割设计的一个新的，灵活的基线。代码和模型都在https://github.com/lxtGH/Video-K-Net上发布。
2022-10-19 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern（伯尔尼大学计算机视觉组）
本研究提出无监督视频实例分割方法FlowCut，通过三阶段框架构建带伪标签的数据集，在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Google（谷歌）
我们利用无监督学习的深度，自我运动，和相机的本质，以提高单图像语义分割的性能，通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号，从而显著提高其质量，或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
Deep Learning Techniques for Video Instance Segmentation: A Survey
Deakin University（迪肯大学）；South China University of Technology（华南理工大学）
本综述全面回顾了2019年提出的视频实例分割领域的深度学习方案，比较了不同架构的性能与复杂度，探讨了提升模型的辅助技术，并指出了未来的主要挑战和研究方向。
2023-10-19 cs.CV
A spatio-temporal network for video semantic segmentation in surgical videos
Medtronic Digital Surgery（美敦力数字外科）；Wellcome/EPSRC Centre for Internventional and Surgical Sciences, University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科学中心）
针对手术视频语义分割中时间一致性问题，提出含时空解码器的网络，提升帧间一致性，在公开和私有数据集上验证了性能改进。
2023-06-19 cs.CV
The 2017 DAVIS Challenge on Video Object Segmentation
Disney Research（迪士尼研究院）
我们提出了2017年DAVIS视频对象分割挑战赛，这是一个专门为视频对象分割任务设计的公共数据集，基准和竞赛。继ILSVRC和PASCAL VOC等其他成功举措之后，DAVIS挑战赛在场景分类和语义分割领域建立了研究途径，包括数据集，评估方法和公开竞赛，并与CVPR 2017共同举办了一个专门的研讨会。DAVIS挑战赛是对最近出版的DAVIS（密集注释视频分割）的跟进，该杂志促进了几种新颖的最先进的视频对象分割技术的发展。在本文中，我们描述了基准的范围，突出了数据集的主要特征，定义了竞争的评估指标，并提出了一个详细的分析结果的参与者的挑战。
2018-03-01 cs.CV
Foundation Models for Amodal Video Instance Segmentation in Automated Driving
Institute for Communications Technology（通信技术研究所）；Technische Universität Braunschweig（布伦瑞克工业大学）
针对自动驾驶中非模态视频实例分割标注成本高及分割与跟踪性能权衡的问题，提出基于SAM微调的S-AModal方法，利用点记忆与点跟踪实现视频级非模态分割，无需视频标签即达SOTA。
2024-09-21 cs.CV
TubeFormer-DeepLab: Video Mask Transformer
KAIST（韩国科学技术院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
我们介绍了TubeFormer-DeepLab，这是第一次尝试以统一的方式处理多个核心视频分割任务。不同的视频分割任务（例如，视频语义/实例/全景分割）通常被认为是不同的问题。不同社区采用的最新模式各不相同，每项任务都采用了截然不同的方法。相比之下，我们做了一个至关重要的观察，视频分割任务通常可以制定为分配不同的预测标签的视频管的问题（其中一个管是通过连接分割掩模沿时间轴）和标签可以编码不同的值取决于目标任务。这种观察促使我们开发TubeFormer-DeepLab，这是一种简单有效的视频掩码Transformer模型，可广泛应用于多个视频分割任务。TubeFormer-DeepLab直接预测具有特定任务标签的视频管（无论是纯语义类别，还是语义类别和实例身份），这不仅大大简化了视频分割模型，而且还在多个视频分割基准上推进了最先进的结果
2023-03-05 cs.CV
Semantic Video Segmentation : Exploring Inference Efficiency
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔纽约科技学院）；Korea Electronics Technology Institute（韩国电子技术研究院）
我们探索CRF推理的效率超越图像级语义分割，并在视频帧中执行联合推理。其核心思想是将两个世界的最佳组合：语义共同标记和更具表达力的模型。我们的公式使我们能够在几秒钟内执行超过一万个图像的推理，并使系统能够最有效地执行视频语义分割。在CamVid数据集上，使用TextonBoost一元数，我们提出的方法在没有额外时间开销的情况下，比单个语义图像分割的准确率提高了8%。源代码可在https://github.com/subtri/video_inference上获得
2015-09-04 cs.CV
2nd Place Solution for PVUW Challenge 2024: Video Panoptic Segmentation
ZTE（中兴通讯）
本文提出了一种用于野外视频全景分割的鲁棒集成解决方案，基于DVIS++框架生成初始掩码并引入额外图像语义分割模型，在PVUW Challenge 2024中获得第二名。
2024-06-01 cs.CV
Camera Distortion-aware 3D Human Pose Estimation in Video with Optimization-based Meta-Learning
KAIST（韩国科学技术院）
现有的3D人体姿态估计算法在无失真数据集上训练，当应用于具有特定相机失真的新场景时，性能下降。在本文中，我们提出了一个简单而有效的模型，三维人体姿态估计在视频中，可以快速适应任何失真环境，利用MAML，一个代表性的基于优化的Meta学习算法。我们认为一个序列的二维关键点在一个特定的失真作为一个单一的任务MAML。然而，由于在失真的环境中没有大规模的数据集，我们提出了一种有效的方法来从未失真的2D关键点生成合成失真数据。对于评估，我们假设两个实际的测试情况，这取决于运动捕捉传感器是否可用。特别是，我们提出了推理阶段优化使用骨长度的对称性和一致性。广泛的评估表明，我们提出的方法成功地适应各种程度的失真在测试阶段，并优于现有的国家的最先进的方法。所提出的方法在实践中是有用的，因为它不需要相机校准和额外的计算在测试设置。
2021-12-03 cs.CV
LiDAR-Camera Fusion for Video Panoptic Segmentation without Video Training
Amirkabir University of Technology（阿米尔卡比尔理工大学）；The University of Tokyo（东京大学）
本文提出一种LiDAR与图像特征融合模块，结合两个简单修改，在无需视频训练的情况下显著提升自动驾驶场景的图像与视频全景分割性能，评估指标最高提升5个点。
2024-12-30 cs.CV
Deep Segmentation and Registration in X-Ray Angiography Video
Imperial College（帝国理工学院）
在介入放射学中，捕获运动中的静脉结构的短视频序列，以便帮助医务人员识别血管问题或计划介入。语义分割通过指示血管和器械的准确位置，从而减少歧义，可以大大提高这些视频的有用性。我们提出了一种实时分割方法，这些任务的基础上，在一个连体结构训练的U-Net网络自动生成的注释。我们利用噪声低层次的二进制分割和光流生成多级注释，在一个多级分割方法中不断改进。我们显着提高了性能的最先进的U-Net在90 fps的处理速度。
2018-08-03 cs.CV
Coherent Loss: A Generic Framework for Stable Video Segmentation
Dalian University of Technology（大连理工大学）；Baidu Inc.（百度公司）
视频分割方法对于许多视觉任务特别是用于娱乐的视频处理具有重要意义。由于在大规模不同环境下获取高质量的每帧分割注释和大型视频数据集的挑战，学习方法在测试数据集上显示出整体更高的准确性，但在大多数实际应用中缺乏严格的时间约束来自我校正抖动伪影。我们研究了这种抖动伪影如何降低视频分割结果的视觉质量，并提出了一个时间稳定性的度量来数值评估它。特别是，我们提出了一个通用框架的相干损失，以提高神经网络对抖动伪影的性能，它结合了高精度和高一致性。配备了我们的方法，现有的视频对象/语义分割方法实现了显着的改善，在更令人满意的视觉质量方面的视频人体数据集，我们提供了在这一领域的进一步研究，也DAVIS和城市景观。
2020-10-25 cs.CV
S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation
Ulm University（乌尔姆大学）；Google（谷歌）；KAUST（卡尔斯鲁厄大学）；TU Vienna（维也纳技术大学）
S2D通过稀疏到密集关键掩码蒸馏方法，利用深度运动先验提升无监督视频实例分割的性能。
2025-12-16 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente（特文特大学）；Wuhan University（武汉大学）
近年来，视频对象分割（VOS），即从背景中分割出前景对象的任务，受到了相当大的关注。在本文中，我们提出了一个端到端的可训练深度神经网络，卷积门控递归Mask-RCNN，用于解决半监督VOS任务。我们利用实例分割网络（Mask-RCNN）和视觉记忆模块（Conv-GRU）来处理VOS任务。实例分割网络为实例预测掩模，而视觉记忆模块学习同时为多个实例选择性地传播信息，处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后，我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI（微软云计算与人工智能部门）
视频实例分割的目标是预测每个帧的对象分割掩模，以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模，但它们可能无法在具有挑战性的情况下关联实例，因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明，帧间递归注意显着提高时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019（62.1\%）和YouTubeVIS-2021（54.7\%）数据集上都达到了最先进的准确率。此外，定量和定性的结果表明，所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
End-to-End Video Instance Segmentation with Transformers
Meituan（美团）；The University of Adelaide（阿德莱德大学）
视频实例分割（VIS）是一项需要同时对视频中感兴趣的对象实例进行分类、分割和跟踪的任务。最近的方法通常开发复杂的管道来解决这个任务。在这里，我们提出了一个新的视频实例分割框架建立在Transformers，称为VisTR，它认为VIS任务作为一个直接的端到端的并行序列解码/预测问题。给定由多个图像帧组成的视频剪辑作为输入，VisTR直接按顺序输出视频中每个实例的掩码序列。其核心是一个新的、有效的实例序列匹配和分割策略，它在序列级别上作为一个整体对实例进行监督和分割。VisTR将实例分割和跟踪框定在相似性学习的相同视角中，从而大大简化了整体流水线，并且与现有方法显著不同。在没有花哨的情况下，VisTR在所有现有的VIS模型中实现了最高的速度，并且在YouTube-VIS数据集上使用单个模型的方法中实现了最佳结果。这是第一次，我们展示了一个更简单，更快的视频实例分割框架建立在Transformers，实现竞争力的准确性。我们希望VisTR可以激励未来的研究更多的视频理解任务。
2021-10-08 cs.CV
UVid-Net: Enhanced Semantic Segmentation of UAV Aerial Videos by Embedding Temporal Information
Manipal Institute of Technology（马尼帕尔理工学院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
航拍视频的语义分割已被广泛用于环境变化监测、城市规划和灾害管理等决策中。这些决策支持系统的可靠性依赖于视频语义分割算法的准确性。现有的基于CNN的视频语义分割方法已经通过结合诸如LSTM或光流的附加模块来增强图像语义分割方法，该附加模块用于计算视频的时间动态，这是计算开销。建议的研究工作修改的CNN架构，将时间信息，以提高视频语义分割的效率。在这项工作中，一个增强的编码器-解码器为基础的CNN架构（UVid-Net）提出了无人机视频语义分割。所提出的架构的编码器嵌入时间信息的时间一致的标签。通过引入特征细化模块增强了解码器，该模块有助于准确定位类标签。在扩展的ManipalUAVid数据集上对所提出的无人机视频语义分割UVid-Net架构进行了定量评估。已经观察到0.79的性能度量mIoU，其显著大于其他最先进的算法。此外，所提出的工作甚至对于城市街道场景的UVid-Net预训练模型也产生了有希望的结果，并对无人机空中视频的最终层进行了微调。
2021-05-27 cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似，该方法将前一帧的掩码概率图和当前帧的外观作为输入，并预测当前帧的掩码概率图。具体来说，我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外，我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入，而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测，以便检索和分割丢失的实例。
2018-10-24 cs.CV
A Study of Actor and Action Semantic Retention in Video Supervoxel Segmentation
Rutgers University（罗格斯大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
语义计算机视觉社区中的现有方法似乎无法处理现代、开源和社交视频内容的爆炸和丰富。尽管诸如目标检测或词袋模型之类的复杂方法已经被很好地研究，但是它们通常在低级别特征上操作，并且最终遭受可扩展性问题或缺乏语义意义。另一方面，视频超体素分割最近已经建立并应用于大规模数据处理，这可能作为一个中间表示，以高层次的视频语义提取。超体素是视频内容的丰富分解：它们很好地捕捉对象形状和运动。然而，尚不知道超体素分割是否保留了底层视频内容的语义。在本文中，我们进行了系统的研究如何以及演员和动作语义保留在视频超体素分割。我们的研究让人类观察者观看超体素分割视频，并试图区分演员（人类或动物）和动作（八个日常动作之一）。我们收集和分析了一个大的640人的看法超过96个视频在3个不同的超体素尺度。此外，我们进行机器识别实验上定义的超体素分割的功能，称为超体素形状上下文，这是由人类感知的高阶过程的启发。我们的最终研究结果表明，大量的语义已经很好地保留在视频超体素分割，并可用于进一步的视频分析。
2013-11-13 cs.CV
Automated Video Segmentation Machine Learning Pipeline
Image Engine Design Inc.（图像引擎设计公司）
本文提出一种自动化视频分割流水线，利用机器学习实现文本提示目标检测、逐帧分割和视频跟踪，生成时间一致的实例掩码，通过容器化部署减少人工并提升VFX制作效率。
2025-07-09 cs.CV
SegFlow: Joint Learning for Video Object Segmentation and Optical Flow
Tsinghua University（清华大学）；University of California, Merced（加州大学默塞德分校）
本文提出了一种端到端的可训练网络SegFlow，用于同时预测视频中的逐像素对象分割和光流。提出的SegFlow有两个分支，其中对象分割和光流的有用信息在一个统一的框架中双向传播。分割分支是基于一个完全卷积网络，这已被证明是有效的图像分割任务，和光流分支利用FlowNet模型。统一框架迭代地离线训练以学习通用概念，并针对特定对象进行在线微调。在视频对象分割和光流数据集上进行的大量实验表明，引入光流提高了分割的性能，反之亦然，对最先进的算法。
2017-09-20 cs.CV
Temporal Prompting Matters: Rethinking Referring Video Object Segmentation
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所）；NVIDIA
本文提出Tenet框架，利用现成检测器与跟踪器生成时间提示，并通过提示偏好学习评估提示质量，以高效适应基础分割模型完成指称视频目标分割，在基准上验证了有效性。
2025-10-08 cs.CV
3rd Place Solution for PVUW Challenge 2024: Video Panoptic Segmentation
MT Lab, Meitu Inc（美图公司MT实验室）；Beihang University（北京航空航天大学）
本文提出以 DVIS++ 为基线、以查询级集成为核心的视频全景分割方法，在 VIPSeg 测试集上取得 VPQ 57.01，获 PVUW Challenge 2024 VPS 赛道第三名。
2024-06-07 cs.CV
Video Object Segmentation using Tracked Object Proposals
Visualead
我们在DAVIS 2017挑战赛的背景下提出了一种半监督视频对象分割的方法。我们的方法结合了基于类别的目标检测，类别无关的对象外观分割和时间对象跟踪。我们的动机是这样一个事实，即对象的语义类别往往不会改变整个视频，而它的外观和位置可以有很大的变化。为了捕获独立于其类别的特定对象外观，对于每个视频，我们使用给定注释帧的增强来训练完全卷积网络。我们改进的外观分割掩模与语义目标检测网络提供的边界框，如果适用，或由以前的帧预测。通过在检测到的盒子上引入时间连续性约束，我们能够改进外观网络的对象分割掩码，并在DAVIS数据集上获得有竞争力的结果。
2017-07-20 cs.CV
Video Semantic Object Segmentation by Self-Adaptation of DCNN
POSTECH（浦项工科大学）
提出了一种新的视频对象语义分割框架。我们通过利用视频具有多帧的事实来解决深度卷积神经网络（DCNN）的标签不一致问题;在几帧中，对象被置信估计（CE），我们使用其中的信息来改进其他帧的标签。给定从DCNN获得的每个帧的语义分割结果，我们对几个CE帧进行采样，以通过关注视频中的特定实例而不是各种情况下的一般对象来使DCNN模型适应输入视频。我们提出了不同监管水平下的离线和在线方法。在实验中，我们的方法取得了很大的改善，比原来的模型和以前的国家的最先进的方法。
2017-11-22 cs.CV
Learning Video Instance Segmentation with Recurrent Graph Neural Networks
Linköping University（林雪平大学）；Zenseact；SAAB（萨博）；ETH Zürich（苏黎世联邦理工学院）
大多数现有的视频实例分割方法包括多个模块，这些模块被逐层组合以产生最终输出。相反，制定一个纯粹的基于学习的方法，该方法对时间方面以及解决视频实例分割任务所需的通用跟踪管理进行建模，这是一个非常具有挑战性的问题。在这项工作中，我们提出了一种新的学习公式，其中整个视频实例分割问题是联合建模。我们将一个灵活的模型拟合到我们的公式中，在图神经网络的帮助下，处理每个帧中所有可用的新信息。过去的信息通过循环连接进行考虑和处理。我们证明了所提出的方法在综合实验的有效性。我们的方法，在超过25 FPS的操作，优于以前的视频实时方法。我们进一步进行详细的烧蚀实验，验证我们的方法的不同方面。
2020-12-07 cs.CV
Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching
The Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
视频对象分割（VOS）是视频对象跟踪的最高层次，已经取得了重大进展。虽然VOS任务可以自然地解耦为图像语义分割和视频对象跟踪，但在分割方面的研究工作要比跟踪多得多。在本文中，我们引入“跟踪检测”到VOS可以连贯地集成分割跟踪，提出了一种新的时间聚合网络和一种新的动态时间演化模板匹配机制，以实现显着提高性能。值得注意的是，我们的方法是完全在线的，因此适合一次性学习，我们的端到端可训练模型允许在一次向前传递中进行多个对象分割。我们在DAVIS基准测试中实现了最先进的性能，在速度和准确性方面都没有复杂的花里胡哨，每帧速度为0.14秒，J&F测量值分别为75.9%。
2020-07-11 cs.CV
Video-kMaX: A Simple Unified Approach for Online and Near-Online Video Panoptic Segmentation
KAIST（韩国科学技术院）；Google Research（谷歌研究院）
本文提出Video-kMaX，一种用于在线和近在线视频全景分割的统一方法，通过clip-kMaX和HiLA-MB分别实现片段内分割和跨片段关联，在KITTI-STEP、VIPSeg和VSPW上达到最先进水平。
2023-04-10 cs.CV
Weakly Supervised Instance Segmentation for Videos with Temporal Mask Consistency
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
弱监督实例分割降低了训练模型所需的注释成本。然而，现有的方法，只依赖于图像级的类标签主要遭受错误，由于（a）部分分割的对象和（b）丢失的对象预测。我们表明，这些问题可以通过使用弱标记视频而不是图像进行训练来更好地解决。在视频中，跨帧的预测的运动和时间一致性提供了可以帮助分割的互补信号。我们是第一个探索使用这些视频信号来解决弱监督实例分割。我们提出了两种方法来利用我们的模型中的这些信息。首先，我们调整像素间关系网络（IRN），以有效地将运动信息在训练过程中。其次，我们引入了一个新的MaskConsistt模块，它通过在训练过程中在相邻帧之间传输稳定的预测来解决丢失对象实例的问题。我们证明了这两种方法共同提高了实例分割度量$AP_{50}$对两个数据集的视频帧：Youtube-VIS和Cityscapes分别由$5\%$和$3\%$。
2021-03-23 cs.CV
DVIS++: Improved Decoupled Framework for Universal Video Segmentation
Wuhan University（武汉大学）；Y-tech, Kuaishou Technology（快手科技Y-tech）
DVIS++通过将视频分割解耦为分割、跟踪和细化三个子任务，并引入引用跟踪器和时间细化器，在六个基准上显著超越现有方法，并支持开放词汇分割。
2023-12-20 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich（慕尼黑技术大学）；TU Darmstadt（达姆施塔特技术大学）；NVIDIA（英伟达）；University of Oxford（牛津大学）；MCML；ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS，利用深度、运动和视觉线索生成伪标签，并通过Video DropLoss训练，在无监督条件下实现准确分割。
2026-06-03 cs.CV
Low-Latency Video Semantic Segmentation
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
近年来，语义分割取得了显著的进展。然而，将分割技术应用于基于视频的应用仍然是一项具有挑战性的任务。具体而言，视频流的高吞吐量、运行全卷积网络的绝对成本以及许多现实应用（例如自动驾驶）中的低延迟要求，对视频分割框架的设计提出了重大挑战。为了解决这一综合挑战，我们开发了一个视频语义分割的框架，它包含两个新的组件：（1）一个特征传播模块，通过空间变化卷积自适应地融合特征，从而降低每帧计算的成本;和（2）一个自适应调度器，根据准确性预测动态分配计算。这两个组件协同工作，以确保低延迟，同时保持高分割质量。在Cityscapes和CamVid上，与最先进的技术相比，所提出的框架获得了具有竞争力的性能，同时大幅降低了延迟，从360 ms降至119 ms。
2018-04-02 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta（阿尔伯塔大学）
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好，但据我们所知，尚未对利用递归门控架构进行视频分割进行研究。因此，我们提出了一种新的方法，结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的，该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元，它保留了空间信息并减少了学习的参数。我们的方法的优点是，它可以在线工作，而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试，并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比，它的F测量值也提高了1.4%。
2016-10-31 cs.CV
