1st Place Winner of the 2024 Pixel-level Video Understanding in the Wild (CVPR'24 PVUW) Challenge in Video Panoptic Segmentation and Best Long Video Consistency of Video Semantic Segmentation
Device Solutions Research America, Samsung Semiconductor, Inc.（三星半导体公司美国设备解决方案研究中心）
本文提出基于DINOv2 ViT-g和DVIS框架的视频理解方案，在PVUW'24挑战赛中获VPS第一名、VSS第三名及VC16第一名。
2024-06-08 cs.CV
Object Detection, Tracking, and Motion Segmentation for Object-level Video Segmentation
University of Freiburg（弗莱堡大学）
我们提出了一种方法，结合帧级的目标检测的概念，从对象跟踪和运动分割的视频对象分割。该方法基于现成的检测器提取时间上一致的对象管。除了每个管的类别标签之外，这还提供了独立于运动的位置先验。对于最终的视频分割，我们将这些信息与运动线索相结合。该方法克服了弱监督/无监督视频分割的典型问题，如没有运动的场景，占主导地位的摄像机运动，以及作为一个单元移动的对象。与大多数跟踪方法相比，它提供了一个准确的，时间上一致的分割每个对象。我们报告了四个视频分割数据集的结果：YouTube Objects，SegTrackv 2，egoMotion和FBMS。
2016-08-10 cs.CV
Flow-based Video Segmentation for Human Head and Shoulders
University of Alberta（阿尔伯塔大学）
在为视频会议和虚拟现实应用程序创建优雅的媒体时，人体头部和肩部的视频分割是必不可少的。主要的挑战是以实时的方式处理高质量的背景减除，并解决运动模糊下的分割问题，例如，在会议视频期间摇头或挥手。为了克服视频分割中的运动模糊问题，本文提出了一种新的基于流的编解码器网络（FUNet），它结合了传统的Horn-Schunck光流估计技术和卷积神经网络来实现鲁棒的实时视频分割。我们还介绍了一个视频和图像分割数据集：ConferenceVideoSegmentationDataset。代码和预训练模型可在我们的GitHub存储库中找到：\url{https://github.com/kuangzijian/Flow-Based-Video-Matting}。
2021-04-20 cs.CV
Accelerating Video Object Segmentation with Compressed Video
National University of Singapore（新加坡国立大学）
我们提出了一个有效的即插即用的加速框架，半监督视频对象分割，通过利用压缩比特流所呈现的视频中的时间冗余。具体来说，我们提出了一种基于运动矢量的变形方法，用于以双向和多跳的方式将分割掩模从关键帧传播到其他帧。此外，我们引入了一个基于残差的校正模块，可以修复错误传播的分割掩模从噪声或错误的运动矢量。我们的方法是灵活的，可以添加到几个现有的视频对象分割算法。我们在DAVIS 17和YouTube-VOS上的各种基础模型上取得了极具竞争力的结果，速度大幅提升至3.5倍，准确性略有下降。
2022-04-06 cs.CV
Multi-Cue Structure Preserving MRF for Unconstrained Video Segmentation
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
视频分割是理解视频上下文的垫脚石。视频分割使人们能够通过将视频分解成包括对象的全部或部分的相干区域来表示视频。然而，这一挑战源于这样一个事实，即大多数视频分割算法是基于无监督学习，由于昂贵的成本像素视频注释和类内的变化，在类似的无约束视频类。我们提出了一个马尔可夫随机场模型的无约束视频分割，依赖于紧密集成的多个线索：顶点定义从基于轮廓的超像素，一元潜力从时间平滑标签的可能性和成对的潜力从全球结构的视频。多线索结构是在无监督的情况下提取无约束视频中相干对象区域的一个突破。我们在VSB 100数据集上的实验表明，该模型的性能显着优于竞争的最先进的算法。定性分析表明，该模型的视频分割结果与人类对对象的感知是一致的。
2015-06-30 cs.CV
PReMVOS: Proposal-generation, Refinement and Merging for Video Object Segmentation
RWTH Aachen University（亚琛工业大学）
我们解决了半监督视频对象分割，自动生成准确和一致的像素掩模的视频序列中的对象，给定的第一帧地面实况注释的任务。为了实现这一目标，我们提出了PReMVOS算法（建议生成，细化和合并视频对象分割）。我们的方法将这个问题分为两个步骤，首先为每个视频帧生成一组准确的对象分割掩码建议，然后选择这些建议并将其合并为视频序列上准确且时间上一致的像素级对象轨迹，其目的是专门解决跨视频序列分割多个对象所涉及的困难挑战。我们的方法超越了DAVIS 2017视频对象分割基准测试的所有先前最先进的结果，在测试开发数据集上的J & F平均得分为71.6，并在DAVIS 2018视频对象分割挑战赛和YouTube-VOS第一次大规模视频对象分割挑战赛中获得第一名。
2018-11-03 cs.CV
An End-to-End Trainable Video Panoptic Segmentation Method usingTransformers
SI Analytics（SI分析公司）
在本文中，我们提出了一种算法来解决视频全景分割问题，一个新兴的研究领域。视频全景分割是将典型的全景分割和多目标跟踪相结合的一个任务。换句话说，它需要生成实例跟踪ID以及跨视频序列的全景分割结果。我们提出的视频全景分割算法使用Transformer，它可以在端到端的多个视频帧的输入进行训练。我们在STEP数据集上测试了我们的方法，并报告了最近提出的STQ度量的性能。该方法在KITTI-STEP数据集上的准确率为57.81%，在MOTHERE-STEP数据集上的准确率为31.8%。
2021-10-08 cs.CV
YouTube-VOS: Sequence-to-Sequence Video Object Segmentation
Adobe Research（Adobe研究院）；Snapchat Research（Snapchat研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
学习长期的时空特征是许多视频分析任务的关键。然而，现有的视频分割方法主要依赖于静态图像分割技术，并且捕获用于分割的时间依赖性的方法必须依赖于预先训练的光流模型，导致问题的次优解决方案。探索用于视频分割的时空特征的端到端顺序学习在很大程度上受到可用视频分割数据集的规模的限制，即，即使最大的视频分割数据集也仅包含90个短视频剪辑。为了解决这个问题，我们构建了一个新的大规模视频对象分割数据集，称为YouTube视频对象分割数据集（YouTube-VOS）。我们的数据集包含3，252个YouTube视频片段和78个类别，包括常见物体和人类活动。这是迄今为止我们所知的最大的视频对象分割数据集，我们已经在https://youtube-vos.org上发布了它。基于这个数据集，我们提出了一种新的序列到序列网络，以充分利用视频中的长期时空信息进行分割。我们证明，与当前最先进的方法相比，我们的方法能够在YouTube-VOS测试集上获得最佳结果，并在DAVIS 2016上获得可比结果。实验表明，大规模数据集确实是我们模型成功的关键因素。
2018-09-03 cs.CV
Rethinking Video Segmentation with Masked Video Consistency: Did the Model Learn as Intended?
Chinese Academy of Sciences, Institute of Automation（中国科学院自动化研究所）；Meitu Inc.（美图公司）；University of Chinese Academy of Sciences（中国科学院大学）
针对视频分割跨帧不一致问题，提出掩码视频一致性与对象掩码注意力策略，在不增参数下于五个数据集上达到最先进性能。
2024-08-20 cs.CV
Robust Online Video Instance Segmentation with Track Queries
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
最近，基于变换的方法在视频实例分割（VIS）上取得了令人印象深刻的结果。然而，这些性能最好的方法中的大多数以离线方式运行，即一次处理整个视频剪辑以预测实例掩码体积。这使得他们无法处理出现在具有挑战性的新视频实例分割数据集中的长视频，如UVO和OVIS。我们提出了一个完全在线的基于transformer的视频实例分割模型，该模型在YouTube-VIS 2019基准测试中执行了最佳离线方法，并且在UVO和OVIS上的性能大大优于它们。这种方法，称为鲁棒在线视频分割（ROVIS），增强了Mask 2Former图像实例分割模型与跟踪查询，一个轻量级的机制进行跟踪信息从帧到帧，最初介绍了TrackFormer方法的多对象跟踪。我们表明，当与足够强大的图像分割架构相结合时，跟踪查询可以表现出令人印象深刻的准确性，同时不限于短视频。
2022-11-16 cs.CV
VideoSeg-R1:Reasoning Video Object Segmentation via Reinforcement Learning
VideoSeg-R1通过引入强化学习，首次实现了视频对象分割的推理任务，采用解耦架构和显式推理链提升效率与准确性。
2025-11-20 cs.CV
Tracking Anything with Decoupled Video Segmentation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
提出解耦视频分割方法DEVA，通过结合图像级分割与通用双向时间传播模型，在数据稀缺任务中实现高效且泛化的“追踪任何事物”。
2023-09-07 cs.CV
Temporal-Conditional Referring Video Object Segmentation with Noise-Free Text-to-Video Diffusion Model
本文提出一种时间条件RVOS模型，通过改进分割头设计、利用无噪声文本到视频扩散模型提取特征，并设计TCMR模块，在四个公开基准上取得最先进性能。
2025-08-19 cs.CV
Interactive Video Object Segmentation in the Wild
在本文中，我们提出了我们的系统的人在环视频对象分割。我们的系统的骨干是一个单镜头视频对象分割的方法。虽然速度很快，但这种方法需要一个（或几个）帧作为输入的精确像素级分割。由于手动注释这样的分割是不切实际的，我们提出了一种深度交互式图像分割方法，可以准确地分割对象，只有少数点击。在GrabCut数据集上，我们的方法平均只需3.8次点击即可获得90%的IOU，开创了最新的技术水平。此外，由于我们的方法迭代地细化初始分割，它可以有效地纠正视频对象分割失败的帧，从而使用户即使在具有挑战性的序列上也能快速获得高质量的结果。最后，我们调查使用模式，并提供用户注释框架的步骤，他们提供什么样的更正等方面的见解，从而为进一步改进交互式视频分割提供重要的见解。
2017-12-31 cs.CV
3rd Place Solution for PVUW Challenge 2023: Video Panoptic Segmentation
Meituan（美团）
针对自然场景视频全景分割任务，提出将任务转化为分割目标查询、结合多任务联合训练与额外图像语义模型的鲁棒方案，在VIPSeg测试集获50.04% VPQ，拿下PVUW2023该赛道第三。
2023-06-11 cs.CV
Video Panoptic Segmentation
KAIST（韩国科学技术院）；Adobe Research（奥多比研究院）
全景分割将以往的语义分割和实例分割有机地结合起来，成为视觉识别任务的新标准。在本文中，我们提出并探讨了一个新的视频扩展这项任务，称为视频全景分割。该任务需要生成一致的全景分割以及跨视频帧的实例id的关联。为了激发对这一新任务的研究，我们提出了两种类型的视频全景数据集。第一个是将合成VIPER数据集重新组织成视频全景格式，以利用其大规模像素注释。第二个是城市景观价值的时间延伸。设置，通过提供新的视频全景注释（城市景观-VPS）。此外，我们提出了一种新的视频全景分割网络（VPSNet），共同预测对象类，边界框，面具，实例ID跟踪，和视频帧中的语义分割。为了为这项任务提供适当的指标，我们提出了一个视频全景质量（VPQ）指标，并评估我们的方法和其他几个基线。实验结果证明了所提出的两个数据集的有效性。我们在Cityscapes上的图像PQ以及Cityscapes-VPS和VIPER数据集上的VPQ中实现了最先进的结果。数据集和代码是公开的。
2020-06-19 cs.CV
Highway Driving Dataset for Semantic Video Segmentation
场景理解是语义分割中的一项关键技术。虽然存在几个可用于语义分割的数据集，但它们主要集中在大型深度神经网络的语义图像分割上。因此，这些网络对于实时的应用是无用的，特别是在自动驾驶系统中。为了解决这个问题，我们在语义分割任务上做了两个贡献。第一个贡献是我们引入了语义视频数据集，高速公路驾驶数据集，这是一个语义视频分割任务的密集注释基准。高速公路驾驶数据集由20个具有30 Hz帧速率的视频序列组成，并且每个帧都被密集注释。其次，我们提出了一个基线算法，利用时间相关性。结合我们分析时间相关性的尝试，我们希望高速公路驾驶数据集能够鼓励对语义视频分割的研究。
2020-11-02 cs.CV
BubbleNets: Learning to Select the Guidance Frame in Video Object Segmentation by Deep Sorting Frames
University of Michigan（密歇根大学）
近年来，半监督视频对象分割在真实和具有挑战性的视频中取得了重大进展。当前的分割方法和基准数据集的范例是在第一帧中提供单个注释来分割视频中的对象。然而，我们发现，当选择一个替代帧进行注释时，整个视频的分割性能变化很大。本文解决的问题，学习建议的单一最佳帧的视频用户注释，这是，事实上，从来没有视频的第一帧。我们通过引入BubbleNets来实现这一点，BubbleNets是一种新型的深度排序网络，它使用基于性能的损失函数来学习选择帧，该损失函数可以从现有数据集中转换大量的训练样本。使用BubbleNets，我们能够在DAVIS基准上实现11%的分割性能相对提高，而无需对底层分割方法进行任何更改。
2020-11-24 cs.CV
PM-VIS+: High-Performance Video Instance Segmentation without Video Annotation
Nanjing Audit University（南京审计大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Lucid Motors（lucid汽车公司）
本文提出PM-VIS+方法，通过利用图像数据集、ImageNet-bbox补充类别、伪掩码与半监督优化，在无需视频标注的情况下实现高性能视频实例分割。
2024-06-28 cs.CV
Shift and matching queries for video semantic segmentation
Nagoya Institute of Technology（名古屋工业大学）
本文提出利用特征移位和查询匹配将基于查询的图像分割模型扩展至视频，以解决逐帧分割无法保持时间一致性的问题，在CityScapes-VPS和VSPW数据集上显著优于基线。
2024-10-10 cs.CV
Temporally stable video segmentation without video annotations
Lightricks；The Hebrew University（希伯来大学）
时间上一致的密集视频注释是稀缺的，很难收集。相比之下，图像分割数据集（和预训练模型）是无处不在的，更容易标记任何新的任务。在本文中，我们介绍了一种方法，以适应静止图像分割模型的视频在无监督的方式，通过使用光流为基础的一致性措施。为了确保推断的分割视频在实践中看起来更稳定，我们通过用户研究验证了一致性度量与人类判断的相关性。训练一个新的多输入多输出解码器使用这种措施作为损失，再加上一种技术，用于完善当前的图像分割数据集和时间加权引导过滤器，我们观察到稳定性的改善，在生成的分段视频的准确性损失最小。
2022-03-17 cs.CV
Causal graph-based video segmentation
在图像处理和计算机视觉中的许多方法利用超像素作为预处理步骤。在产生图像的这种过分割的不同方法中，Felzenszwalb和Huttenlocher的基于图的方法被广泛采用。它的一个有趣的性质是，该地区的计算在准线性时间的贪婪的方式。该算法可以通过将视频视为3D体积来平凡地扩展到视频分割，然而，当后续帧未知时，这不能用于因果分割。我们提出了一个有效的视频分割方法，计算时间上一致的像素在因果关系的方式，填补因果和实时的应用程序的需要。
2013-01-08 cs.CV
FOMTrace: Interactive Video Segmentation By Image Graphs and Fuzzy Object Models
普通用户已经从单纯的多媒体数据内容的消费者转变为多媒体数据内容的积极生产者。视频编辑在这种情况下起着重要的作用，需要简单的分割工具，可以处理快速移动和可变形的视频对象，其中可能存在遮挡，与背景的颜色相似性等挑战。我们提出了一个交互式的视频分割方法，名为FOMTrace，它解决了这个问题，在一个有效的和高效的方式。从第一帧中的用户提供的对象掩模，该方法在时空超像素图上执行半自动视频分割，然后估计模糊对象模型（FOM），其通过将描绘约束在对象的边界预期所在的区域内的像素图上来细化第二帧的分割。用户可以校正/接受第二帧中的细化的对象掩模，其然后类似地用于改进剩余帧的时空视频分割。在交互式响应时间内交替重复这两个步骤，直到用户接受最终帧的分割细化。大量的实验表明，FOMTrace的跟踪对象的能力相比，国家的最先进的方法进行交互式视频分割，监督和无监督的对象跟踪。
2016-06-10 cs.CV
Improved Image Boundaries for Better Video Segmentation
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；OSRAM Corporate Technology（欧司朗企业技术）；Saarland University（萨尔大学）
基于图的视频分割方法依赖于超像素作为起点。虽然以前的大多数工作都集中在图边缘和权重的构建以及解决图分区问题上，但本文重点关注用于视频分割的更好的超像素。我们通过比较分析证明，从边界提取的超像素表现最好，并表明边界估计可以通过图像和时域线索显着改善。通过从我们更好的边界生成的超像素，我们在两个不同的数据集中观察到两种视频分割方法的一致改进。
2016-11-23 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
VideoClick: Video Object Segmentation with a Single Click
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）；MIT（麻省理工学院）
用对象分割遮罩注释视频通常涉及两个阶段的过程，即为所有帧的每个对象实例绘制多边形，然后通过时间将它们链接起来。虽然简单，但这是一个非常繁琐，耗时和昂贵的过程，使得只有资金充足的实验室才能大规模创建准确的注释。如果我们能够在整个视频中分割一个对象，只需单击一下，会怎样？这将以非常低的预算实现大规模的视频分割，为许多应用打开大门。为了实现这一目标，在本文中，我们提出了一种自自底向上的的方法，在视频中对每个对象单击一次，我们就可以获得完整视频中这些对象的分割掩码。特别是，我们构建了一个相关体积，将目标帧中的每个像素分配给参考帧或背景中的对象之一。然后，我们通过一个循环注意力模块来细化这个相关量，并对最终的分割进行解码。为了评估性能，我们用视频对象分割标记了流行且具有挑战性的Cityscapes数据集。这个新的CityscapesVideo数据集的结果表明，我们的方法在这个具有挑战性的环境中优于所有基线。
2021-01-16 cs.CV
Domain Adaptive Video Segmentation via Temporal Consistency Regularization
Nanyang Technological University（南洋理工大学）
视频语义分割是视频分析和理解的一项重要任务。最近的努力主要集中在通过从完全注释的数据中学习来进行有监督的视频分割，但是当应用于不同领域的视频时，学习的模型通常会经历明显的性能下降。本文介绍了DA-VSN，域自适应视频分割网络，解决域的差距，视频的时间一致性正则化（TCR）的连续帧的目标域视频。DA-VSN由两种新颖且互补的设计组成。第一种是跨域TCR，其通过对抗学习引导目标帧的预测具有与源帧（从注释的源数据学习）相似的时间一致性。第二种是域内TCR，其引导目标帧的不置信预测具有与目标帧的置信预测相似的时间一致性。大量的实验证明了我们提出的域自适应视频分割网络的优越性，它始终优于多个基线的大利润率。
2021-07-23 cs.CV
Video Instance Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究中心）
在本文中，我们提出了一个新的计算机视觉任务，命名为视频实例分割。这个新任务的目标是同时检测，分割和跟踪视频中的实例。也就是说，这是第一次将图像实例分割问题扩展到视频领域。为了促进对这一新任务的研究，我们提出了一个名为YouTube-VIS的大规模基准测试，它由2883个高分辨率YouTube视频，40个类别的标签集和131 k个高质量实例掩码组成。此外，我们还提出了一种名为MaskTrack R-CNN的新算法来完成这项任务。我们的新方法为Mask R-CNN引入了一个新的跟踪分支，以同时联合执行检测，分割和跟踪任务。最后，我们在新数据集上评估了所提出的方法和几个强基线。实验结果清楚地证明了所提出的算法的优点，并揭示了未来的改进洞察力。我们相信视频实例分割任务将激励社区沿着视频理解的研究路线。
2019-08-16 cs.CV
Towards Good Practices for Video Object Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）
半监督视频对象分割是机器学习中一个有趣而又具有挑战性的课题。在这项工作中，我们进行了一系列的改进与基于传播的视频对象分割方法和经验评估其对最终模型性能的影响，通过消融研究。通过采取所有的改进措施，我们改进了时空记忆网络，在2019年的Youtube-VOS挑战赛中获得了79.1的总成绩。
2019-09-30 cs.CV
Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?
University of Bath（巴斯大学）
本文探讨利用未标注视频帧和粗略标注降低视频分割标注成本的方法，通过SAM和SAM 2模型实现自动掩码生成，减少约三分之一的标注需求，同时发现数据集帧多样性比数量更重要。
2026-03-29 cs.CV
Design Pseudo Ground Truth with Motion Cue for Unsupervised Video Object Segmentation
University of Southern California（南加州大学）；National Taiwan University（国立台湾大学）
视频对象分割中的一个主要技术缺陷是为训练实例标记对象掩码。因此，我们建议准备廉价的，但高质量的伪真值校正与运动提示的视频对象分割训练。我们的方法进行语义分割使用实例分割网络，然后，选择感兴趣的分割对象作为伪真值的基础上的运动信息。然后，利用伪真值来微调预训练的对象网络，以促进视频的剩余帧中的对象分割。我们表明，伪真值可以有效地提高分割性能。这种简单的无监督视频对象分割方法比现有的方法更有效。DAVIS和FBMS上的实验结果表明，该方法优于国家的最先进的无监督分割方法在各种基准数据集。与类别无关的伪真值具有很大的潜力，可以扩展到多个任意目标跟踪。
2018-12-13 cs.CV
Video K-Net: A Simple, Strong, and Unified Baseline for Video Segmentation
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Lab（上海人工智能实验室）
本文介绍了视频K-Net，一个简单，强大，统一的框架，完全端到端的视频全景分割。该方法建立在K-Net之上，K-Net是一种通过一组可学习的内核统一图像分割的方法。我们观察到，这些来自K-Net的可学习内核（对对象外观和上下文进行编码）可以自然地将视频帧中的相同实例关联起来。受到这一观察的启发，视频K-Net学会了通过简单的基于内核的外观建模和跨时间内核交互来同时分割和跟踪视频中的“事物”和“东西”。尽管简单，它实现了国家的最先进的视频全景分割的结果城市景观VPS，KITTI-STEP和VIPSeg没有花里胡哨。特别是在KITTI-STEP上，该方法比以往的方法提高了近12%的相对性能。在VIPSeg上，视频K-Net提高了近15%的相对改进，并导致39.8%的VPQ。我们还验证了它的泛化视频语义分割，我们提高了2%的VSPW数据集上的各种基线。此外，我们将K-Net扩展到剪辑级视频框架中进行视频实例分割，其中我们在YouTube-2019验证集上获得了ResNet 50骨干的40.5% mAP和Swin-base的54.1% mAP。我们希望这种简单而有效的方法可以作为统一的视频分割设计的一个新的，灵活的基线。代码和模型都在https://github.com/lxtGH/Video-K-Net上发布。
2022-10-19 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern（伯尔尼大学计算机视觉组）
本研究提出无监督视频实例分割方法FlowCut，通过三阶段框架构建带伪标签的数据集，在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
Tukey-Inspired Video Object Segmentation
University of Michigan（密歇根大学）
我们研究了严格无监督的视频对象分割问题，即，在没有用户提供的对象掩模或对注释数据集的任何训练的情况下，将视频中的主要对象与背景分离。我们发现前景物体在低层次的视觉数据使用约翰Tukey启发的措施“离群”。这种Tukey启发的测量还估计了每个数据源的可靠性，因为视频特性改变（例如，相机开始移动）。该方法实现了国家的最先进的结果，严格无监督的视频对象分割的挑战性DAVIS数据集。最后，我们使用Tukey启发的度量的变体来组合多个分割方法的输出，包括在训练、运行时或两者中使用监督的方法。这种总体上更强大的分割方法将其组成方法的Jaccard度量提高了28%。
2018-11-30 cs.CV
Tencent AVS: A Holistic Ads Video Dataset for Multi-modal Scene Segmentation
Tencent Data Platform（腾讯数据平台）
近年来，公共基准测试极大地推进了时域视频分割和分类。然而，此类研究仍然主要集中在人类行为上，未能从整体上描述视频。此外，以往的研究往往关注视觉信息，而忽视了视频的多模态特性。为了填补这一空白，我们在广告领域构建了腾讯广告视频分割（TAVS）数据集，将多模态视频分析提升到一个新的水平。TAVS从“呈现形式”、“场所”和“风格”三个独立的角度描述视频，包含丰富的视频、音频和文本等多模态信息。TAVS在语义方面分层组织，用于全面的时间视频分割，具有用于多标签分类的三个类别级别，例如，“地方”-“工作场所”-“办公室”因此，TAVS区别于以前的时间分割数据集，由于其多模态信息，整体视图的类别，和层次粒度。它包括12，000个视频，82个类，33，900个片段，121，100个镜头和168，500个标签。伴随着TAVS，我们还提出了一个强大的多模态视频分割基线加上多标签类预测。进行了大量的实验来评估我们提出的方法以及现有的代表性方法，以揭示我们的数据集TAVS的关键挑战。
2022-12-09 cs.CV
Improving Semantic Segmentation through Spatio-Temporal Consistency Learned from Videos
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Google（谷歌）
我们利用无监督学习的深度，自我运动，和相机的本质，以提高单图像语义分割的性能，通过强制执行3D几何和时间的一致性分割掩模跨视频帧。预测的深度、自运动和相机本征函数用于向分割模型提供额外的监督信号，从而显著提高其质量，或者减少分割模型所需的标签数量。我们的实验在ScanNet数据集上进行。
2020-05-20 cs.CV
Hierarchical Deep Co-segmentation of Primary Objects in Aerial Videos
Beihang University（北京航空航天大学）；Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）
主要目标分割在无人机视频理解中起着重要作用。在本文中，我们提出了一个大规模的数据集与500个空中视频和手动注释的主要对象。据我们所知，它是迄今为止用于航空视频中主要对象分割的最大数据集。从这个数据集中，我们发现大多数航拍视频包含大规模的场景，小的主要对象以及一致变化的尺度和视角。受此启发，我们提出了一种分层深度共分割方法，该方法将视频重复划分为分别由奇数帧和偶数帧形成的两个子视频。通过这种方式，子视频共享的主要对象可以通过训练双流CNN来共同分割，并最终在邻域可逆流内进行细化。实验结果表明，我们的方法显着优于17个国家的最先进的方法在分割主要对象在各种类型的航空视频。
2018-11-05 cs.CV
Weakly Supervised Semantic Segmentation using Web-Crawled Videos
POSTECH（浦项工科大学）；DGIST（大邱庆北科学技术院）；University of Michigan（密歇根大学）
我们提出了一种新的算法，弱监督语义分割的基础上，图像级的类标签。在弱监督设置中，通常观察到训练模型过度关注有区别的部分而不是整个对象区域。我们的目标是克服这一限制，没有额外的人为干预，检索视频相关的目标类别标签从网络存储库，并生成分割标签从检索到的视频模拟强有力的监督语义分割。在此过程中，我们利用图像分类与歧视性定位技术，以拒绝在检索到的视频中的假警报，并确定检索到的视频中的相关时空体积。虽然整个过程不需要任何额外的监督，但从视频中获得的分割注释足够强大，可以学习语义分割的模型。所提出的算法大大优于现有的方法，基于相同的监督水平，甚至是竞争力的方法依赖于额外的注释。
2018-01-07 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
Efficient MRF Energy Propagation for Video Segmentation via Bilateral Filters
在多媒体应用中，从视频中分割出目标是一项具有挑战性的任务。根据应用，自动或交互式方法是理想的;然而，无论应用类型如何，视频对象分割的有效计算对于时间关键型应用至关重要;具体而言，移动和交互式应用需要接近实时的效率。在本文中，我们从效率的角度来解决视频分割的问题。我们最初重新定义的问题，视频对象分割的MRF能量沿时域的传播。为此，提出了一种新颖而有效的方法，通过双边滤波器在整个帧中传播MRF能量，而不使用任何全局纹理，颜色或形状模型。最近提出的双指数过滤器是利用效率，而一种新的技术也被开发来动态地解决图形切割的变化，在一般的线性过滤方案的非格图。这些改进的实验自动和交互式视频分割方案。此外，除了效率，分割质量也测试定量和定性。事实上，对于一些具有挑战性的示例，在不损失分割质量的情况下观察到显著的时间效率。
2014-10-27 cs.CV
Deep Learning Techniques for Video Instance Segmentation: A Survey
Deakin University（迪肯大学）；South China University of Technology（华南理工大学）
本综述全面回顾了2019年提出的视频实例分割领域的深度学习方案，比较了不同架构的性能与复杂度，探讨了提升模型的辅助技术，并指出了未来的主要挑战和研究方向。
2023-10-19 cs.CV
A spatio-temporal network for video semantic segmentation in surgical videos
Medtronic Digital Surgery（美敦力数字外科）；Wellcome/EPSRC Centre for Internventional and Surgical Sciences, University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科学中心）
针对手术视频语义分割中时间一致性问题，提出含时空解码器的网络，提升帧间一致性，在公开和私有数据集上验证了性能改进。
2023-06-19 cs.CV
The 2017 DAVIS Challenge on Video Object Segmentation
Disney Research（迪士尼研究院）
我们提出了2017年DAVIS视频对象分割挑战赛，这是一个专门为视频对象分割任务设计的公共数据集，基准和竞赛。继ILSVRC和PASCAL VOC等其他成功举措之后，DAVIS挑战赛在场景分类和语义分割领域建立了研究途径，包括数据集，评估方法和公开竞赛，并与CVPR 2017共同举办了一个专门的研讨会。DAVIS挑战赛是对最近出版的DAVIS（密集注释视频分割）的跟进，该杂志促进了几种新颖的最先进的视频对象分割技术的发展。在本文中，我们描述了基准的范围，突出了数据集的主要特征，定义了竞争的评估指标，并提出了一个详细的分析结果的参与者的挑战。
2018-03-01 cs.CV
Foundation Models for Amodal Video Instance Segmentation in Automated Driving
Institute for Communications Technology（通信技术研究所）；Technische Universität Braunschweig（布伦瑞克工业大学）
针对自动驾驶中非模态视频实例分割标注成本高及分割与跟踪性能权衡的问题，提出基于SAM微调的S-AModal方法，利用点记忆与点跟踪实现视频级非模态分割，无需视频标签即达SOTA。
2024-09-21 cs.CV
TubeFormer-DeepLab: Video Mask Transformer
KAIST（韩国科学技术院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
我们介绍了TubeFormer-DeepLab，这是第一次尝试以统一的方式处理多个核心视频分割任务。不同的视频分割任务（例如，视频语义/实例/全景分割）通常被认为是不同的问题。不同社区采用的最新模式各不相同，每项任务都采用了截然不同的方法。相比之下，我们做了一个至关重要的观察，视频分割任务通常可以制定为分配不同的预测标签的视频管的问题（其中一个管是通过连接分割掩模沿时间轴）和标签可以编码不同的值取决于目标任务。这种观察促使我们开发TubeFormer-DeepLab，这是一种简单有效的视频掩码Transformer模型，可广泛应用于多个视频分割任务。TubeFormer-DeepLab直接预测具有特定任务标签的视频管（无论是纯语义类别，还是语义类别和实例身份），这不仅大大简化了视频分割模型，而且还在多个视频分割基准上推进了最先进的结果
2023-03-05 cs.CV
Gamifying Video Object Segmentation
University of Catania（卡塔尼亚大学）
视频对象分割是计算机视觉中最具挑战性的问题之一。事实上，到目前为止，还没有现有的解决方案能够有效地处理现实世界视频的特殊性，特别是在关节运动和对象遮挡的情况下;当我们将它们的性能与人类的性能进行比较时，这些限制显得更加明显。然而，手动分割视频中的对象在很大程度上是不切实际的，因为它需要大量的时间和精力。为了解决这个问题，在本文中，我们提出了一个交互式的视频对象分割方法，它利用，一方面，人类的能力，以正确地识别视觉场景中的对象，另一方面，集体人类的脑力来解决具有挑战性的任务。特别是，我们的方法依赖于一个网页游戏来收集人类输入的对象位置，然后通过优化的能量函数编码对象区域之间的空间和时间约束，以及人类提供的输入实现准确的分割阶段。对一些用户玩游戏的具有挑战性的视频数据集进行的性能分析表明，与交互式视频注释和自动视频对象分割方法相比，我们的方法在注释时间和分割精度之间显示出更好的权衡。
2016-01-05 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
视频对象分割（VOS）的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大，训练样本的缺乏，尽管深度学习的发展方兴未艾，但它仍然是一项艰巨的任务。为了解决VOS问题，我们提出了由对象建议，跟踪和分割组件组成的统一框架，带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验，我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
Autoregressive Universal Video Segmentation Model
NVIDIA；Yonsei University（延世大学）；Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（国立台湾大学）
针对视频分割任务碎片化问题，提出自回归通用分割模型AUSM，统一提示式与无提示式分割，基于状态空间模型支持任意长度视频流，并行训练加速2.5倍，在多个基准上优于现有方法。
2025-08-26 cs.CV
Semantic Video Segmentation : Exploring Inference Efficiency
University of California San Diego（加州大学圣地亚哥分校）；Cornell NYC Tech（康奈尔纽约科技学院）；Korea Electronics Technology Institute（韩国电子技术研究院）
我们探索CRF推理的效率超越图像级语义分割，并在视频帧中执行联合推理。其核心思想是将两个世界的最佳组合：语义共同标记和更具表达力的模型。我们的公式使我们能够在几秒钟内执行超过一万个图像的推理，并使系统能够最有效地执行视频语义分割。在CamVid数据集上，使用TextonBoost一元数，我们提出的方法在没有额外时间开销的情况下，比单个语义图像分割的准确率提高了8%。源代码可在https://github.com/subtri/video_inference上获得
2015-09-04 cs.CV
Geodesic Distance Histogram Feature for Video Segmentation
Stony Brook University（石溪大学）；Harvard University（哈佛大学）
本文提出了一种基于测地线距离的特征，编码的全局信息的改进视频分割算法。该特征是强度和测地距离的联合直方图，其中测地距离被计算为超像素之间通过其边界的最短路径。我们还将自适应投票权重和空间金字塔配置，包括空间信息到测地线直方图功能，并表明这进一步改善了结果。该功能是通用的，可以用作各种算法的一部分。在实验中，我们测试测地线直方图功能，将其纳入现有的两个视频分割框架。这导致在两个数据集上的3D视频分割基准测试中的性能显著提高。
2017-03-31 cs.CV
2nd Place Solution for PVUW Challenge 2024: Video Panoptic Segmentation
ZTE（中兴通讯）
本文提出了一种用于野外视频全景分割的鲁棒集成解决方案，基于DVIS++框架生成初始掩码并引入额外图像语义分割模型，在PVUW Challenge 2024中获得第二名。
2024-06-01 cs.CV
VISA: Reasoning Video Object Segmentation via Large Language Models
Beihang University（北京航空航天大学）；University of Amsterdam（阿姆斯特丹大学）；Xiaohongshu Inc.（小红书公司）；Shanghai Jiao Tong University（上海交通大学）
本文提出推理视频对象分割任务及VISA模型，利用多模态大语言模型的世界知识推理能力，结合掩码解码器实现复杂隐式查询下的视频分割，并构建了含35,074个指令-掩码对的基准，实验验证其有效性。
2024-07-16 cs.CV
Multi-Granularity Video Object Segmentation
Korea University（高丽大学）；KAIST（韩国科学技术院）；Samsung Electronics（三星电子）
本文构建包含显著与非显著对象、多粒度密集掩码标注的MUG-VOS数据集，并提出MMPM模型，在相关视频分割方法中取得最佳性能。
2024-12-03 cs.CV
One-Shot Video Object Segmentation
ETH Zürich（苏黎世联邦理工学院）；TU München（慕尼黑工业大学）
本文解决了半监督视频对象分割的任务，即，在给定第一帧的遮罩的情况下，将视频中的对象与背景分离。我们提出了单次视频对象分割（OSVOS），基于全卷积神经网络架构，能够连续地将在ImageNet上学习的通用语义信息转移到前景分割任务，并最终学习测试序列的单个注释对象的外观（因此是单次）。虽然所有帧都是独立处理的，但结果在时间上是一致和稳定的。我们在两个带注释的视频分割数据库上进行了实验，结果表明OSVOS速度快，并且显著提高了最新技术水平（79.8% vs 68.0%）。
2017-04-13 cs.CV
