Point-VOS: Pointing Up Video Object Segmentation
RWTH Aachen University（亚琛工业大学）；Google Research（谷歌研究院）
本文提出Point-VOS任务，用时空稀疏点标注替代密集掩码标注以大幅降低视频目标分割的标注成本，构建了大规模点标注基准，并证明现有VOS方法基于伪掩码训练可接近全监督性能，同时该数据还能提升视频叙事定位任务。
2024-06-10 cs.CV
Video Object Segmentation under Aquatic Domain Shift: A Diagnostic Benchmark and Restoration Adapter
Southeast University（东南大学）
本文提出UW-VOS数据集，用于水下视频物体分割，包含1431个视频序列和309295个掩码标注，并提出SAM-U框架在水下领域实现最优性能。
2026-11-10 cs.CV
CLVOS23: A Long Video Object Segmentation Dataset for Continual Learning
University of Waterloo（滑铁卢大学）
本文首次将半监督在线视频目标分割（VOS）形式化为持续学习问题，提出CLVOS23长视频数据集，并在LWL基线上实现基于正则化的持续学习方法，验证了其有效性。
2023-04-09 cs.CV cs.LG
MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；University of Oxford（牛津大学）；ByteDance（字节跳动）
针对复杂场景下视频目标分割研究不足的问题，本文提出了包含拥挤和遮挡目标的新数据集MOSE，通过对18种现有VOS方法的基准测试揭示了当前算法在复杂场景下的性能瓶颈与未来挑战。
2023-02-03 cs.CV
Video Object Segmentation in Panoptic Wild Scenes
Zhejiang University（浙江大学）；Baidu Research（百度研究院）
本文将半监督视频目标分割引入全景野生场景，提出了包含详尽标注的大规模基准VIPOSeg及基线方法PAOT，该方法利用transformer和多尺度金字塔架构关联目标，在多项基准上达到SOTA性能并获VOT2022挑战赛第一。
2023-06-25 cs.CV
LVOS: A Benchmark for Large-scale Long-term Video Object Segmentation
Fudan University（复旦大学）
本文提出长时视频目标分割基准LVOS，包含720个长视频及高质量标注，并通过评估20个现有模型揭示真实场景下性能大幅下降，指出视频时长增加是精度下降的关键因素。
2024-05-01 cs.CV
Reducing the Annotation Effort for Video Object Segmentation Datasets
RWTH Aachen University（亚琛工业大学）；Tsinghua University（清华大学）
为了在视频对象分割（VOS）方面取得进一步的进展，需要更大，更多样化和更具挑战性的数据集。然而，用像素掩码密集地标记每个帧不能扩展到大型数据集。我们使用深度卷积网络从更便宜的限界框注释中自动创建像素级别的伪标签，并研究这些伪标签可以在多大程度上帮助我们训练最先进的VOS方法。我们的研究的一个非常令人鼓舞的结果是，为每个对象仅在单个视频帧中添加手动注释的掩码足以生成伪标签，这些伪标签可用于训练VOS方法，以达到与使用完全分段的视频进行训练时几乎相同的性能水平。我们使用此工作流程为具有挑战性的跟踪数据集TAO的训练集创建像素伪标签，并手动注释验证集的子集。我们共同获得了新的TAO-VOS基准，我们在www.vision.rwth-aachen.de/page/taovos上公开提供。虽然现有数据集上最先进的方法的性能开始饱和，但TAO-VOS对当前算法仍然非常具有挑战性，并揭示了它们的缺点。
2020-11-02 cs.CV
Boosting Video Object Segmentation via Space-time Correspondence Learning
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
本文提出对应感知训练框架，通过无标签对比对应学习增强匹配式视频目标分割的时空匹配鲁棒性，在不增加标注、延迟和架构改动的前提下，于多个基准上稳定提升性能。
2023-04-13 cs.CV
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
Seoul National University（首尔大学）
针对长视频中目标间歇出现的 VOS 评估缺陷，提出 FaVOS 基准和体积 J&F 指标，以纠正空预测奖励偏差，提升评估与实际性能的一致性。
2026-11-09 cs.CV
Event-assisted Low-Light Video Object Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出利用事件相机数据辅助低光照视频目标分割的框架，通过自适应跨模态融合和事件引导记忆匹配模块提升分割精度，并构建了合成与真实数据集验证其有效性。
2024-04-02 cs.CV
Treating Motion as Option to Reduce Motion Dependency in Unsupervised Video Object Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
无监督视频对象分割（VOS）的目的是在像素级上检测视频序列中最显著的对象。在无监督VOS中，除了外观线索之外，大多数最先进的方法还利用从光流图获得的运动线索来利用显著对象与背景相比通常具有独特运动的属性。然而，由于它们过度依赖于运动线索，这在某些情况下可能是不可靠的，它们不能实现稳定的预测。为了减少现有的双流VOS方法的运动依赖性，我们提出了一种新的运动作为选项的网络，可选地利用运动线索。此外，为了充分利用所提出的网络的属性，即运动并不总是需要的，我们引入了一个协作网络学习策略。在所有公共基准数据集上，我们提出的网络提供了最先进的性能和实时推理速度。
2022-11-02 cs.CV
LVOS: A Benchmark for Long-term Video Object Segmentation
Fudan University（复旦大学）
本文构建首个密集标注的长期视频对象分割基准LVOS，评估现有算法并提出含三个互补记忆库的DDMemory网络。
2023-08-18 cs.CV
Multi-Granularity Video Object Segmentation
Korea University（高丽大学）；KAIST（韩国科学技术院）；Samsung Electronics（三星电子）
本文构建包含显著与非显著对象、多粒度密集掩码标注的MUG-VOS数据集，并提出MMPM模型，在相关视频分割方法中取得最佳性能。
2024-12-03 cs.CV
RS$^3$-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation
Attentive AI（注意力人工智能公司）；Indian Institute of Technology Delhi（印度德里理工学院）
该研究提出无需训练的RS$^3$-Prune令牌剪枝方法，通过限制VOS流水线中跨帧注意力查询及内存库令牌范围，实现最高38.8% FPS加速、13.1%峰值内存降低，且保持竞争力的J&F指标。
2026-08-25 cs.CV
LSVOS Challenge Report: Large-scale Complex and Long Video Object Segmentation
Institute of Big Data, Fudan University（复旦大学大数据研究院）
该报告介绍 ECCV 2024 第六届 LSVOS 挑战赛，基于 MOSE、LVOS 和 MeViS 设置 VOS 与 RVOS 任务，并总结 129 支参赛队伍中两个赛道前 7 名的方法。
2024-09-09 cs.CV
LSVOS 2025 Challenge Report: Recent Advances in Complex Video Object Segmentation
本报告概述了第7届LSVOS挑战赛，介绍了新增的复杂VOS（MOSEv2）赛道及其评估指标，总结了表现最佳的解决方案和新兴趋势。
2025-10-13 cs.CV
HQ-SMem: Video Segmentation and Tracking Using Memory Efficient Object Embedding With Selective Update and Self-Supervised Distillation Feedback
提出HQ-SMem，通过SAM-HQ掩码细化、选择性智能内存和动态外观更新，提升长视频多对象分割与跟踪的边界质量、内存效率及抗漂移能力。
2025-07-25 cs.CV
YouTube-VOS: Sequence-to-Sequence Video Object Segmentation
Adobe Research（Adobe研究院）；Snapchat Research（Snapchat研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
学习长期的时空特征是许多视频分析任务的关键。然而，现有的视频分割方法主要依赖于静态图像分割技术，并且捕获用于分割的时间依赖性的方法必须依赖于预先训练的光流模型，导致问题的次优解决方案。探索用于视频分割的时空特征的端到端顺序学习在很大程度上受到可用视频分割数据集的规模的限制，即，即使最大的视频分割数据集也仅包含90个短视频剪辑。为了解决这个问题，我们构建了一个新的大规模视频对象分割数据集，称为YouTube视频对象分割数据集（YouTube-VOS）。我们的数据集包含3，252个YouTube视频片段和78个类别，包括常见物体和人类活动。这是迄今为止我们所知的最大的视频对象分割数据集，我们已经在https://youtube-vos.org上发布了它。基于这个数据集，我们提出了一种新的序列到序列网络，以充分利用视频中的长期时空信息进行分割。我们证明，与当前最先进的方法相比，我们的方法能够在YouTube-VOS测试集上获得最佳结果，并在DAVIS 2016上获得可比结果。实验表明，大规模数据集确实是我们模型成功的关键因素。
2018-09-03 cs.CV
MOSEv2: A More Challenging Dataset for Video Object Segmentation in Complex Scenes
Fudan University（复旦大学）；ByteDance Inc（字节跳动公司）；Shanghai University of Finance and Economics（上海财经大学）；Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）
本文提出MOSEv2数据集，通过引入更复杂的真实世界场景（如恶劣天气、低光照、严重遮挡、伪装对象等）对20种VOS方法和9种跟踪方法进行基准测试，揭示现有方法性能显著下降，并给出实用改进技巧。
2025-09-22 cs.CV
DAVOS: Semi-Supervised Video Object Segmentation via Adversarial Domain Adaptation
Tongji University（同济大学）
域偏移一直是视频对象分割（VOS）中的主要问题之一，当在不熟悉的数据集上测试时，模型会退化。近年来，出现了许多在线方法，通过对通常不足的测试数据的注释进行微调，来缩小训练数据（源域）和测试数据（目标域）之间的性能差距。在本文中，我们提出了一种新的方法来解决域转移，首先引入对抗性领域自适应的VOS任务，与监督训练的源域和目标域上的无监督训练。通过将外观和运动特征与卷积层融合，并通过在运动分支上添加监督，我们的模型在DAVIS 2016上实现了最先进的性能，在监督训练后平均IoU得分为82.6%。同时，我们的对抗性领域自适应策略在FBMS 59和Youtube-Object上应用时显着提高了训练模型的性能，而无需利用额外的注释。
2021-05-24 cs.CV
OLiVES: An Outdoor Low-Light Video Benchmark for Enhancement and Segmentation
University of Bristol（布里斯托大学）
本文针对低光视频处理缺乏高质量真值数据的问题，推出首个专业电影级相机采集的户外低光视频基准OLiVES，支持低光视频增强与视频目标分割，训练该数据集可提升两项任务性能。
2026-10-20 cs.CV
Dual Prototype Attention for Unsupervised Video Object Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院(KIST)）
本文提出两种基于原型的注意力机制IMA和IFA，通过跨模态和跨帧的密集传播结合外观与运动信息及帧间时序融合，在无监督视频目标分割任务上以显著优势超越现有方法。
2024-03-26 cs.CV
Sketch-based Video Object Segmentation: Benchmark and Analysis
National University of Singapore（新加坡国立大学）
本文提出基于草图的视频对象分割新任务，构建三个基准数据集，并基于STCN基线评估草图参考的有效性，实验表明草图比照片掩码、语言和涂鸦更高效。
2023-11-13 cs.CV
TSMS-SAM2: Multi-scale Temporal Sampling Augmentation and Memory-Splitting Pruning for Promptable Video Object Segmentation and Tracking in Surgical Scenarios
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
本文提出TSMS-SAM2框架，通过多时间尺度视频采样增强和记忆分割剪枝机制解决SAM2在手术视频中的运动动态与记忆冗余问题，在EndoVis2017和2018数据集上取得最优分割性能。
2025-08-07 cs.CV
DiDA: Video Object Segmentation with Distillation Learning of Deformable Attention
Hong Kong University of Science and Technology（香港科技大学）；Deakin University（迪肯大学）；Trinity College Dublin（都柏林三一学院）
提出DiDA方法，利用可变形注意力蒸馏学习实现轻量级视频对象分割，在DAVIS和YouTube-VOS基准上达到最先进性能并优化内存使用。
2026-10-01 cs.CV
GMOS: Grounding Moving Object Segmentation in 3D Space and Time
Visual Geometry Group, Department of Engineering Science, University of Oxford, UK（牛津大学工程科学系视觉几何组）；SAI, Shanghai Jiao Tong University, China（上海交通大学SAI）
提出GMOS框架，直接在RGB视频上实现3D感知、时间细粒度的多运动物体分割，并构建GMOS-2K数据集和MOS-I评估协议，在多个基准上取得最先进结果。
2026-05-28 cs.CV
Shift-Aware Identity-Guided Latent Refinement for Referring Audio--Visual Segmentation
University of Liverpool（利物浦大学）；IT University of Copenhagen（哥本哈根信息技术大学）；University of Bath（巴斯大学）
针对指称型视听分割中存在的目标偏移问题，提出SAIL细化框架，通过双令牌策略、感知偏移细化模块及带连续记忆更新的解码器，在基准上显著优于现有方法。
2026-10-12 cs.CV
TAM-VT: Transformation-Aware Multi-scale Video Transformer for Segmentation and Tracking
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；Ontario Tech University（安大略理工大学）
本文提出基于片段的 DETR 风格多尺度视频 Transformer，结合变换感知损失与乘法时间编码记忆，在长视频小目标分割跟踪上取得 SoTA。
2024-04-09 cs.CV
Polygonal Point Set Tracking
Lunit Inc.（Lunit公司）；Yonsei University（延世大学）；Adobe Research（Adobe研究院）
提出了一种基于学习的多边形点集跟踪方法。与现有的视频对象分割（VOS）方法传播逐像素的对象掩模信息相比，我们在帧上传播多边形点集。具体来说，该集合被定义为目标轮廓中的点的子集，我们的目标是跟踪目标轮廓上的对应点。这些输出使我们能够应用各种视觉效果，如运动跟踪、零件变形和纹理映射。为此，我们提出了一种新的方法来跟踪帧之间的对应点的全局-局部对齐与精心设计的损失和正则化条款。我们还介绍了一种新的学习策略，使用合成和VOS数据集，使其有可能解决这个问题，而无需开发点对应数据集。由于现有的数据集不适合验证我们的方法，我们建立了一个新的多边形点集跟踪数据集，并证明了我们的方法优于基线和现有的基于轮廓的VOS方法的性能。此外，我们提出的视觉效果的应用程序，我们的方法对部分失真和文本映射。
2021-05-30 cs.AI cs.CV cs.LG
Efficient Long-Short Temporal Attention Network for Unsupervised Video Object Segmentation
School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；School of Electrical and Computer Engineering, Peking University（北京大学电气与计算机工程学院）；College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）；College of Computer Science, Zhejiang University（浙江大学计算机学院）
针对无监督视频目标分割中时空上下文利用不足且无法实时处理的问题，提出高效长短期时间注意力网络LSTA，通过长期记忆与短期注意力结合并采用高效投影与滑动窗口实现近线性复杂度，在多个基准上取得高效且优异的性能。
2023-09-21 cs.CV
CoralVOS: Dataset and Benchmark for Coral Video Segmentation
Ocean University of China（中国海洋大学）；Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对现有珊瑚分析因人工密集分析耗时、算法下采样引入偏差的问题，本研究提出无下采样的密集珊瑚视频分割，构建首个相关数据集与基准CoralVOS，验证了现有VOS算法微调后的性能提升空间，将开源资源助力珊瑚研究。
2023-10-03 cs.CV
Segment Anything Across Shots: A Method and Benchmark
针对多镜头半监督视频目标分割中镜头不连续性及标注数据稀疏问题，提出过渡模拟数据增强策略与SAAS模型，并构建Cut-VOS基准，提升跨镜头泛化能力与分割性能。
2025-11-17 cs.CV
Learning Cross-Modal Affinity for Referring Video Object Segmentation Targeting Limited Samples
Anhui University of Technology（安徽工业大学）；Southern University of Science and Technology（南方科技大学）；University of Warwick（华威大学）；United Imaging（联影医疗）
针对新场景标注稀缺问题，提出基于Transformer的跨模态亲和力模块，实现少样本指代视频对象分割，在构建的基准上达到最优性能。
2023-09-05 cs.CV
BATMAN: Bilateral Attention Transformer in Motion-Appearance Neighboring Space for Video Object Segmentation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
视频对象分割是视频理解的基础。基于transformer的方法在半监督VOS上表现出显着的性能改善。然而，现有的工作面临的挑战分割视觉上相似的对象彼此非常接近。在本文中，我们提出了一种新的双边注意力Transformer在运动外观相邻空间（BATMAN）的半监督VOS。它通过一种新颖的光流校准模块捕获视频中的对象运动，该模块将分割掩模与光流估计融合，以提高对象内光流平滑度并降低对象边界处的噪声。这种校准的光流，然后在我们的新的双边注意，计算查询和参考帧之间的对应关系，在相邻的双边空间考虑运动和外观。广泛的实验验证了BATMAN架构的有效性，在所有四个流行的VOS基准测试中表现优于所有现有的最先进技术：Youtube-VOS 2019（85.0%），Youtube-VOS 2018（85.3%），DAVIS 2017 Val/Testdev（86.2%/82.2%）和DAVIS 2016（92.5%）。
2022-08-08 cs.CV
BoLTVOS: Box-Level Tracking for Video Object Segmentation
RWTH Aachen University（亚琛工业大学）
我们的方法视频对象分割（VOS）的任务分为两个子任务：限界框水平跟踪，其次是限界框分割。遵循这种范式，我们提出了BoLTVOS（VOS的框级跟踪），它由一个R-CNN检测器，条件是第一帧限界框检测感兴趣的对象，时间一致性重新评分算法，以及将边界框转换为分割掩码的Box 2Seg网络。BoLTVOS仅使用第一帧限界框而不使用掩码来执行VOS。我们在DAVIS 2017和YouTube-VOS上评估了我们的方法，并表明它优于所有不执行第一帧微调的方法。我们进一步提出了BoLTVOS-ft，它学习使用第一帧掩码在跟踪时分割有问题的对象，而不增加运行时间。BoLTVOS-ft的性能优于PReMVOS，后者是DAVIS 2016和YouTube-VOS上之前性能最好的VOS方法，同时运行速度快了45倍。我们的限界框跟踪器在限界框级跟踪数据集OTB 2015和LTB 35上的性能也优于所有以前的短期和长期跟踪器。这个作品的更新版本可以在arXiv：1911.12836找到。
2019-12-29 cs.CV
SpVOS: Efficient Video Object Segmentation with Triple Sparse Convolution
Fudan University（复旦大学）
本文提出名为SpVOS的高效视频目标分割框架，通过设计三重稀疏卷积和混合稀疏训练策略降低计算开销，在保持分割性能的同时节省高达42%的FLOPs。
2023-10-23 cs.CV
1st Place Solution for YouTubeVOS Challenge 2022: Referring Video Object Segmentation
Tomorrow Advancing Life (TAL) Education Group（好未来教育集团）
引用视频对象分割的任务旨在将引用表达式所引用的给定视频帧中的对象分割出来。以前的方法采用多阶段的方法和设计复杂的管道，以获得有希望的结果。近年来，基于Transformer的端到端方法已经证明了其优越性。在这项工作中，我们借鉴了上述方法的优点，为RVOS提供了一个简单而有效的管道。首先，我们改进了现有的一阶段方法ReferFormer，以获得与语言描述强相关的掩码序列。其次，基于可靠和高质量的关键帧，我们利用视频对象分割模型的优越性能，进一步提高掩模结果的质量和时间一致性。我们的单个模型在推荐Youtube-VOS验证集上达到70.3 J &F，在测试集上达到63.0。经过合奏，我们在最终排行榜上获得64.1，在CVPR 2022推荐Youtube-VOS挑战赛中排名第一。代码将在https://github.com/Zhiweihhh/cvpr2022-rvos-challenge.git上提供。
2022-12-27 cs.CV
SWT: Self-Supervised Video Object Segmentation via Sliding, Wavelet and Transportation
本文提出SWT，一种基于滑动窗口、小波变换和最优传输的自监督视频目标分割框架，仅在COCO上训练一次，在五个VOS数据集上取得优异结果。
2026-09-29 cs.AI cs.CV
RMem: Restricted Memory Banks Improve Video Object Segmentation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对视频对象分割任务，提出受限内存库策略RMem，通过限制内存库规模减少冗余干扰、平衡帧信息、缩小训练推理差异，引入时序位置嵌入，在挑战性场景及相关数据集上取得新SOTA。
2025-01-14 cs.AI cs.CV
Learning Video Object Segmentation from Unlabeled Videos
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）；ETH Zurich（苏黎世联邦理工学院）；Tencent（腾讯）；Indiana University（印第安纳大学）；Salesforce Research Asia（亚洲 Salesforce 研究院）；Singapore Management University（新加坡管理大学）
我们提出了一种新的视频对象分割（VOS）方法，该方法解决了从未标记视频中学习对象模式的问题，而不像大多数现有的方法严重依赖于大量的注释数据。我们引入了一个统一的无监督/弱监督学习框架，称为MuG，全面捕捉VOS在多个粒度的内在属性。我们的方法可以帮助提高对VOS中视觉模式的理解，并显着减少注释负担。通过精心设计的架构和强大的表示学习能力，我们学习的模型可以应用于不同的VOS设置，包括对象级zero-shot VOS，实例级zero-shot VOS和one-shot VOS。实验表明，在这些设置有前途的性能，以及利用未标记的数据，以进一步提高分割精度的MuG的潜力。
2020-03-10 cs.CV
Two-shot Video Object Segmentation
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
以前的视频对象分割（VOS）工作是在密集注释的视频上训练的。然而，获取像素级的注释是昂贵且耗时的。在这项工作中，我们证明了在稀疏注释的视频上训练一个令人满意的VOS模型的可行性-我们只需要每个训练视频两个标记帧，同时保持性能。我们将这种新的训练范例称为两次视频对象分割，或简称为两次VOS。其基本思想是在训练过程中为未标记的帧生成伪标签，并在标记和伪标记数据的组合上优化模型。我们的方法非常简单，可以应用于大多数现有的框架。我们首先以半监督的方式在稀疏注释的视频上预训练VOS模型，第一帧总是标记的。然后，我们采用预训练的VOS模型为所有未标记的帧生成伪标签，这些伪标签随后存储在伪标签库中。最后，我们在标记和伪标记数据上重新训练VOS模型，而对第一帧没有任何限制。我们首次提出了一种在两次VOS数据集上训练VOS模型的通用方法。通过使用YouTube-VOS和DAVIS基准测试的7.3%和2.9%的标记数据，我们的方法与在完全标记集上训练的同行相比，取得了相当的结果。代码和模型可在https://github.com/yk-pku/Two-shot-Video-Object-Segmentation上获得。
2023-03-21 cs.CV
Video Object Segmentation via SAM 2: The 4th Solution for LSVOS Challenge VOS Track
Shandong University（山东大学）
本研究评估了基础模型 SAM 2 在 MOSE 和 LVOS 数据集上的零样本视频目标分割性能，在未微调的情况下取得 75.79 J&F，在第六届 LSVOS 挑战赛中排名第四。
2024-08-24 cs.CV
Video Object Segmentation and Tracking: A Survey
China University of Mining and Technology（中国矿业大学）；Nanyang Technological University（南洋理工大学）
目标分割和跟踪是计算机视觉领域的基础研究领域。这两个主题很难处理一些常见的挑战，如遮挡，变形，运动模糊和尺度变化。前者包括异质对象、交互对象、边缘模糊性和形状复杂性。而后者在处理快速运动、视野外和实时处理方面存在困难。将视频对象分割和跟踪（VOST）这两个问题结合起来，可以克服各自的困难，提高其性能。VOST可广泛应用于视频摘要、高清视频压缩、人机交互、自动驾驶汽车等实际应用中。本文旨在提供一个全面的审查国家的最先进的跟踪方法，并将这些方法分为不同的类别，并确定新的趋势。首先，我们提供了一个分层分类现有的方法，包括无监督的VOS，半监督的VOS，交互式VOS，弱监督的VOS，和基于分割的跟踪方法。其次，我们提供了一个详细的讨论和概述的技术特点的不同方法。第三，总结了相关视频数据集的特点，并给出了各种评价指标。最后，我们指出了一组有趣的未来工作，并得出我们自己的结论。
2019-04-26 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
视频对象分割（VOS）的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大，训练样本的缺乏，尽管深度学习的发展方兴未艾，但它仍然是一项艰巨的任务。为了解决VOS问题，我们提出了由对象建议，跟踪和分割组件组成的统一框架，带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验，我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
One-shot Training for Video Object Segmentation
Wenzhou University（温州大学）
提出一种仅需每视频单帧标注的通用一次性训练框架，通过双向掩码推断实现高效VOS训练，在YouTube-VOS和DAVIS上达到与全标注训练相当的性能。
2024-05-22 cs.CV
HODOR: High-level Object Descriptors for Object Re-segmentation in Video Learned from Static Images
RWTH Aachen University（亚琛工业大学）；Carnegie Mellon University（卡内基梅隆大学）
用于视频对象分割（VOS）的现有最先进的方法学习帧之间的低级像素到像素对应以跨视频传播对象掩模。这需要大量的密集注释的视频数据，这是昂贵的注释，并且由于视频内的帧高度相关而在很大程度上是冗余的。有鉴于此，我们提出HODOR：一种新的方法，有效地利用注释的静态图像理解对象的外观和场景上下文来处理VOS。我们编码的对象实例和场景信息从图像帧到强大的高级描述符，然后可以用来重新分割这些对象在不同的帧。因此，与没有视频注释的现有方法相比，HODOR在DAVIS和YouTube-VOS基准测试中实现了最先进的性能。在没有任何架构修改的情况下，HODOR还可以通过利用循环一致性从单个注释视频帧周围的视频上下文中学习，而其他方法依赖于密集的时间一致的注释。源代码可从以下网址获得：https://github.com/Ali2500/HODOR
2022-07-15 cs.AI cs.CV
The 2019 DAVIS Challenge on VOS: Unsupervised Multi-Object Segmentation
ETH Zürich（苏黎世联邦理工学院）；Google AI（谷歌人工智能）；Adobe Research（奥多比研究院）
我们将举办2019年DAVIS视频对象分割挑战赛，这是DAVIS挑战赛系列的第三版，是一项专为视频对象分割（VOS）任务而设计的公开竞赛。除了上一版中介绍的原始半监督轨道和交互式轨道外，今年还将推出新的无监督多对象轨道。在新引入的轨道中，要求参与者在每个图像上提供非重叠的对象建议，以及在帧之间链接它们的标识符（即视频对象建议），而没有任何测试时的人工监督（测试视频上没有涂鸦或掩码）。为此，我们以简洁的方式重新注释了DAVIS 2017的训练和值集，以促进无监督轨道，并为比赛创建了新的测试开发和测试挑战集。本文详细介绍了无监督航迹的定义、规则和评价指标。
2019-05-02 cs.CV
Advancing Complex Video Object Segmentation via Progressive Concept Construction
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology（哈尔滨工业大学）；CPII under InnoHK（InnoHK下的CPII）
SeC通过渐进式概念构建方法，在复杂视频对象分割任务中实现了显著性能提升，特别是在语义复杂场景下的表现优于现有方法。
2026-02-28 cs.AI cs.CV
Spectrum-guided Multi-granularity Referring Video Object Segmentation
The University of Western Australia（西澳大学）；Griffith University（格里菲斯大学）
提出频谱引导的多粒度方法，直接在编码特征上分割以解决特征漂移，并扩展至多对象分割，在四个基准上达到最优，速度提升约3倍。
2023-07-25 cs.AI cs.CV cs.MM
Studying Image Diffusion Features for Zero-Shot Video Object Segmentation
Technical University of Denmark（丹麦技术大学）；Pioneer Center for AI（先锋人工智能中心）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；Institut Polytechnique de Paris（巴黎理工学院）
本文探索利用大规模扩散模型实现零样本视频目标分割，通过选择最优时间步和层提取特征，并利用点对应关系，在DAVIS-17和MOSE上取得最先进结果，性能媲美在昂贵分割数据上训练的模型。
2025-04-07 cs.CV
Learning Dynamic Network Using a Reuse Gate Function in Semi-supervised Video Object Segmentation
Seoul National University（首尔国立大学）；Facebook Inc.（脸书公司）；AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）
当前用于半监督视频对象分割（Semi-VOS）的现有技术方法传播来自先前帧的信息以生成用于当前帧的分割掩模。这可以在具有挑战性的场景中实现高质量的分割，例如外观和遮挡的变化。但它也会导致对静止或缓慢移动的对象进行不必要的计算，这些对象在帧间的变化很小。在这项工作中，我们利用这一观察，使用时间信息，以快速识别帧与最小的变化，跳过重量级掩码生成步骤。为了实现这种效率，我们提出了一种新的动态网络，它可以估计帧间的变化，并根据预期的相似性决定选择哪条路径-计算完整的网络或重用前一帧的特征。实验结果表明，我们的方法在具有挑战性的Semi-VOS数据集（DAVIS 16，DAVIS 17和YouTube-VOS）上显着提高了推理速度，而不会降低准确性。此外，我们的方法可以应用于多个半VOS方法，证明其通用性。该代码可在https://github.com/HYOJINPARK/Reuse_VOS上获得。
2021-05-16 cs.CV
Kernelized Memory Network for Video Object Segmentation
Yonsei University（延世大学）
半监督视频对象分割（VOS）是一项任务，涉及当在第一帧中给出目标对象的地面真实分割掩码时预测视频中的目标对象。最近，时空记忆网络（STM）作为一种有前途的半监督VOS解决方案受到了极大的关注。然而，在将STM应用于VOS时，忽略了一个重要的问题。解决方案（STM）是非本地的，但问题（VOS）主要是本地的。为了解决STM和VOS之间的不匹配，我们提出了一个内核化的内存网络（KMN）。在对真实视频进行训练之前，我们的KMN在静态图像上进行了预训练，就像以前的作品一样。与以前的作品不同，我们在预训练中使用Hide-and-Seek策略，以获得处理遮挡和段边界提取的最佳结果。拟议的KMN在标准基准上远远超过了最先进的水平（在DAVIS 2017测试开发集上增加了5%）。此外，在DAVIS 2016验证集上，KMN的运行时间为每帧0.12秒，与STM相比，KMN很少需要额外的计算。
2020-07-16 cs.CV
FAMINet: Learning Real-time Semi-supervised Video Object Segmentation with Steepest Optimized Optical Flow
Beihang University（北京航空航天大学）；Institute for Infocomm Research（信息通信研究所）
半监督视频对象分割（VOS）的目的是分割视频序列中的一些运动对象，这些对象由第一帧的注释来指定。为了提高分割精度，现有的半监督VOS方法都考虑了光流的影响。然而，基于光流的半监督VOS方法由于光流估计的高复杂度而不能实时的运行。本研究提出一个由特征提取网络（F）、外观网络（A）、运动网络（M）及整合网络（I）组成的FAMINet来解决上述问题。外观网络基于对象的静态外观输出初始分割结果。运动网络通过非常少的参数估计光流，这些参数通过称为松弛最速下降的在线记忆算法快速优化。集成网络使用光流来细化初始分割结果。大量的实验表明，FAMINet优于其他国家的最先进的半监督VOS方法的DAVIS和YouTube-VOS基准，它实现了准确性和效率之间的良好权衡。我们的代码可在https://github.com/liuziyang123/FAMINet上获得。
2021-11-20 cs.CV
Temporally Consistent Referring Video Object Segmentation with Hybrid Memory
The University of Western Australia（西澳大学）；Griffith University（格里菲斯大学）；University of Central Florida（中佛罗里达大学）
提出一种端到端R-VOS范式，通过引入混合内存促进帧间协作以实现稳健的时空匹配与传播，并采用MCS指标评估，大幅提升了时间一致性，在Ref-YouTube-VOS和Ref-DAVIS17基准上取得顶尖性能。
2024-10-11 cs.CV
