LVOS: A Benchmark for Large-scale Long-term Video Object Segmentation
Fudan University（复旦大学）
本文提出长时视频目标分割基准LVOS，包含720个长视频及高质量标注，并通过评估20个现有模型揭示真实场景下性能大幅下降，指出视频时长增加是精度下降的关键因素。
2024-05-01 cs.CV
YouTube-VOS: A Large-Scale Video Object Segmentation Benchmark
Adobe Research（奥多比研究院）；Snapchat Research（Snapchat研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
学习长期的时空特征是许多视频分析任务的关键。然而，现有的视频分割方法主要依赖于静态图像分割技术，并且捕获用于分割的时间依赖性的方法必须依赖于预先训练的光流模型，导致问题的次优解决方案。探索用于视频分割的时空特征的端到端顺序学习在很大程度上受到可用视频分割数据集的规模的限制，即，即使最大的视频分割数据集也仅包含90个短视频剪辑。为了解决这个问题，我们构建了一个新的大规模视频对象分割数据集，称为YouTube视频对象分割数据集（YouTube-VOS）。我们的数据集包含4，453个YouTube视频剪辑和94个对象类别。这是迄今为止我们所知的最大的视频对象分割数据集，已在http://youtube-vos.org上发布。我们进一步评估了该数据集上现有的几种最先进的视频对象分割算法，旨在为未来新算法的开发建立基线。
2018-09-06 cs.AI cs.CV
Reducing the Annotation Effort for Video Object Segmentation Datasets
RWTH Aachen University（亚琛工业大学）；Tsinghua University（清华大学）
为了在视频对象分割（VOS）方面取得进一步的进展，需要更大，更多样化和更具挑战性的数据集。然而，用像素掩码密集地标记每个帧不能扩展到大型数据集。我们使用深度卷积网络从更便宜的限界框注释中自动创建像素级别的伪标签，并研究这些伪标签可以在多大程度上帮助我们训练最先进的VOS方法。我们的研究的一个非常令人鼓舞的结果是，为每个对象仅在单个视频帧中添加手动注释的掩码足以生成伪标签，这些伪标签可用于训练VOS方法，以达到与使用完全分段的视频进行训练时几乎相同的性能水平。我们使用此工作流程为具有挑战性的跟踪数据集TAO的训练集创建像素伪标签，并手动注释验证集的子集。我们共同获得了新的TAO-VOS基准，我们在www.vision.rwth-aachen.de/page/taovos上公开提供。虽然现有数据集上最先进的方法的性能开始饱和，但TAO-VOS对当前算法仍然非常具有挑战性，并揭示了它们的缺点。
2020-11-02 cs.CV
CLVOS23: A Long Video Object Segmentation Dataset for Continual Learning
University of Waterloo（滑铁卢大学）
本文首次将半监督在线视频目标分割（VOS）形式化为持续学习问题，提出CLVOS23长视频数据集，并在LWL基线上实现基于正则化的持续学习方法，验证了其有效性。
2023-04-09 cs.CV cs.LG
Boosting Video Object Segmentation via Space-time Correspondence Learning
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
本文提出对应感知训练框架，通过无标签对比对应学习增强匹配式视频目标分割的时空匹配鲁棒性，在不增加标注、延迟和架构改动的前提下，于多个基准上稳定提升性能。
2023-04-13 cs.CV
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
Seoul National University（首尔大学）
针对长视频中目标间歇出现的 VOS 评估缺陷，提出 FaVOS 基准和体积 J&F 指标，以纠正空预测奖励偏差，提升评估与实际性能的一致性。
2026-11-09 cs.CV
Event-assisted Low-Light Video Object Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出利用事件相机数据辅助低光照视频目标分割的框架，通过自适应跨模态融合和事件引导记忆匹配模块提升分割精度，并构建了合成与真实数据集验证其有效性。
2024-04-02 cs.CV
Treating Motion as Option to Reduce Motion Dependency in Unsupervised Video Object Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
无监督视频对象分割（VOS）的目的是在像素级上检测视频序列中最显著的对象。在无监督VOS中，除了外观线索之外，大多数最先进的方法还利用从光流图获得的运动线索来利用显著对象与背景相比通常具有独特运动的属性。然而，由于它们过度依赖于运动线索，这在某些情况下可能是不可靠的，它们不能实现稳定的预测。为了减少现有的双流VOS方法的运动依赖性，我们提出了一种新的运动作为选项的网络，可选地利用运动线索。此外，为了充分利用所提出的网络的属性，即运动并不总是需要的，我们引入了一个协作网络学习策略。在所有公共基准数据集上，我们提出的网络提供了最先进的性能和实时推理速度。
2022-11-02 cs.CV
LVOS: A Benchmark for Long-term Video Object Segmentation
Fudan University（复旦大学）
本文构建首个密集标注的长期视频对象分割基准LVOS，评估现有算法并提出含三个互补记忆库的DDMemory网络。
2023-08-18 cs.CV
Multi-Granularity Video Object Segmentation
Korea University（高丽大学）；KAIST（韩国科学技术院）；Samsung Electronics（三星电子）
本文构建包含显著与非显著对象、多粒度密集掩码标注的MUG-VOS数据集，并提出MMPM模型，在相关视频分割方法中取得最佳性能。
2024-12-03 cs.CV
RS$^3$-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation
Attentive AI（注意力人工智能公司）；Indian Institute of Technology Delhi（印度德里理工学院）
该研究提出无需训练的RS$^3$-Prune令牌剪枝方法，通过限制VOS流水线中跨帧注意力查询及内存库令牌范围，实现最高38.8% FPS加速、13.1%峰值内存降低，且保持竞争力的J&F指标。
2026-08-25 cs.CV
LSVOS 2025 Challenge Report: Recent Advances in Complex Video Object Segmentation
本报告概述了第7届LSVOS挑战赛，介绍了新增的复杂VOS（MOSEv2）赛道及其评估指标，总结了表现最佳的解决方案和新兴趋势。
2025-10-13 cs.CV
HQ-SMem: Video Segmentation and Tracking Using Memory Efficient Object Embedding With Selective Update and Self-Supervised Distillation Feedback
提出HQ-SMem，通过SAM-HQ掩码细化、选择性智能内存和动态外观更新，提升长视频多对象分割与跟踪的边界质量、内存效率及抗漂移能力。
2025-07-25 cs.CV
M$^3$-VOS: Multi-Phase, Multi-Transition, and Multi-Scenery Video Object Segmentation
Shanghai Jiao Tong University（上海交通大学）
针对动态物体相变分割被忽视的问题，提出了包含479个视频的新基准M$^3$-VOS，并开发了通过逆向细化提升性能的即插即用模型ReVOS。
2025-05-31 cs.AI cs.CV
MHP-VOS: Multiple Hypotheses Propagation for Video Object Segmentation
Huazhong University of Science and Technology（华中科技大学）；Tencent AI Lab（腾讯人工智能实验室）
我们解决的问题，半监督视频对象分割（VOS），其中感兴趣的对象的掩模在输入视频的第一帧。为了处理具有挑战性的情况下，对象被遮挡或丢失，以前的工作依赖于贪婪的数据关联策略，为每个帧单独作出决定。在本文中，我们提出了一种新的方法来推迟决策的目标对象在每一帧中，直到一个全局视图可以建立与整个视频被考虑。我们的方法是在相同的精神作为多假设跟踪（MHT）方法，使几个关键的适应VOS问题。我们采用的限界框（bbox）的假设跟踪树的形成，和多个假设是通过传播到检测到的bbox提案在门控区域内的前bbox从第一帧中的初始对象掩模开始。门控区域由门控方案确定，该方案考虑了更全面的运动模型，而不是传统MHT中的简单卡尔曼滤波模型。为了进一步设计更定制的算法为VOS量身定制，我们开发了一种新的掩模传播分数，而不是外观相似性分数，可能是脆弱的，由于大变形。掩码传播分数与运动分数一起确定树修剪期间假设之间的亲和力。最后，一种新的掩模合并策略被用来处理对象之间的掩模冲突。在具有挑战性的数据集上进行的大量实验证明了该方法的有效性，特别是在对象丢失的情况下。
2019-04-17 cs.AI cs.CV
Memory-Efficient Continual Learning Object Segmentation for Long Video
University of Waterloo（滑铁卢大学）
提出GRCL与RMSCL两种持续学习技术，降低在线视频目标分割的内存需求并提升长视频准确率与泛化能力，在长视频数据集上提升鲁棒性且在短视频数据集上保持可比性能。
2024-02-14 cs.AI cs.CV
MOSEv2: A More Challenging Dataset for Video Object Segmentation in Complex Scenes
Fudan University（复旦大学）；ByteDance Inc（字节跳动公司）；Shanghai University of Finance and Economics（上海财经大学）；Nanyang Technological University（南洋理工大学）；University of Oxford（牛津大学）
本文提出MOSEv2数据集，通过引入更复杂的真实世界场景（如恶劣天气、低光照、严重遮挡、伪装对象等）对20种VOS方法和9种跟踪方法进行基准测试，揭示现有方法性能显著下降，并给出实用改进技巧。
2025-09-22 cs.CV
LSVOS Challenge Report: Large-scale Complex and Long Video Object Segmentation
Institute of Big Data, Fudan University（复旦大学大数据研究院）
该报告介绍 ECCV 2024 第六届 LSVOS 挑战赛，基于 MOSE、LVOS 和 MeViS 设置 VOS 与 RVOS 任务，并总结 129 支参赛队伍中两个赛道前 7 名的方法。
2024-09-09 cs.CV
DAVOS: Semi-Supervised Video Object Segmentation via Adversarial Domain Adaptation
Tongji University（同济大学）
域偏移一直是视频对象分割（VOS）中的主要问题之一，当在不熟悉的数据集上测试时，模型会退化。近年来，出现了许多在线方法，通过对通常不足的测试数据的注释进行微调，来缩小训练数据（源域）和测试数据（目标域）之间的性能差距。在本文中，我们提出了一种新的方法来解决域转移，首先引入对抗性领域自适应的VOS任务，与监督训练的源域和目标域上的无监督训练。通过将外观和运动特征与卷积层融合，并通过在运动分支上添加监督，我们的模型在DAVIS 2016上实现了最先进的性能，在监督训练后平均IoU得分为82.6%。同时，我们的对抗性领域自适应策略在FBMS 59和Youtube-Object上应用时显着提高了训练模型的性能，而无需利用额外的注释。
2021-05-24 cs.CV
OLiVES: An Outdoor Low-Light Video Benchmark for Enhancement and Segmentation
University of Bristol（布里斯托大学）
本文针对低光视频处理缺乏高质量真值数据的问题，推出首个专业电影级相机采集的户外低光视频基准OLiVES，支持低光视频增强与视频目标分割，训练该数据集可提升两项任务性能。
2026-10-20 cs.CV
Dual Prototype Attention for Unsupervised Video Object Segmentation
Yonsei University（延世大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院(KIST)）
本文提出两种基于原型的注意力机制IMA和IFA，通过跨模态和跨帧的密集传播结合外观与运动信息及帧间时序融合，在无监督视频目标分割任务上以显著优势超越现有方法。
2024-03-26 cs.CV
Sketch-based Video Object Segmentation: Benchmark and Analysis
National University of Singapore（新加坡国立大学）
本文提出基于草图的视频对象分割新任务，构建三个基准数据集，并基于STCN基线评估草图参考的有效性，实验表明草图比照片掩码、语言和涂鸦更高效。
2023-11-13 cs.CV
TSMS-SAM2: Multi-scale Temporal Sampling Augmentation and Memory-Splitting Pruning for Promptable Video Object Segmentation and Tracking in Surgical Scenarios
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
本文提出TSMS-SAM2框架，通过多时间尺度视频采样增强和记忆分割剪枝机制解决SAM2在手术视频中的运动动态与记忆冗余问题，在EndoVis2017和2018数据集上取得最优分割性能。
2025-08-07 cs.CV
GMOS: Grounding Moving Object Segmentation in 3D Space and Time
Visual Geometry Group, Department of Engineering Science, University of Oxford, UK（牛津大学工程科学系视觉几何组）；SAI, Shanghai Jiao Tong University, China（上海交通大学SAI）
提出GMOS框架，直接在RGB视频上实现3D感知、时间细粒度的多运动物体分割，并构建GMOS-2K数据集和MOS-I评估协议，在多个基准上取得最先进结果。
2026-05-28 cs.CV
Shift-Aware Identity-Guided Latent Refinement for Referring Audio--Visual Segmentation
University of Liverpool（利物浦大学）；IT University of Copenhagen（哥本哈根信息技术大学）；University of Bath（巴斯大学）
针对指称型视听分割中存在的目标偏移问题，提出SAIL细化框架，通过双令牌策略、感知偏移细化模块及带连续记忆更新的解码器，在基准上显著优于现有方法。
2026-10-12 cs.CV
TAM-VT: Transformation-Aware Multi-scale Video Transformer for Segmentation and Tracking
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；Ontario Tech University（安大略理工大学）
本文提出基于片段的 DETR 风格多尺度视频 Transformer，结合变换感知损失与乘法时间编码记忆，在长视频小目标分割跟踪上取得 SoTA。
2024-04-09 cs.CV
Efficient Long-Short Temporal Attention Network for Unsupervised Video Object Segmentation
School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；School of Electrical and Computer Engineering, Peking University（北京大学电气与计算机工程学院）；College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）；College of Computer Science, Zhejiang University（浙江大学计算机学院）
针对无监督视频目标分割中时空上下文利用不足且无法实时处理的问题，提出高效长短期时间注意力网络LSTA，通过长期记忆与短期注意力结合并采用高效投影与滑动窗口实现近线性复杂度，在多个基准上取得高效且优异的性能。
2023-09-21 cs.CV
DiDA: Video Object Segmentation with Distillation Learning of Deformable Attention
Hong Kong University of Science and Technology（香港科技大学）；Deakin University（迪肯大学）；Trinity College Dublin（都柏林三一学院）
提出DiDA方法，利用可变形注意力蒸馏学习实现轻量级视频对象分割，在DAVIS和YouTube-VOS基准上达到最先进性能并优化内存使用。
2026-10-01 cs.CV
CoralVOS: Dataset and Benchmark for Coral Video Segmentation
Ocean University of China（中国海洋大学）；Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对现有珊瑚分析因人工密集分析耗时、算法下采样引入偏差的问题，本研究提出无下采样的密集珊瑚视频分割，构建首个相关数据集与基准CoralVOS，验证了现有VOS算法微调后的性能提升空间，将开源资源助力珊瑚研究。
2023-10-03 cs.CV
Segment Anything Across Shots: A Method and Benchmark
针对多镜头半监督视频目标分割中镜头不连续性及标注数据稀疏问题，提出过渡模拟数据增强策略与SAAS模型，并构建Cut-VOS基准，提升跨镜头泛化能力与分割性能。
2025-11-17 cs.CV
Learning Cross-Modal Affinity for Referring Video Object Segmentation Targeting Limited Samples
Anhui University of Technology（安徽工业大学）；Southern University of Science and Technology（南方科技大学）；University of Warwick（华威大学）；United Imaging（联影医疗）
针对新场景标注稀缺问题，提出基于Transformer的跨模态亲和力模块，实现少样本指代视频对象分割，在构建的基准上达到最优性能。
2023-09-05 cs.CV
Learning Video Object Segmentation from Unlabeled Videos
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）；ETH Zurich（苏黎世联邦理工学院）；Tencent（腾讯）；Indiana University（印第安纳大学）；Salesforce Research Asia（亚洲 Salesforce 研究院）；Singapore Management University（新加坡管理大学）
我们提出了一种新的视频对象分割（VOS）方法，该方法解决了从未标记视频中学习对象模式的问题，而不像大多数现有的方法严重依赖于大量的注释数据。我们引入了一个统一的无监督/弱监督学习框架，称为MuG，全面捕捉VOS在多个粒度的内在属性。我们的方法可以帮助提高对VOS中视觉模式的理解，并显着减少注释负担。通过精心设计的架构和强大的表示学习能力，我们学习的模型可以应用于不同的VOS设置，包括对象级zero-shot VOS，实例级zero-shot VOS和one-shot VOS。实验表明，在这些设置有前途的性能，以及利用未标记的数据，以进一步提高分割精度的MuG的潜力。
2020-03-10 cs.CV
YouTube-VOS: Sequence-to-Sequence Video Object Segmentation
Adobe Research（Adobe研究院）；Snapchat Research（Snapchat研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
学习长期的时空特征是许多视频分析任务的关键。然而，现有的视频分割方法主要依赖于静态图像分割技术，并且捕获用于分割的时间依赖性的方法必须依赖于预先训练的光流模型，导致问题的次优解决方案。探索用于视频分割的时空特征的端到端顺序学习在很大程度上受到可用视频分割数据集的规模的限制，即，即使最大的视频分割数据集也仅包含90个短视频剪辑。为了解决这个问题，我们构建了一个新的大规模视频对象分割数据集，称为YouTube视频对象分割数据集（YouTube-VOS）。我们的数据集包含3，252个YouTube视频片段和78个类别，包括常见物体和人类活动。这是迄今为止我们所知的最大的视频对象分割数据集，我们已经在https://youtube-vos.org上发布了它。基于这个数据集，我们提出了一种新的序列到序列网络，以充分利用视频中的长期时空信息进行分割。我们证明，与当前最先进的方法相比，我们的方法能够在YouTube-VOS测试集上获得最佳结果，并在DAVIS 2016上获得可比结果。实验表明，大规模数据集确实是我们模型成功的关键因素。
2018-09-03 cs.CV
Two-shot Video Object Segmentation
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
以前的视频对象分割（VOS）工作是在密集注释的视频上训练的。然而，获取像素级的注释是昂贵且耗时的。在这项工作中，我们证明了在稀疏注释的视频上训练一个令人满意的VOS模型的可行性-我们只需要每个训练视频两个标记帧，同时保持性能。我们将这种新的训练范例称为两次视频对象分割，或简称为两次VOS。其基本思想是在训练过程中为未标记的帧生成伪标签，并在标记和伪标记数据的组合上优化模型。我们的方法非常简单，可以应用于大多数现有的框架。我们首先以半监督的方式在稀疏注释的视频上预训练VOS模型，第一帧总是标记的。然后，我们采用预训练的VOS模型为所有未标记的帧生成伪标签，这些伪标签随后存储在伪标签库中。最后，我们在标记和伪标记数据上重新训练VOS模型，而对第一帧没有任何限制。我们首次提出了一种在两次VOS数据集上训练VOS模型的通用方法。通过使用YouTube-VOS和DAVIS基准测试的7.3%和2.9%的标记数据，我们的方法与在完全标记集上训练的同行相比，取得了相当的结果。代码和模型可在https://github.com/yk-pku/Two-shot-Video-Object-Segmentation上获得。
2023-03-21 cs.CV
BoLTVOS: Box-Level Tracking for Video Object Segmentation
RWTH Aachen University（亚琛工业大学）
我们的方法视频对象分割（VOS）的任务分为两个子任务：限界框水平跟踪，其次是限界框分割。遵循这种范式，我们提出了BoLTVOS（VOS的框级跟踪），它由一个R-CNN检测器，条件是第一帧限界框检测感兴趣的对象，时间一致性重新评分算法，以及将边界框转换为分割掩码的Box 2Seg网络。BoLTVOS仅使用第一帧限界框而不使用掩码来执行VOS。我们在DAVIS 2017和YouTube-VOS上评估了我们的方法，并表明它优于所有不执行第一帧微调的方法。我们进一步提出了BoLTVOS-ft，它学习使用第一帧掩码在跟踪时分割有问题的对象，而不增加运行时间。BoLTVOS-ft的性能优于PReMVOS，后者是DAVIS 2016和YouTube-VOS上之前性能最好的VOS方法，同时运行速度快了45倍。我们的限界框跟踪器在限界框级跟踪数据集OTB 2015和LTB 35上的性能也优于所有以前的短期和长期跟踪器。这个作品的更新版本可以在arXiv：1911.12836找到。
2019-12-29 cs.CV
BATMAN: Bilateral Attention Transformer in Motion-Appearance Neighboring Space for Video Object Segmentation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
视频对象分割是视频理解的基础。基于transformer的方法在半监督VOS上表现出显着的性能改善。然而，现有的工作面临的挑战分割视觉上相似的对象彼此非常接近。在本文中，我们提出了一种新的双边注意力Transformer在运动外观相邻空间（BATMAN）的半监督VOS。它通过一种新颖的光流校准模块捕获视频中的对象运动，该模块将分割掩模与光流估计融合，以提高对象内光流平滑度并降低对象边界处的噪声。这种校准的光流，然后在我们的新的双边注意，计算查询和参考帧之间的对应关系，在相邻的双边空间考虑运动和外观。广泛的实验验证了BATMAN架构的有效性，在所有四个流行的VOS基准测试中表现优于所有现有的最先进技术：Youtube-VOS 2019（85.0%），Youtube-VOS 2018（85.3%），DAVIS 2017 Val/Testdev（86.2%/82.2%）和DAVIS 2016（92.5%）。
2022-08-08 cs.CV
Video Object Segmentation via SAM 2: The 4th Solution for LSVOS Challenge VOS Track
Shandong University（山东大学）
本研究评估了基础模型 SAM 2 在 MOSE 和 LVOS 数据集上的零样本视频目标分割性能，在未微调的情况下取得 75.79 J&F，在第六届 LSVOS 挑战赛中排名第四。
2024-08-24 cs.CV
Video Object Segmentation and Tracking: A Survey
China University of Mining and Technology（中国矿业大学）；Nanyang Technological University（南洋理工大学）
目标分割和跟踪是计算机视觉领域的基础研究领域。这两个主题很难处理一些常见的挑战，如遮挡，变形，运动模糊和尺度变化。前者包括异质对象、交互对象、边缘模糊性和形状复杂性。而后者在处理快速运动、视野外和实时处理方面存在困难。将视频对象分割和跟踪（VOST）这两个问题结合起来，可以克服各自的困难，提高其性能。VOST可广泛应用于视频摘要、高清视频压缩、人机交互、自动驾驶汽车等实际应用中。本文旨在提供一个全面的审查国家的最先进的跟踪方法，并将这些方法分为不同的类别，并确定新的趋势。首先，我们提供了一个分层分类现有的方法，包括无监督的VOS，半监督的VOS，交互式VOS，弱监督的VOS，和基于分割的跟踪方法。其次，我们提供了一个详细的讨论和概述的技术特点的不同方法。第三，总结了相关视频数据集的特点，并给出了各种评价指标。最后，我们指出了一组有趣的未来工作，并得出我们自己的结论。
2019-04-26 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics（地平线机器人）
视频对象分割（VOS）的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大，训练样本的缺乏，尽管深度学习的发展方兴未艾，但它仍然是一项艰巨的任务。为了解决VOS问题，我们提出了由对象建议，跟踪和分割组件组成的统一框架，带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验，我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
One-shot Training for Video Object Segmentation
Wenzhou University（温州大学）
提出一种仅需每视频单帧标注的通用一次性训练框架，通过双向掩码推断实现高效VOS训练，在YouTube-VOS和DAVIS上达到与全标注训练相当的性能。
2024-05-22 cs.CV
The 2019 DAVIS Challenge on VOS: Unsupervised Multi-Object Segmentation
ETH Zürich（苏黎世联邦理工学院）；Google AI（谷歌人工智能）；Adobe Research（奥多比研究院）
我们将举办2019年DAVIS视频对象分割挑战赛，这是DAVIS挑战赛系列的第三版，是一项专为视频对象分割（VOS）任务而设计的公开竞赛。除了上一版中介绍的原始半监督轨道和交互式轨道外，今年还将推出新的无监督多对象轨道。在新引入的轨道中，要求参与者在每个图像上提供非重叠的对象建议，以及在帧之间链接它们的标识符（即视频对象建议），而没有任何测试时的人工监督（测试视频上没有涂鸦或掩码）。为此，我们以简洁的方式重新注释了DAVIS 2017的训练和值集，以促进无监督轨道，并为比赛创建了新的测试开发和测试挑战集。本文详细介绍了无监督航迹的定义、规则和评价指标。
2019-05-02 cs.CV
Studying Image Diffusion Features for Zero-Shot Video Object Segmentation
Technical University of Denmark（丹麦技术大学）；Pioneer Center for AI（先锋人工智能中心）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；Institut Polytechnique de Paris（巴黎理工学院）
本文探索利用大规模扩散模型实现零样本视频目标分割，通过选择最优时间步和层提取特征，并利用点对应关系，在DAVIS-17和MOSE上取得最先进结果，性能媲美在昂贵分割数据上训练的模型。
2025-04-07 cs.CV
Learning Dynamic Network Using a Reuse Gate Function in Semi-supervised Video Object Segmentation
Seoul National University（首尔国立大学）；Facebook Inc.（脸书公司）；AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）
当前用于半监督视频对象分割（Semi-VOS）的现有技术方法传播来自先前帧的信息以生成用于当前帧的分割掩模。这可以在具有挑战性的场景中实现高质量的分割，例如外观和遮挡的变化。但它也会导致对静止或缓慢移动的对象进行不必要的计算，这些对象在帧间的变化很小。在这项工作中，我们利用这一观察，使用时间信息，以快速识别帧与最小的变化，跳过重量级掩码生成步骤。为了实现这种效率，我们提出了一种新的动态网络，它可以估计帧间的变化，并根据预期的相似性决定选择哪条路径-计算完整的网络或重用前一帧的特征。实验结果表明，我们的方法在具有挑战性的Semi-VOS数据集（DAVIS 16，DAVIS 17和YouTube-VOS）上显着提高了推理速度，而不会降低准确性。此外，我们的方法可以应用于多个半VOS方法，证明其通用性。该代码可在https://github.com/HYOJINPARK/Reuse_VOS上获得。
2021-05-16 cs.CV
Kernelized Memory Network for Video Object Segmentation
Yonsei University（延世大学）
半监督视频对象分割（VOS）是一项任务，涉及当在第一帧中给出目标对象的地面真实分割掩码时预测视频中的目标对象。最近，时空记忆网络（STM）作为一种有前途的半监督VOS解决方案受到了极大的关注。然而，在将STM应用于VOS时，忽略了一个重要的问题。解决方案（STM）是非本地的，但问题（VOS）主要是本地的。为了解决STM和VOS之间的不匹配，我们提出了一个内核化的内存网络（KMN）。在对真实视频进行训练之前，我们的KMN在静态图像上进行了预训练，就像以前的作品一样。与以前的作品不同，我们在预训练中使用Hide-and-Seek策略，以获得处理遮挡和段边界提取的最佳结果。拟议的KMN在标准基准上远远超过了最先进的水平（在DAVIS 2017测试开发集上增加了5%）。此外，在DAVIS 2016验证集上，KMN的运行时间为每帧0.12秒，与STM相比，KMN很少需要额外的计算。
2020-07-16 cs.CV
FAMINet: Learning Real-time Semi-supervised Video Object Segmentation with Steepest Optimized Optical Flow
Beihang University（北京航空航天大学）；Institute for Infocomm Research（信息通信研究所）
半监督视频对象分割（VOS）的目的是分割视频序列中的一些运动对象，这些对象由第一帧的注释来指定。为了提高分割精度，现有的半监督VOS方法都考虑了光流的影响。然而，基于光流的半监督VOS方法由于光流估计的高复杂度而不能实时的运行。本研究提出一个由特征提取网络（F）、外观网络（A）、运动网络（M）及整合网络（I）组成的FAMINet来解决上述问题。外观网络基于对象的静态外观输出初始分割结果。运动网络通过非常少的参数估计光流，这些参数通过称为松弛最速下降的在线记忆算法快速优化。集成网络使用光流来细化初始分割结果。大量的实验表明，FAMINet优于其他国家的最先进的半监督VOS方法的DAVIS和YouTube-VOS基准，它实现了准确性和效率之间的良好权衡。我们的代码可在https://github.com/liuziyang123/FAMINet上获得。
2021-11-20 cs.CV
Temporally Consistent Referring Video Object Segmentation with Hybrid Memory
The University of Western Australia（西澳大学）；Griffith University（格里菲斯大学）；University of Central Florida（中佛罗里达大学）
提出一种端到端R-VOS范式，通过引入混合内存促进帧间协作以实现稳健的时空匹配与传播，并采用MCS指标评估，大幅提升了时间一致性，在Ref-YouTube-VOS和Ref-DAVIS17基准上取得顶尖性能。
2024-10-11 cs.CV
Look Before You Match: Instance Understanding Matters in Video Object Segmentation
Fudan University（复旦大学）；Microsoft Cloud + AI（微软云与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
最近，基于记忆的方法在视频对象分割（VOS）中表现出了令人印象深刻的结果，探索了当前帧和过去帧之间的密集匹配，以进行长距离上下文建模。然而，由于缺乏实例理解能力，上述方法通常对于由对象和相机的移动引起的大的外观变化或视点变化是脆弱的。在本文中，我们认为，在VOS的实例理解事项，并将其与基于内存的匹配可以享受的协同作用，这是直观的VOS任务的定义，\ie，识别和分割视频中的对象实例。为此，我们提出了一个两个分支网络的VOS，其中基于查询的实例分割（IS）分支深入到当前帧的实例细节和VOS分支执行时空匹配的存储体。我们使用IS分支中的对象查询，将实例特定信息注入查询键中，从而进一步执行实例增强匹配。此外，我们引入了一个多路径融合块，有效地结合存储器读出与多尺度功能的实例分割解码器，它结合了高分辨率的实例感知功能，以产生最终的分割结果。我们的方法在DAVIS 2016/2017 val（92.6%和87.1%），DAVIS 2017 test-dev（82.8%）和YouTube-VOS 2018/2019 val（86.3%和86.3%）上实现了最先进的性能，明显优于其他方法。
2022-12-13 cs.CV
Dual Temporal Memory Network for Efficient Video Object Segmentation
Nanjing University of Information Science and Technology（南京信息工程大学）；Netflix Inc.（网飞公司）；JD Digits（京东数科）；University of Missouri-Kansas City（密苏里大学堪萨斯城分校）
视频对象分割（VOS）通常在半监督设置中制定。给定第一帧上的地面实况分割掩模，VOS的任务是在像素级上跟踪和分割视频的其余帧中的单个或多个感兴趣对象。VOS的一个基本挑战是如何最大限度地利用时态信息来提高性能。我们提出了一个端到端的网络，它存储的短期和长期的视频序列信息之前的当前帧作为临时记忆，以解决在VOS的时间建模。我们的网络由两个时间子网络组成，包括短期记忆子网络和长期记忆子网络。短期记忆子网络通过基于图的学习框架对视频中相邻帧之间的局部区域之间的细粒度时空交互进行建模，可以很好地保持局部区域随时间的视觉一致性。长期记忆子网络通过简化门控递归单元（S-GRU）模拟对象的长期演化，使分割对遮挡和漂移错误具有鲁棒性。在我们的实验中，我们表明我们提出的方法在三个常用的VOS数据集上实现了良好的和有竞争力的性能，包括DAVIS 2016，DAVIS 2017和Youtube-VOS在速度和准确性方面。
2020-03-13 cs.CV
Scalable Video Object Segmentation with Simplified Framework
City University of Hong Kong（香港城市大学）；International Digital Economy Academy（国际数字经济研究院）
针对现有VOS方法手工模块导致目标交互不足的问题，提出可扩展SimVOS框架，用单个ViT骨干联合特征提取与匹配，可直接复用自监督预训练ViT，结合帧内注意力与token细化模块，在多个基准上取得SOTA结果且无需额外合成数据预训练。
2023-08-19 cs.CV
SSTVOS: Sparse Spatiotemporal Transformers for Video Object Segmentation
University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）；Université de Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；Modiface Inc（Modiface公司）；Vector Institute（矢量研究所）
在本文中，我们介绍了一种基于transformer的视频对象分割（VOS）的方法。为了解决复合误差和可扩展性的问题，以前的工作，我们提出了一个可扩展的，端到端的VOS方法称为稀疏时空Transformers（SST）。SST提取每像素表示为视频中的每个对象使用稀疏注意时空功能。我们基于注意力的VOS公式允许模型学习在多帧的历史上参加，并提供适当的归纳偏差，用于执行解决运动分割所需的类似对应的计算。我们证明了在时空域中基于注意力的递归网络的有效性。我们的方法在YouTube-VOS和DAVIS 2017上取得了有竞争力的结果，与现有技术相比，可扩展性和对遮挡的鲁棒性有所提高。代码可在https://github.com/dukebw/SSTVOS上获得。
2021-03-29 cs.CV
SpVOS: Efficient Video Object Segmentation with Triple Sparse Convolution
Fudan University（复旦大学）
本文提出名为SpVOS的高效视频目标分割框架，通过设计三重稀疏卷积和混合稀疏训练策略降低计算开销，在保持分割性能的同时节省高达42%的FLOPs。
2023-10-23 cs.CV
Scalable Video Object Segmentation with Identification Mechanism
Zhejiang University（浙江大学）；Beijing Jiaotong University（北京交通大学）
本文提出AOT和AOST方法，通过识别机制实现多对象同时建模，并引入可扩展变换器支持在线架构调整，在多个基准上超越现有方法。
2024-05-28 cs.CV
Learning the What and How of Annotation in Video Object Segmentation
Technical University of Denmark（丹麦技术大学）；Pioneer Center for AI（先锋人工智能中心）；LIX, Ecole Polytechnique, CNRS, Institut Polytechnique de Paris（巴黎综合理工学院计算机科学实验室，法国国家科学研究中心，巴黎综合理工学院，巴黎理工学院）
提出EVA-VOS人机协同标注框架，通过智能体迭代预测标注帧与类型，在MOSE和DAVIS数据集上实现接近人工精度的掩码，标注速度提升3.5倍。
2023-11-11 cs.CV
RGB-D Video Object Segmentation via Enhanced Multi-store Feature Memory
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）
提出一种基于多存储特征记忆的RGB-D视频对象分割方法，通过层次化模态融合与SAM细化模块，解决跨模态信息利用不足和对象漂移问题，在最新基准上达到最优性能。
2025-04-23 cs.CV
