Robust Online Video Instance Segmentation with Track Queries
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
最近,基于变换的方法在视频实例分割(VIS)上取得了令人印象深刻的结果。然而,这些性能最好的方法中的大多数以离线方式运行,即一次处理整个视频剪辑以预测实例掩码体积。这使得他们无法处理出现在具有挑战性的新视频实例分割数据集中的长视频,如UVO和OVIS。我们提出了一个完全在线的基于transformer的视频实例分割模型,该模型在YouTube-VIS 2019基准测试中执行了最佳离线方法,并且在UVO和OVIS上的性能大大优于它们。这种方法,称为鲁棒在线视频分割(ROVIS),增强了Mask 2Former图像实例分割模型与跟踪查询,一个轻量级的机制进行跟踪信息从帧到帧,最初介绍了TrackFormer方法的多对象跟踪。我们表明,当与足够强大的图像分割架构相结合时,跟踪查询可以表现出令人印象深刻的准确性,同时不限于短视频。
2022-11-16 cs.CV
Semantic Instance Meets Salient Object: Study on Video Semantic Salient Instance Segmentation
Kyushu University(九州大学);Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
只关注场景中突出的语义实例,比查看整个场景中的所有对象,为机器人导航和自动驾驶汽车带来更多好处。本文将视频中的显著区域分解为语义上有意义的成分,即语义显著实例。我们为视频语义显著实例分割(VSSIS)的新任务,即语义实例-显著对象(SISO)框架提供了基础。SISO框架是简单而有效的,利用两个不同的分割任务的优势,即语义实例分割和显著对象分割,以最终融合它们的最终结果。在SISO中,我们通过查看语义实例和显著区域之间的重叠像素来逐个地引入非重叠实例的顺序融合。我们还引入了一个经常性的实例传播,以完善的形状和语义的实例,和一个身份跟踪,以保持整个视频的身份和语义的实例的含义。实验结果证明了我们的SISO基线的有效性,它可以处理视频中的遮挡。此外,为了解决VSSIS的任务,我们通过为显着实例标签分配语义基础事实来增强DAVIS-2017基准数据集,获得SEmantic显着实例视频(SESIV)数据集。我们的SESIV数据集由84个高质量的视频序列组成,每帧都有像素级的地面实况标签。
2018-11-22 cs.CV
Multiple Instance-Based Video Anomaly Detection using Deep Temporal Encoding-Decoding
RMIT University(皇家墨尔本理工大学);Anonymous University(匿名大学)
在本文中,我们提出了一种弱监督的深度时间编码解码解决方案,用于使用多实例学习进行监控视频中的异常检测。所提出的方法在训练阶段使用异常和正常的视频剪辑,该训练阶段是在多实例框架中开发的,在该框架中,我们将视频视为一个包,并将视频剪辑视为包中的实例。我们的主要贡献在于所提出的新方法来考虑视频实例之间的时间关系。我们处理视频实例(剪辑)作为一个连续的视觉数据,而不是独立的实例。我们采用了一个深度的时间和编码器网络,旨在捕捉视频实例随时间的时空演变。我们还提出了一个新的损失函数,比最近在计算机视觉文献中提出的类似损失函数更平滑,因此,在训练阶段,收敛速度更快,对局部极小值的容忍度更高。提出的时间编码解码方法与修改后的损失是基准对最先进的仿真研究。结果表明,该方法的性能类似于或优于最先进的解决方案,在视频监控应用中的异常检测。
2021-01-05 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern(伯尔尼大学计算机视觉组)
本研究提出无监督视频实例分割方法FlowCut,通过三阶段框架构建带伪标签的数据集,在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
End-to-End Video Instance Segmentation with Transformers
Meituan(美团);The University of Adelaide(阿德莱德大学)
视频实例分割(VIS)是一项需要同时对视频中感兴趣的对象实例进行分类、分割和跟踪的任务。最近的方法通常开发复杂的管道来解决这个任务。在这里,我们提出了一个新的视频实例分割框架建立在Transformers,称为VisTR,它认为VIS任务作为一个直接的端到端的并行序列解码/预测问题。给定由多个图像帧组成的视频剪辑作为输入,VisTR直接按顺序输出视频中每个实例的掩码序列。其核心是一个新的、有效的实例序列匹配和分割策略,它在序列级别上作为一个整体对实例进行监督和分割。VisTR将实例分割和跟踪框定在相似性学习的相同视角中,从而大大简化了整体流水线,并且与现有方法显著不同。在没有花哨的情况下,VisTR在所有现有的VIS模型中实现了最高的速度,并且在YouTube-VIS数据集上使用单个模型的方法中实现了最佳结果。这是第一次,我们展示了一个更简单,更快的视频实例分割框架建立在Transformers,实现竞争力的准确性。我们希望VisTR可以激励未来的研究更多的视频理解任务。
2021-10-08 cs.CV
SDI-Paste: Synthetic Dynamic Instance Copy-Paste for Video Instance Segmentation
The Australian National University(澳大利亚国立大学)
本文提出SDI-Paste视频数据增强方法,通过将生成模型产生的合成动态实例自动分割并复制粘贴到目标背景视频帧中,在Youtube-VIS 2021视频实例分割任务上取得显著性能提升。
2024-10-16 cs.CV
Improving Video Instance Segmentation by Light-weight Temporal Uncertainty Estimates
University of Wuppertal \& ICMD
本文提出一种基于时间动态模型的轻量级方法,用于改进视频实例分割的不确定性估计和假阳性检测,提升分割性能。
2021-04-13 cs.CV cs.LG
Foundation Models for Amodal Video Instance Segmentation in Automated Driving
Institute for Communications Technology(通信技术研究所);Technische Universität Braunschweig(布伦瑞克工业大学)
针对自动驾驶中非模态视频实例分割标注成本高及分割与跟踪性能权衡的问题,提出基于SAM微调的S-AModal方法,利用点记忆与点跟踪实现视频级非模态分割,无需视频标签即达SOTA。
2024-09-21 cs.CV
Key Instance Selection for Unsupervised Video Object Segmentation
SK T-Brain(SK T-Brain研究院)
提出了一种基于视频显著性、覆盖对象性和动态性的无监督视频对象分割(UVOS)关键实例选择方法。我们的方法依次帧和提取对象的建议与相应的面具为每一帧。我们根据对象的相似性将它们链接到第M帧,然后为它们分配唯一的ID(即,实例)。相似性度量考虑了ReID描述符、预期轨迹和语义共分割结果等多个属性。在第M帧之后,我们基于视频显著性和出现频率选择K个ID;然后在剩余帧中仅跟踪这些关键ID。由于这些技术贡献,我们的结果在UVOS DAVIS挑战排行榜上排名第三。
2019-07-26 cs.CV cs.LG eess.IV
InstanceCap: Improving Text-to-Video Generation via Instance-aware Structured Caption
Nanjing University(南京大学);ByteDance(字节跳动);Nankai University(南开大学)
针对现有视频字幕细节不足、存在幻觉等影响文本到视频生成质量的问题,研究提出实例感知结构化字幕框架InstanceCap,构建InstanceVid数据集,实验证明其性能优于以往模型,提升了字幕与视频的保真度并减少幻觉。
2024-12-12 cs.AI cs.CV
Video Instance Segmentation
ByteDance AI Lab(字节跳动人工智能实验室);UIUC(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究中心)
在本文中,我们提出了一个新的计算机视觉任务,命名为视频实例分割。这个新任务的目标是同时检测,分割和跟踪视频中的实例。也就是说,这是第一次将图像实例分割问题扩展到视频领域。为了促进对这一新任务的研究,我们提出了一个名为YouTube-VIS的大规模基准测试,它由2883个高分辨率YouTube视频,40个类别的标签集和131 k个高质量实例掩码组成。此外,我们还提出了一种名为MaskTrack R-CNN的新算法来完成这项任务。我们的新方法为Mask R-CNN引入了一个新的跟踪分支,以同时联合执行检测,分割和跟踪任务。最后,我们在新数据集上评估了所提出的方法和几个强基线。实验结果清楚地证明了所提出的算法的优点,并揭示了未来的改进洞察力。我们相信视频实例分割任务将激励社区沿着视频理解的研究路线。
2019-08-16 cs.CV
Video Instance Matting
Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
针对传统视频抠图无法区分实例、实例分割二值化结果不适用的问题,提出视频实例抠图任务与MSG-VIM基线模型,构建VIM50基准与VIMQ评价指标,模型性能大幅优于现有方法并已开源。
2023-11-08 cs.CV
MDQE: Mining Discriminative Query Embeddings to Segment Occluded Instances on Challenging Videos
Hong Kong Polytechnic University(香港理工大学)
虽然已经取得了令人印象深刻的进展,视频实例分割(VIS)方法与每剪辑输入往往失败的具有挑战性的视频与遮挡对象和拥挤的场景。这主要是因为这些方法中的实例查询不能很好地编码实例的判别嵌入,使得基于查询的分割器难以区分那些“硬”实例。为了解决这些问题,我们建议挖掘判别查询嵌入(MDQE),以分割具有挑战性的视频上的遮挡实例。首先,我们初始化的位置嵌入和内容特征的对象查询,考虑其空间上下文信息和帧间的对象运动。其次,我们提出了一个实例间掩码排斥损失距离每个实例从其附近的非目标实例。拟议的MDQE是第一个VIS方法与每个剪辑输入,实现了最先进的结果,具有挑战性的视频和简单的视频竞争力的性能。具体而言,使用ResNet 50的MDQE在OVIS和YouTube-VIS 2021上分别实现了33.0\%和44.5\%的掩码AP。MDQE的代码可在\url{https://github.com/MinghanLi/MDQE_CVPR2023}中找到。
2023-03-25 cs.CV
Mask2Former for Video Instance Segmentation
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);Facebook AI Research (FAIR)(Facebook 人工智能研究院)
我们发现Mask 2Former在视频实例分割上也实现了最先进的性能,而无需修改架构,损失甚至训练管道。在这份报告中,我们展示了通用的图像分割架构,通过直接预测3D分割体积来简单地推广到视频分割。具体来说,Mask 2Former在YouTubeVIS-2019上设定了60.4 AP的最新水平,在YouTubeVIS-2021上设定了52.6 AP。我们相信Mask 2Former也能够处理视频语义和全景分割,因为它在图像分割方面具有多功能性。我们希望这将使国家的最先进的视频分割研究更容易获得,并带来更多的关注,设计通用的图像和视频分割架构。
2021-12-20 cs.AI cs.CV cs.LG
iMOVE: Instance-Motion-Aware Video Understanding
Kuaishou Technology(快手科技);Zhejiang University(浙江大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对视频大语言模型细粒度实例运动感知不足的问题,本文构建 iMOVE-IT 指令微调数据集,并提出 iMOVE 视频基础模型,以高效时空建模和相对位置令牌提升时序、通用及长时程视频理解。
2025-02-18 cs.CV
MINI-Net: Multiple Instance Ranking Network for Video Highlight Detection
Sun Yat-sen University(中山大学);Pazhou Lab(琶洲实验室);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室);University of Edinburgh(爱丁堡大学);Peng Cheng Laboratory(鹏城实验室)
我们解决了弱监督的视频精彩片段检测问题,学习检测段,更有吸引力的训练视频给定他们的视频事件标签,但没有昂贵的监督手动注释精彩片段。虽然手动避免局部化高光片段,但弱监督建模具有挑战性,因为我们日常生活中的视频可能包含具有多种事件类型的高光片段,例如,滑雪和冲浪在这项工作中,我们提出了铸造弱监督视频亮点检测建模为一个给定的特定事件作为一个多实例排名网络(MINI-Net)学习。我们认为每个视频作为一个袋子的段,因此,建议MINI-Net学习执行一个更高的亮点分数的积极袋,包含一个特定的事件的亮点段比那些负袋是不相关的。特别是,我们形成了一个最大-最大排名损失,以获得最有可能的积极段实例和最难的消极段实例之间的可靠的相对比较。通过这种最大-最大排名损失,我们的MINI-Net有效地利用所有片段信息来获取更独特的视频特征表示,以定位视频中特定事件的精彩片段。在三个具有挑战性的公共基准上的广泛实验结果清楚地验证了我们的多实例排名方法解决问题的有效性。
2020-08-13 cs.CV cs.LG eess.IV
Deep Learning Techniques for Video Instance Segmentation: A Survey
Deakin University(迪肯大学);South China University of Technology(华南理工大学)
本综述全面回顾了2019年提出的视频实例分割领域的深度学习方案,比较了不同架构的性能与复杂度,探讨了提升模型的辅助技术,并指出了未来的主要挑战和研究方向。
2023-10-19 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI(微软云计算与人工智能部门)
视频实例分割的目标是预测每个帧的对象分割掩模,以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模,但它们可能无法在具有挑战性的情况下关联实例,因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明,帧间递归注意显着提高时间实例的一致性,同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019(62.1\%)和YouTubeVIS-2021(54.7\%)数据集上都达到了最先进的准确率。此外,定量和定性的结果表明,所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
Video Instance Shadow Detection Under the Sun and Sky
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出半监督框架ViShadow,通过两阶段训练和检索机制解决视频实例阴影检测中的标注与跟踪难题,并构建SOBA-VID数据集验证其有效性。
2024-09-24 cs.CV
Compositional Video Synthesis with Action Graphs
Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣地亚哥分校);NVIDIA Research(英伟达研究院);Bar-Ilan University(巴伊兰大学)
动作视频是一种复杂的信号,在空间和时间上包含着丰富的成分结构。当前的视频生成方法缺乏在多个协调的和可能同时的定时动作上调节生成的能力。为了解决这一挑战,我们建议在一个称为动作图的图形结构中表示动作,并提出新的“动作图到视频”合成任务。我们的生成模型为这项任务(AG 2 Vid)解开运动和外观功能,并通过纳入行动的调度机制,促进了及时和协调的视频生成。我们在CATER和Something-Something V2数据集上对AG 2 Vid进行了训练和评估,结果表明,与基线相比,生成的视频具有更好的视觉质量和语义一致性。最后,我们的模型展示了zero-shot的能力,通过合成新的成分的学习行动。有关代码和预训练模型,请参见项目页面https://roeiherz.github.io/AG2Video
2021-06-10 cs.CV cs.LG
Instance Embedding Transfer to Unsupervised Video Object Segmentation
University of Southern California(南加州大学);Google Inc.(谷歌公司)
我们提出了一种通过传输基于图像的实例嵌入网络中封装的知识来进行无监督视频对象分割的方法。实例嵌入网络为每个像素生成嵌入向量,该嵌入向量能够识别属于同一对象的所有像素。虽然是在静态图像上训练的,但实例嵌入在连续的视频帧上是稳定的,这允许我们随着时间的推移将对象链接在一起。因此,我们将在静态图像上训练的实例网络适应于视频对象分割,并将具有对象和光流特征的嵌入结合起来,而无需模型重新训练或在线微调。该方法在DAVIS数据集和FBMS数据集中的性能优于最先进的无监督分割方法。
2018-02-27 cs.CV
Hybrid Instance-aware Temporal Fusion for Online Video Instance Segmentation
MSRA(微软亚洲研究院)
最近,基于变换的图像分割方法相对于以前的解决方案取得了显著的成功。而对于视频领域,如何有效地建模时间上下文的对象实例的注意力跨帧仍然是一个悬而未决的问题。在本文中,我们提出了一个在线视频实例分割框架与一个新的实例感知的时间融合方法。我们首先利用表示,即,全局上下文中的潜在代码(实例代码)和CNN特征映射来表示实例级和像素级特征。基于这种表示,我们引入了一个裁剪自由的时间融合方法来模拟视频帧之间的时间一致性。具体而言,我们在实例代码中编码全局实例特定信息,并在实例代码和CNN特征图之间建立具有混合注意力的帧间上下文融合。实例代码之间的帧间一致性通过顺序约束进一步加强。通过利用学习的混合时间一致性,我们能够直接检索和维护跨帧的实例身份,消除了先前方法中复杂的逐帧实例匹配。在流行的VIS数据集上进行了广泛的实验,即Youtube-VIS-19/21。我们的模型在所有在线VIS方法中实现了最佳性能。值得注意的是,当使用ResNet-50主干时,我们的模型也使所有离线方法黯然失色。
2022-06-06 cs.CV
SeqFormer: Sequential Transformer for Video Instance Segmentation
Huazhong University of Science and Technology(华中科技大学);Bytedance(字节跳动)
在这项工作中,我们提出了SeqFormer的视频实例分割。SeqFormer遵循视觉Transformer的原理,对视频帧之间的实例关系进行建模。然而,我们观察到,一个独立的实例查询足以捕捉视频中的实例的时间序列,但注意力机制应与每个帧独立地完成。为了实现这一点,SeqFormer在每个帧中定位一个实例,并聚合时间信息以学习视频级实例的强大表示,该表示用于动态预测每个帧上的掩码序列。实例跟踪是自然实现的,无需跟踪分支或后处理。在YouTube-VIS上,SeqFormer使用ResNet-50主干实现了47.4 AP,使用ResNet-101主干实现了49.0 AP。这一成就分别大大超过了以前的最先进性能4.6和4.4。此外,与最近提出的Swin Transformer集成,SeqFormer实现了59.3的更高AP。我们希望SeqFormer可以成为一个强大的基线,促进视频实例分割的未来研究,同时,用一个更强大,更准确,更整洁的模型推进这一领域。该代码可在https://github.com/wjf5203/SeqFormer上获得。
2022-07-21 cs.CV
S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation
Ulm University(乌尔姆大学);Google(谷歌);KAUST(卡尔斯鲁厄大学);TU Vienna(维也纳技术大学)
S2D通过稀疏到密集关键掩码蒸馏方法,利用深度运动先验提升无监督视频实例分割的性能。
2025-12-16 cs.CV
Learning a Spatio-Temporal Embedding for Video Instance Segmentation
University of Cambridge(剑桥大学)
本文提出了一种新的视频实例分割嵌入方法。我们的方法学习时空嵌入,整合来自外观,运动和几何形状的线索; 3D因果卷积网络模型运动,以及单目自监督深度损失模型几何形状。在这个嵌入空间中,同一实例的视频像素被聚类在一起,同时与其他实例分离,以便随着时间的推移自然地跟踪实例,而无需任何复杂的后处理。我们的网络是实时运行的,因为我们的架构完全是因果关系的-与以前的方法相反,我们不包含来自未来帧的信息。我们表明,我们的模型可以准确地跟踪和分割实例,即使有遮挡和遗漏的检测,推进了KITTI多对象和跟踪数据集的最新技术。
2019-12-19 cs.CV
InstanceFormer: An Online Video Instance Segmentation Framework
Ludwig Maximilian University of Munich(慕尼黑大学);Technical University of Munich(慕尼黑工业大学)
最近基于transformer的离线视频实例分割(VIS)方法取得了令人鼓舞的结果,并显着优于在线方法。然而,它们对整个视频的依赖以及由全时空注意力引起的巨大计算复杂性限制了它们在处理长视频等实际应用中的应用。在本文中,我们提出了一个单级变压器为基础的高效的在线VIS框架命名为InstanceFormer,这是特别适合于长和具有挑战性的视频。我们提出了三个新的组件模型的短期和长期的依赖性和时间的连贯性。首先,我们传播先前实例的表示、位置和语义信息来对短期变化进行建模。其次,我们在解码器中提出了一种新的记忆交叉注意,它允许网络在一定的时间窗口内查看更早的实例。最后,我们采用了时间对比损失,在所有帧的实例表示施加的连贯性。记忆注意力和时间一致性对长距离依赖建模特别有益,包括具有挑战性的场景,如遮挡。建议InstanceFormer优于以前的在线基准方法在多个数据集的大幅度提高。最重要的是,InstanceFormer超越了具有挑战性的长数据集(如YouTube-VIS-2021和OVIS)的离线方法。代码可在https://github.com/rajatkoner08/InstanceFormer上获得。
2022-08-22 cs.CV
CAVIS: Context-Aware Video Instance Segmentation
DGIST
提出上下文感知视频实例分割框架CAVIS,通过上下文感知实例跟踪器和原型跨帧对比损失增强实例关联,在VIS和VPS基准上超越现有方法,尤其擅长OVIS挑战性视频。
2025-07-09 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente(特文特大学);Wuhan University(武汉大学)
近年来,视频对象分割(VOS),即从背景中分割出前景对象的任务,受到了相当大的关注。在本文中,我们提出了一个端到端的可训练深度神经网络,卷积门控递归Mask-RCNN,用于解决半监督VOS任务。我们利用实例分割网络(Mask-RCNN)和视觉记忆模块(Conv-GRU)来处理VOS任务。实例分割网络为实例预测掩模,而视觉记忆模块学习同时为多个实例选择性地传播信息,处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后,我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
STC: Spatio-Temporal Contrastive Learning for Video Instance Segmentation
Tencent Youtu Lab(腾讯优图实验室);The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学)
视频实例分割(VIS)是同时需要视频中的分类、分割和实例关联的任务。最近的VIS方法依赖于复杂的管道来实现这一目标,包括ROI相关操作或3D卷积。相比之下,我们提出了一个简单而有效的单级VIS框架的基础上的实例分割方法CondInst通过添加一个额外的跟踪头。为了提高实例关联的准确性,提出了一种新的跨帧跟踪嵌入的双向时空对比学习策略。此外,一个实例的时间一致性计划被用来产生时间上一致的结果。在YouTube-VIS-2019、YouTube-VIS-2021和OVIS-2021数据集上进行的实验验证了该方法的有效性和效率。我们希望所提出的框架可以作为一个简单而强大的替代许多其他实例级视频关联任务。
2022-08-20 cs.CV
Instance Brownian Bridge as Texts for Open-vocabulary Video Instance Segmentation
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Tsinghua University(清华大学);Xiamen University(厦门大学);Peng Cheng Laboratory(鹏城实验室)
本文提出 BriVIS,通过 TIR 将帧级实例查询连接为布朗桥,并利用 BTA 对比学习实现桥级实例表示与文本对齐,在 BURST 上显著优于 OV2Seg。
2024-01-18 cs.CV
Learning Video Instance Segmentation with Recurrent Graph Neural Networks
Linköping University(林雪平大学);Zenseact;SAAB(萨博);ETH Zürich(苏黎世联邦理工学院)
大多数现有的视频实例分割方法包括多个模块,这些模块被逐层组合以产生最终输出。相反,制定一个纯粹的基于学习的方法,该方法对时间方面以及解决视频实例分割任务所需的通用跟踪管理进行建模,这是一个非常具有挑战性的问题。在这项工作中,我们提出了一种新的学习公式,其中整个视频实例分割问题是联合建模。我们将一个灵活的模型拟合到我们的公式中,在图神经网络的帮助下,处理每个帧中所有可用的新信息。过去的信息通过循环连接进行考虑和处理。我们证明了所提出的方法在综合实验的有效性。我们的方法,在超过25 FPS的操作,优于以前的视频实时方法。我们进一步进行详细的烧蚀实验,验证我们的方法的不同方面。
2020-12-07 cs.CV
MinVIS: A Minimal Video Instance Segmentation Framework without Video-based Training
NVIDIA(英伟达);Caltech(加州理工学院)
我们提出MinVIS,一个最小的视频实例分割(VIS)的框架,既不基于视频的架构,也不训练程序,实现国家的最先进的VIS性能。通过仅训练基于查询的图像实例分割模型,MinVIS在具有挑战性的Occluded VIS数据集上的表现优于之前的最佳结果超过10% AP。由于MinVIS将训练视频中的帧视为独立图像,因此我们可以在不进行任何修改的情况下对训练视频中的注释帧进行大幅子采样。MinVIS仅使用1%的标记帧,性能优于YouTube-VIS 2019/2021上的完全监督最先进方法。我们的关键观察是,训练成在帧内对象实例之间具有区分性的查询在时间上是一致的,并且可以用于跟踪实例,而无需任何手动设计的算法。MinVIS因此具有以下推理管道:我们首先将训练的基于查询的图像实例分割独立地应用于视频帧。然后通过相应查询的二分匹配来跟踪分割的实例。这种推理是以在线方式完成的,不需要一次处理整个视频。因此,MinVIS具有降低标签成本和内存需求的实际优势,同时不会牺牲VIS性能。代码可在:https://github.com/NVlabs/MinVIS
2022-08-03 cs.AI cs.CV
InsPro: Propagating Instance Query and Proposal for Online Video Instance Segmentation
University of Chinese Academy of Sciences(中国科学院大学);Horizon Robotics(地平线机器人);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所)
视频实例分割(VIS)的目的是分割和跟踪视频中的对象。现有方法通常首先生成帧级或剪辑级对象实例,然后通过附加跟踪头或复杂实例匹配算法将它们关联。这种显式的实例关联方法增加了系统的复杂性,并未能充分利用视频中的时间线索。在本文中,我们设计了一个简单,快速,但有效的基于查询的框架在线VIS。该框架通过一个实例查询和建议传播机制以及几个专门开发的组件,可以隐式地执行精确的实例关联。具体来说,我们生成帧级的对象实例的基础上传播从以前的帧的一组实例查询建议对。通过认真制定的策略,这个实例查询-建议对学会了跨框架与一个特定对象绑定。当使用这样的对来预测当前帧上的对象实例时,不仅生成的实例自动地与其在先前帧上的前兆相关联,而且模型获得用于预测相同对象的良好先验。通过这种方式,我们自然地实现了与分割并行的隐式实例关联,并巧妙地利用了视频中的时间线索。为了证明我们的方法InsPro的有效性,我们在两个流行的VIS基准上对其进行了评估,即,YouTube-VIS 2019和YouTube-VIS 2021。在没有花哨的情况下,我们的InsPro与ResNet-50骨干网在这两个基准上分别达到43.2 AP和37.6 AP,优于所有其他在线VIS方法。
2023-01-05 cs.CV
Meta-Personalizing Vision-Language Models to Find Named Instances in Video
University of California, Berkeley(加州大学伯克利分校);Adobe Research(奥多比研究院);CIIRC CTU(捷克理工大学计算机与机器人技术研究院)
本文提出元个性化视觉语言模型方法,通过扩展词嵌入并在无监督下利用转录和相似性自动识别视频中的命名实例,并在新基准This-Is-My及DeepFashion2上取得15%相对提升。
2023-06-16 cs.CL cs.CV cs.LG
MAIN: Multi-Attention Instance Network for Video Segmentation
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Universidad de los Andes(安第斯大学);University of Freiburg(弗莱堡大学)
实例级视频分割需要空间和时间信息的可靠集成。然而,目前的方法主要依赖于特定领域的信息(在线学习),以产生准确的实例级分割。我们提出了一种新的方法,完全依赖于通用的时空注意线索的整合。我们的策略,命名为多注意力实例网络(MAIN),克服了具有挑战性的分割场景在任意视频没有建模序列或实例特定的知识。我们设计的主段多个实例在一个单一的前向传递,并优化它与一个新的损失函数,有利于类不可知的预测和分配实例特定的处罚。我们在具有挑战性的Youtube-VOS数据集和基准测试上实现了最先进的性能,将看不见的Jaccard和F-Metric分别提高了6.8%和12.7%,同时实时运行(30.3 FPS)。
2019-04-11 cs.CV
MaskRNN: Instance Level Video Object Segmentation
UIUC(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工大学)
实例级视频对象分割是视频编辑和压缩的一项重要技术。为了捕获时间相干性,在本文中,我们开发了MaskRNN,这是一种递归神经网络方法,它在每帧中融合每个对象实例的两个深度网络的输出-提供掩码的二进制分割网络和提供限界框的本地化网络。由于递归分量和局部化分量,我们的方法能够利用视频数据的长期时间结构以及拒绝离群值。我们在三个具有挑战性的基准数据集(DAVIS-2016数据集,DAVIS-2017数据集和Segtrack v2数据集)上验证了所提出的算法,并在所有数据集上实现了最先进的性能。
2018-03-29 cs.CV
U-Net Based Multi-instance Video Object Segmentation
Uber Technologies, Inc(优步科技公司);Stanford University(斯坦福大学)
多实例视频对象分割是指在给定第一帧的情况下,在像素级上对视频序列中的特定实例进行分割。在本文中,我们实现了一个有效的全卷积网络,它具有建立在OSVOS微调层之上的U-Net相似结构。我们使用实例隔离将这个多实例分割问题转化为二进制标记问题,并使用加权交叉熵损失和骰子系数损失作为我们的损失函数。我们的最佳模型在DAVIS数据集上实现了0.467的F均值和0.424的J均值,这与最先进的方法具有可比性。但实例分析表明,该模型可以实现更平滑的轮廓和更好的实例覆盖率,这意味着它更适合于召回为重点的分割场景。我们还对其他卷积神经网络进行了实验,包括Seg-Net,Mask R-CNN,并提供了有见地的比较和讨论。
2019-05-19 cs.CV
DeVIS: Making Deformable Transformers Work for Video Instance Segmentation
Technical University of Catalonia(加泰罗尼亚理工大学);Technical University of Munich(慕尼黑工业大学)
视频实例分割(VIS)是视频序列中多目标检测、跟踪和分割的综合技术。在过去,VIS方法反映了这些子任务在其架构设计中的碎片化,因此错过了联合解决方案。Transformers最近允许将整个VIS任务转换为单个集合预测问题。然而,现有的基于transformer的方法的二次复杂性需要很长的训练时间,高内存要求,以及低单尺度特征图的处理。变形注意提供了一个更有效的选择,但其应用程序的时间域或分割任务尚未被探索。在这项工作中,我们提出了可变形VIS(DeVIS),VIS方法,利用可变形Transformers的效率和性能。为了在多个帧上联合推理所有VIS子任务,我们提出了具有实例感知对象查询的时间多尺度可变形注意。我们进一步引入了一个新的图像和视频实例面具头与多尺度功能,并执行近在线视频处理与多线索剪辑跟踪。DeVIS降低了内存和训练时间要求,并在YouTube-VIS 2021以及具有挑战性的OVIS数据集上实现了最先进的结果。代码可在https://github.com/acaelles97/DeVIS上获得。
2022-07-22 cs.CV cs.LG cs.RO
Inst4DGS: Instance-Decomposed 4D Gaussian Splatting with Multi-Video Label Permutation Learning
University of Maryland, College Park, USA(马里兰大学学院公园分校)
本文提出Inst4DGS,通过引入视频标签排列潜在变量,解决多视角视频中实例标签不一致的问题,实现实例分解与跟踪,并在渲染和分割质量上达到最优。
2026-03-19 cs.CV
Video Instance Segmentation with a Propose-Reduce Paradigm
The Chinese University of Hong Kong(香港中文大学);SmartMore(慧模智能)
视频实例分割(VIS)的目的是分割和关联视频中的每一帧的预定义类的所有实例。现有的方法通常首先对帧或片段进行分割,然后通过跟踪或匹配来合并不完整的结果。这些方法可能会导致合并步骤中的误差累积。首先,我们提出了一个新的范例-- Propose-Reduce,通过单步的来生成输入视频的完整序列。我们进一步在现有的图像级实例分割网络上构建序列传播头,用于长期传播。为了确保我们提出的框架的鲁棒性和高召回率,提出了多个序列,其中减少了相同实例的冗余序列。我们在两个代表性的基准数据集上实现了最先进的性能-我们在YouTube-VIS验证集上获得了47.6%的AP,在DAVIS-UVOS验证集上获得了70.4%的J&F。代码可在https://github.com/dvlab-research/ProposeReduce上获得。
2021-09-30 cs.CV
VIL-100: A New Dataset and A Baseline Model for Video Instance Lane Detection
Tianjin University(天津大学);University of Cambridge(剑桥大学);Inception Institute of Artificial Intelligence(起源人工智能研究院);Automotive Data of China (Tianjin) Co., Ltd(中汽数据(天津)有限公司);University of South Carolina(南卡罗来纳大学)
车道检测在自动驾驶中起着关键作用。虽然汽车摄像头总是在路上拍摄流式视频,但当前的车道检测工作主要集中在单个图像(帧)上,忽略了视频中的动态。在这项工作中,我们收集了一个新的视频实例车道检测(VIL-100)数据集,其中包含100个视频,总共10,000帧,从不同的真实交通场景中获取。每个视频中的所有帧都被手动注释为高质量的实例级车道注释,并且包括一组帧级和视频级度量用于定量性能评估。此外,我们提出了一个新的基线模型,命名为多级内存聚合网络(MMA-Net),视频实例车道检测。在我们的方法中,当前帧的表示是通过集中其他帧的局部和全局记忆特征来增强的。在新采集的数据集上的实验表明,所提出的MMA-Net优于最先进的车道检测方法和视频对象分割方法。我们在https://github.com/yujun0-0/MMA-Net上发布了我们的数据集和代码。
2021-08-19 cs.CV
InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation
University of Science and Technology of China(中国科学技术大学);SenseAuto(感etime);Tsinghua University(清华大学)
InstaDrive通过实例感知机制提升驾驶视频生成质量,增强自动驾驶任务性能。
2026-02-03 cs.CV
Weakly Supervised Instance Segmentation for Videos with Temporal Mask Consistency
Johns Hopkins University(约翰斯·霍普金斯大学);Facebook(脸书)
弱监督实例分割降低了训练模型所需的注释成本。然而,现有的方法,只依赖于图像级的类标签主要遭受错误,由于(a)部分分割的对象和(b)丢失的对象预测。我们表明,这些问题可以通过使用弱标记视频而不是图像进行训练来更好地解决。在视频中,跨帧的预测的运动和时间一致性提供了可以帮助分割的互补信号。我们是第一个探索使用这些视频信号来解决弱监督实例分割。我们提出了两种方法来利用我们的模型中的这些信息。首先,我们调整像素间关系网络(IRN),以有效地将运动信息在训练过程中。其次,我们引入了一个新的MaskConsistt模块,它通过在训练过程中在相邻帧之间传输稳定的预测来解决丢失对象实例的问题。我们证明了这两种方法共同提高了实例分割度量$AP_{50}$对两个数据集的视频帧:Youtube-VIS和Cityscapes分别由$5\%$和$3\%$。
2021-03-23 cs.CV
Learning to Track Instances without Video Annotations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达);University of Oregon(俄勒冈大学)
跟踪多个实例的分割掩模已经被深入研究,但仍然面临两个基本挑战:1)大规模、逐帧注释的要求,以及2)两阶段方法的复杂性。为了解决这些挑战,我们引入了一个新的半监督框架,通过学习实例跟踪网络,只有一个标记的图像数据集和未标记的视频序列。通过实例对比目标,我们学习嵌入来区分每个实例。我们表明,即使只使用图像进行训练,所学习的特征表示对实例外观变化也具有鲁棒性,因此能够跨帧稳定地跟踪对象。我们通过以自我监督的方式从未标记的视频中学习对应关系来进一步增强嵌入的跟踪能力。此外,我们将该模块集成到单阶段实例分割和姿态估计框架中,与两阶段网络相比,这显著降低了跟踪的计算复杂性。我们在YouTube-VIS和PoseTrack数据集上进行实验。在没有任何视频注释工作的情况下,我们提出的方法可以实现与大多数完全监督方法相当甚至更好的性能。
2021-04-01 cs.CV
A2VIS: Amodal-Aware Approach to Video Instance Segmentation
University of Arkansas(阿肯色大学);Coupang, Inc.(Coupang公司)
本文提出A2VIS框架,通过引入非模态表示和时空先验非模态掩码头,融合可见与被遮挡目标信息,提升视频实例分割和多目标跟踪在遮挡场景下的性能。
2025-04-09 cs.CV
Normalized Contrastive Learning for Text-Video Retrieval
Columbia University(哥伦比亚大学);Meta
跨模态对比学习以其简单有效的特点引领了多模态检索的发展。然而,在这项工作中,我们发现,跨模态对比学习遭受不正确的归一化的总和检索概率的每个文本或视频实例。具体来说,我们发现,许多测试实例是过度或不足的代表在检索过程中,显着损害检索性能。为了解决这个问题,我们提出了归一化对比学习(NCL),它利用Sinkhorn-Knopp算法来计算实例偏差,这些偏差适当地归一化每个实例的总检索概率,以便在跨模态检索期间公平地表示每个文本和视频实例。实证研究表明,NCL在不同模型架构上的文本视频检索中带来了一致和显著的收益,在ActivityNet,MSVD和MSR-VTT数据集上具有新的最先进的多模态检索指标,而无需任何架构工程。
2022-11-30 cs.CV cs.IR cs.LG
Occluded Video Instance Segmentation: A Benchmark
Alibaba Group(阿里巴巴集团);University of Copenhagen(哥本哈根大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Oxford(牛津大学)
当场景中存在严重遮挡时,我们的视频理解系统能否感知对象?为了回答这个问题,我们收集了一个大规模的数据集,称为OVIS的遮挡视频实例分割,即同时检测,分割和跟踪实例在遮挡场景。OVIS由来自25个语义类别的296 k高质量实例掩码组成,这些类别通常会发生对象遮挡。虽然我们的人类视觉系统可以通过上下文推理和关联来理解这些被遮挡的实例,但我们的实验表明,当前的视频理解系统不能。在OVIS数据集上,最先进的算法实现的最高AP仅为16.3,这表明我们在理解真实场景中的对象、实例和视频方面仍处于起步阶段。我们还提出了一个简单的即插即用模块,执行时间特征校准,以补充缺失的对象线索造成的闭塞。基于MaskTrack R-CNN和SipMask,我们在OVIS数据集上获得了显着的AP改进。OVIS数据集和项目代码可在http://songbai.site/ovis上获得。
2022-05-17 cs.CV
Human Instance Segmentation and Tracking via Data Association and Single-stage Detector
Donghua University(东华大学)
人体视频实例分割在计算机理解人体活动中起着重要作用,广泛应用于视频处理、视频监控、虚拟现实中的人体建模等领域。目前大部分VIS方法都是基于Mask-RCNN框架的,其中用于数据匹配的目标外观和运动信息会增加计算成本并对分割实时性能产生影响;另一方面,现有的VIS数据集较少关注视频中出现的所有人。针对上述问题,本文提出了一种基于单级检测器的人体视频实例分割方法。为了在视频中跟踪实例,我们采用了数据关联策略来匹配视频序列中的同一实例,其中我们以端到端的方式联合学习一对视频帧中的目标实例外观及其亲和力。为了提高实例的嵌入提取能力,我们还采用了质心采样策略,即在实例掩码重叠严重的情况下,将实例位置偏向每个实例掩码的内部。结果,即使角色活动存在突然变化,实例位置也不会移出掩码,从而可以缓解由两个不同实例表示同一实例的问题。最后,我们通过组装多个视频实例分割数据集来收集PVIS数据集,以填补目前缺乏专门用于人类视频分割的数据集的空白。基于这样的数据集进行了广泛的模拟。仿真结果验证了所提出的工作的有效性和效率。
2022-03-31 cs.AI cs.CV
Learning to Segment Instances in Videos with Spatial Propagation Network
Tsinghua University(清华大学);University of California, Merced(加州大学默塞德分校);NVIDIA Research(NVIDIA研究院)
我们提出了一个基于深度学习的实例级对象分割框架。我们的方法主要包括三个步骤。首先,我们训练一个通用模型的基础上ResNet-101的前景/背景分割。其次,基于这个通用模型,我们对其进行微调,以学习实例级模型,并通过在测试视频的第一帧中使用增强对象注释来分割单个对象。为了区分同一视频中的不同实例,我们从这些实例级模型中为每个对象计算像素级得分图。每个得分图指示对象似然性,并且仅在第一步骤中获得的前景掩模内计算。为了进一步细化每帧分数图,我们学习了一个空间传播网络。该网络旨在学习如何基于每帧中的成对相似性在空间上传播粗分割掩码。此外,我们在改进的分数图上应用过滤器,其目的是使用视频中的空间和时间分辨率来识别最佳连接区域。最后,通过比较不同实例的得分图,确定每个视频中的实例级对象分割。
2017-09-14 cs.CV
Crossover Learning for Fast Online Video Instance Segmentation
Huazhong University of Science & Technology(华中科技大学);Tencent PCG(腾讯平台与内容事业群)
跨帧建模时间视觉上下文对于视频实例分割(VIS)和其他视频理解任务至关重要。在本文中,我们提出了一个快速的在线VIS模型命名为CrossVIS。对于VIS中的时间信息建模,我们提出了一种新的交叉学习方案,该方案使用当前帧中的实例特征对其他帧中的相同实例进行像素级本地化。与以往的方案不同,交叉学习不需要任何额外的网络参数进行特征增强。通过与实例分割损失相结合,交叉学习实现了有效的跨帧实例到像素的关系学习,并在推理过程中带来了无成本的改进。此外,提出了一种全局平衡的实例嵌入分支,以提高在线实例关联的准确性和稳定性。我们对三个具有挑战性的VIS基准测试进行了广泛的实验,\ie,YouTube-VIS-2019,OVIS和YouTube-VIS-2021来评估我们的方法。据我们所知,CrossVIS在所有在线VIS方法中实现了最先进的性能,并在延迟和准确性之间表现出良好的权衡。将提供代码,以方便未来的研究。
2021-04-13 cs.CV
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford(牛津大学);NAVER LABS Europe(NAVER欧洲实验室)
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法,在EPIC Fields上显著提升跟踪与分割一致性,并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
A Temporal Modeling Framework for Video Pre-Training on Video Instance Segmentation
University of Adelaide(阿德莱德大学);vivo;Zhejiang University(浙江大学);NUS(新加坡国立大学);Swansea University(斯旺西大学);University of South China(南华大学)
针对视频实例分割中图像预训练模型缺乏时序知识导致的域差距问题,提出包含一致性伪视频增强和多尺度时序模块的视频预训练框架,可适配多种VIS方法,在OVIS等基准上取得性能提升。
2025-03-22 cs.CV
Spatial Feature Calibration and Temporal Fusion for Effective One-stage Video Instance Segmentation
The HongKong Polytechnic University(香港理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
现代单级视频实例分割网络受到两个限制。首先,卷积特征既不与锚框对齐,也不与地面实况边界框对齐,从而降低了掩码对空间位置的敏感性。第二,直接将视频分割成单个帧进行帧级实例分割,忽略相邻帧之间的时间相关性。为了解决这些问题,我们提出了一个简单而有效的单阶段视频实例分割框架,即STMask。为了确保空间特征校准与地面实况边界框,我们首先预测回归边界框周围的地面实况边界框,并从它们提取帧级实例分割的功能。为了进一步探索视频帧之间的时间相关性,我们聚合了一个时间融合模块来推断每个帧到其相邻帧的实例掩码,这有助于我们的框架处理具有挑战性的视频,如运动模糊,部分遮挡和不寻常的对象到相机的姿势。在YouTube-VIS有效集上的实验表明,本文提出的基于ResNet-50/-101主干的STMask在视频实例分割上获得了33.5%/36.8%的掩码AP,同时达到了28.6 / 23.4 FPS。该代码在https://github.com/MinghanLi/STMask上发布。
2021-04-06 cs.CV eess.IV
Instance-Adaptive Video Compression: Improving Neural Codecs by Training on the Test Set
Qualcomm AI Research(高通人工智能研究院)
本文提出实例自适应视频压缩方法,通过微调预训练模型并熵编码参数更新,提升多种神经编解码器性能,节省BD-rate 17-27%,增强鲁棒性并降低模型容量需求。
2023-06-23 cs.CV cs.LG eess.IV