Object Detection, Tracking, and Motion Segmentation for Object-level Video Segmentation
University of Freiburg(弗莱堡大学)
我们提出了一种方法,结合帧级的目标检测的概念,从对象跟踪和运动分割的视频对象分割。该方法基于现成的检测器提取时间上一致的对象管。除了每个管的类别标签之外,这还提供了独立于运动的位置先验。对于最终的视频分割,我们将这些信息与运动线索相结合。该方法克服了弱监督/无监督视频分割的典型问题,如没有运动的场景,占主导地位的摄像机运动,以及作为一个单元移动的对象。与大多数跟踪方法相比,它提供了一个准确的,时间上一致的分割每个对象。我们报告了四个视频分割数据集的结果:YouTube Objects,SegTrackv 2,egoMotion和FBMS。
2016-08-10 cs.CV
Learning with Free Object Segments for Long-Tailed Instance Segmentation
The Ohio State University(俄亥俄州立大学)
为复杂场景中的大量类构建实例分割模型的一个基本挑战是缺乏训练样本,特别是对于稀有对象。在本文中,我们探讨了增加训练样本而无需费力的数据汇集和注释的可能性。我们发现,根据两种见解,可以从以对象为中心的图像中免费获得大量实例片段:(i)以对象为中心的图像通常在简单背景中包含一个显着对象;(ii)来自同一类的对象通常具有相似的外观或与背景的相似对比度。出于这些见解,我们提出了一个简单的和可扩展的框架FreeSeg提取和利用这些“自由”的对象前景段,以促进模型训练长尾实例分割。具体地说,我们调查对象为中心的同类图像之间的相似性,提出候选段的前景实例,其次是一种新的排名段的质量。然后可以使用所得到的高质量对象片段来增强现有的长尾数据集,例如,通过将片段复制并粘贴到原始训练图像上。大量的实验表明,FreeSeg在强大的基线之上产生了实质性的改进,并在分割稀有对象类别方面达到了最先进的准确性。
2022-10-05 cs.CV
LIMIS: Towards Language-based Interactive Medical Image Segmentation
Institute for AI in Medicine (IKIM), University Hospital Essen(埃森大学医院医学人工智能研究所(IKIM))
本文提出首个纯语言交互的医学图像分割模型 LIMIS,通过适配 Grounded SAM 与语言交互策略,让医生仅凭语言调整掩码,并在三个公开数据集上验证了分割质量与可用性。
2024-10-22 cs.CV
Open-Vocabulary Panoptic Segmentation Using BERT Pre-Training of Vision-Language Multiway Transformer Model
National Taiwan University(台湾大学)
本文提出OMTSeg,利用BEiT-3的跨模态注意力进行开放词汇全景分割,实验表明其性能优于现有最先进模型。
2024-12-25 cs.AI cs.CV cs.LG
Design Pseudo Ground Truth with Motion Cue for Unsupervised Video Object Segmentation
University of Southern California(南加州大学);National Taiwan University(国立台湾大学)
视频对象分割中的一个主要技术缺陷是为训练实例标记对象掩码。因此,我们建议准备廉价的,但高质量的伪真值校正与运动提示的视频对象分割训练。我们的方法进行语义分割使用实例分割网络,然后,选择感兴趣的分割对象作为伪真值的基础上的运动信息。然后,利用伪真值来微调预训练的对象网络,以促进视频的剩余帧中的对象分割。我们表明,伪真值可以有效地提高分割性能。这种简单的无监督视频对象分割方法比现有的方法更有效。DAVIS和FBMS上的实验结果表明,该方法优于国家的最先进的无监督分割方法在各种基准数据集。与类别无关的伪真值具有很大的潜力,可以扩展到多个任意目标跟踪。
2018-12-13 cs.CV
Leveraging Pretrained Image Classifiers for Language-Based Segmentation
Stanford University(斯坦福大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
当前的语义分割模型不能容易地推广到训练期间看不见的新对象类:它们需要额外的注释图像和再训练。我们提出了一种新的分割模型,将视觉先验注入到语义分割架构中,使它们能够分割出新的目标标签,而无需重新训练。作为视觉先验,我们使用预先训练的图像分类器的激活,该分类器提供场景中目标对象和干扰对象的空间位置的噪声指示。我们利用语言语义来获得这些激活的目标标签看不见的分类器。进一步的实验表明,通过语言语义获得的相关和分散注意力的对象的视觉先验是我们的性能的关键。
2020-03-10 cs.CV
Object-Guided Instance Segmentation for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图,这些方法易于过分割或欠分割。相反,基于框的实例分割方法将目标检测结合到分割中,在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用,作为在RoI补丁内分离聚类实例的指南。通过实例归一化,该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此,该模型在分割聚类对象,同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能:细胞核,植物表型数据集和神经细胞。
2019-11-20 cs.CV
Meticulous Object Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Adobe Inc.(奥多比公司)
与针对低分辨率图像的普通图像分割任务相比,更高分辨率的详细图像分割受到的关注要少得多。在本文中,我们提出并研究了一个名为Meetings对象分割(MOS)的任务,该任务的重点是在高分辨率图像(例如2k - 4k)中分割具有精细形状的定义明确的前景对象。为此,我们提出了MeticulousNet,它利用一个专用的解码器来捕获对象的边界细节。具体来说,我们设计了一个分层逐点细化(HierPR)块,以更好地描绘对象边界,并重新制定的解码过程作为一个递归的粗到细细化的对象掩码。为了评估对象边界附近的分割质量,我们提出了细致质量(MQ)分数,同时考虑掩模覆盖率和边界精度。此外,我们收集了一个MOS基准数据集,包括600个高质量的图像与复杂的对象。我们提供了全面的经验证据,表明MeticulousNet可以揭示像素精确的分割边界,并且优于高分辨率对象分割任务的最新方法。
2020-12-13 cs.CV
Interactive Video Object Segmentation in the Wild
在本文中,我们提出了我们的系统的人在环视频对象分割。我们的系统的骨干是一个单镜头视频对象分割的方法。虽然速度很快,但这种方法需要一个(或几个)帧作为输入的精确像素级分割。由于手动注释这样的分割是不切实际的,我们提出了一种深度交互式图像分割方法,可以准确地分割对象,只有少数点击。在GrabCut数据集上,我们的方法平均只需3.8次点击即可获得90%的IOU,开创了最新的技术水平。此外,由于我们的方法迭代地细化初始分割,它可以有效地纠正视频对象分割失败的帧,从而使用户即使在具有挑战性的序列上也能快速获得高质量的结果。最后,我们调查使用模式,并提供用户注释框架的步骤,他们提供什么样的更正等方面的见解,从而为进一步改进交互式视频分割提供重要的见解。
2017-12-31 cs.CV
MOVE: Unsupervised Movable Object Segmentation and Detection
University of Bern(伯尔尼大学)
我们介绍了MOVE,一种新的方法来分割对象,没有任何形式的监督。MOVE利用前景对象可以相对于其初始位置局部移动并产生逼真(未失真)的新图像的事实。这个属性使我们能够在没有注释的图像数据集上训练分割模型,并在几个评估数据集上实现最先进的(SotA)性能,用于无监督的显著目标检测和分割。在无监督的单对象发现中,MOVE比SotA平均提高了7.2%的CorLoc,在无监督的类无关目标检测中,它平均提高了53%的相对AP。我们的方法建立在自监督特征(例如来自DINO或MAE),修复网络(基于掩码自编码器)和对抗训练的基础上。
2022-10-20 cs.AI cs.CV cs.LG
Task-aligned Part-aware Panoptic Segmentation through Joint Object-Part Representations
Eindhoven University of Technology(埃因霍温理工大学)
针对部件级预测未关联父对象导致学习目标与PPS任务不一致的问题,本文提出TAPPS,利用共享查询联合建模对象与部件表示,显著提升性能并达到新SOTA。
2024-06-14 cs.CV
Video Object Segmentation using Tracked Object Proposals
Visualead
我们在DAVIS 2017挑战赛的背景下提出了一种半监督视频对象分割的方法。我们的方法结合了基于类别的目标检测,类别无关的对象外观分割和时间对象跟踪。我们的动机是这样一个事实,即对象的语义类别往往不会改变整个视频,而它的外观和位置可以有很大的变化。为了捕获独立于其类别的特定对象外观,对于每个视频,我们使用给定注释帧的增强来训练完全卷积网络。我们改进的外观分割掩模与语义目标检测网络提供的边界框,如果适用,或由以前的帧预测。通过在检测到的盒子上引入时间连续性约束,我们能够改进外观网络的对象分割掩码,并在DAVIS数据集上获得有竞争力的结果。
2017-07-20 cs.CV
Exploring Transfer Learning in Medical Image Segmentation using Vision-Language Models
Naamii(纳米机构)
该研究首次系统探索视觉语言分割模型向2D医学图像的迁移,通过11个多模态数据集实验发现其微调后性能与纯图像模型相当,但未充分利用语言提示信息,需新方法挖掘语言辅助信息价值。
2024-06-20 cs.AI cs.CL cs.CV
Segmentation from Natural Language Expressions
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
在本文中,我们将探讨新的问题分割的图像的基础上的自然语言表达。这与在预定义的语义类集合上的传统语义分割不同,例如,短语“两个人坐在右边的长凳上”要求只分割右边长凳上的两个人,而没有人站在或坐在另一个长凳上。适用于此任务的先前方法限于一组固定的类别和/或矩形区域。为了对语言表达进行逐像素分割,我们提出了一种端到端可训练的递归和卷积网络模型,该模型可以联合学习处理视觉和语言信息。在我们的模型中,使用递归LSTM网络将参考表达式编码为向量表示,并使用完全卷积网络从图像中提取空间特征图并输出目标对象的空间响应图。我们在一个基准数据集上证明,我们的模型可以从自然语言表达中产生高质量的分割输出,并且大幅优于基线方法。
2016-03-20 cs.CV
DeepFH Segmentations for Superpixel-based Object Proposal Refinement
University of Hamburg(汉堡大学)
类无关对象建议生成是许多目标检测流水线中重要的第一步。然而,现代系统的对象建议在分割方面是相当不准确的,并且仅粗略地遵守对象边界。由于典型的细化步骤通常不适用于成千上万的建议,我们提出了一个基于超像素的细化系统的对象建议生成系统。利用深度特征上的精确超像素和超像素池,我们在端到端的学习系统中改进了初始的粗略建议。此外,我们提出了一种新的DeepFH分割,它丰富了经典的Felzenszwalb和Huttenlocher(FH)分割,具有深度特征,从而改善了分割结果和更好的对象建议细化。在带有LVIS注释的COCO数据集上,我们证明了我们基于DeepFH超像素的改进优于最先进的方法,并导致更精确的对象建议。
2021-08-07 cs.CV
The Second Place Solution for The 4th Large-scale Video Object Segmentation Challenge--Track 3: Referring Video Object Segmentation
Ant Group(蚂蚁集团);Northwestern Polytechnical University(西北工业大学);Tongji University(同济大学)
引用视频对象分割任务(RVOS)的目的是在所有视频帧中分割由语言表达式引用的给定视频中的对象实例。由于需要理解各个实例中的跨模态语义,因此这项任务比传统的半监督视频对象分割更具挑战性,在传统的半监督视频对象分割中,第一帧中的地面真实对象掩码被给定。随着Transformer在目标检测和目标分割方面的巨大成就,RVOS也取得了显著的进步,其中ReferFormer达到了最先进的性能。在这项工作中,基于强大的基线框架-ReferFormer,我们提出了几个技巧,以进一步提高,包括循环学习率,半监督的方法,和测试时增强推理。改进后的ReferFormer在CVPR 2022推荐Youtube-VOS挑战赛中排名第二。
2022-06-24 cs.CV cs.MM
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University(首尔国立大学)
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成,它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同,所提出的融合网络在原始分辨率下混合两个流,以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外,多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果,我们有一个像素级的概率分割图,它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分,我们最终获得视频序列的前景分割结果,而无需任何用户干预,即,我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能,也实现了近半监督的性能。
2019-12-03 cs.CV
FreeSeg: Free Mask from Interpretable Contrastive Language-Image Pretraining for Semantic Segmentation
全监督语义分割从密集掩码中学习,这需要对闭集进行大量注释。在本文中,我们使用自然语言作为监督没有任何像素级的注释开放世界分割。我们将所提出的框架称为FreeSeg,其中掩码可以从预训练模型的原始特征图中免费获得。与zero-shot或开集分割相比,FreeSeg不需要任何注释掩码,并且它广泛预测类别不可知的无监督分割之外的类别。具体地,FreeSeg从可解释对比图像预训练(ICLIP)的图像-文本相似性图(ITSM)中获得自由掩码。我们的核心改进是密集ICLIP的平滑最小池,部分标签和像素分割策略。此外,FreeSeg非常简单,没有复杂的设计,如分组,聚类或检索。除了简单性之外,FreeSeg的性能在很大程度上超过了以前的最先进水平,例如在相同设置下VOC数据集上的mIoU高出13.4%。
2022-12-14 cs.CV
Car Segmentation and Pose Estimation using 3D Object Models
Johns Hopkins University(约翰斯·霍普金斯大学)
图像分割和三维姿态估计是任何场景理解算法中的两个关键环节。然而,用于图像分割的最先进的基于CRF的模型主要依赖于2D对象模型来构造自上而下的高阶势。在本文中,我们提出了新的自上而下的潜力的图像分割和姿态估计的基础上的形状和体积的三维物体模型。我们表明,这些复杂的自上而下的潜力,可以很容易地分解成标准的形式,在分割和姿态估计任务的有效推理。在汽车数据集上的实验表明,分割的知识有助于更好地执行姿态估计,反之亦然。
2016-06-17 cs.CV
SegFlow: Joint Learning for Video Object Segmentation and Optical Flow
Tsinghua University(清华大学);University of California, Merced(加州大学默塞德分校)
本文提出了一种端到端的可训练网络SegFlow,用于同时预测视频中的逐像素对象分割和光流。提出的SegFlow有两个分支,其中对象分割和光流的有用信息在一个统一的框架中双向传播。分割分支是基于一个完全卷积网络,这已被证明是有效的图像分割任务,和光流分支利用FlowNet模型。统一框架迭代地离线训练以学习通用概念,并针对特定对象进行在线微调。在视频对象分割和光流数据集上进行的大量实验表明,引入光流提高了分割的性能,反之亦然,对最先进的算法。
2017-09-20 cs.CV
Object-Guided Instance Segmentation With Auxiliary Feature Refinement for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
实例分割在许多生物学应用中具有重要意义,如神经细胞相互作用的研究、植物表型分析以及定量测量细胞对药物处理的反应等。本文提出了一种新的基于框的实例分割方法。基于框的实例分割方法通过边界框捕获对象,然后在每个限界框区域内执行单独的分割。然而,现有的方法很难区分目标从它的相邻物体在同一个限界框区域内,由于它们的相似的纹理和低对比度的边界。针对这一问题,本文提出了一种基于对象引导的实例分割方法。我们的方法首先检测对象的中心点,然后预测的限界框参数。为了执行分割,对象引导的粗到细分割分支与检测分支一起构建。分割分支重用对象特征作为指导,以将目标对象与同一限界框区域内的相邻对象分离。为了进一步提高分割质量,我们设计了一个辅助特征细化模块,该模块在边界区域中密集采样和细化逐点特征。在三个生物图像数据集上的实验结果证明了该方法的优越性。该代码将在https://github.com/yijingru/ObjGuided-Instance-Segmentation上提供。
2021-06-14 cs.CV
SOS: Segment Object System for Open-World Instance Segmentation With Object Priors
University of Hamburg(汉堡大学)
针对开放世界实例分割中泛化能力弱和精度低的问题,提出SOS方法。该方法利用自监督ViT的自注意力图作为对象先验提示SAM生成高质量伪标注,进而训练标准实例分割系统,在多个数据集上展现出强泛化能力且精度大幅提升。
2024-09-22 cs.CV
Towards Universal Vision-language Omni-supervised Segmentation
Harbin Institute of Technology(哈尔滨工业大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
现有的开放世界通用分割方法通常利用CLIP和预先计算的提案掩码将开放世界分割任务视为提案分类。然而,1)这些工作不能以端到端的方式处理通用分割,以及2)全景数据集的有限规模限制了事物类上的开放世界分割能力。在本文中,我们提出了视觉语言全监督分割(VLOSS)。VLOSS从带有CLIP文本编码器的Mask 2Former通用分割框架开始。为了提高开放世界分割能力,我们利用全监督数据(即,全景分割数据、目标检测数据和图像-文本对数据)进行训练,从而丰富了开放世界分割能力并实现了更好的分割精度。为了更好地提高训练效率,充分释放全监督数据的力量,我们提出了几种先进的技术,即,FPN风格的编码器,可切换的训练技术和正分类损失。受益于端到端的训练方式与所提出的技术,VLOSS可以应用于各种开放世界的分割任务,而无需进一步调整。在不同的开放世界全景和实例分割基准上的实验结果证明了VLOSS的有效性。值得注意的是,在参数较少的情况下,我们使用Swin-Tiny主干的VLOSS在LVIS v1数据集上的掩码AP方面超过MaskCLIP约2%。
2023-03-12 cs.CV
Track to Detect and Segment: An Online Multi-Object Tracker
SUNY Buffalo(纽约州立大学布法罗分校);TJU(天津大学);Horizon Robotics
大多数在线多目标跟踪器在没有来自跟踪的任何输入的情况下在神经网络中独立地执行目标检测。在本文中,我们提出了一个新的在线联合检测和跟踪模型,TRADES(TRAck到DEtect和段),利用跟踪线索,以协助检测端到端。TraDeS通过成本量推断对象跟踪偏移,该成本量用于传播先前的对象特征以改进当前目标检测和分割。TraDeS在MOT(2D跟踪)、nuScenes(3D跟踪)、MOTS和Youtube-VIS(实例分割跟踪)4个数据集上的有效性和优越性得到了验证。项目页面:https://jialianwu.com/projects/TraDeS.html。
2021-03-16 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.(谷歌公司);RWTH Aachen University(亚琛工业大学);UCLA(加利福尼亚大学洛杉矶分校)
在这项工作中,我们解决的问题,实例分割,同时解决目标检测和语义分割的任务。为了实现这一目标,我们提出了一个模型,称为MaskLab,它产生三个输出:框检测,语义分割和方向预测。在Faster-RCNN对象检测器的基础上,预测框提供了对象实例的准确定位。在每个感兴趣的区域内,MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象,包括背景,而方向预测,估计每个像素的方向,其相应的中心,允许分离相同的语义类别的实例。此外,我们还探讨了将最近成功的分割和检测方法(即atrous卷积和hypercolumn)结合起来的效果。我们提出的模型进行评估的COCO实例分割基准,并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
Concealed Object Segmentation with Hierarchical Coherence Modeling
Sun Yat-sen University(中山大学);Ocean University of China(中国海洋大学);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
针对隐藏目标分割在极端场景下结果不完整的问题,提出HCM分割器,通过阶段内与跨阶段一致性建模及可逆重校准解码器提升完整性,并在三类任务上验证有效。
2024-01-22 cs.CV
Unsupervised Multi-object Segmentation Using Attention and Soft-argmax
我们引入了一种新的架构,用于无监督的以对象为中心的表示学习和多目标检测和分割,它使用一个投影等变注意力机制来预测场景中存在的对象的坐标,并将特征向量与每个对象相关联。Transformer编码器处理遮挡和冗余检测,卷积自动编码器负责背景重建。我们表明,这种架构显着优于复杂的合成基准的最先进的。
2022-08-31 cs.CV
A Comprehensive Review of Modern Object Segmentation Approaches
The Home Depot(家得宝公司);Indeed, Inc.(Indeed公司);Amazon.com, Inc.(亚马逊公司)
图像分割是将图像中的像素与它们各自的对象类别标签相关联的任务。它在许多行业都有广泛的应用,包括医疗保健,运输,机器人,时尚,家居装修和旅游。已经开发了许多基于深度学习的方法用于图像级对象识别和像素级场景理解-后者需要对具有大量对象的场景进行更密集的注释。图像分割任务的扩展包括3D和视频分割,其中体素、点云和视频帧的单元被分类为不同的对象。我们使用“对象分割”来指代这些分割任务的联合。在这本专著中,我们调查了传统和现代的对象分割方法,比较了它们的优点,缺点和实用程序。我们详细研究了近年来开发的各种基于深度学习的分割技术,对广泛使用的数据集和评估指标进行了回顾,并讨论了未来潜在的研究方向。
2023-01-13 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente(特文特大学);Wuhan University(武汉大学)
近年来,视频对象分割(VOS),即从背景中分割出前景对象的任务,受到了相当大的关注。在本文中,我们提出了一个端到端的可训练深度神经网络,卷积门控递归Mask-RCNN,用于解决半监督VOS任务。我们利用实例分割网络(Mask-RCNN)和视觉记忆模块(Conv-GRU)来处理VOS任务。实例分割网络为实例预测掩模,而视觉记忆模块学习同时为多个实例选择性地传播信息,处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后,我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
OpenMaskDINO3D : Reasoning 3D Segmentation via Large Language Model
Wuhan University(武汉大学)
本文提出OpenMaskDINO3D,一个基于大语言模型的3D推理分割框架,通过SEG token和对象标识符直接从自然语言指令生成高精度点云实例分割掩码,并在ScanNet数据集上验证了其有效性。
2025-06-05 cs.CV
DetectFusion: Detecting and Segmenting Both Known and Unknown Dynamic Objects in Real-time SLAM
Keio University(庆应义塾大学);Graz University of Technology(格拉茨工业大学);VRVis Research Center(VRVis研究中心)
我们提出了DetectFusion,一个RGB-D SLAM系统,该系统实时的【形】运行,可以鲁棒地处理语义已知和未知的对象,可以动态地在场景中移动。我们的系统检测,分割和分配语义类标签的场景中的已知对象,同时跟踪和重建它们,即使它们在单目摄像机前独立移动。与相关工作相比,本文提出了一种结合二维目标检测和三维几何分割的新方法,实现了语义实例分割的实时的【形】计算性能。此外,我们提出了一种方法来检测和分割的语义未知的对象的运动,从而进一步提高相机跟踪和地图重建的准确性。我们表明,我们的方法在定位和对象重建精度方面与以前的工作相当或更好,即使在每帧中分割对象,也能达到约20 FPS。
2019-07-22 cs.CV
CPSeg: Finer-grained Image Semantic Segmentation via Chain-of-Thought Language Prompting
University of Copenhagen(哥本哈根大学)
本文提出CPSeg框架,通过思维链语言提示融合图像关联文本信息,并构建FloodPrompt视觉-语言数据集,以提升洪水场景下更细粒度的图像语义分割性能。
2023-10-26 cs.CV
A Language-Guided Benchmark for Weakly Supervised Open Vocabulary Semantic Segmentation
Indian Institute of Technology(印度理工学院)
越来越多的注意力被转移到数据高效的问题设置,如开放词汇语义分割(OVSS),它处理分割在训练过程中可能会或可能不会看到的任意对象。与OVSS相关的最接近的标准问题是Zero-Shot和Few-Shot Segmentation(ZSS,FSS)及其跨数据集变体,其中需要零到很少的注释来分割新的类。现有的FSS和ZSS方法利用完全监督的像素标记的可见类来分割不可见类。像素级标签很难获得,使用廉价的图像级标签形式的弱监督通常更实用。为此,我们提出了一种新的统一的弱监督OVSS管道,可以在新的类上执行ZSS,FSS和跨数据集分割,而无需在归纳设置中使用基础(可见)或新(不可见)类的像素级标签。我们提出了弱监督语义引导分割网络(WLSegNet),这是一种新型的语言引导分割管道,i)使用批量聚合(平均值)学习可概括的上下文向量,以使用冻结CLIP(一种视觉语言模型)将类提示映射到图像特征,ii)将弱ZSS/FSS转换为弱语义分割和Zero-Shot分割。学习的上下文向量避免了在训练期间对已看到的类的过拟合,并且在测试期间更好地转移到新的类。WLSegNet避免了在训练过程中进行微调和使用外部数据集。所提出的流水线在PASCAL VOC上分别以39和3 mIOU点击败了用于弱广义Zero-Shot和弱Few-Shot语义分割的现有方法,在MS COCO上以5 mIOU点击败了弱Few-Sho…
2023-02-27 cs.CV
Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation
Facebook AI(脸书人工智能研究院)
我们介绍了一种方法,同时分类,分割和跟踪对象实例的视频序列。我们的方法名为MaskProp,通过添加掩码传播分支将流行的Mask R-CNN适应视频,该分支将帧级对象实例掩码从每个视频帧传播到视频剪辑中的所有其他帧。这使得我们的系统能够预测剪辑级实例轨道相对于对象实例分割在中间帧的剪辑。剪辑级实例轨道生成密集的序列中的每一帧,最后聚合产生视频级对象的实例分割和分类。我们的实验表明,我们的剪辑级实例分割,使我们的方法在视频中的运动模糊和对象遮挡鲁棒。MaskProp在YouTube-VIS数据集上实现了最佳报告准确性,优于ICCV 2019年视频实例分割挑战赛冠军,尽管它更简单,使用的标记数据数量级更少(130万与1B图像和860 K与14 M边界框)。
2021-07-09 cs.CV
Uncertainty Aware Proposal Segmentation for Unknown Object Detection
George Mason University(乔治梅森大学)
最近在部署深度神经网络用于现实世界应用(例如自动驾驶)中的目标检测的努力假设在训练期间已经观察到所有相关的对象类。当测试数据未在训练集中表示时,量化这些模型在设置中的性能主要集中在针对语义分割训练的模型的像素级不确定性估计技术上。本文提出了利用额外的预测的语义分割模型和量化其置信度,其次是分类的对象假设为已知与未知,分布对象。我们使用区域建议网络(RPN)生成的对象建议和适应距离感知不确定性估计的语义分割使用径向基函数网络(RBFN)的类无关对象掩码预测。然后,使用增强的对象建议来训练已知对象类别与未知对象类别的分类器。实验结果表明,该方法在未知目标检测方面达到了与现有方法并行的性能,并能有效降低目标检测器的误报率。我们的方法是非常适合的应用程序中获得的语义分割的非对象背景类别的预测是可靠的。
2021-11-25 cs.CV
Learning Video Object Segmentation from Static Images
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Disney Research(迪士尼研究院);ETH Zurich(苏黎世联邦理工学院)
受深度学习在实例分割和对象跟踪方面的最新进展的启发,我们引入视频对象分割问题作为引导实例分割的概念。我们的模型在每帧的基础上进行,由前一帧的输出引导到下一帧中的感兴趣对象。我们证明,可以通过使用仅用静态图像训练的convnet来实现视频中的高精度对象分割。我们的方法的关键成分是离线和在线学习策略的组合,其中前者用于从先前的帧估计产生精细的掩模,后者允许捕获特定对象实例的外观。我们的方法可以处理不同类型的输入注释:边界框和段,以及合并多个注释帧,使系统适合于不同的应用程序。我们在三个不同的数据集上获得了竞争结果,独立于输入注释的类型。
2016-12-08 cs.CV
Image Segmentation of Multi-Shaped Overlapping Objects
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
在这项工作中,我们提出了一种新的分割算法,包含凸对象存在于多个形状的高度重叠的图像。该算法分两步进行,首先识别可见轮廓,使用凹点分割它们,最后将属于同一对象的段分组。下一步是为这些分组的轮廓段分配形状标识。对于包含多个形状的对象的图像,我们首先识别轮廓的形状类,然后将形状实体分配给这些类。我们提供了一个全面的实验,我们的算法在两个晶体图像数据集。一个数据集包括包含彼此重叠的多个形状的对象的图像,另一个数据集包含具有以单个形状存在的对象的标准图像。我们测试我们的算法对两个基线,我们提出的算法优于这两个基线。
2017-11-06 cs.CV
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology(大连理工大学)
随着水下目标抓取技术的发展,对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置,无法给出物体的轮廓等更详细的信息,严重影响抓取效率。为了解决这个问题,我们标记并建立了第一个真实场景的水下语义分割数据集(DUT-USEG:DUT Underwater Segmentation Dataset)。DUT- USEG数据集包括6617幅图像,其中1487幅具有语义分割和实例分割注释,其余5130幅图像具有目标检测框注释。基于此数据集,我们提出了一个半监督的水下语义分割网络(US-Net:水下分割网络)的边界为重点。该网络通过设计伪标签生成器和边界检测子网络,实现了水下目标与背景边界的精细学习,提高了边界区域的分割效果。实验结果表明,该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%,达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
SGSeg: Enabling Text-free Inference in Language-guided Segmentation of Chest X-rays via Self-guidance
The University of Sydney(悉尼大学)
本文提出SGSeg自引导分割框架,通过定位增强报告生成模块在训练时利用语言引导、推理时无需文本,首次实现胸部X光片语言引导分割中的无文本推理,并在QaTa-COV19数据集上超越现有单模态方法、接近多模态方法性能。
2024-09-07 cs.CV
segDeepM: Exploiting Segmentation and Context in Deep Neural Networks for Object Detection
University of Toronto(多伦多大学)
在本文中,我们提出了一种方法,利用对象分割,以提高目标检测的准确性。我们框架的问题,在马尔可夫随机场的推理,其中每个检测假设得分对象的外观以及上下文信息使用卷积神经网络,并允许该假设选择和评分的一个大池的准确的对象分割建议的一段。这使得探测器能够在获得额外证据时将其纳入,从而导致更准确的探测。我们的实验显示,在PASCAL VOC 2010上,mAP比R-CNN基线提高了4.1%,比目前最先进的提高了3.4%,证明了我们方法的强大性。
2015-02-15 cs.CV
VIN: Voxel-based Implicit Network for Joint 3D Object Detection and Segmentation for Lidars
University of Michigan(密歇根大学)
提出了一种用于三维目标检测和点云分割的统一神经网络结构。我们利用检测和分割标签的丰富监督,而不是只使用其中之一。此外,基于3D场景和物体理解中广泛使用的隐函数,提出了一种基于单级目标检测器的扩展方法。扩展分支将来自目标检测模块的最终特征图作为输入,并产生隐式函数,该隐式函数为其对应的体素中心生成每个点的语义分布。我们在nuScenes-lidarseg(一个大型户外数据集)上展示了我们的结构的性能。我们的解决方案在3D目标检测和点云分割方面都取得了与最先进的方法相比具有竞争力的结果,与目标检测解决方案相比,几乎没有额外的计算负载。通过实验验证了该方法的有效弱监督语义分割能力。
2021-11-13 cs.CV
Part2Object: Hierarchical Unsupervised 3D Instance Segmentation
School of Information Science and Technology(信息科学与技术学院);ShanghaiTech University(上海科技大学)
针对无监督3D实例分割中聚类松紧不当导致的分割误差问题,提出带物体引导的分层聚类方法Part2Object及配套的Hi-Mask3D模型,利用2D帧的3D物体性先验引导多层聚类,在多场景下取得优于现有最优模型的性能。
2024-07-14 cs.CV
Learning to Segment via Cut-and-Paste
Google(谷歌)
提出了一种弱监督的对象实例分割方法。从已知或预测的对象边界框开始,我们通过在对抗学习设置中玩剪贴游戏来学习对象遮罩。掩码生成器采用检测框和Faster R-CNN特征,并构造用于将对象剪贴到新图像位置的分割掩码。该工具试图区分真实的对象,以及通过生成器剪切和粘贴的对象,并提供一个学习信号,从而改进对象遮罩。我们使用Cityscapes,COCO和航空图像数据集实验验证了我们的方法,学习在训练中从未见过掩模的情况下分割对象。我们的方法超过了现有的弱监督方法的性能,而不需要手动调整段的建议,并达到90%的监督性能。
2018-03-16 cs.CV
Large-scale interactive object segmentation with human annotators
Google Research(谷歌研究院)
手动注释对象分割蒙版非常耗时。交互式对象分割方法提供了一种更有效的替代方案,其中人类注释者和机器分割模型协作。在本文中,我们对交互式分割做出了几项贡献:(1)我们在模拟中系统地探索了深度交互式分割模型的设计空间,并报告了新的见解和警告;(2)我们使用真实的人类注释器执行了大规模的注释活动,为OpenImages数据集上的250万个实例生成了掩码。我们计划公开发布这些数据,形成现有最大的实例分割数据集。此外,通过重新注释COCO数据集的一部分,我们表明我们可以比传统的多边形绘制工具快3倍地生成实例掩码,同时还提供更好的质量。(3)我们提出了一种技术,用于自动估计所产生的面具,利用间接的注释过程中的信号的质量。
2019-04-17 cs.CV
EAVL: Explicitly Align Vision and Language for Referring Image Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Science(中国科学院大学人工智能学院)
本文提出EAVL方法,通过引入Vision-Language Aligner在分割阶段使用动态卷积核显式对齐视觉与语言特征,在多个数据集上大幅超越现有方法,并可作为通用即插即用模块提升其他RIS模型性能。
2024-10-12 cs.CV
Vision-Language Transformer and Query Generation for Referring Segmentation
Nanyang Technological University(南洋理工大学)
在这项工作中,我们解决了具有挑战性的任务,指分割。参照分割中的查询表达式通常通过描述目标对象与其他对象的关系来指示目标对象。因此,要在图像中的所有实例中找到目标实例,模型必须对整个图像有一个整体的理解。为了实现这一点,我们重新制定参考分割作为一个直接关注的问题:寻找区域中的图像中的查询语言表达是最关注的。我们引入了Transformer和多头注意力来构建一个具有编码器-解码器注意力机制架构的网络,该架构可以用语言表达式“查询”给定的图像。此外,我们提出了一个查询生成模块,它产生多个集合的查询具有不同的注意力权重,代表了从不同方面的语言表达的多样化的理解。同时,为了从这些基于视觉线索的多样化理解中找到最好的方法,我们进一步提出了一个查询平衡模块来自适应地选择这些查询的输出特征,以更好地生成掩码。没有花里胡哨的东西,我们的方法是轻量级的,并在三个引用分割数据集RefCOCO、RefCOCO+和G-Ref上一致地实现了新的最先进的性能。我们的代码可以在https://github.com/henghuiding/Vision-Language-Transformer上找到。
2021-08-12 cs.CV
Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
视频对象分割(VOS)是视频对象跟踪的最高层次,已经取得了重大进展。虽然VOS任务可以自然地解耦为图像语义分割和视频对象跟踪,但在分割方面的研究工作要比跟踪多得多。在本文中,我们引入“跟踪检测”到VOS可以连贯地集成分割跟踪,提出了一种新的时间聚合网络和一种新的动态时间演化模板匹配机制,以实现显着提高性能。值得注意的是,我们的方法是完全在线的,因此适合一次性学习,我们的端到端可训练模型允许在一次向前传递中进行多个对象分割。我们在DAVIS基准测试中实现了最先进的性能,在速度和准确性方面都没有复杂的花里胡哨,每帧速度为0.14秒,J&F测量值分别为75.9%。
2020-07-11 cs.CV
Temporal Prompting Matters: Rethinking Referring Video Object Segmentation
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan(台湾国立台湾大学通信工程研究所);NVIDIA
本文提出Tenet框架,利用现成检测器与跟踪器生成时间提示,并通过提示偏好学习评估提示质量,以高效适应基础分割模型完成指称视频目标分割,在基准上验证了有效性。
2025-10-08 cs.CV
Language-guided Medical Image Segmentation with Target-informed Multi-level Contrastive Alignments
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);Institute of Translational Medicine, Shanghai Jiao Tong University(上海交通大学转化医学研究院);Zhongguancun Academy & Zhongguancun Institute of Artificial Intelligence, Beijing, China(北京中关村学院及中关村人工智能研究院);Department of Molecular Imaging, Royal Prince Alfred Hospital(皇家珀斯阿尔弗雷德医院分子成像部)
研究针对医学图像分割,提出目标感知多级对比对齐框架,通过引入目标敏感语义距离模块、多级对比对齐策略和语言引导目标增强模块,弥合图文模态差距,实现细粒度文本引导,实验证明性能优于现有方法。
2026-07-07 cs.CV
Object Detection Free Instance Segmentation With Labeling Transformations
University of California, San Diego(加州大学圣地亚哥分校)
实例分割在计算机视觉中引起了最近的关注,并且该领域中的现有方法大多具有目标检测阶段。在本文中,我们研究了实例分割问题的内在挑战,商空间的存在(交换不同实例的标签导致相同的结果),并提出了新的方法,是对象建议和目标检测免费。我们提出了三种替代方法,即基于像素的亲和映射,基于超像素的亲和学习,和基于边界的组件分割,都专注于执行标记变换,以应付商空间的问题。通过采用完全的卷积神经网络(FCN)模型,我们的框架在PASCAL数据集(以对象为中心)和Gland数据集(以纹理为中心)上都取得了有竞争力的结果,这是现有方法无法做到的。我们的工作也有其透明度,简单性和所有分割的优势。
2016-11-29 cs.CV
Object Boundary Guided Semantic Segmentation
语义分割是图像内容理解和目标定位的关键。全卷积神经网络(FCN)的最新发展使得能够进行精确的像素级标记。在以前的作品中的一个问题是,基于FCN的方法不利用对象边界信息来描绘分割细节,因为对象边界标签在网络训练中被忽略。为了解决这个问题,我们引入了一个双分支全卷积神经网络,它将学习所需的语义类标签与重新标记边界指导的掩码级对象建议分开。这个网络被称为对象边界引导的FCN(OBG-FCN),能够以完全卷积的方式将对象形状和类特征的不同属性与设计的掩蔽架构优雅地集成在一起。我们在PASCAL VOC分割基准上进行了实验,并表明端到端可训练的OBG-FCN系统在优化目标语义分割质量方面提供了很大的改进。
2016-07-06 cs.CV
TransCut: Transparent Object Segmentation from a Light-Field Image
Kyushu University(九州大学)
透明物体的分割在计算机视觉应用中非常有用。然而,由于它们从背景中借用纹理,并且与周围环境具有相似的外观,因此透明对象无法通过常规图像分割方法很好地处理。我们提出了一种方法,克服了这些问题,利用光场图像的一致性和失真特性。图割优化应用于像素标记问题。光场线性度用于估计像素属于透明对象或朗伯背景的可能性,并且遮挡检测器用于找到遮挡边界。我们获取透明物体的光场数据集,并使用该数据集来评估我们的方法。实验结果表明,该方法能够有效地将透明物体从背景中分割出来。
2015-11-21 cs.CV
The 2017 DAVIS Challenge on Video Object Segmentation
Disney Research(迪士尼研究院)
我们提出了2017年DAVIS视频对象分割挑战赛,这是一个专门为视频对象分割任务设计的公共数据集,基准和竞赛。继ILSVRC和PASCAL VOC等其他成功举措之后,DAVIS挑战赛在场景分类和语义分割领域建立了研究途径,包括数据集,评估方法和公开竞赛,并与CVPR 2017共同举办了一个专门的研讨会。DAVIS挑战赛是对最近出版的DAVIS(密集注释视频分割)的跟进,该杂志促进了几种新颖的最先进的视频对象分割技术的发展。在本文中,我们描述了基准的范围,突出了数据集的主要特征,定义了竞争的评估指标,并提出了一个详细的分析结果的参与者的挑战。
2018-03-01 cs.CV
EAGLE: Eigen Aggregation Learning for Object-Centric Unsupervised Semantic Segmentation
Yonsei University(延世大学)
EAGLE提出EiCue谱线索与以对象为中心的对比损失,学习对象级表示以解决无监督语义分割中块级特征缺乏对象语义编码的问题,并在多个数据集上取得最优结果。
2024-04-05 cs.CV