Semi-Supervised Temporal Action Detection with Proposal-Free Masking
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(讯飞-萨里人工智能联合研究中心);Surrey Institute for People-Centred Artificial Intelligence(萨里以人为本人工智能研究所)
现有的时间动作检测(Temporal Action Detection,简称TACT)方法依赖于大量的带有分段级注释的训练数据。因此,收集和注释这样的训练集是非常昂贵和不可扩展的。半监督视频编码(SS-SVM)通过利用大规模免费提供的未标记视频来解决这个问题。然而,SS-SVM也是一个比监督SVM更具挑战性的问题,因此研究得很多。现有的SS-SSL方法直接结合了现有的基于建议的SSL方法和SSL方法。由于它们的顺序定位(例如,提案生成)和分类设计,它们很容易发生提案错误传播。为了克服这一局限性,在这项工作中,我们提出了一种新的半监督时间动作检测模型的基础上PropOsal免费时间掩模(SPOT)与并行定位(掩模生成)和分类架构。这种新颖的设计有效地消除了定位和分类之间的依赖性,切断了错误传播的路线之间。我们进一步引入了分类和定位之间的交互机制,用于预测细化,以及用于自监督模型预训练的新借口任务。两个标准的基准测试的广泛实验表明,我们的SPOT优于国家的最先进的替代品,往往是一个很大的保证金。SPOT的PyTorch实现可在https://github.com/sauradip/SPOT上获得
2022-07-14 cs.AI cs.CV cs.LG
Audit After Segmentation: Reference-Free Mask Quality Assessment for Language-Referred Audio-Visual Segmentation
MBZUAI;National University of Singapore(国立新加坡大学);Fudan University(复旦大学)
本研究提出 MQA-RefAVS 任务,通过多模态大语言模型评估语言指代音频视频分段中掩码质量,提升分割准确性与可解释性。
2026-02-03 cs.AI cs.CV cs.LG
Evaluating Novel Mask-RCNN Architectures for Ear Mask Segmentation
Howard University(霍华德大学)
人耳通常是通用的、可收集的、独特的和永久的。基于耳朵的生物识别是一个利基和最近的方法,正在探索。为了使任何基于耳朵的生物识别算法表现良好,需要准确地执行耳朵检测和分割。虽然在现有的文献中已经针对边界框做了大量的工作,但是缺乏方法输出用于耳朵的分割掩模。本文在四个不同的数据集上训练并比较了三个新模型与最先进的MaskRCNN(ResNet 101 +FPN)模型。报告的平均精度(AP)评分显示,较新的模型优于最先进的模型,但没有一个模型在多个数据集上表现最好。
2022-11-05 cs.AI cs.CV
GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
Stanford University(斯坦福大学);Tsinghua University(清华大学)
本文提出了一种新的用于点云数据实例分割的三维物体建议方法--生成形状建议网络(GSPN)。而不是把对象的建议作为一个直接的限界框回归问题,我们采取的分析合成策略,并生成建议重建的形状从嘈杂的观察场景。我们将GSPN到一个新的三维实例分割框架命名为基于区域的PointNet(R-PointNet),它允许灵活的建议细化和实例分割生成。我们在几个3D实例分割任务上实现了最先进的性能。GSPN的成功很大程度上来自于它强调对象建议过程中的几何理解,这大大减少了低对象性的建议。
2018-12-08 cs.CV
Adapting Mask-RCNN for Automatic Nucleus Segmentation
University of New Hampshire(新罕布什尔大学)
显微图像的自动分割是医学图像处理和分析中的一项重要任务。细胞核检测是这项任务的一个重要例子。Mask-RCNN是最近提出的用于自然图像的目标检测、对象定位和对象实例分割的最先进算法。在本文中,我们证明了Mask-RCNN可以用于对各种条件下获得的各种细胞进行高效和高效的细胞核显微镜图像自动分割。
2018-05-01 cs.CV cs.LG
Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院)
无监督语义分割的任务旨在将像素聚类成语义上有意义的组。具体来说,分配给同一个集群的像素应该共享高级语义属性,如它们的对象或部件类别。本文介绍了MaskDistill:一个新的框架,无监督的语义分割的基础上的三个关键思想。首先,我们提倡一种数据驱动的策略来生成对象掩码,作为语义分割的像素分组之前。这种方法省略了手工制作的先验,这些先验通常是为特定的场景组合而设计的,并且限制了竞争框架的适用性。其次,MaskDistill对对象掩码进行聚类,以获得用于训练初始对象分割模型的伪地面实况。第三,我们利用这个模型来过滤掉低质量的对象掩码。这种策略减轻了我们的像素分组之前的噪声,并导致一个干净的收集的面具,我们使用训练最终的分割模型。通过结合这些组件,我们可以大大优于以前的工作,无监督语义分割的PASCAL(+11% mIoU)和COCO(+4%掩码AP50)。有趣的是,与现有的方法相反,我们的框架不依赖于低级别的图像线索,也不限于以对象为中心的数据集。将提供代码和模型。
2022-06-13 cs.CV cs.LG
Using Segmentation Masks in the ICCV 2019 Learning to Drive Challenge
Columbia University(哥伦比亚大学)
在这项工作中,我们预测车辆的速度和转向角给定的摄像机图像帧。我们的主要贡献是使用外部预训练的神经网络进行分割。我们用它们的分割掩码和镜像来增强原始图像。我们集成了三种不同的神经网络模型:(i)使用单个图像及其分割掩码的CNN,(ii)将图像序列和分割掩码作为输入的堆栈CNN,以及(iii)双向GRU,使用预训练的ResNet 34,DenseNet 121和我们自己的CNN单个图像模型提取图像特征。我们在MSE角度和整体性能方面取得了第二好的成绩,赢得了ICCV学习驾驶挑战赛的第二名。我们公开我们的模型和代码。
2019-10-23 cs.CV cs.LG
DeepFH Segmentations for Superpixel-based Object Proposal Refinement
University of Hamburg(汉堡大学)
类无关对象建议生成是许多目标检测流水线中重要的第一步。然而,现代系统的对象建议在分割方面是相当不准确的,并且仅粗略地遵守对象边界。由于典型的细化步骤通常不适用于成千上万的建议,我们提出了一个基于超像素的细化系统的对象建议生成系统。利用深度特征上的精确超像素和超像素池,我们在端到端的学习系统中改进了初始的粗略建议。此外,我们提出了一种新的DeepFH分割,它丰富了经典的Felzenszwalb和Huttenlocher(FH)分割,具有深度特征,从而改善了分割结果和更好的对象建议细化。在带有LVIS注释的COCO数据集上,我们证明了我们基于DeepFH超像素的改进优于最先进的方法,并导致更精确的对象建议。
2021-08-07 cs.CV
Detector Algorithms of Bounding Box and Segmentation Mask of a Mask R-CNN Model
BSN iNet Co. Ltd.(BSN iNet有限公司);Tokyo National Museum(东京国立博物馆)
评估了Mask R-CNN模型的限界框和分割掩码输出的检测性能。边界框和分割模板的检测性能存在显着差异,前者始终优于后者。线性裂缝、接缝、填充和阴影的精确度和召回率的调和值在分割遮罩中明显低于边界框。其他类别显示出类似的谐波值。讨论了边界框和分割模板检测度量的不同性能,重点讨论了两种检测器的检测算法。
2020-10-26 cs.CV
MSN: Efficient Online Mask Selection Network for Video Instance Segmentation
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在这项工作中,我们提出了一种新的解决方案,视频实例分割(VIS),即自动生成实例级分割掩模以及对象类和跟踪他们在视频中。我们的方法提高了掩模从分割和传播分支在一个在线的方式使用掩模选择网络(MSN),从而限制了噪声积累在掩模跟踪。我们提出了一个有效的设计MSN使用补丁为基础的卷积神经网络。该网络能够区分掩码之间非常细微的差异,并准确地从相关掩码中选择更好的掩码。此外,我们利用时间的一致性和处理的视频序列中的前向和反向的方式作为后处理步骤,以恢复丢失的对象。所提出的方法可以用来适应任何视频对象分割方法的任务VIS。我们的方法在2021 YouTube-VIS Challenge中取得49. 1 mAP的成绩,并在30多个全球团队中排名第三。我们的代码将在https://github.com/SHI-Labs/Mask-Selection-Networks上提供。
2021-06-19 cs.CV cs.LG
Moondream Segmentation: From Words to Masks
M87 Labs, San Francisco, CA, USA(M87实验室,美国加利福尼亚州旧金山)
月梦分割基于Moondream 3扩展,通过自回归解码生成掩码并迭代优化,引入强化学习阶段提升分割精度,实现RefCOCO和LVIS数据集的高精度分割结果。
2026-04-03 cs.AI cs.CV
Refer to Any Segmentation Mask Group With Vision-Language Prompts
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe
本文提出全模态指称表达分割任务及RAS框架,通过掩码中心多模态模型增强分割,创建数据集并验证其在ORES、RES和GRES任务上的优越性能。
2025-10-17 cs.AI cs.CV
MaskRange: A Mask-classification Model for Range-view based LiDAR Segmentation
University of Macau(澳门大学)
基于距离视图的LiDAR分割方法由于其直接继承于高效的2D CNN架构而对于实际应用是有吸引力的。在文献中,大多数基于距离视图的方法遵循每像素分类范例。最近,在图像分割领域,另一种范式制定分割作为一个掩码分类问题,并取得了显着的性能。这就提出了一个有趣的问题:掩模分类范例是否有利于基于距离视图的LiDAR分割,并比对应的逐像素范例实现更好的性能?为了回答这个问题,我们提出了一个统一的掩模分类模型,MaskRange,基于距离视图的激光雷达语义和全景分割。随着新的范例,我们还提出了一种新的数据增强方法来处理过拟合,上下文依赖,类不平衡的问题。在SemanticKITTI基准上进行了大量的实验。在所有已发表的基于距离视图的方法中,我们的MaskRange在语义分割上使用$66.10$ mIoU实现了最先进的性能,并且在全景分割上使用$53.10$ PQ实现了高效的有希望的结果。我们的代码将被释放。
2022-06-24 cs.CV
Maskomaly:Zero-Shot Mask Anomaly Segmentation
ETH Zurich(苏黎世联邦理工学院)
本研究提出无需额外训练、不用异常数据的零样本掩码异常分割框架Maskomaly,通过推理后处理实现,在多个基准上取得顶尖结果,并提出新的评估指标。
2023-08-25 cs.CV
MaskPlus: Improving Mask Generation for Instance Segmentation
Northwestern University(西北大学)
实例分割是计算机视觉中一个有前途但又具有挑战性的课题。最近的方法,如Mask R-CNN,通常将这个问题分为两个部分-检测组件和掩码生成分支,并且主要集中在检测部分的改进上。在本文中,我们提出了一种方法,该方法使用五种新的优化技术来扩展Mask R-CNN,以改进掩码生成分支并减少训练中掩码分支和检测组件之间的冲突。这五种技术相互独立,可以灵活地用于构建各种实例分割体系结构,以提高整体精度。我们证明了我们的方法的有效性与COCO数据集上的测试。
2019-09-27 cs.CV
A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting
INSAIT;Google DeepMind(谷歌DeepMind)
提出基于稳定扩散的潜在扩散方法,简化全景分割架构,无需复杂模块,通过两步训练实现掩膜修复,在COCO和ADE20k上表现优异,并支持多任务。
2024-07-16 cs.CV cs.LG
MaskAttn-UNet: A Mask Attention-Driven Framework for Universal Low-Resolution Image Segmentation
University of Southern California(南加州大学);The University of British Columbia(不列颠哥伦比亚大学)
本文提出MaskAttn-UNet框架,通过掩码注意力机制增强U-Net,在128x128低分辨率输入下以更低计算成本实现与最先进方法相当的语义、实例和全景分割性能。
2025-05-07 cs.CV cs.LG eess.IV
Few-shot semantic segmentation via mask aggregation
Wuhan University(武汉大学)
Few-Shot语义分割的目标是识别只有很少的标记数据的新类。这个具有挑战性的任务需要挖掘查询图像和支持图像之间的相关关系。以前的作品通常将其视为像素分类问题。因此,已经设计了各种模型来探索查询图像和支持图像之间的像素的相关性。然而,它们只关注像素对应,而忽略了对象的整体相关性。在本文中,我们介绍了一种基于掩码的分类方法来解决这个问题。提出了一种简单的掩模分类模型--掩模聚合网络(MANET),用于同时生成固定数量的掩模及其成为目标的概率。然后,通过根据它们的位置聚合所有掩模来获得最终的分割结果。在PASCAL-5^i和COCO-20^i数据集上的实验表明,该方法的性能优于现有的基于像素的方法。这种有竞争力的性能证明了掩模分类作为Few-Shot语义分割中的替代基线方法的潜力。我们的源代码将在https://github.com/TinyAway/MANet上提供。
2022-02-15 cs.AI cs.CV
Meta Mask Correction for Nuclei Segmentation in Histopathological Image
Xi’an Jiao tong University(西安交通大学);The First Affiliated Hospital of Xi’an Jiaotong University(西安交通大学第一附属医院)
细胞核分割是数字病理学分析中的基本任务,并且可以通过基于深度学习的方法来自动化。然而,这种自动化方法的发展需要大量的数据与精确注释的掩模,这是很难获得的。使用弱标记数据进行训练是减少标注工作量的一种流行解决方案。在本文中,我们提出了一种新的基于元学习的细胞核分割方法,该方法遵循标签校正范式,以利用带有噪声掩模的数据。具体来说,我们设计了一个完全传统的元模型,可以使用少量的干净的元数据来纠正噪声掩模。然后,可以使用校正的掩模来监督分割模型的训练。同时,采用双层优化方法,以端到端的方式交替更新主分割模型和元模型参数。在两个核分割数据集上的大量实验结果表明,该方法达到了最先进的效果。它甚至可以在一些噪声环境中对监督数据进行模型训练,从而实现相当的性能。
2021-11-24 cs.AI cs.CV
Prompt-Guided Mask Proposal for Two-Stage Open-Vocabulary Segmentation
Adobe(奥多比公司);Amazon(亚马逊公司);ByteDance(字节跳动公司)
针对两阶段开放词汇分割中掩码提议易缺失目标的问题,提出提示引导掩码提议PMP方法,通过文本-查询交叉注意力生成对齐提示的掩码,在五个基准上较现有两阶段模型mIOU提升1%~3%,泛化性优异。
2024-12-13 cs.CV
Proposal-free Lidar Panoptic Segmentation with Pillar-level Affinity
The Johns Hopkins University(约翰斯·霍普金斯大学);Motional
我们提出了一个简单而有效的激光雷达全景分割的无建议架构。我们共同优化语义分割和类不可知的实例分类在一个单一的网络使用基于支柱的鸟瞰图表示。实例分类头学习柱之间的成对亲和力,以确定柱是否属于同一实例。我们进一步提出了一个局部聚类算法,通过合并语义分割和亲和度预测来传播实例id。我们在nuScenes数据集上的实验表明,我们的方法优于以前的无建议方法,并且与基于建议的方法相当,后者需要额外的目标检测注释。
2022-04-19 cs.CV
Towards Map-Based Validation of Semantic Segmentation Masks
Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Volkswagen Group Automation(大众汽车集团自动化公司)
用于自动驾驶的人工智能必须满足对安全性和鲁棒性的严格要求。我们建议不仅使用给定的地面真值标签,而且还使用额外的先验知识来验证自动驾驶车辆的机器学习模型。特别是,我们建议使用给定的街道地图数据来验证语义分割掩码中的可行驶区域。我们提出的第一个结果,这表明,预测误差可以发现基于地图的验证。
2020-11-26 cs.AI cs.CV
Mask DINO: Towards A Unified Transformer-based Framework for Object Detection and Segmentation
The Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);International Digital Economy Academy (IDEA)(国际数字经济研究院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
在本文中,我们提出了面具DINO,一个统一的目标检测和分割框架。Mask DINO扩展了DINO(DETR with Improved Denoising Anchor Boxes),增加了一个支持所有图像分割任务(实例、全景和语义)的掩码预测分支。它利用DINO的查询嵌入来点积一个高分辨率的像素嵌入图来预测一组二进制掩码。DINO中的一些关键组件通过共享架构和培训过程进行了扩展。Mask DINO简单,高效,可扩展,并且可以从联合大规模检测和分割数据集中受益。我们的实验表明,Mask DINO在ResNet-50主干和SwinL主干的预训练模型上的性能明显优于所有现有的专业分割方法。值得注意的是,Mask DINO在10亿个参数下的模型中建立了迄今为止在实例分割(COCO上为54.5 AP)、全景分割(COCO上为59.4 PQ)和语义分割(ADE 20 K上为60.8 mIoU)方面的最佳结果。代码可在\url{https://github.com/IDEACVR/MaskDINO}上获得。
2022-12-12 cs.CV
XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation
Tsinghua University(清华大学)
XMask3D提出跨模态掩码推理框架,利用预训练扩散模型的去噪UNet生成具有3D几何感知的2D掩码,实现掩码级3D-2D-文本对齐,提升开放词汇3D语义分割性能。
2024-11-20 cs.AI cs.CV
Mask Propagation Network for Video Object Segmentation
ByteDance AI Lab(字节跳动人工智能实验室)
在这项工作中,我们提出了一个掩码传播网络来处理视频分割问题的指导实例分割的概念。与大多数基于MaskTrack的视频分割方法类似,该方法将前一帧的掩码概率图和当前帧的外观作为输入,并预测当前帧的掩码概率图。具体来说,我们采用基于Xception主干的DeepLab v3+模型作为预测管道中的概率图预测器。此外,我们的网络采用实例的感兴趣区域和由前一帧和当前帧之间的光流扭曲的新掩模概率作为输入,而不是完整图像和原始掩模概率。我们还集成了修改后的One-Shot视频分割网络来进行最终预测,以便检索和分割丢失的实例。
2018-10-24 cs.CV
Learning Segmentation Masks with the Independence Prior
Shanghai University(上海大学);Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院)
具有错误蒙版的实例可能会使使用它的合成图像看起来像假的。这鼓励我们通过生成逼真的合成图像来学习分割。为了实现这一目标,我们提出了一个新的框架,该框架利用了一个新提出的先验,称为基于生成对抗网络(GANs)的独立先验。该生成器使用多个特定于类别的实例提供程序、布局模块和合成模块生成图像。首先,每个提供者独立地输出具有软掩模的类别特定的实例图像。然后,提供的实例的姿态校正的布局模块。最后,合成模块将这些实例组合成最终图像。通过对抗性损失和掩码区域惩罚的训练,每个提供者学习一个尽可能小但足以覆盖完整类别特定实例的掩码。弱监督语义分割方法广泛使用分组线索来建模图像部分之间的关联,这些分组线索是人工设计的或使用昂贵的分割标签学习的,或者仅在局部对上建模。与它们不同的是,我们的方法自动建模任何部分之间的依赖关系,并学习实例分割。我们在两种情况下应用我们的框架:(1)具有框级注释的特定类别图像上的前景分割。(2)无监督学习的实例外观和面具,只有一个图像的同质对象集群(HOC)。我们在这两个任务中得到了吸引人的结果,这表明独立先验对于实例分割是有用的,并且可以仅用一幅图像无监督地学习实例掩码。
2018-11-13 cs.CV cs.LG
Mask-Adapter: The Devil is in the Masks for Open-Vocabulary Segmentation
School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院)
本文提出Mask-Adapter,通过从候选掩码提取语义激活图并引入掩码一致性损失,解决开放词汇分割中掩码池化的分类性能局限,以即插即用方式提升多种方法的零样本分割精度。
2025-03-10 cs.CV
Sim4Seg: Boosting Multimodal Multi-disease Medical Diagnosis Segmentation with Region-Aware Vision-Language Similarity Masks
Lingran Song, Yucheng Zhou, Jianbing Shen(作者)
本文提出医学诊断分割任务及M3DS数据集,并设计Sim4Seg框架,利用区域感知视觉-语言相似性掩码和测试时扩展策略,同时提升多模态多疾病医学图像的分割与诊断性能。
2025-11-10 cs.AI cs.CV
Proposal-Free Volumetric Instance Segmentation from Latent Single-Instance Masks
Heidelberg University(海德堡大学);EMBL(欧洲分子生物学实验室)
这项工作介绍了一种新的建议免费实例分割方法,建立在单实例分割掩模预测整个图像中的滑动窗口风格。与相关方法相比,我们的方法同时预测所有掩码,每个像素一个,从而解决整个图像中的任何冲突。具体而言,来自重叠掩码的预测被组合成带符号图的边权重,该带符号图随后被分区以并发地获得所有最终实例。其结果是一种无参数方法,对噪声具有很强的鲁棒性,并优先考虑在重叠掩模中具有最高共识的预测。所有的掩模都是从低维潜在表示中解码的,这导致了大体积图像应用所严格要求的极大的内存节省。我们在具有挑战性的CREMI 2016神经元分割基准测试中测试了我们的方法,在该测试中,我们获得了有竞争力的分数。
2020-09-10 cs.CV
Mask2Anomaly: Mask Transformer for Universal Open-set Segmentation
Politecnico di Torino(都灵理工大学)
提出基于掩码分类的 Mask2Anomaly 框架,通过全局掩码注意力、对比学习、掩码细化和未知实例挖掘等技术,联合解决异常分割、开集语义与全景分割,并在多个基准上取得 SOTA 结果。
2023-09-12 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics(地平线机器人)
视频对象分割(VOS)的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大,训练样本的缺乏,尽管深度学习的发展方兴未艾,但它仍然是一项艰巨的任务。为了解决VOS问题,我们提出了由对象建议,跟踪和分割组件组成的统一框架,带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验,我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation
University of Southern California(南加州大学);University of California, San Diego(加州大学圣地亚哥分校)
我们介绍了相似性组建议网络(SGPN),这是一个简单直观的深度学习框架,用于点云上的3D对象实例分割。SGPN使用单个网络来预测点分组建议和每个建议的对应语义类,我们可以直接从中提取实例分割结果。SGPN的有效性的重要的是它的三维实例分割结果的新颖表示形式的相似性矩阵,表示在嵌入的特征空间中的每对点之间的相似性,从而产生一个准确的分组建议为每个点。据我们所知,SGPN是第一个在点云上学习3D实例感知语义分割的框架。在不同的三维场景上的实验结果表明了该方法在三维实例分割上的有效性,并评估了SGPN在提高三维目标检测和语义分割效果方面的能力。我们还通过将2D CNN功能无缝集成到框架中以提高性能来展示其灵活性。
2019-05-30 cs.CV
MaskUno: Switch-Split Block For Enhancing Instance Segmentation
American University of Beirut(贝鲁特美国大学)
本文提出 MaskUno 方法,通过 Switch-Split 块对精炼 ROI 分类并分配给专用掩码预测器,以缓解多类别同步学习中的竞争核问题,在 COCO 数据集上提升实例分割模型的 mAP。
2024-07-31 cs.AI cs.CV
Mask TextSpotter v3: Segmentation Proposal Network for Robust Scene Text Spotting
Huazhong University of Science and Technology(华中科技大学);Facebook AI(Facebook人工智能)
近年来,端到端可训练的场景文本定位方法,结合检测和识别,显示了很大的进展。然而,目前大多数的任意形状的场景文本spotters使用区域建议网络(RPN)产生的建议。RPN在很大程度上依赖于手动设计的锚点,其建议用轴对齐的矩形表示。前者在处理极端纵横比或不规则形状的文本实例时存在困难,而后者通常在密集定向文本的情况下将多个相邻实例包含到单个提案中。为了解决这些问题,我们提出了Mask TextSpotter v3,这是一个端到端的可训练场景文本定位器,它采用了分割建议网络(SPN)而不是RPN。我们的SPN是无锚的,并给出了任意形状的建议的准确表示。因此,它在检测极端纵横比或不规则形状的文本实例方面优于RPN。此外,SPN产生的准确建议允许掩蔽的RoI特征用于解耦相邻文本实例。因此,我们的TextMask TextSpotter v3可以处理极端宽高比或不规则形状的文本实例,其识别精度不会受到附近文本或背景噪音的影响。具体来说,我们在Rotated ICDAR 2013数据集上的表现比最先进的方法高出21.9%(旋转鲁棒性),在Total-Text数据集上高出5.9%(形状鲁棒性),并在MSRA-TD 500数据集上实现了最先进的性能(纵横比鲁棒性)。代码可在:https://github.com/MhLiao/MaskTextSpotterV3
2020-07-18 cs.CV
Open-Vocabulary Universal Image Segmentation with MaskCLIP
University of California San Diego(加州大学圣地亚哥分校)
针对开放词汇通用图像分割任务,提出基于Transformer的MaskCLIP方法,通过掩码令牌与预训练ViT CLIP融合的仅编码器结构高效利用预训练特征,在多个数据集上超越现有方法。
2023-06-08 cs.CV
Pseudo-mask Matters in Weakly-supervised Semantic Segmentation
SenseTime(商汤科技);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
大多数弱监督语义分割(WSSS)方法遵循最初生成伪掩码并随后以完全监督的方式使用伪掩码训练分割模型的流水线。然而,我们发现了一些与伪掩码相关的问题,包括从类激活映射(CAM)生成高质量的伪掩码,以及使用噪声伪掩码监督进行训练。对于这些问题,我们提出了以下设计来将性能提升到新的最新水平:(i)变异系数平滑,以自适应地平滑CAM;(ii)比例伪掩模生成,将扩展的CAM投影到伪掩模基于指示每个位置上每个类的重要性的新指标,而不是从二进制分类器训练的分数。(iii)伪欠拟合策略,以抑制噪声在伪掩模中的影响;(iv)循环伪掩模,以在全监督语义分割(FSSS)的训练期间提高伪掩模。基于我们的方法的实验在两个变化的弱监督语义分割数据集上取得了新的最先进的结果,在PAS-CAL VOC 2012和MS COCO 2014上分别将mIoU推到70.0%和40.2%。包括细分框架在内的代码发布于https://github.com/Eli-YiLi/PMM
2021-09-07 cs.CV
Mask Encoding for Single Shot Instance Segmentation
Tongji University(同济大学);University of Adelaide(阿德莱德大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
迄今为止,实例分割主要由两阶段方法主导,如Mask R-CNN所开创的。相比之下,一阶段替代方案在掩模AP中无法与掩模R-CNN竞争,主要是由于复杂表示掩模的困难,使得一阶段方法的设计非常具有挑战性。在这项工作中,我们提出了一个简单的singleshot实例分割框架,称为掩码编码为基础的实例分割(MEInst)。MEInst不是直接预测二维掩模,而是将其提取为紧凑且固定维的表示向量,这允许将实例分割任务并入到一级边界框检测器中,并导致简单而有效的实例分割框架。所提出的一阶段MEInst在MS-COCO基准测试中使用单模型(ResNeXt-101-FPN主干)和单尺度测试实现了36.4%的掩模AP。我们表明,更简单和灵活的一步实例分割方法,也可以达到竞争力的性能。该框架可以很容易地适应其他实例级识别任务。代码可在:https://git.io/AdelaiDet
2020-05-06 cs.CV
Find Your Own Way: Weakly-Supervised Segmentation of Path Proposals for Urban Autonomy
Oxford Robotics Institute, Dept. Engineering Science, University of Oxford(牛津大学工程科学系牛津机器人研究所)
我们提出了一种弱监督的方法来分割图像中的可驾驶路径,其目标是在复杂的城市环境中实现自动驾驶。使用从数据汇集车辆记录的路线,我们提出的方法生成大量的标记图像,其中包含建议的路径和障碍物,而不需要手动注释,然后我们用它来训练深度语义分割网络。使用经过训练的网络,我们可以在运行时使用仅配备单目摄像机的车辆分割建议的路径和障碍物,而无需依赖于道路或车道标记的显式建模。我们在大规模KITTI和Oxford RobotCar数据集上评估了我们的方法,并在各种照明,天气和交通条件下的各种环境中展示了可靠的路径建议和障碍物分割。我们说明了该方法如何推广到交叉路口的多路径建议,并概述了将该系统纳入城市自动驾驶框架的计划。
2017-11-17 cs.AI cs.CV cs.LG
Variance-insensitive and Target-preserving Mask Refinement for Interactive Image Segmentation
Xidian University(西安电子科技大学);Sun Yat-sen University(中山大学);Tencent(腾讯);South China University of Technology(华南理工大学)
针对交互式图像分割中初始掩码方差敏感和对象信息丢失问题,提出掩码匹配与目标感知缩放算法,在多个数据集上达到最先进性能。
2023-12-22 cs.CV
Transfer Learning for Instance Segmentation of Waste Bottles using Mask R-CNN Algorithm
University of Reading(雷丁大学)
本文提出了一种使用\textit{mask region proposal convolutional neural network}(Mask R-CNN)的方法,该方法具有用于塑料废物瓶检测和实例分割的迁移学习方案。塑料瓶是对海洋和陆地环境构成严重威胁的主要污染物之一。瓶子的自动识别和分离可以促进塑料废物的回收。我们准备了一个定制的192个瓶子图像的数据集,带有逐像素多边形注释,用于自动分割任务。所提出的迁移学习方案利用在Microsoft COCO数据集上预训练的Mask R-CNN模型。我们提出了一个全面的方案,用于在我们的自定义数据集上微调基础预训练的Mask-RCNN模型。我们最终微调的模型达到了59.4 \textit{mean average precision}(mAP),这对应于MS COCO指标。结果表明,深度学习在检测废瓶方面的应用前景广阔。
2022-04-15 cs.CV cs.LG
One-Shot Synthesis of Images and Segmentation Masks
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);University of Bonn(波恩大学)
图像和分割掩模与生成对抗网络(GANs)的联合合成有望减少收集具有像素注释的图像数据所需的工作量。然而,为了学习高保真图像掩模合成,现有的GAN方法首先需要大量图像数据的预训练阶段,这限制了它们在受限图像域中的利用。在这项工作中,我们采取了一个步骤,以减少这种限制,介绍了单次图像掩模合成的任务。我们的目标是生成不同的图像和它们的分割掩模,只给出一个标记的例子,并假设,与以前的模型相反,没有访问任何预训练数据。为此,受单图像GANs的最新架构发展的启发,我们引入了我们的OSMIS模型,该模型能够合成与单次生成的图像精确对齐的分割掩模。除了实现所生成掩模的高保真度外,OSMIS在图像合成质量和多样性方面优于最先进的单图像GAN模型。此外,尽管没有使用任何额外的数据,OSMIS展示了一个令人印象深刻的能力,作为一个有用的数据增强的来源,为一次性分割应用程序,提供性能增益是补充标准的数据增强技术。代码可在https://github.com/ boschresearch/one-shot-synthesis获得
2022-09-15 cs.CV cs.LG
Learning Class-Agnostic Pseudo Mask Generation for Box-Supervised Semantic Segmentation
Harbin Institute of Technology(哈尔滨工业大学)
最近,几种弱监督学习方法已经致力于利用限界框监督来训练深度语义分割模型。大多数现有方法通常利用通用提议生成器(例如,密集CRF和MCG)以产生用于进一步训练分割模型的增强的分割掩模。然而,这些建议生成器是通用的,并且不是专门为框监督的语义分割设计的,从而为改进分割性能留下了一些余地。在本文中,我们的目标是寻求一个更准确的基于学习的类无关的伪掩码生成器定制的框监督语义分割。为此,我们采用像素级注释的辅助数据集,其中类标签与框注释数据集的标签不重叠。为了从辅助数据集学习伪掩码生成器,我们提出了一种双层优化公式。特别地,下部子问题用于学习框监督的语义分割,而上部子问题用于学习最优的类无关伪掩码生成器。然后可以将学习的伪分割掩码生成器部署到框注释数据集,以改进弱监督语义分割。在PASCAL VOC 2012数据集上的实验表明,学习的伪掩码生成器在提高分割性能方面是有效的,我们的方法可以进一步缩小框监督模型和全监督模型之间的性能差距。我们的代码将在https://github.com/Vious/LPG_BBox_Segmentation上公开。
2022-03-02 cs.CV
MID: Mask-Image Distributional Divergence for Evaluating Medical Image Segmentation
EURECOM(欧洲通信研究与教育中心);Sorbonne Université(索邦大学);King’s College London(伦敦国王学院);Technische Universität Graz(格拉茨工业大学)
该研究提出分布级医学图像分割评估指标MID,无需样本级真实掩码配对,可捕捉掩码真实性与图像-掩码一致性,能检测分布偏移、识别错位并生成可靠模型排名。
2026-10-16 cs.AI cs.CV
PReMVOS: Proposal-generation, Refinement and Merging for Video Object Segmentation
RWTH Aachen University(亚琛工业大学)
我们解决了半监督视频对象分割,自动生成准确和一致的像素掩模的视频序列中的对象,给定的第一帧地面实况注释的任务。为了实现这一目标,我们提出了PReMVOS算法(建议生成,细化和合并视频对象分割)。我们的方法将这个问题分为两个步骤,首先为每个视频帧生成一组准确的对象分割掩码建议,然后选择这些建议并将其合并为视频序列上准确且时间上一致的像素级对象轨迹,其目的是专门解决跨视频序列分割多个对象所涉及的困难挑战。我们的方法超越了DAVIS 2017视频对象分割基准测试的所有先前最先进的结果,在测试开发数据集上的J & F平均得分为71.6,并在DAVIS 2018视频对象分割挑战赛和YouTube-VOS第一次大规模视频对象分割挑战赛中获得第一名。
2018-11-03 cs.CV
MaskMed: Decoupled Mask and Class Prediction for Medical Image Segmentation
Department of Computer Science, Illinois Institute of Technology, USA(计算机科学系,伊利诺伊理工大学)
MaskMed通过解耦的掩码与类别预测方法,实现了医学图像分割的高效全尺度融合,提升了分割性能。
2025-11-19 cs.CV
Detecting Arbitrary Keypoints on Limbs and Skis with Sparse Partly Correct Segmentation Masks
University of Augsburg(奥格斯堡大学)
基于身体姿势的分析对于许多体育学科的高水平运动员至关重要。如果有的话,教练只标记最重要的关键点,因为手动注释非常昂贵。本文提出了一种检测专业跳台滑雪运动员的四肢和滑雪板上的任意关键点的方法,该方法在训练期间只需要很少的部分正确的分割掩模。我们的模型是基于视觉Transformer架构与输入令牌查询所需的关键点的特殊设计。由于我们只使用分割掩码来为自由选择的关键点生成真实标签,因此部分正确的分割掩码足以用于我们的训练过程。因此,不需要昂贵的手工注释的分割掩模。我们分析了自由选择和标准关键点的不同训练技术,包括伪标签,并在我们的实验中表明,只有少数部分正确的分割掩码足以学习检测四肢和滑雪板上的任意关键点。
2022-11-17 cs.CV
Maximal Cliques on Multi-Frame Proposal Graph for Unsupervised Video Object Segmentation
Oregon State University(俄勒冈州立大学)
无监督视频对象分割(UVOS)旨在通过视频发现对象并跟踪它们。对于精确的UVOS,我们观察到如果可以在关键帧上定位精确的片段建议,则后续过程要简单得多。因此,我们建议使用一个图来推理关键帧提案,该图是用最初从关键帧周围的多个帧生成的对象概率掩码构建的,然后传播到关键帧。在这个图上,我们计算最大团,每个团代表一个候选对象。通过在集团中提出多个提案来投票支持关键帧提案,我们获得了可能比任何单帧提案都更好的改进的关键帧提案。半监督VOS算法随后跟踪这些关键帧提案到整个视频。我们的算法是模块化的,因此可以用于任何实例分割和半监督VOS算法。我们在DAVIS-2017验证和测试开发数据集上实现了最先进的性能。在视频实例分割的相关问题上,我们的方法显示出与以前的最好的算法,需要与VOS算法联合训练的竞争性能。
2023-01-29 cs.CV
Where Does Texture Evidence Live in SAM? Features, Proposal Masks, and Texture Segmentation
Tel Aviv University(特拉维夫大学);Stanford University(斯坦福大学);Technion(以色列理工学院)
研究冻结的 Segment Anything Model (SAM) 中纹理相关证据的存在性,通过最小聚类读取和提议银行监督读取分析多尺度特征与自动提议掩码,发现 SAM 并非纹理盲,但默认失败源于读取不匹配和承诺失败。
2026-06-16 cs.AI cs.CV
HiMTok: Learning Hierarchical Mask Tokens for Image Segmentation with Large Multimodal Model
Uni-Ubi;Zhejiang University(浙江大学);Tongji University(同济大学)
提出层次化掩码分词器HiMTok,用最多32个Token表示分割掩码,免除了去分词化对原始图像的依赖,通过3阶段训练方案实现由粗到细学习与多任务双向信息流,在多项分割任务上达到SOTA并增强视觉定位与理解能力。
2025-07-16 cs.CV
Cascaded V-Net using ROI masks for brain tumor segmentation
Universitat Politècnica de Catalunya. BarcelonaTech(加泰罗尼亚理工大学巴塞罗那理工)
在这项工作中,我们采用V-Net架构\cite{VNet}中启发的两个CNN级联来处理脑肿瘤分割问题,重新制定剩余连接并利用ROI掩模将网络限制为仅在相关体素上进行训练。这种架构允许对具有高度偏斜的类分布的问题进行密集训练,例如脑肿瘤分割,通过仅将训练集中在肿瘤区域的附近。我们报告了BraTS 2017训练和验证集的结果。
2018-12-30 cs.AI cs.CV cs.CY
Mask Transfiner for High-Quality Instance Segmentation
ETH Zürich(苏黎世联邦理工学院);HKUST(香港科技大学);Kuaishou Technology(快手科技)
两阶段和基于查询的实例分割方法取得了显著的效果。然而,它们的分段掩码仍然非常粗糙。在本文中,我们提出了高质量和高效的实例分割掩模Transfiner。我们的Mask Transfiner不是在常规的稠密张量上操作,而是将图像区域分解并表示为四叉树。我们基于transformer的方法只处理检测到的易出错的树节点,并并行地自我纠正它们的错误。虽然这些稀疏像素只占总数的一小部分,但它们对最终掩模质量至关重要。这使得Mask Transfiner能够以较低的计算成本预测高度准确的实例掩码。大量的实验表明,Mask Transfiner在三个流行的基准测试中优于当前的实例分割方法,显著改善了两阶段和基于查询的框架,在COCO和BDD 100 K上的掩码AP为+3.0,在Cityscapes上的边界AP为+6.6。我们的代码和训练模型将在http://vis.xyz/pub/transfiner上提供。
2021-11-26 cs.CV
FreeSeg: Free Mask from Interpretable Contrastive Language-Image Pretraining for Semantic Segmentation
全监督语义分割从密集掩码中学习,这需要对闭集进行大量注释。在本文中,我们使用自然语言作为监督没有任何像素级的注释开放世界分割。我们将所提出的框架称为FreeSeg,其中掩码可以从预训练模型的原始特征图中免费获得。与zero-shot或开集分割相比,FreeSeg不需要任何注释掩码,并且它广泛预测类别不可知的无监督分割之外的类别。具体地,FreeSeg从可解释对比图像预训练(ICLIP)的图像-文本相似性图(ITSM)中获得自由掩码。我们的核心改进是密集ICLIP的平滑最小池,部分标签和像素分割策略。此外,FreeSeg非常简单,没有复杂的设计,如分组,聚类或检索。除了简单性之外,FreeSeg的性能在很大程度上超过了以前的最先进水平,例如在相同设置下VOC数据集上的mIoU高出13.4%。
2022-12-14 cs.CV
Region Proposal Rectification Towards Robust Instance Segmentation of Biological Images
Rutgers University(罗格斯大学);Yale University(耶鲁大学);SenseBrain Research(SenseBrain研究院)
自顶向下的实例分割框架在目标检测中显示了其相对于自底向上框架的优越性。虽然自顶向下的实例分割在解决过度分割方面是有效的,但它存在过度裁剪问题。然而,一个完整的分割掩模是至关重要的生物图像分析,因为它提供了重要的形态学属性,如形状和体积。在本文中,我们提出了一个区域建议纠正(RPR)模块来解决这个具有挑战性的不完整分割问题。特别是,我们提供了一个渐进的ROIAlign模块,逐步引入邻居信息到一系列的ROI。ROI特征被馈送到一个专注的前馈网络(FFN),用于建议框回归。与额外的邻居信息,建议RPR模块显示出显着的改善,在纠正区域建议的位置,从而表现出良好的实例分割性能的三个生物图像数据集相比,国家的最先进的基线方法。实验结果表明,所提出的RPR模块在基于锚点和无锚点的自顶向下实例分割方法中都是有效的,表明所提出的方法可以应用于一般自顶向下的生物图像实例分割。
2022-11-03 cs.CV
Per-Pixel Classification is Not All You Need for Semantic Segmentation
Facebook AI Research(Facebook人工智能研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
现代方法通常将语义分割公式化为逐像素分类任务,而实例级分割则使用替代掩模分类来处理。我们的关键见解:掩码分类足够通用,以使用完全相同的模型、损失和训练过程以统一的方式解决语义级和实例级分割任务。根据这一观察,我们提出了MaskFormer,这是一个简单的掩码分类模型,它预测一组二进制掩码,每个掩码与单个全局类别标签预测相关联。总体而言,所提出的基于掩模分类的方法简化了语义和全景分割任务的有效方法的景观,并显示出良好的实证结果。特别是,我们观察到MaskFormer在类的数量很大时优于每像素分类基线。我们基于掩模分类的方法优于当前最先进的语义(在ADE 20 K上为55.6 mIoU)和全景分割(在COCO上为52.7 PQ)模型。
2021-10-31 cs.CV