Learning Segmented 3D Gaussians via Efficient Feature Unprojection for Zero-shot Neural Scene Segmentation
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
提出CoSegGaussians，通过Feature Unprojection and Fusion模块和CoSeg Loss解决3D高斯零样本分割中冗余属性导致的3D不一致性问题，mIoU提升约10%。
2024-07-28 cs.AI cs.CV
Prototypical Kernel Learning and Open-set Foreground Perception for Generalized Few-shot Semantic Segmentation
Alibaba Group（阿里巴巴集团）
针对GFSS中表示分裂与嵌入偏见问题，提出联合原型核学习和开集前景感知的分割框架，并扩展至CIFSS，在PASCAL-5i与COCO-20i上超越现有最先进方法。
2023-08-19 cs.AI cs.CV
Few-shot semantic segmentation via mask aggregation
Wuhan University（武汉大学）
Few-Shot语义分割的目标是识别只有很少的标记数据的新类。这个具有挑战性的任务需要挖掘查询图像和支持图像之间的相关关系。以前的作品通常将其视为像素分类问题。因此，已经设计了各种模型来探索查询图像和支持图像之间的像素的相关性。然而，它们只关注像素对应，而忽略了对象的整体相关性。在本文中，我们介绍了一种基于掩码的分类方法来解决这个问题。提出了一种简单的掩模分类模型--掩模聚合网络（MANET），用于同时生成固定数量的掩模及其成为目标的概率。然后，通过根据它们的位置聚合所有掩模来获得最终的分割结果。在PASCAL-5^i和COCO-20^i数据集上的实验表明，该方法的性能优于现有的基于像素的方法。这种有竞争力的性能证明了掩模分类作为Few-Shot语义分割中的替代基线方法的潜力。我们的源代码将在https://github.com/TinyAway/MANet上提供。
2022-02-15 cs.AI cs.CV
Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview
East China University of Science and Technology（华东理工大学）；Tongji University（同济大学）；Swinburne University of Technology（斯威本科技大学）
视觉语义分割的目的是将视觉样本分割成具有特定语义属性的不同块，并确定每个块的类别，它在环境感知中起着至关重要的作用。传统的基于学习的视觉语义分割方法严重依赖于具有密集注释的大规模训练数据，并且始终无法为不可见的类别估计准确的语义标签。这一障碍激发了在少量/零样本学习的帮助下研究视觉语义分割的热潮。少/zero-shot视觉语义分割的出现和迅速发展，使得从少量标记或零标记的样本中学习不可见的类别成为可能，从而推动了该方法向实际应用的扩展。因此，本文重点研究了近年来发表的几种基于少量/zero-shot的二维到三维空间的视觉语义分割方法，探讨了不同分割环境下技术解决方案的共性和差异。具体而言，少数/zero-shot视觉语义分割的问题，包括定义，典型的数据集，和技术补救措施，简要回顾和讨论。此外，还涉及三个典型的实例来揭示少/零样本学习与视觉语义分割的相互作用，包括图像语义分割、视频对象分割和3D分割。最后，讨论了少/zero-shot视觉语义分割的未来挑战。
2022-11-13 cs.CV
Task-Adaptive Feature Transformer with Semantic Enrichment for Few-Shot Segmentation
Ulsan National Institute of Science and Technology（蔚山科学技术院）
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来，针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中，我们提出了一个可学习的模块，可以放置在现有的分割网络进行Few-Shot分割。该模块称为任务自适应特征Transformer（TAFT），将特定于任务的高级特征线性转换为一组非常适合进行Few-Shot分割的任务不可知特征。任务条件的特征变换允许有效利用新类中的语义信息来生成紧密的分割掩模。我们还提出了一个语义丰富（SE）模块，利用像素级的注意力模块的高层次功能和辅助损失的辅助分割网络进行语义分割的所有训练类。$5^i$和$20^i$数据集上的实验证实，添加的模块成功地扩展了现有分割器的能力，以产生具有高度竞争力的Few-Shot分割性能。
2022-02-14 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
MaskSplit: Self-supervised Meta-learning for Few-shot Semantic Segmentation
MonolithAI；Middle East Technical University（中东技术大学）；Hacettepe University（哈切特佩大学）
就像其他少样本学习问题一样，Few-Shot分割旨在最大限度地减少对手动注释的需求，这在分割任务中成本特别高。即使Few-Shot设置降低了新测试类的成本，仍然需要注释训练数据。为了缓解这一需求，我们提出了一种自监督训练方法来学习Few-Shot分割模型。我们首先使用无监督显著性估计来获得图像上的伪掩模。然后，我们训练一个简单的原型为基础的模型在不同的分裂的伪掩模和增强的图像。我们广泛的实验表明，所提出的方法取得了可喜的成果，突出了自我监督训练的潜力。据我们所知，这是第一个工作，解决无监督的Few-Shot分割问题的自然图像。
2021-11-03 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Differentiable Meta-learning Model for Few-shot Semantic Segmentation
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）
为了解决语义分割的某些情况下的注释稀缺问题，已经有一些尝试来开发少样本学习范例中的分割模型。然而，大多数现有方法仅关注传统的单向分割设置（即，一个图像仅包含单个对象）。这与实际的语义分割任务相距甚远，在实际的语义分割任务中，通过执行精确的多对象分割通常需要K路设置（K>1）。为了解决这个问题，我们制定了Few-Shot语义分割任务作为一个基于学习的像素分类问题，并提出了一个新的框架称为MetaSegNet基于元学习。在MetaSegNet中，嵌入模块的结构由全局和局部特征分支组成，以提取适当的元知识用于Few-Shot分割。此外，我们将一个线性模型作为基础学习器集成到MetaSegNet中，以直接预测多对象分割的每个像素的标签。此外，我们的MetaSegNet可以从头开始以端到端的方式通过情景训练机制进行训练。在两个流行的语义分割数据集上的实验，即，PASCAL VOC和COCO，揭示了所提出的MetaSegNet在K-way Few-Shot语义分割任务中的有效性。
2019-11-23 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
One-Shot Instance Segmentation
University of Tübingen（图宾根大学）
我们解决了一次性实例分割的问题：给定一个新的，以前未知的对象类别的示例图像，在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务，我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN，使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果，突出了一次性设置的挑战：虽然将有关实例分割的知识转移到新的对象类别效果很好，但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割，并有望激发进一步研究更强大和灵活的景物分析算法。代码可在：https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
DenseMP: Unsupervised Dense Pre-training for Few-shot Medical Image Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Austin Peay State University（奥斯汀佩伊州立大学）
针对小样本医学图像分割训练数据稀缺易过拟合的问题，提出含两阶段无监督稠密预训练的DenseMP流水线，可提升PA-Net性能，在Abd-CT、Abd-MRI数据集上达SOTA。
2023-07-13 cs.CV
CRNet: Cross-Reference Networks for Few-Shot Segmentation
Nanyang Technological University（南洋理工大学）；A*Star（新加坡科技研究局）
在过去的几年中，最先进的图像分割算法是基于深度卷积神经网络的。为了渲染具有理解概念能力的深度网络，人类需要收集大量像素级注释数据来训练模型，这是耗时且繁琐的。近年来，Few-Shot分割方法被提出来解决这一问题。Few-Shot分割的目标是学习一个分割模型，该模型可以推广到只有少量训练图像的新类别。在本文中，我们提出了一个交叉引用网络（CRNet）的Few-Shot分割。与以前的作品只预测查询图像中的掩码不同，我们提出的模型同时对支持图像和查询图像进行预测。通过交叉引用机制，我们的网络可以更好地找到两幅图像中的共现对象，从而帮助Few-Shot分割任务。我们还开发了一个掩模细化模块来循环地细化前景区域的预测。对于$k$ -shot学习，我们建议微调网络的部分，以利用多个标记的支持图像。在PASCAL VOC 2012数据集上的实验表明，我们的网络达到了最先进的性能。
2020-03-24 cs.CV
Multi-similarity based Hyperrelation Network for few-shot segmentation
Few-Shot语义分割的目标是在只有少量标注样本的情况下识别出不可见类别的对象区域。Few-Shot分割的关键是在支持图像和查询图像之间建立鲁棒的语义关系，并防止过拟合。在本文中，我们提出了一个有效的多相似性超关系网络（MSHNet）来解决Few-Shot语义分割问题。在MSHNet中，我们提出了一种新的生成原型相似度（GPS），它与余弦相似度一起可以在支持图像和查询图像之间建立强语义关系。基于全局特征的局部生成原型相似度与基于局部特征的全局余弦相似度在逻辑上是互补的，同时利用这两种相似度可以更全面地表达查询图像与支持图像之间的关系。此外，我们提出了一个对称合并块（SMB）在MSHNet有效地合并多层，多镜头和多相似性超关系特征。MSHNet是建立在相似性而不是特定类别特征的基础上的，可以实现更普遍的统一性，有效地减少过拟合。在两个基准语义分割数据集Pascal-5i和COCO-20 i上，MSHNet在1次和5次语义分割任务上实现了最新的性能。
2022-06-23 cs.CV
CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）；China University of Mining and Technology（中国矿业大学）
语义分割的最新进展是由深度卷积神经网络和大规模标记图像数据集驱动的。然而，用于逐像素分割的数据标记是繁琐且昂贵的。此外，经过训练的模型只能在一组预定义的类内进行预测。在本文中，我们提出了CANet，一个类不可知的分割网络，执行Few-Shot分割新的类，只有少数注释的图像可用。我们的网络由一个两分支密集比较模块和一个迭代优化模块组成，该模块在支持图像和查询图像之间进行多级特征比较，该模块迭代地细化预测结果。此外，我们引入了一个注意力机制，以有效地融合信息，从多个支持的例子下，k-shot学习。PASCAL VOC 2012上的实验表明，我们的方法实现了平均Intersection-over-Union得分为55.4%的1镜头分割和57.1%的5镜头分割，分别超过了14.6%和13.2%的大幅度的最先进的方法。
2019-03-06 cs.CV
Zero-Shot Semantic Segmentation
Sorbonne Université（索邦大学）
语义分割模型在扩展到大量对象类的能力方面受到限制。在本文中，我们介绍了新的任务zero-shot语义分割：学习像素分类从未见过的对象类别与零训练样本。为此，我们提出了一种新的架构，C33 Net，结合深度视觉分割模型的方法来生成视觉表示的语义词嵌入。通过这种方式，P2P 3 Net解决了在测试时面临可见和不可见类别的像素分类任务（所谓的“广义”zero-shot分类）。性能进一步提高了一个自我训练的步骤，依赖于自动伪标记的像素从看不见的类。在两个标准的分割数据集，Pascal-VOC和Pascal-Context，我们提出了zero-shot基准和设置有竞争力的基线。对于Pascal-Context数据集中的复杂场景，我们通过使用图形上下文编码来扩展我们的方法，以充分利用来自类分割图的空间上下文先验。
2019-11-18 cs.CV
A Location-Sensitive Local Prototype Network for Few-Shot Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；VoxelCloud, Inc.（体素云公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
尽管深度神经网络在医学图像分割方面取得了巨大的成功，但它们通常需要大量昂贵的专家级注释数据。Few-Shot分割方法通过学习从有限数量的标记示例中转移知识来解决这个问题。在设计高性能的Few-Shot分割算法时，适当地描述先验知识是至关重要的。由于强空间先验存在于许多医学成像模式，我们提出了一种基于原型的方法-即位置敏感的本地原型网络-利用空间先验来执行Few-Shot医学图像分割。我们的方法划分成容易解决的局部区域分割与局部原型的子问题与全球原型分割整个图像的困难问题。对于内脏CT图像数据集上的器官分割实验，我们的方法在平均Dice系数上优于最先进的方法10%。广泛的消融研究证明了结合空间信息的实质性好处，并证实了我们的方法的有效性。
2021-03-18 cs.CV
Single-shot Path Integrated Panoptic Segmentation
Yonsei University（延世大学）；Adobe Research（Adobe研究院）
全景分割是一种将实例分割和语义分割相结合的新方法，近年来受到了广泛的关注。然而，大多数以前的方法是由多个通路，每个通路专门用于指定的分割任务。在本文中，我们提出了解决全景分割在单镜头通过整合的执行流程。通过该集成路径，生成了一个统一的特征图，称为全景特征，它包含了事物和材料的信息。Panoptic-Feature通过辅助问题变得更加复杂，这些辅助问题引导属于同一实例的像素聚类并区分不同类别的对象。卷积滤波器的集合（其中每个滤波器表示一个事物或一个填充物）被立即应用于全景特征，从而实现单次全景分割。结合自上而下和自下而上两种方法的优点，我们的方法SPINet在主要的全景分割基准：COCO和Cityscapes上具有很高的效率和准确性。
2020-12-04 cs.CV
Zero-shot Referring Image Segmentation with Global-Local Context Features
GIST（光州科学技术院）；Google Research（谷歌研究院）
提出一种基于CLIP的零样本指代图像分割方法，利用掩码引导的视觉编码器和全局-局部文本编码器提取多模态特征，以显著优势超越现有零样本及弱监督基线。
2023-04-03 cs.AI cs.CL cs.CV
Zero-Shot Instance Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；AInnovation Technology Co Ltd（创新奇智科技有限公司）
深度学习显著提高了具有丰富标记数据的实例分割的精度。然而，在许多领域，如医疗和制造业，收集足够的数据是非常困难的，标记这些数据需要很高的专业技能。我们遵循这个动机，并提出了一个新的任务集命名为zero-shot实例分割（ZSI）。在ZSI的训练阶段，模型使用可见数据进行训练，而在测试阶段，它用于分割所有可见和不可见的实例。首先，我们制定了ZSI任务，并提出了一种方法来解决这一挑战，它包括Zero-shot检测器，语义掩码头，背景感知RPN和同步背景策略。我们提出了一个新的基准zero-shot实例分割的基础上的MS-COCO数据集。实验结果表明，该方法不仅在zero-shot目标检测任务上优于现有方法，而且在ZSI上也取得了良好的性能。我们的方法将作为一个坚实的基线，并促进未来的研究在zero-shot实例分割。
2021-06-01 cs.CV
STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery
University of Michigan（密歇根大学）
针对零样本仿真到真实的沉船声呐图像分割问题，提出STARS网络融合形变场与异常体实现泛化，全仿真训练无需真实数据微调，在真实数据集上较最优基线提升20%分割性能。
2023-10-02 cs.CV
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute（南加州大学信息科学研究所）
与传统的zero-shot分类不同，zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时，对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码，该相对位置编码在特征级上集成了空间信息，并且可以处理任意大小的图像。此外，在自训练广泛应用于zero-shot语义分割中生成伪标签的同时，本文提出了一种新的基于知识蒸馏的自训练策略，即退火自训练，它可以自动为伪标签分配不同的重要性，以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估，我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
National University of Singapore（新加坡国立大学）
尽管深度CNN在图像语义分割方面取得了很大进展，但它们通常需要大量密集注释的图像进行训练，并且难以推广到看不见的对象类别。因此，已经开发了Few-Shot分割以学习仅从几个注释的示例执行分割。在本文中，我们从度量学习的角度来解决具有挑战性的Few-Shot分割问题，并提出了PANet，一种新的原型对齐网络，以更好地利用支持集的信息。我们的PANet从嵌入空间内的一些支持图像中学习特定于类的原型表示，然后通过将每个像素与学习的原型相匹配来对查询图像进行分割。通过非参数度量学习，PANet提供了高质量的原型，这些原型代表了每个语义类别，同时对不同类别具有区分性。此外，PANet还引入了支持和查询之间的原型对齐正则化。通过这种方式，PANet充分利用了来自支持的知识，并在Few-Shot分割上提供了更好的泛化。值得注意的是，我们的模型在PASCAL-5i上分别实现了48.1%和55.7%的mIoU得分，分别超过了1.8%和8.6%的最先进的方法。
2020-02-07 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
PartSLIP++: Enhancing Low-Shot 3D Part Segmentation via Multi-View Instance Segmentation and Maximum Likelihood Estimation
UC San Diego（加州大学圣地亚哥分校）
针对少样本3D部件分割，本文提出PartSLIP++，结合SAM像素级多视图分割与改进EM算法进行2D-3D优化，性能优于PartSLIP。
2023-12-05 cs.AI cs.CV cs.LG
Interclass Prototype Relation for Few-Shot Segmentation
SoftBank Corp.（软银公司）
传统的语义分割需要大量的标记图像数据集，并且只能在预定义的类内进行预测。为了解决这个问题，Few-Shot分割，它只需要少量的新的目标类的注释，是很重要的。然而，对于Few-Shot分割，由于样本数据中的微小变化，特征空间中的目标类数据分布是稀疏的并且具有低覆盖率。设置分类边界，将目标类与其他类适当地分开，是一项不可能完成的任务。特别是，很难对与边界附近的目标类相似的类进行分类。本研究提出了类间原型关系网络（IPRNet），它通过减少其他类之间的相似性来提高分离性能。我们对Pascal-5i和COCO-20 i进行了广泛的实验，结果表明，与以前的研究相比，IPRNet提供了最好的分割性能。
2022-11-16 cs.CV
TongueSAM: An Universal Tongue Segmentation Model Based on SAM with Zero-Shot
Xiamen University（厦门大学）
针对跨域及复杂背景舌象分割难题，本文提出基于SAM并集成目标检测提示生成器的TongueSAM，实现端到端零样本舌体分割，mIoU达95.23%。
2023-12-06 cs.CV
FGN: Fully Guided Network for Few-Shot Instance Segmentation
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Wuhan University（武汉大学）
Few-Shot实例分割（FSIS）将少样本学习范式与一般实例分割结合起来，为在缺乏丰富标记数据的情况下解决实例分割问题提供了一种可能的方法。提出了一种用于Few-Shot实例分割的完全引导网络（FGN）。FGN将FSIS视为引导模型，其中所谓的支持集被编码并用于引导基本实例分割网络的预测（即，Mask R-CNN），其中关键的是指导机制。从这个角度来看，FGN在Mask R-CNN中的各个关键组件中引入了不同的指导机制，包括Attention-Guided RPN，Attention-Guided Detector和Attention-Guided FCN，以充分利用支持集的指导作用，更好地适应类间泛化。在公共数据集上的实验表明，我们提出的FGN可以优于最先进的方法。
2020-03-31 cs.CV
Revealing Hidden Context Bias in Segmentation and Object Detection through Concept-specific Explanations
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
将传统的事后归因方法应用于分割或目标检测预测器仅提供有限的见解，因为在输入级获得的特征归因图通常类似于模型的预测分割掩模或限界框。在这项工作中，我们解决了需要更多的信息解释这些预测提出的事后eXplainable人工智能方法L-CRP生成的解释，自动识别和可视化相关的概念学习，识别和使用的模型在推理过程中，以及精确地定位它们在输入空间。因此，我们的方法超越了奇异输入级属性图，并且作为基于最近发布的概念相关传播技术的方法，有效地适用于分割和目标检测中最先进的黑盒架构，例如DeepLabV 3+和YOLOv 6等。我们通过定量比较不同的概念属性方法来验证我们提出的技术的可信度，并讨论了对CityScapes，Pascal VOC和MS COCO 2017等流行数据集的解释复杂度的影响。精确定位和传达概念的能力用于揭示和验证背景特征的使用，从而突出模型可能的偏差。
2022-11-21 cs.AI cs.CV cs.LG
SAM-IF: Leveraging SAM for Incremental Few-Shot Instance Segmentation
Shanghai Jiao Tong University（上海交通大学）；Noematrix Co., Ltd.（诺码特里克斯有限公司）
SAM-IF利用SAM模型，通过多类分类器和余弦相似度分类器实现增量少样本实例分割，仅更新分类器权重支持增量学习，在有限标注数据下取得更合理结果。
2024-12-15 cs.CV
Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation
A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；Jiangxi Finance and Economics University（江西财经大学）
当前的Few-Shot分割（FSSeg）方法主要集中在提高新类的性能，而忽略了基类的性能。为了克服这一限制，广义Few-Shot语义分割（GFSSeg）的任务已被引入，旨在预测基础和新的类的分割掩码。然而，目前的基于原型的方法没有显式地考虑基类和新类之间的关系时，更新原型，导致有限的性能，在确定真正的类别。为了解决这一挑战，我们提出了一个类对比损失和类关系损失，以规范原型更新，并鼓励来自不同类的原型之间的距离很大，从而区分彼此的类，同时保持基类的性能。我们提出的方法实现了新的国家的最先进的性能，广义Few-Shot分割任务的PASCAL VOC和MS COCO数据集。
2023-03-24 cs.CV
One-Shot Learning for Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）
用于图像分类的低拍摄学习方法支持从稀疏数据学习。我们扩展这些技术，以支持密集的语义图像分割。具体来说，我们训练一个网络，给定一小部分带注释的图像，生成全卷积网络（FCN）的参数。我们使用此FCN对新语义类的测试图像进行密集像素级预测。与PASCAL VOC 2012数据集中未见过类的单次分割的最佳基线方法相比，我们的架构显示出25%的相对平均IoU改进，并且至少快3倍。
2017-09-11 cs.CV
Prototype-based Incremental Few-Shot Semantic Segmentation
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）；University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）
语义分割模型有两个基本的弱点：i）它们需要大量的训练集，具有昂贵的像素级注释，ii）它们具有静态输出空间，受限于训练集的类。为了解决这两个问题，我们引入了一个新的任务，增量Few-Shot分割（iFSS）。iFSS的目标是扩展一个预先训练的分割模型，其中包含来自少量注释图像的新类别，并且无需访问旧的训练数据。为了克服现有模型inIFS的局限性，我们提出了基于原型的增量Few-Shot分割（PIFS），耦合原型学习和知识蒸馏。PIFS利用原型来初始化新类的分类器，微调网络以改进其特征表示。我们设计了一个基于原型的蒸馏损失的分数，旧的和新的类原型，以避免过度拟合和遗忘，和批量重整，以应付非独立同分布的Few-Shot数据。我们为iFSS创建了一个广泛的基准测试，表明PIFS在所有情况下都优于几种Few-Shot和增量学习方法。
2021-10-18 cs.CV
A Self-Supervised Miniature One-Shot Texture Segmentation (MOSTS) Model for Real-Time Robot Navigation and Embedded Applications
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对室内移动机器人可行驶区域分割难题，提出自监督微型单样本纹理分割模型MOSTS，兼具紧凑体积与快推理速度，精度媲美现有SOTA室内语义分割模型且推理速度最高快8倍，适用于实时导航与嵌入式场景。
2023-06-15 cs.AI cs.CV cs.RO
Learning Meta-class Memory for Few-Shot Semantic Segmentation
S-lab, Nanyang Technological University（南洋理工大学S-lab）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；Dept of Data Science and AI, Monash University（莫纳什大学数据科学与人工智能系）
目前，最先进的方法将Few-Shot语义分割任务视为条件前景-背景分割问题，假设每个类是独立的。在本文中，我们引入了元类的概念，这是Meta信息（如某些中间层的功能）之间共享的所有类。为了在Few-Shot分割任务中显式地学习元类表示，提出了一种基于元类记忆的Few-Shot分割方法（MM-Net）。此外，对于$k$拍摄的情况下，我们提出了一种新的图像质量测量模块来选择图像的支持图像。基于质量测度的支持图像特征加权和可以得到高质量的类原型。在PASCAL- $5^i$和COCO数据集上的实验表明，我们提出的方法能够在1次和5次拍摄设置下实现最先进的结果。特别是，我们提出的MM-Net在COCO数据集上实现了37.5\%的mIoU，比以前的最先进水平高出5.1\%。
2021-08-16 cs.CV
Incremental Few-Shot Instance Segmentation
Utrecht University（乌得勒支大学）；Cyclomedia Technology（Cyclomedia技术公司）
当新类别的标记训练数据稀缺时，Few-Shot实例分割方法很有前途。然而，当前的方法不便于灵活地添加新类。它们还要求在训练和测试时提供每个类的示例，这是内存密集型的。在本文中，我们提出了第一个增量的方法来解决这些限制Few-Shot实例分割：iMTFA。我们学习合并到类代表的对象实例的判别嵌入。存储嵌入向量而不是图像有效地解决了内存开销问题。我们使用余弦相似度在ROI级别匹配这些类嵌入。这使我们能够添加新的类，而不需要进一步的训练或访问以前的训练数据。在一系列的实验中，我们始终优于目前的最先进的。此外，减少内存需求使我们能够评估，第一次，Few-Shot实例分割的性能在COCO中的所有类联合。
2021-05-11 cs.CV
Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
本研究针对遥感图像少样本语义分割任务，提出一种基于SAM的结构化框架，通过新颖的自动提示学习方法生成像素级提示，实现高效自动化分割，并在DLRSD数据集上超越现有方法。
2023-11-22 cs.CV
Residual Pyramid Learning for Single-Shot Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
像素级语义分割是一个具有挑战性的任务，具有巨大的计算量，特别是如果输入的大小是大的。在分割模型中，除了特征提取之外，还经常使用额外的解码器结构来恢复空间信息。本文提出了一种基于特征残差金字塔网络（RPNet）的单镜头分割方法，该方法通过分解残差块不同层次的标签来学习分割的主成分和残差成分。具体来说，我们使用残差特征来学习目标的边缘和细节，使用身份特征来学习目标的主要部分。在测试时，预测残差用于增强顶层预测的细节。剩余学习块将网络分成几个浅层子网络，这有助于RPNet的训练。然后，我们评估所提出的方法，并将其与CamVid和Cityscapes上的最新方法进行比较。提出的基于RPNet的单镜头分割在像素级分割上取得了令人印象深刻的结果。
2019-03-23 cs.CV
Attention-Based Prototype Calibration for Multi-Rater Few-Shot Medical Image Segmentation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出一种注意力原型校准框架，通过建模评估者特异性偏差，在不修改骨干网络的情况下实现个性化分割，有效提升多评估者少样本分割性能。
2026-06-26 cs.CV
LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation
Xiamen University（厦门大学）；Tencent（腾讯）；Xi’an Jiaotong University（西安交通大学）；Macau University of Science and Technology（澳门科技大学）
我们引入了一个一次性分割方法，以减轻负担的手动注释的医学图像。其主要思想是将单次分割视为经典的基于图谱的分割问题，其中学习了从图谱到未标记数据的体素对应关系。随后，可以将图谱的分割标签转移到具有学习的对应关系的未标记数据。然而，由于图像之间的地面真实对应通常是不可用的，学习系统必须得到良好的监督，以避免模式坍塌和收敛失败。为了克服这个困难，我们诉诸于向前向后一致性，这是广泛使用的对应问题，并额外学习向后对应从扭曲的地图集回到原来的地图集。这种循环对应学习设计使各种额外的、基于循环一致性的监督信号能够使训练过程稳定，同时也提高了性能。我们通过全面的实验证明了我们的方法优于基于深度学习的单次分割方法和经典的多图谱分割方法。
2020-03-20 cs.CV
Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
University of South Carolina（南卡罗来纳大学）
三维点云语义分割的目的是将所有的点按不同的语义分类，有利于点云场景重建和理解等重要应用。现有的监督点云语义分割方法通常需要大规模的标注点云进行训练，并且不能处理新的类别。虽然最近提出了一种少样本学习方法来解决这两个问题，但它存在由图构造引起的高计算复杂性以及由于使用池化操作而无法学习点之间的细粒度关系。在本文中，我们进一步解决这些问题，通过开发一个新的多层Transformer网络的Few-Shot点云语义分割。在该网络中，查询点云特征基于不同尺度下的类特定支持特征进行聚合。在不使用池操作的情况下，我们的方法充分利用了支持样本中的所有像素级特征。通过更好地利用支持功能的少样本学习，所提出的方法实现了新的国家的最先进的性能，与现有的Few-Shot 3D点云分割模型的S3DIS数据集和ScanNet数据集的推理时间减少了15\%。
2023-03-28 cs.CV
MFNet: Multi-class Few-shot Segmentation Network with Pixel-wise Metric Learning
Tongji University（同济大学）；King’s College London（伦敦国王学院）
在视觉识别任务中，少样本学习需要在很少的支持样本下学习对象类别的能力。随着深度学习的发展，它的重新流行主要是在图像分类中。这项工作的重点是Few-Shot语义分割，这仍然是一个很大程度上未开发的领域。最近的一些进展往往局限于单类Few-Shot分割。在本文中，我们首先提出了一种新的多路（类）编码和解码架构，有效地融合多尺度查询信息和多类支持信息到一个查询支持嵌入。多类分割直接解码后，这个嵌入。为了更好地进行特征融合，提出了一种多层次的注意力机制，包括支持度特征调制注意力和多尺度组合注意力。最后，为了增强嵌入空间学习，引入了一个额外的像素级度量学习模块，并在输入图像的像素级嵌入上制定了三重损失。在标准基准PASCAL-5i和COCO-20 i上进行的大量实验表明，我们的方法在Few-Shot分割方面明显优于现有技术
2022-07-27 cs.CV
Self-Regularized Prototypical Network for Few-Shot Semantic Segmentation
Nanyang Technological University（南洋理工大学）
图像语义分割中的深度CNN通常需要大量密集注释的图像进行训练，并且难以推广到不可见的对象类别。因此，已经开发了Few-Shot分割以仅用几个注释的示例来执行分割。在这项工作中，我们解决了Few-Shot分割使用自正则化原型网络（SRPNet）的基础上，原型提取更好地利用支持信息。SRPNet从支持图像中提取特定于类的原型表示，并通过距离度量-保真度为查询图像生成分割掩码。SRPNet提出了一种直接有效的支持集上的原型正则化方法，在该方法中，生成的原型在支持集本身上进行评估和正则化。生成的原型恢复支持掩码的程度对性能施加了上限。无论从支持集到查询集的知识推广得多么完整，查询集的性能都不应该超过上限。通过特定的原型正则化，SRPNet充分利用了支持中的知识，并提供了高质量的原型，这些原型代表了每个语义类，同时对不同的类具有区分性。通过结合一组正则化原型的迭代查询推理（IQI）模块，进一步提高了查询性能。我们提出的SRPNet在1镜头和5镜头分割基准上实现了新的最先进的性能。
2022-10-30 cs.CV
Frustratingly Simple but Effective Zero-shot Detection and Segmentation: Analysis and a Strong Baseline
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；Amazon（亚马逊）
对象检测和分割方法通常需要大量的实例级标注进行训练，这些标注的收集既耗时又昂贵，为此，zero-shot目标检测（或分割）的任务旨在学习有效的方法来识别和定位没有监督的类别的对象实例。为这些任务构建架构需要从无数的设计选项中进行选择，从用于将信息从可见类别转移到不可见类别的类编码形式，到为学习而优化的函数性质。在这项工作中，我们广泛研究这些设计选择，并仔细构建一个简单而非常有效的zero-shot识别方法。通过对MSCOCO数据集上的目标检测和分割的广泛实验，我们强调我们提出的方法优于现有的，相当复杂的架构。我们的研究结果和方法，我们建议作为一个有竞争力的未来的基线，指向需要重新审视最近的一些设计趋势，在zero-shot检测/分割。
2023-02-14 cs.CV
Zero-Shot 4D Lidar Panoptic Segmentation
NVIDIA（英伟达）
激光雷达中任意物体的Zero-shot 4D分割和识别对于具身导航至关重要，其应用范围从流感知到语义映射和定位。然而，在推进研究和开发用于激光雷达时空场景理解的通用方法方面的主要挑战在于提供必要的多样性和标注规模的数据集的稀缺。（Segment Anything in Lidar--4D），一种方法，利用多模态机器人传感器设置作为桥梁，结合现成的视觉提取视频对象分割（VOS）的最新发展，激光雷达的语言基础模型。我们利用VOS模型在短视频序列中伪标记tracklet，用序列级CLIP标记注释这些tracklet，并使用校准的多模态传感器设置将它们提升到4D激光雷达空间，以将它们提取到我们的SAL-4D模型。由于时间上一致的预测，我们在3D Zero-Shot激光雷达全景分割（LPS）中优于现有技术的$5$ PQ，并且解锁Zero-Shot 4D-LPS。
2025-04-01 cs.CV
Prototype Refinement Network for Few-Shot Segmentation
AInnovation Technology Co., Ltd.（创新奇智科技有限公司）
Few-Shot分割目标是在提供很少注释图像的情况下分割新类别。它比传统的语义分割任务更具挑战性，分割具有丰富注释图像的已知类。在本文中，我们提出了一个原型细化网络（PRNet）来解决Few-Shot分割的挑战。它首先学习从已知类的支持和查询图像中双向提取原型。此外，提取新类的代表性原型，我们使用适应和融合的原型细化。自适应步骤使模型学习新的概念，这是直接通过再训练实现的。首先提出了原型融合的概念，将支持原型和查询原型融合，融合了支持原型和查询原型的知识。它在原型精化中是有效的，而无需引入额外的可学习参数。通过这种方式，原型在低数据状态下变得更具歧视性。在PASAL- $5^i$和COCO- $20^i$上的实验证明了该方法的优越性.特别是在COCO- $20^i$上，PRNet在1次激发设置下的性能明显优于现有方法13.1%。
2020-05-09 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad（海得拉巴国际信息技术学院）；Adobe（奥多比）
Few-Shot分割（FSS）方法使用（支持）图像掩模对的小集合对目标（查询）图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中，我们展示了现有方法中利用这种相似性信息的差距，并提出了一个框架- SimPropNet，以弥合这些差距。我们建议联合预测的支持和查询掩码，以迫使支持功能，以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
Generalized Few-Shot Semantic Segmentation in Remote Sensing: Challenge and Benchmark
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；the University of Tokyo（东京大学）；Ontario Tech University（安大略理工大学）；University of British Columbia（不列颠哥伦比亚大学）
针对遥感领域小样本分割需兼顾新类适应与基类性能的需求，首次提出遥感广义小样本语义分割基准，发布扩充后的OpenEarthMap数据集并给出挑战赛两阶段基准结果。
2024-09-17 cs.CV
One-Shot Adaptive Segmentation For Scientific Images
Purdue University（普渡大学）
提出免训练一次性框架，用单张参考图结合DINOv3和特征正交化定位候选区域，经SAM分割，在显微镜和池沸腾数据集上平均IoU分别提升5.91%和78.62%。
2026-10-08 cs.CV
Hypercorrelation Squeeze for Few-Shot Segmentation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
Few-Shot语义分割的目的是学习只使用目标类的几个带注释的支持图像从查询图像中分割目标对象。这项具有挑战性的任务需要理解不同层次的视觉线索，并分析查询和支持图像之间的细粒度对应关系。为了解决这个问题，我们提出了超相关挤压网络（HSNet），它利用了多级特征相关性和高效的4D卷积。它从不同级别的中间卷积层中提取不同的特征，并构建4D相关张量的集合，即，超相关该方法在金字塔架构中使用高效的中心枢轴4D卷积，以从粗到细的方式逐渐将超相关的高级语义和低级几何线索挤压到精确的分割掩模中。在PASCAL-5i、COCO-20 i和FSS-1000的标准Few-Shot分割基准上的显著性能改进验证了所提出方法的有效性。
2021-10-14 cs.CV
Few-Shot Rotation-Invariant Aerial Image Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute for Advanced Study（东方高等研究院）
针对少样本航空图像分割中目标方向变化导致匹配失效的问题，提出FRINet网络，通过旋转自适应匹配和同标签监督，在基准上取得最先进性能。
2023-05-29 cs.CV eess.IV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；SenseTime（商汤科技）
语义分割是一项重要而普遍的任务，但在更广泛的应用中扩展到更多的类时，严重遭受像素级注释的高成本。为此，我们专注于名为弱杆语义分割的问题，其中新的类是从便宜的图像级标签的支持下，具有现成的像素级标签的基类学习。为了解决这个问题，我们提出了SimFormer，它在MaskFormer上执行双重相似性转移。具体来说，MaskFormer将语义分割任务分解为两个子任务：提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类，这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性，并将这种类不可知的语义相似性提取到新类的语义掩码中，从而使分割模型与图像之间的像素级语义关系规则化。此外，我们提出了一个补充损失，以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
XJTLU（西交利物浦大学）；University of Liverpool（利物浦大学）；Dinnar Automation Technology（迪纳自动化技术公司）
Few-Shot分割由于其能够有效地分割具有少量注释样本的不可见对象类而受到了广泛关注。大多数现有的方法使用掩码全局平均池（GAP）编码的注释支持图像的特征向量，以促进查询图像分割。然而，由于平均操作，该流水线不可避免地丢失了一些判别信息。在本文中，我们提出了一个简单而有效的自我引导学习方法，其中丢失的关键信息被挖掘。具体地，通过对带注释的支持图像进行初始预测，使用掩蔽的GAP将覆盖的和未覆盖的前景区域分别编码为主支持向量和辅助支持向量。通过聚合主支持向量和辅助支持向量，在查询图像上获得更好的分割性能。受我们用于单镜头分割的自引导模块的启发，我们提出了一个用于多镜头分割的交叉引导模块，其中使用来自多个注释样本的预测融合最终掩码，其中高质量的支持向量贡献更多，反之亦然。该模块在推理阶段改进了最终预测，而无需重新训练。大量的实验表明，我们的方法在PASCAL-5i和COCO-20 i数据集上都实现了新的最先进的性能。
2021-03-30 cs.CV
Few-shot 3D Point Cloud Semantic Segmentation
National University of Singapore（新加坡国立大学）
许多现有的3D点云语义分割方法都是完全监督的。这些完全监督的方法严重依赖于大量的标记训练数据，这些数据很难获得，并且在训练后不能分割新的类。为了减轻这些限制，我们提出了一种新的注意力感知的多原型转换Few-Shot点云语义分割方法来分割新的类给出了一些标记的例子。具体来说，每个类由多个原型表示，以模拟标记点的复杂数据分布。随后，我们采用了一个转导标签传播方法，利用标记的多原型和未标记的点之间的亲和力，以及未标记的点之间。此外，我们设计了一个注意力感知的多层次特征学习网络来学习识别特征，这些特征可以捕获点之间的几何依赖性和语义相关性。我们提出的方法与不同的Few-Shot点云语义分割设置（即，2/3-路1/5-拍摄）在两个基准数据集。我们的代码可在https://github.com/Na-Z/attMPTI上获得。
2021-03-29 cs.CV
