From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
One-Shot Instance Segmentation
University of Tübingen（图宾根大学）
我们解决了一次性实例分割的问题：给定一个新的，以前未知的对象类别的示例图像，在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务，我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN，使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果，突出了一次性设置的挑战：虽然将有关实例分割的知识转移到新的对象类别效果很好，但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割，并有望激发进一步研究更强大和灵活的景物分析算法。代码可在：https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
DenseMP: Unsupervised Dense Pre-training for Few-shot Medical Image Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Austin Peay State University（奥斯汀佩伊州立大学）
针对小样本医学图像分割训练数据稀缺易过拟合的问题，提出含两阶段无监督稠密预训练的DenseMP流水线，可提升PA-Net性能，在Abd-CT、Abd-MRI数据集上达SOTA。
2023-07-13 cs.CV
CRNet: Cross-Reference Networks for Few-Shot Segmentation
Nanyang Technological University（南洋理工大学）；A*Star（新加坡科技研究局）
在过去的几年中，最先进的图像分割算法是基于深度卷积神经网络的。为了渲染具有理解概念能力的深度网络，人类需要收集大量像素级注释数据来训练模型，这是耗时且繁琐的。近年来，Few-Shot分割方法被提出来解决这一问题。Few-Shot分割的目标是学习一个分割模型，该模型可以推广到只有少量训练图像的新类别。在本文中，我们提出了一个交叉引用网络（CRNet）的Few-Shot分割。与以前的作品只预测查询图像中的掩码不同，我们提出的模型同时对支持图像和查询图像进行预测。通过交叉引用机制，我们的网络可以更好地找到两幅图像中的共现对象，从而帮助Few-Shot分割任务。我们还开发了一个掩模细化模块来循环地细化前景区域的预测。对于$k$ -shot学习，我们建议微调网络的部分，以利用多个标记的支持图像。在PASCAL VOC 2012数据集上的实验表明，我们的网络达到了最先进的性能。
2020-03-24 cs.CV
Multi-similarity based Hyperrelation Network for few-shot segmentation
Few-Shot语义分割的目标是在只有少量标注样本的情况下识别出不可见类别的对象区域。Few-Shot分割的关键是在支持图像和查询图像之间建立鲁棒的语义关系，并防止过拟合。在本文中，我们提出了一个有效的多相似性超关系网络（MSHNet）来解决Few-Shot语义分割问题。在MSHNet中，我们提出了一种新的生成原型相似度（GPS），它与余弦相似度一起可以在支持图像和查询图像之间建立强语义关系。基于全局特征的局部生成原型相似度与基于局部特征的全局余弦相似度在逻辑上是互补的，同时利用这两种相似度可以更全面地表达查询图像与支持图像之间的关系。此外，我们提出了一个对称合并块（SMB）在MSHNet有效地合并多层，多镜头和多相似性超关系特征。MSHNet是建立在相似性而不是特定类别特征的基础上的，可以实现更普遍的统一性，有效地减少过拟合。在两个基准语义分割数据集Pascal-5i和COCO-20 i上，MSHNet在1次和5次语义分割任务上实现了最新的性能。
2022-06-23 cs.CV
CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）；China University of Mining and Technology（中国矿业大学）
语义分割的最新进展是由深度卷积神经网络和大规模标记图像数据集驱动的。然而，用于逐像素分割的数据标记是繁琐且昂贵的。此外，经过训练的模型只能在一组预定义的类内进行预测。在本文中，我们提出了CANet，一个类不可知的分割网络，执行Few-Shot分割新的类，只有少数注释的图像可用。我们的网络由一个两分支密集比较模块和一个迭代优化模块组成，该模块在支持图像和查询图像之间进行多级特征比较，该模块迭代地细化预测结果。此外，我们引入了一个注意力机制，以有效地融合信息，从多个支持的例子下，k-shot学习。PASCAL VOC 2012上的实验表明，我们的方法实现了平均Intersection-over-Union得分为55.4%的1镜头分割和57.1%的5镜头分割，分别超过了14.6%和13.2%的大幅度的最先进的方法。
2019-03-06 cs.CV
Zero-Shot Semantic Segmentation
Sorbonne Université（索邦大学）
语义分割模型在扩展到大量对象类的能力方面受到限制。在本文中，我们介绍了新的任务zero-shot语义分割：学习像素分类从未见过的对象类别与零训练样本。为此，我们提出了一种新的架构，C33 Net，结合深度视觉分割模型的方法来生成视觉表示的语义词嵌入。通过这种方式，P2P 3 Net解决了在测试时面临可见和不可见类别的像素分类任务（所谓的“广义”zero-shot分类）。性能进一步提高了一个自我训练的步骤，依赖于自动伪标记的像素从看不见的类。在两个标准的分割数据集，Pascal-VOC和Pascal-Context，我们提出了zero-shot基准和设置有竞争力的基线。对于Pascal-Context数据集中的复杂场景，我们通过使用图形上下文编码来扩展我们的方法，以充分利用来自类分割图的空间上下文先验。
2019-11-18 cs.CV
A Location-Sensitive Local Prototype Network for Few-Shot Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；VoxelCloud, Inc.（体素云公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
尽管深度神经网络在医学图像分割方面取得了巨大的成功，但它们通常需要大量昂贵的专家级注释数据。Few-Shot分割方法通过学习从有限数量的标记示例中转移知识来解决这个问题。在设计高性能的Few-Shot分割算法时，适当地描述先验知识是至关重要的。由于强空间先验存在于许多医学成像模式，我们提出了一种基于原型的方法-即位置敏感的本地原型网络-利用空间先验来执行Few-Shot医学图像分割。我们的方法划分成容易解决的局部区域分割与局部原型的子问题与全球原型分割整个图像的困难问题。对于内脏CT图像数据集上的器官分割实验，我们的方法在平均Dice系数上优于最先进的方法10%。广泛的消融研究证明了结合空间信息的实质性好处，并证实了我们的方法的有效性。
2021-03-18 cs.CV
Single-shot Path Integrated Panoptic Segmentation
Yonsei University（延世大学）；Adobe Research（Adobe研究院）
全景分割是一种将实例分割和语义分割相结合的新方法，近年来受到了广泛的关注。然而，大多数以前的方法是由多个通路，每个通路专门用于指定的分割任务。在本文中，我们提出了解决全景分割在单镜头通过整合的执行流程。通过该集成路径，生成了一个统一的特征图，称为全景特征，它包含了事物和材料的信息。Panoptic-Feature通过辅助问题变得更加复杂，这些辅助问题引导属于同一实例的像素聚类并区分不同类别的对象。卷积滤波器的集合（其中每个滤波器表示一个事物或一个填充物）被立即应用于全景特征，从而实现单次全景分割。结合自上而下和自下而上两种方法的优点，我们的方法SPINet在主要的全景分割基准：COCO和Cityscapes上具有很高的效率和准确性。
2020-12-04 cs.CV
Zero-Shot Instance Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；AInnovation Technology Co Ltd（创新奇智科技有限公司）
深度学习显著提高了具有丰富标记数据的实例分割的精度。然而，在许多领域，如医疗和制造业，收集足够的数据是非常困难的，标记这些数据需要很高的专业技能。我们遵循这个动机，并提出了一个新的任务集命名为zero-shot实例分割（ZSI）。在ZSI的训练阶段，模型使用可见数据进行训练，而在测试阶段，它用于分割所有可见和不可见的实例。首先，我们制定了ZSI任务，并提出了一种方法来解决这一挑战，它包括Zero-shot检测器，语义掩码头，背景感知RPN和同步背景策略。我们提出了一个新的基准zero-shot实例分割的基础上的MS-COCO数据集。实验结果表明，该方法不仅在zero-shot目标检测任务上优于现有方法，而且在ZSI上也取得了良好的性能。我们的方法将作为一个坚实的基线，并促进未来的研究在zero-shot实例分割。
2021-06-01 cs.CV
STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery
University of Michigan（密歇根大学）
针对零样本仿真到真实的沉船声呐图像分割问题，提出STARS网络融合形变场与异常体实现泛化，全仿真训练无需真实数据微调，在真实数据集上较最优基线提升20%分割性能。
2023-10-02 cs.CV
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute（南加州大学信息科学研究所）
与传统的zero-shot分类不同，zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时，对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码，该相对位置编码在特征级上集成了空间信息，并且可以处理任意大小的图像。此外，在自训练广泛应用于zero-shot语义分割中生成伪标签的同时，本文提出了一种新的基于知识蒸馏的自训练策略，即退火自训练，它可以自动为伪标签分配不同的重要性，以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估，我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
National University of Singapore（新加坡国立大学）
尽管深度CNN在图像语义分割方面取得了很大进展，但它们通常需要大量密集注释的图像进行训练，并且难以推广到看不见的对象类别。因此，已经开发了Few-Shot分割以学习仅从几个注释的示例执行分割。在本文中，我们从度量学习的角度来解决具有挑战性的Few-Shot分割问题，并提出了PANet，一种新的原型对齐网络，以更好地利用支持集的信息。我们的PANet从嵌入空间内的一些支持图像中学习特定于类的原型表示，然后通过将每个像素与学习的原型相匹配来对查询图像进行分割。通过非参数度量学习，PANet提供了高质量的原型，这些原型代表了每个语义类别，同时对不同类别具有区分性。此外，PANet还引入了支持和查询之间的原型对齐正则化。通过这种方式，PANet充分利用了来自支持的知识，并在Few-Shot分割上提供了更好的泛化。值得注意的是，我们的模型在PASCAL-5i上分别实现了48.1%和55.7%的mIoU得分，分别超过了1.8%和8.6%的最先进的方法。
2020-02-07 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Interclass Prototype Relation for Few-Shot Segmentation
SoftBank Corp.（软银公司）
传统的语义分割需要大量的标记图像数据集，并且只能在预定义的类内进行预测。为了解决这个问题，Few-Shot分割，它只需要少量的新的目标类的注释，是很重要的。然而，对于Few-Shot分割，由于样本数据中的微小变化，特征空间中的目标类数据分布是稀疏的并且具有低覆盖率。设置分类边界，将目标类与其他类适当地分开，是一项不可能完成的任务。特别是，很难对与边界附近的目标类相似的类进行分类。本研究提出了类间原型关系网络（IPRNet），它通过减少其他类之间的相似性来提高分离性能。我们对Pascal-5i和COCO-20 i进行了广泛的实验，结果表明，与以前的研究相比，IPRNet提供了最好的分割性能。
2022-11-16 cs.CV
TongueSAM: An Universal Tongue Segmentation Model Based on SAM with Zero-Shot
Xiamen University（厦门大学）
针对跨域及复杂背景舌象分割难题，本文提出基于SAM并集成目标检测提示生成器的TongueSAM，实现端到端零样本舌体分割，mIoU达95.23%。
2023-12-06 cs.CV
FGN: Fully Guided Network for Few-Shot Instance Segmentation
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Wuhan University（武汉大学）
Few-Shot实例分割（FSIS）将少样本学习范式与一般实例分割结合起来，为在缺乏丰富标记数据的情况下解决实例分割问题提供了一种可能的方法。提出了一种用于Few-Shot实例分割的完全引导网络（FGN）。FGN将FSIS视为引导模型，其中所谓的支持集被编码并用于引导基本实例分割网络的预测（即，Mask R-CNN），其中关键的是指导机制。从这个角度来看，FGN在Mask R-CNN中的各个关键组件中引入了不同的指导机制，包括Attention-Guided RPN，Attention-Guided Detector和Attention-Guided FCN，以充分利用支持集的指导作用，更好地适应类间泛化。在公共数据集上的实验表明，我们提出的FGN可以优于最先进的方法。
2020-03-31 cs.CV
SAM-IF: Leveraging SAM for Incremental Few-Shot Instance Segmentation
Shanghai Jiao Tong University（上海交通大学）；Noematrix Co., Ltd.（诺码特里克斯有限公司）
SAM-IF利用SAM模型，通过多类分类器和余弦相似度分类器实现增量少样本实例分割，仅更新分类器权重支持增量学习，在有限标注数据下取得更合理结果。
2024-12-15 cs.CV
Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation
A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；Jiangxi Finance and Economics University（江西财经大学）
当前的Few-Shot分割（FSSeg）方法主要集中在提高新类的性能，而忽略了基类的性能。为了克服这一限制，广义Few-Shot语义分割（GFSSeg）的任务已被引入，旨在预测基础和新的类的分割掩码。然而，目前的基于原型的方法没有显式地考虑基类和新类之间的关系时，更新原型，导致有限的性能，在确定真正的类别。为了解决这一挑战，我们提出了一个类对比损失和类关系损失，以规范原型更新，并鼓励来自不同类的原型之间的距离很大，从而区分彼此的类，同时保持基类的性能。我们提出的方法实现了新的国家的最先进的性能，广义Few-Shot分割任务的PASCAL VOC和MS COCO数据集。
2023-03-24 cs.CV
One-Shot Learning for Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）
用于图像分类的低拍摄学习方法支持从稀疏数据学习。我们扩展这些技术，以支持密集的语义图像分割。具体来说，我们训练一个网络，给定一小部分带注释的图像，生成全卷积网络（FCN）的参数。我们使用此FCN对新语义类的测试图像进行密集像素级预测。与PASCAL VOC 2012数据集中未见过类的单次分割的最佳基线方法相比，我们的架构显示出25%的相对平均IoU改进，并且至少快3倍。
2017-09-11 cs.CV
Prototype-based Incremental Few-Shot Semantic Segmentation
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）；University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）
语义分割模型有两个基本的弱点：i）它们需要大量的训练集，具有昂贵的像素级注释，ii）它们具有静态输出空间，受限于训练集的类。为了解决这两个问题，我们引入了一个新的任务，增量Few-Shot分割（iFSS）。iFSS的目标是扩展一个预先训练的分割模型，其中包含来自少量注释图像的新类别，并且无需访问旧的训练数据。为了克服现有模型inIFS的局限性，我们提出了基于原型的增量Few-Shot分割（PIFS），耦合原型学习和知识蒸馏。PIFS利用原型来初始化新类的分类器，微调网络以改进其特征表示。我们设计了一个基于原型的蒸馏损失的分数，旧的和新的类原型，以避免过度拟合和遗忘，和批量重整，以应付非独立同分布的Few-Shot数据。我们为iFSS创建了一个广泛的基准测试，表明PIFS在所有情况下都优于几种Few-Shot和增量学习方法。
2021-10-18 cs.CV
Learning Meta-class Memory for Few-Shot Semantic Segmentation
S-lab, Nanyang Technological University（南洋理工大学S-lab）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；Dept of Data Science and AI, Monash University（莫纳什大学数据科学与人工智能系）
目前，最先进的方法将Few-Shot语义分割任务视为条件前景-背景分割问题，假设每个类是独立的。在本文中，我们引入了元类的概念，这是Meta信息（如某些中间层的功能）之间共享的所有类。为了在Few-Shot分割任务中显式地学习元类表示，提出了一种基于元类记忆的Few-Shot分割方法（MM-Net）。此外，对于$k$拍摄的情况下，我们提出了一种新的图像质量测量模块来选择图像的支持图像。基于质量测度的支持图像特征加权和可以得到高质量的类原型。在PASCAL- $5^i$和COCO数据集上的实验表明，我们提出的方法能够在1次和5次拍摄设置下实现最先进的结果。特别是，我们提出的MM-Net在COCO数据集上实现了37.5\%的mIoU，比以前的最先进水平高出5.1\%。
2021-08-16 cs.CV
Incremental Few-Shot Instance Segmentation
Utrecht University（乌得勒支大学）；Cyclomedia Technology（Cyclomedia技术公司）
当新类别的标记训练数据稀缺时，Few-Shot实例分割方法很有前途。然而，当前的方法不便于灵活地添加新类。它们还要求在训练和测试时提供每个类的示例，这是内存密集型的。在本文中，我们提出了第一个增量的方法来解决这些限制Few-Shot实例分割：iMTFA。我们学习合并到类代表的对象实例的判别嵌入。存储嵌入向量而不是图像有效地解决了内存开销问题。我们使用余弦相似度在ROI级别匹配这些类嵌入。这使我们能够添加新的类，而不需要进一步的训练或访问以前的训练数据。在一系列的实验中，我们始终优于目前的最先进的。此外，减少内存需求使我们能够评估，第一次，Few-Shot实例分割的性能在COCO中的所有类联合。
2021-05-11 cs.CV
Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
本研究针对遥感图像少样本语义分割任务，提出一种基于SAM的结构化框架，通过新颖的自动提示学习方法生成像素级提示，实现高效自动化分割，并在DLRSD数据集上超越现有方法。
2023-11-22 cs.CV
Residual Pyramid Learning for Single-Shot Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
像素级语义分割是一个具有挑战性的任务，具有巨大的计算量，特别是如果输入的大小是大的。在分割模型中，除了特征提取之外，还经常使用额外的解码器结构来恢复空间信息。本文提出了一种基于特征残差金字塔网络（RPNet）的单镜头分割方法，该方法通过分解残差块不同层次的标签来学习分割的主成分和残差成分。具体来说，我们使用残差特征来学习目标的边缘和细节，使用身份特征来学习目标的主要部分。在测试时，预测残差用于增强顶层预测的细节。剩余学习块将网络分成几个浅层子网络，这有助于RPNet的训练。然后，我们评估所提出的方法，并将其与CamVid和Cityscapes上的最新方法进行比较。提出的基于RPNet的单镜头分割在像素级分割上取得了令人印象深刻的结果。
2019-03-23 cs.CV
Attention-Based Prototype Calibration for Multi-Rater Few-Shot Medical Image Segmentation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出一种注意力原型校准框架，通过建模评估者特异性偏差，在不修改骨干网络的情况下实现个性化分割，有效提升多评估者少样本分割性能。
2026-06-26 cs.CV
LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation
Xiamen University（厦门大学）；Tencent（腾讯）；Xi’an Jiaotong University（西安交通大学）；Macau University of Science and Technology（澳门科技大学）
我们引入了一个一次性分割方法，以减轻负担的手动注释的医学图像。其主要思想是将单次分割视为经典的基于图谱的分割问题，其中学习了从图谱到未标记数据的体素对应关系。随后，可以将图谱的分割标签转移到具有学习的对应关系的未标记数据。然而，由于图像之间的地面真实对应通常是不可用的，学习系统必须得到良好的监督，以避免模式坍塌和收敛失败。为了克服这个困难，我们诉诸于向前向后一致性，这是广泛使用的对应问题，并额外学习向后对应从扭曲的地图集回到原来的地图集。这种循环对应学习设计使各种额外的、基于循环一致性的监督信号能够使训练过程稳定，同时也提高了性能。我们通过全面的实验证明了我们的方法优于基于深度学习的单次分割方法和经典的多图谱分割方法。
2020-03-20 cs.CV
Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
University of South Carolina（南卡罗来纳大学）
三维点云语义分割的目的是将所有的点按不同的语义分类，有利于点云场景重建和理解等重要应用。现有的监督点云语义分割方法通常需要大规模的标注点云进行训练，并且不能处理新的类别。虽然最近提出了一种少样本学习方法来解决这两个问题，但它存在由图构造引起的高计算复杂性以及由于使用池化操作而无法学习点之间的细粒度关系。在本文中，我们进一步解决这些问题，通过开发一个新的多层Transformer网络的Few-Shot点云语义分割。在该网络中，查询点云特征基于不同尺度下的类特定支持特征进行聚合。在不使用池操作的情况下，我们的方法充分利用了支持样本中的所有像素级特征。通过更好地利用支持功能的少样本学习，所提出的方法实现了新的国家的最先进的性能，与现有的Few-Shot 3D点云分割模型的S3DIS数据集和ScanNet数据集的推理时间减少了15\%。
2023-03-28 cs.CV
MFNet: Multi-class Few-shot Segmentation Network with Pixel-wise Metric Learning
Tongji University（同济大学）；King’s College London（伦敦国王学院）
在视觉识别任务中，少样本学习需要在很少的支持样本下学习对象类别的能力。随着深度学习的发展，它的重新流行主要是在图像分类中。这项工作的重点是Few-Shot语义分割，这仍然是一个很大程度上未开发的领域。最近的一些进展往往局限于单类Few-Shot分割。在本文中，我们首先提出了一种新的多路（类）编码和解码架构，有效地融合多尺度查询信息和多类支持信息到一个查询支持嵌入。多类分割直接解码后，这个嵌入。为了更好地进行特征融合，提出了一种多层次的注意力机制，包括支持度特征调制注意力和多尺度组合注意力。最后，为了增强嵌入空间学习，引入了一个额外的像素级度量学习模块，并在输入图像的像素级嵌入上制定了三重损失。在标准基准PASCAL-5i和COCO-20 i上进行的大量实验表明，我们的方法在Few-Shot分割方面明显优于现有技术
2022-07-27 cs.CV
Self-Regularized Prototypical Network for Few-Shot Semantic Segmentation
Nanyang Technological University（南洋理工大学）
图像语义分割中的深度CNN通常需要大量密集注释的图像进行训练，并且难以推广到不可见的对象类别。因此，已经开发了Few-Shot分割以仅用几个注释的示例来执行分割。在这项工作中，我们解决了Few-Shot分割使用自正则化原型网络（SRPNet）的基础上，原型提取更好地利用支持信息。SRPNet从支持图像中提取特定于类的原型表示，并通过距离度量-保真度为查询图像生成分割掩码。SRPNet提出了一种直接有效的支持集上的原型正则化方法，在该方法中，生成的原型在支持集本身上进行评估和正则化。生成的原型恢复支持掩码的程度对性能施加了上限。无论从支持集到查询集的知识推广得多么完整，查询集的性能都不应该超过上限。通过特定的原型正则化，SRPNet充分利用了支持中的知识，并提供了高质量的原型，这些原型代表了每个语义类，同时对不同的类具有区分性。通过结合一组正则化原型的迭代查询推理（IQI）模块，进一步提高了查询性能。我们提出的SRPNet在1镜头和5镜头分割基准上实现了新的最先进的性能。
2022-10-30 cs.CV
Frustratingly Simple but Effective Zero-shot Detection and Segmentation: Analysis and a Strong Baseline
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；Amazon（亚马逊）
对象检测和分割方法通常需要大量的实例级标注进行训练，这些标注的收集既耗时又昂贵，为此，zero-shot目标检测（或分割）的任务旨在学习有效的方法来识别和定位没有监督的类别的对象实例。为这些任务构建架构需要从无数的设计选项中进行选择，从用于将信息从可见类别转移到不可见类别的类编码形式，到为学习而优化的函数性质。在这项工作中，我们广泛研究这些设计选择，并仔细构建一个简单而非常有效的zero-shot识别方法。通过对MSCOCO数据集上的目标检测和分割的广泛实验，我们强调我们提出的方法优于现有的，相当复杂的架构。我们的研究结果和方法，我们建议作为一个有竞争力的未来的基线，指向需要重新审视最近的一些设计趋势，在zero-shot检测/分割。
2023-02-14 cs.CV
Zero-Shot 4D Lidar Panoptic Segmentation
NVIDIA（英伟达）
激光雷达中任意物体的Zero-shot 4D分割和识别对于具身导航至关重要，其应用范围从流感知到语义映射和定位。然而，在推进研究和开发用于激光雷达时空场景理解的通用方法方面的主要挑战在于提供必要的多样性和标注规模的数据集的稀缺。（Segment Anything in Lidar--4D），一种方法，利用多模态机器人传感器设置作为桥梁，结合现成的视觉提取视频对象分割（VOS）的最新发展，激光雷达的语言基础模型。我们利用VOS模型在短视频序列中伪标记tracklet，用序列级CLIP标记注释这些tracklet，并使用校准的多模态传感器设置将它们提升到4D激光雷达空间，以将它们提取到我们的SAL-4D模型。由于时间上一致的预测，我们在3D Zero-Shot激光雷达全景分割（LPS）中优于现有技术的$5$ PQ，并且解锁Zero-Shot 4D-LPS。
2025-04-01 cs.CV
Prototype Refinement Network for Few-Shot Segmentation
AInnovation Technology Co., Ltd.（创新奇智科技有限公司）
Few-Shot分割目标是在提供很少注释图像的情况下分割新类别。它比传统的语义分割任务更具挑战性，分割具有丰富注释图像的已知类。在本文中，我们提出了一个原型细化网络（PRNet）来解决Few-Shot分割的挑战。它首先学习从已知类的支持和查询图像中双向提取原型。此外，提取新类的代表性原型，我们使用适应和融合的原型细化。自适应步骤使模型学习新的概念，这是直接通过再训练实现的。首先提出了原型融合的概念，将支持原型和查询原型融合，融合了支持原型和查询原型的知识。它在原型精化中是有效的，而无需引入额外的可学习参数。通过这种方式，原型在低数据状态下变得更具歧视性。在PASAL- $5^i$和COCO- $20^i$上的实验证明了该方法的优越性.特别是在COCO- $20^i$上，PRNet在1次激发设置下的性能明显优于现有方法13.1%。
2020-05-09 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad（海得拉巴国际信息技术学院）；Adobe（奥多比）
Few-Shot分割（FSS）方法使用（支持）图像掩模对的小集合对目标（查询）图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中，我们展示了现有方法中利用这种相似性信息的差距，并提出了一个框架- SimPropNet，以弥合这些差距。我们建议联合预测的支持和查询掩码，以迫使支持功能，以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
Generalized Few-Shot Semantic Segmentation in Remote Sensing: Challenge and Benchmark
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；the University of Tokyo（东京大学）；Ontario Tech University（安大略理工大学）；University of British Columbia（不列颠哥伦比亚大学）
针对遥感领域小样本分割需兼顾新类适应与基类性能的需求，首次提出遥感广义小样本语义分割基准，发布扩充后的OpenEarthMap数据集并给出挑战赛两阶段基准结果。
2024-09-17 cs.CV
One-Shot Adaptive Segmentation For Scientific Images
Purdue University（普渡大学）
提出免训练一次性框架，用单张参考图结合DINOv3和特征正交化定位候选区域，经SAM分割，在显微镜和池沸腾数据集上平均IoU分别提升5.91%和78.62%。
2026-10-08 cs.CV
Hypercorrelation Squeeze for Few-Shot Segmentation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
Few-Shot语义分割的目的是学习只使用目标类的几个带注释的支持图像从查询图像中分割目标对象。这项具有挑战性的任务需要理解不同层次的视觉线索，并分析查询和支持图像之间的细粒度对应关系。为了解决这个问题，我们提出了超相关挤压网络（HSNet），它利用了多级特征相关性和高效的4D卷积。它从不同级别的中间卷积层中提取不同的特征，并构建4D相关张量的集合，即，超相关该方法在金字塔架构中使用高效的中心枢轴4D卷积，以从粗到细的方式逐渐将超相关的高级语义和低级几何线索挤压到精确的分割掩模中。在PASCAL-5i、COCO-20 i和FSS-1000的标准Few-Shot分割基准上的显著性能改进验证了所提出方法的有效性。
2021-10-14 cs.CV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；SenseTime（商汤科技）
语义分割是一项重要而普遍的任务，但在更广泛的应用中扩展到更多的类时，严重遭受像素级注释的高成本。为此，我们专注于名为弱杆语义分割的问题，其中新的类是从便宜的图像级标签的支持下，具有现成的像素级标签的基类学习。为了解决这个问题，我们提出了SimFormer，它在MaskFormer上执行双重相似性转移。具体来说，MaskFormer将语义分割任务分解为两个子任务：提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类，这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性，并将这种类不可知的语义相似性提取到新类的语义掩码中，从而使分割模型与图像之间的像素级语义关系规则化。此外，我们提出了一个补充损失，以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
XJTLU（西交利物浦大学）；University of Liverpool（利物浦大学）；Dinnar Automation Technology（迪纳自动化技术公司）
Few-Shot分割由于其能够有效地分割具有少量注释样本的不可见对象类而受到了广泛关注。大多数现有的方法使用掩码全局平均池（GAP）编码的注释支持图像的特征向量，以促进查询图像分割。然而，由于平均操作，该流水线不可避免地丢失了一些判别信息。在本文中，我们提出了一个简单而有效的自我引导学习方法，其中丢失的关键信息被挖掘。具体地，通过对带注释的支持图像进行初始预测，使用掩蔽的GAP将覆盖的和未覆盖的前景区域分别编码为主支持向量和辅助支持向量。通过聚合主支持向量和辅助支持向量，在查询图像上获得更好的分割性能。受我们用于单镜头分割的自引导模块的启发，我们提出了一个用于多镜头分割的交叉引导模块，其中使用来自多个注释样本的预测融合最终掩码，其中高质量的支持向量贡献更多，反之亦然。该模块在推理阶段改进了最终预测，而无需重新训练。大量的实验表明，我们的方法在PASCAL-5i和COCO-20 i数据集上都实现了新的最先进的性能。
2021-03-30 cs.CV
Few-shot 3D Point Cloud Semantic Segmentation
National University of Singapore（新加坡国立大学）
许多现有的3D点云语义分割方法都是完全监督的。这些完全监督的方法严重依赖于大量的标记训练数据，这些数据很难获得，并且在训练后不能分割新的类。为了减轻这些限制，我们提出了一种新的注意力感知的多原型转换Few-Shot点云语义分割方法来分割新的类给出了一些标记的例子。具体来说，每个类由多个原型表示，以模拟标记点的复杂数据分布。随后，我们采用了一个转导标签传播方法，利用标记的多原型和未标记的点之间的亲和力，以及未标记的点之间。此外，我们设计了一个注意力感知的多层次特征学习网络来学习识别特征，这些特征可以捕获点之间的几何依赖性和语义相关性。我们提出的方法与不同的Few-Shot点云语义分割设置（即，2/3-路1/5-拍摄）在两个基准数据集。我们的代码可在https://github.com/Na-Z/attMPTI上获得。
2021-03-29 cs.CV
Applying ViT in Generalized Few-shot Semantic Segmentation
NYU Shanghai（上海纽约大学）
本文探讨了基于ViT的模型在广义少样本语义分割（GFSS）中的能力，实验表明DINOv2与线性分类器组合在PASCAL-$5^i$基准上表现领先，单样本场景下超越ResNet结构116%，同时指出纯ViT模型易过拟合。
2024-08-27 cs.CV
Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation
Monash University（莫纳什大学）
最近的掩码建议模型已经显著提高了zero-shot语义分割的性能。然而，在这些方法中，在训练期间使用“背景”嵌入是有问题的，因为所得到的模型往往会过度学习并将所有看不见的类分配为背景类，而不是它们的正确标签。此外，他们忽略了文本嵌入的语义关系，这可以说是高度信息化的zero-shot预测，因为看到的类可能与看不见的类有密切的关系。为此，本文提出了新的类增强损失，以绕过在训练过程中使用的背景嵌入，并同时利用文本嵌入和掩码建议之间的语义关系，通过排名的相似性得分。为了进一步捕捉可见类和不可见类之间的关系，我们提出了一个有效的伪标签生成管道，使用预训练的视觉语言模型。在多个基准数据集上的大量实验表明，我们的方法在zero-shot语义分割方面取得了最好的性能。我们的方法是灵活的，也可以应用到具有挑战性的开放词汇语义分割问题。
2023-01-18 cs.CV
Progressively Dual Prior Guided Few-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute for Advanced Study（东方理工高等研究院）；Northwestern Polytechnical University（西北工业大学）
Few-Shot语义分割任务的目的是在查询图像中使用少量带注释的支持样本进行分割。目前，Few-Shot分割方法主要集中在利用前景信息，而没有充分利用丰富的背景信息，这可能会导致错误激活类似前景的背景区域，并且不适应支持-查询图像对的剧烈场景变化。同时，由于原型处理对象外观变化的能力有限，细节挖掘机制的缺乏可能导致粗糙的解析结果，没有一些语义成分或边缘区域。为了解决这些问题，我们提出了一个渐进的双重先验引导的Few-Shot语义分割网络。首先设计了双先验模板生成（DPMG）模块，将背景作为辅助细化信息，以前景-背景比较的方式抑制错误激活。在此基础上，提出了一种渐进式语义细节丰富（PSDE）模块，通过迭代删除高置信度的前景区域并激活其余区域中的细节，使解析模型能够捕获隐藏的语义细节。DPMG和PSDE的合作制定了一个新的Few-Shot分割网络，可以以端到端的方式学习。在PASCAL-5i和MS COCO上的综合实验表明，该算法具有较好的性能。
2022-11-20 cs.CV
Prototype Adaption and Projection for Few- and Zero-shot 3D Point Cloud Semantic Segmentation
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
针对少样本和零样本3D点云语义分割，提出查询引导原型适应（QGPA）模块和自重建（SR）模块，并引入语义-视觉投影模型，在S3DIS和ScanNet上显著超越现有方法。
2023-05-23 cs.CV
Part-aware Prototype Network for Few-shot Semantic Segmentation
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
Few-Shot语义分割旨在学习仅用少量带注释的示例来分割新对象类，具有广泛的现实应用。现有的大多数方法要么集中在单向Few-Shot分割的限制性设置上，要么遭受对象区域的不完全覆盖。在本文中，我们提出了一种新的Few-Shot语义分割框架的基础上的原型表示。我们的主要思想是将整体类表示分解为一组部分感知的原型，能够捕获不同的和细粒度的对象功能。此外，我们建议利用未标记的数据来丰富我们的部分感知原型，从而更好地建模语义对象的类内变化。我们开发了一种新的图神经网络模型来生成和增强基于标记和未标记图像的零件感知原型。在两个基准上进行的广泛的实验评估表明，我们的方法优于现有技术，具有相当大的利润率。
2022-12-02 cs.CV
Language-guided Few-shot Semantic Segmentation
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；East China Normal University（华东师范大学）
针对少样本语义分割像素级标注成本高的问题，提出仅用图像级文本标签的语言引导方法，通过视觉-语言预训练模型与掩码细化器生成伪掩码，结合分布式原型监督与互补关联匹配模块挖掘语义关系，在两个基准上达到与视觉引导方法相竞争的效果。
2023-11-23 cs.CV
Anti-aliasing Semantic Reconstruction for Few-Shot Semantic Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
在Few-Shot语义分割方面取得了令人鼓舞的进展，这是通过利用在具有足够训练数据的基础类上学习的特征来表示具有Few-Shot示例的新类。然而，这种特征共享机制不可避免地会导致新类之间的语义混淆，当它们具有相似的语义概念组合时。在本文中，我们重新制定的Few-Shot分割作为一个语义重建问题，并转换为一系列的基础类功能的基础向量，跨越一个类级的语义空间，新的类重建。通过引入对比损失，我们最大限度地提高了基向量的正交性，同时最大限度地减少了类之间的语义混淆。在重建的表示空间内，我们进一步抑制其他类的干扰，通过投影查询功能的支持向量精确的语义激活。我们提出的方法，称为抗锯齿语义重建（ASR），提供了一个系统的，但可解释的解决方案，少样本学习的问题。在PASCAL VOC和MS COCO数据集上进行的大量实验表明，与以前的工作相比，ASR取得了很好的效果。
2021-06-01 cs.CV
SATR: Zero-Shot Semantic Segmentation of 3D Shapes
KAUST（阿卜杜拉国王科技大学）；LIX, Ecole Polytechnique（巴黎综合理工学院LIX实验室）
本文提出SATR算法，利用零样本2D目标检测器的多视图边界框及表面拓扑特性实现3D形状零样本语义分割，并在ShapeNetPart和FAUST上取得最优性能。
2023-08-21 cs.CV
DiffCut: Catalyzing Zero-Shot Semantic Segmentation with Diffusion Features and Recursive Normalized Cut
本研究提出无监督零样本分割方法DiffCut，以扩散UNet编码器为基础视觉编码器，结合递归归一化割算法利用其最终自注意力块特征，在零样本分割任务上性能超越现有最优方法，证实扩散UNet编码器可作为下游任务的基础视觉编码器。
2025-10-02 cs.CV
Self-Supervision with Superpixels: Training Few-shot Medical Image Segmentation without Annotation
Imperial College London（帝国理工学院）；BioMedIA Group, Department of Computing（计算系BioMedIA小组）
Few-Shot语义分割（FSS）在医学成像领域有着巨大的应用潜力。大多数现有的FSS技术需要大量的注释语义类进行训练。然而，由于缺乏注释，这些方法可能不适用于医学图像。为了解决这个问题，我们做了几个贡献：（1）一个新的自监督FSS框架的医学图像，以消除在训练过程中的注释的要求。此外，生成基于超像素的伪标签以提供监督;（2）插入原型网络的自适应局部原型池化模块，以解决医学图像分割中常见的具有挑战性的前景-背景不平衡问题;（3）我们使用三个不同的任务证明了所提出的方法对医学图像的普遍适用性：用于CT和MRI的腹部器官分割，以及用于MRI的心脏分割。我们的研究结果表明，对于医学图像分割，所提出的方法优于传统的FSS方法，需要手动注释训练。
2020-10-06 cs.CV
Data Adaptive Few-shot Multi Label Segmentation with Foundation Model
Advanced Technology Group, GE HealthCare（GE医疗 先进技术集团）
提出基于基础模型的适配器，解决医学图像少样本分割中模板匹配假设局限及多标签顺序执行问题，在2D/3D及不同姿态临床数据上表现优异。
2024-10-13 cs.CV
Self-Correlation and Cross-Correlation Learning for Few-Shot Remote Sensing Image Semantic Segmentation
Virginia Tech（弗吉尼亚理工大学）
针对少样本遥感图像语义分割中地理对象外观和尺度差异大的问题，提出自相关与互相关学习网络（SCCNet），通过结合支持与查询图像的自相关和互相关并利用光谱方法生成类无关掩码，有效提升了分割泛化能力。
2023-09-15 cs.CV
Recursive Training for Zero-Shot Semantic Segmentation
Australian National University（澳大利亚国立大学）；Data61 – CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）
通用语义分割依赖于骨干CNN网络来提取区分特征，这些特征有助于将每个图像像素分类为“看到的”对象类（即，在训练期间可用的对象类）或背景类。Zero-shot语义分割是一项具有挑战性的任务，需要一个计算机视觉模型来识别属于一个对象类，它从来没有见过的图像像素。装备一个通用的语义分割模型，以分离图像像素的“看不见的”类的背景仍然是一个开放的挑战。最近的一些模型已经通过微调Zero-Shot设置的语义分割模型的最终像素分类层来解决这个问题，但是由于缺乏监督，难以学习区分特征。我们提出了一个递归的训练计划，监督的语义分割模型的再训练使用伪特征表示的zero-shot设置。为此，我们提出了一个零拍最大平均离散（Zero-Shot Maximum Mean Discreplanation，简称ZMMD）损失，它将像素分类层的高置信度输出作为伪特征表示进行加权，并将其反馈给生成器。通过在生成器端闭合循环，我们在重新训练期间提供监督，从而帮助模型为“看不见的”类学习更具鉴别力的特征表示。我们表明，使用我们的递归训练和EST-MMD损失，我们提出的模型在Pascal-VOC 2012数据集和Pascal-Context数据集上实现了最先进的性能。
2021-02-26 cs.CV
Few-Shot Segmentation with Global and Local Contrastive Learning
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Institute of Big Data, Fudan University（复旦大学大数据学院）；Cardiff University（卡迪夫大学）
本文提出一种独立于支持分支的查询信息提取方法，利用全局-局部对比学习学习先验并生成区域图指导交互，在PASCAL-5$^{i}$和COCO上达到SOTA。
2025-03-25 cs.CV
