One-Shot Weakly Supervised Video Object Segmentation
University of Alberta（阿尔伯塔大学）；Indian Institute of Science (IISc)（印度科学学院（IISc））；ElementAI；HiSilicon, Huawei Research（华为海思研究部）
传统的Few-Shot对象分割方法从具有强标记的分割掩模的几个标记的支持图像学习对象分割。最近的工作表明，在涂鸦和边界框方面，它的表现与较弱的监督水平相当。然而，已经有有限的关注给予的问题，Few-Shot对象分割与图像级的监督。我们提出了一种新的多模态交互模块的Few-Shot对象分割，利用共同的注意力机制使用视觉和词嵌入。它使我们的模型，以实现5.1%的改进，比以前提出的图像级Few-Shot对象分割。我们的方法比较接近使用强监督的最先进的方法，而我们的方法使用最少的监督。我们进一步提出了一种新的设置Few-Shot弱监督视频对象分割（VOS），依赖于图像级标签的第一帧。建议的设置使用弱注释，不像半监督VOS设置，利用强标记的分割掩码。该设置评估了在VOS设置中推广到新类的有效性。该设置将VOS数据拆分为多个折叠，每个折叠具有不同的类别。它提供了一个潜在的设置，以评估如何Few-Shot对象分割方法可以受益于额外的对象姿势，或对象的相互作用，是不可用的静态帧在PASCAL-5i基准。
2019-12-18 cs.CV
Differentiable Meta-learning Model for Few-shot Semantic Segmentation
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）
为了解决语义分割的某些情况下的注释稀缺问题，已经有一些尝试来开发少样本学习范例中的分割模型。然而，大多数现有方法仅关注传统的单向分割设置（即，一个图像仅包含单个对象）。这与实际的语义分割任务相距甚远，在实际的语义分割任务中，通过执行精确的多对象分割通常需要K路设置（K>1）。为了解决这个问题，我们制定了Few-Shot语义分割任务作为一个基于学习的像素分类问题，并提出了一个新的框架称为MetaSegNet基于元学习。在MetaSegNet中，嵌入模块的结构由全局和局部特征分支组成，以提取适当的元知识用于Few-Shot分割。此外，我们将一个线性模型作为基础学习器集成到MetaSegNet中，以直接预测多对象分割的每个像素的标签。此外，我们的MetaSegNet可以从头开始以端到端的方式通过情景训练机制进行训练。在两个流行的语义分割数据集上的实验，即，PASCAL VOC和COCO，揭示了所提出的MetaSegNet在K-way Few-Shot语义分割任务中的有效性。
2019-11-23 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
One-Shot Instance Segmentation
University of Tübingen（图宾根大学）
我们解决了一次性实例分割的问题：给定一个新的，以前未知的对象类别的示例图像，在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务，我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN，使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果，突出了一次性设置的挑战：虽然将有关实例分割的知识转移到新的对象类别效果很好，但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割，并有望激发进一步研究更强大和灵活的景物分析算法。代码可在：https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
DenseMP: Unsupervised Dense Pre-training for Few-shot Medical Image Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Austin Peay State University（奥斯汀佩伊州立大学）
针对小样本医学图像分割训练数据稀缺易过拟合的问题，提出含两阶段无监督稠密预训练的DenseMP流水线，可提升PA-Net性能，在Abd-CT、Abd-MRI数据集上达SOTA。
2023-07-13 cs.CV
CRNet: Cross-Reference Networks for Few-Shot Segmentation
Nanyang Technological University（南洋理工大学）；A*Star（新加坡科技研究局）
在过去的几年中，最先进的图像分割算法是基于深度卷积神经网络的。为了渲染具有理解概念能力的深度网络，人类需要收集大量像素级注释数据来训练模型，这是耗时且繁琐的。近年来，Few-Shot分割方法被提出来解决这一问题。Few-Shot分割的目标是学习一个分割模型，该模型可以推广到只有少量训练图像的新类别。在本文中，我们提出了一个交叉引用网络（CRNet）的Few-Shot分割。与以前的作品只预测查询图像中的掩码不同，我们提出的模型同时对支持图像和查询图像进行预测。通过交叉引用机制，我们的网络可以更好地找到两幅图像中的共现对象，从而帮助Few-Shot分割任务。我们还开发了一个掩模细化模块来循环地细化前景区域的预测。对于$k$ -shot学习，我们建议微调网络的部分，以利用多个标记的支持图像。在PASCAL VOC 2012数据集上的实验表明，我们的网络达到了最先进的性能。
2020-03-24 cs.CV
Multi-similarity based Hyperrelation Network for few-shot segmentation
Few-Shot语义分割的目标是在只有少量标注样本的情况下识别出不可见类别的对象区域。Few-Shot分割的关键是在支持图像和查询图像之间建立鲁棒的语义关系，并防止过拟合。在本文中，我们提出了一个有效的多相似性超关系网络（MSHNet）来解决Few-Shot语义分割问题。在MSHNet中，我们提出了一种新的生成原型相似度（GPS），它与余弦相似度一起可以在支持图像和查询图像之间建立强语义关系。基于全局特征的局部生成原型相似度与基于局部特征的全局余弦相似度在逻辑上是互补的，同时利用这两种相似度可以更全面地表达查询图像与支持图像之间的关系。此外，我们提出了一个对称合并块（SMB）在MSHNet有效地合并多层，多镜头和多相似性超关系特征。MSHNet是建立在相似性而不是特定类别特征的基础上的，可以实现更普遍的统一性，有效地减少过拟合。在两个基准语义分割数据集Pascal-5i和COCO-20 i上，MSHNet在1次和5次语义分割任务上实现了最新的性能。
2022-06-23 cs.CV
Zero-shot Hierarchical Plant Segmentation via Foundation Segmentation Models and Text-to-image Attention
The University of Osaka（大阪大学）；Phytometrics；Nagoya University（名古屋大学）
ZeroPlantSeg通过基础分割模型和文本到图像注意力实现零shot分层植物分割，有效提取植物个体，优于现有方法。
2025-12-19 cs.CV
CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）；China University of Mining and Technology（中国矿业大学）
语义分割的最新进展是由深度卷积神经网络和大规模标记图像数据集驱动的。然而，用于逐像素分割的数据标记是繁琐且昂贵的。此外，经过训练的模型只能在一组预定义的类内进行预测。在本文中，我们提出了CANet，一个类不可知的分割网络，执行Few-Shot分割新的类，只有少数注释的图像可用。我们的网络由一个两分支密集比较模块和一个迭代优化模块组成，该模块在支持图像和查询图像之间进行多级特征比较，该模块迭代地细化预测结果。此外，我们引入了一个注意力机制，以有效地融合信息，从多个支持的例子下，k-shot学习。PASCAL VOC 2012上的实验表明，我们的方法实现了平均Intersection-over-Union得分为55.4%的1镜头分割和57.1%的5镜头分割，分别超过了14.6%和13.2%的大幅度的最先进的方法。
2019-03-06 cs.CV
Zero-Shot Semantic Segmentation
Sorbonne Université（索邦大学）
语义分割模型在扩展到大量对象类的能力方面受到限制。在本文中，我们介绍了新的任务zero-shot语义分割：学习像素分类从未见过的对象类别与零训练样本。为此，我们提出了一种新的架构，C33 Net，结合深度视觉分割模型的方法来生成视觉表示的语义词嵌入。通过这种方式，P2P 3 Net解决了在测试时面临可见和不可见类别的像素分类任务（所谓的“广义”zero-shot分类）。性能进一步提高了一个自我训练的步骤，依赖于自动伪标记的像素从看不见的类。在两个标准的分割数据集，Pascal-VOC和Pascal-Context，我们提出了zero-shot基准和设置有竞争力的基线。对于Pascal-Context数据集中的复杂场景，我们通过使用图形上下文编码来扩展我们的方法，以充分利用来自类分割图的空间上下文先验。
2019-11-18 cs.CV
Integrative Few-Shot Learning for Classification and Segmentation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们介绍了Few-Shot分类和分割（FS-CS）的综合任务，旨在分类和分割目标对象的查询图像时，目标类与一些例子。该任务结合了两个传统的少样本学习问题，Few-Shot分类和分割。FS-CS将它们推广到具有任意图像对的更真实的情节，其中每个目标类可能存在于查询中，也可能不存在。为了解决这个问题，我们提出了综合少样本学习（iFSL）框架的FS-CS，训练学习者构建类明智的前景地图多标签分类和像素明智的分割。我们还开发了一个有效的iFSL模型，专注挤压网络（ASNet），它利用深层语义相关性和全局自我注意力来生成可靠的前景地图。在实验中，所提出的方法表现出良好的性能上的FS-CS任务，也达到了最先进的标准Few-Shot分割基准。
2022-04-27 cs.CV
A Location-Sensitive Local Prototype Network for Few-Shot Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；VoxelCloud, Inc.（体素云公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
尽管深度神经网络在医学图像分割方面取得了巨大的成功，但它们通常需要大量昂贵的专家级注释数据。Few-Shot分割方法通过学习从有限数量的标记示例中转移知识来解决这个问题。在设计高性能的Few-Shot分割算法时，适当地描述先验知识是至关重要的。由于强空间先验存在于许多医学成像模式，我们提出了一种基于原型的方法-即位置敏感的本地原型网络-利用空间先验来执行Few-Shot医学图像分割。我们的方法划分成容易解决的局部区域分割与局部原型的子问题与全球原型分割整个图像的困难问题。对于内脏CT图像数据集上的器官分割实验，我们的方法在平均Dice系数上优于最先进的方法10%。广泛的消融研究证明了结合空间信息的实质性好处，并证实了我们的方法的有效性。
2021-03-18 cs.CV
Single-shot Path Integrated Panoptic Segmentation
Yonsei University（延世大学）；Adobe Research（Adobe研究院）
全景分割是一种将实例分割和语义分割相结合的新方法，近年来受到了广泛的关注。然而，大多数以前的方法是由多个通路，每个通路专门用于指定的分割任务。在本文中，我们提出了解决全景分割在单镜头通过整合的执行流程。通过该集成路径，生成了一个统一的特征图，称为全景特征，它包含了事物和材料的信息。Panoptic-Feature通过辅助问题变得更加复杂，这些辅助问题引导属于同一实例的像素聚类并区分不同类别的对象。卷积滤波器的集合（其中每个滤波器表示一个事物或一个填充物）被立即应用于全景特征，从而实现单次全景分割。结合自上而下和自下而上两种方法的优点，我们的方法SPINet在主要的全景分割基准：COCO和Cityscapes上具有很高的效率和准确性。
2020-12-04 cs.CV
Zero-Shot Instance Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；AInnovation Technology Co Ltd（创新奇智科技有限公司）
深度学习显著提高了具有丰富标记数据的实例分割的精度。然而，在许多领域，如医疗和制造业，收集足够的数据是非常困难的，标记这些数据需要很高的专业技能。我们遵循这个动机，并提出了一个新的任务集命名为zero-shot实例分割（ZSI）。在ZSI的训练阶段，模型使用可见数据进行训练，而在测试阶段，它用于分割所有可见和不可见的实例。首先，我们制定了ZSI任务，并提出了一种方法来解决这一挑战，它包括Zero-shot检测器，语义掩码头，背景感知RPN和同步背景策略。我们提出了一个新的基准zero-shot实例分割的基础上的MS-COCO数据集。实验结果表明，该方法不仅在zero-shot目标检测任务上优于现有方法，而且在ZSI上也取得了良好的性能。我们的方法将作为一个坚实的基线，并促进未来的研究在zero-shot实例分割。
2021-06-01 cs.CV
STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery
University of Michigan（密歇根大学）
针对零样本仿真到真实的沉船声呐图像分割问题，提出STARS网络融合形变场与异常体实现泛化，全仿真训练无需真实数据微调，在真实数据集上较最优基线提升20%分割性能。
2023-10-02 cs.CV
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute（南加州大学信息科学研究所）
与传统的zero-shot分类不同，zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时，对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码，该相对位置编码在特征级上集成了空间信息，并且可以处理任意大小的图像。此外，在自训练广泛应用于zero-shot语义分割中生成伪标签的同时，本文提出了一种新的基于知识蒸馏的自训练策略，即退火自训练，它可以自动为伪标签分配不同的重要性，以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估，我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
National University of Singapore（新加坡国立大学）
尽管深度CNN在图像语义分割方面取得了很大进展，但它们通常需要大量密集注释的图像进行训练，并且难以推广到看不见的对象类别。因此，已经开发了Few-Shot分割以学习仅从几个注释的示例执行分割。在本文中，我们从度量学习的角度来解决具有挑战性的Few-Shot分割问题，并提出了PANet，一种新的原型对齐网络，以更好地利用支持集的信息。我们的PANet从嵌入空间内的一些支持图像中学习特定于类的原型表示，然后通过将每个像素与学习的原型相匹配来对查询图像进行分割。通过非参数度量学习，PANet提供了高质量的原型，这些原型代表了每个语义类别，同时对不同类别具有区分性。此外，PANet还引入了支持和查询之间的原型对齐正则化。通过这种方式，PANet充分利用了来自支持的知识，并在Few-Shot分割上提供了更好的泛化。值得注意的是，我们的模型在PASCAL-5i上分别实现了48.1%和55.7%的mIoU得分，分别超过了1.8%和8.6%的最先进的方法。
2020-02-07 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Interclass Prototype Relation for Few-Shot Segmentation
SoftBank Corp.（软银公司）
传统的语义分割需要大量的标记图像数据集，并且只能在预定义的类内进行预测。为了解决这个问题，Few-Shot分割，它只需要少量的新的目标类的注释，是很重要的。然而，对于Few-Shot分割，由于样本数据中的微小变化，特征空间中的目标类数据分布是稀疏的并且具有低覆盖率。设置分类边界，将目标类与其他类适当地分开，是一项不可能完成的任务。特别是，很难对与边界附近的目标类相似的类进行分类。本研究提出了类间原型关系网络（IPRNet），它通过减少其他类之间的相似性来提高分离性能。我们对Pascal-5i和COCO-20 i进行了广泛的实验，结果表明，与以前的研究相比，IPRNet提供了最好的分割性能。
2022-11-16 cs.CV
TongueSAM: An Universal Tongue Segmentation Model Based on SAM with Zero-Shot
Xiamen University（厦门大学）
针对跨域及复杂背景舌象分割难题，本文提出基于SAM并集成目标检测提示生成器的TongueSAM，实现端到端零样本舌体分割，mIoU达95.23%。
2023-12-06 cs.CV
FGN: Fully Guided Network for Few-Shot Instance Segmentation
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Wuhan University（武汉大学）
Few-Shot实例分割（FSIS）将少样本学习范式与一般实例分割结合起来，为在缺乏丰富标记数据的情况下解决实例分割问题提供了一种可能的方法。提出了一种用于Few-Shot实例分割的完全引导网络（FGN）。FGN将FSIS视为引导模型，其中所谓的支持集被编码并用于引导基本实例分割网络的预测（即，Mask R-CNN），其中关键的是指导机制。从这个角度来看，FGN在Mask R-CNN中的各个关键组件中引入了不同的指导机制，包括Attention-Guided RPN，Attention-Guided Detector和Attention-Guided FCN，以充分利用支持集的指导作用，更好地适应类间泛化。在公共数据集上的实验表明，我们提出的FGN可以优于最先进的方法。
2020-03-31 cs.CV
A New Few-shot Segmentation Network Based on Class Representation
University of Electronic Science and Technology of China（电子科技大学）
本文研究了Few-Shot分割方法，即在已有的丰富标注集的辅助下，仅利用少量的标注来预测未知类的前景掩模。现有的方法主要针对“\textit{how to transfer segmentation cues from support images (labeled images) to query images (unlabeled images)}“，试图学习高效、通用的转换模块，并能方便地扩展到未知类。然而，它被证明是一个具有挑战性的任务，学习的转换模块，是通用的各种类。本文从“\textit{how to represent unseen classes by existing classes}“的新视角解决了Few-Shot分割问题，并将Few-Shot分割表述为用已有的类精确表示未知类（即形成前景先验）的表示过程。基于此思想，提出了一种新的基于类表示的Few-Shot分割框架，该框架首先根据已有类的知识生成未见过类的类激活图，然后将该图作为前景概率图，从查询图像中提取前景。提出了一种新的基于两分支的Few-Shot分割网络。此外，提出了一种新的CAM生成模块，它提取的CAM看不见的类，而不是经典的训练类。在Pascal VOC 2012数据集上验证了该方法的有效性，一次和五次的FB-IoU值分别达到69.2%和70.1%，优于现有方法.
2019-09-19 cs.CV
One-Shot Video Object Segmentation
ETH Zürich（苏黎世联邦理工学院）；TU München（慕尼黑工业大学）
本文解决了半监督视频对象分割的任务，即，在给定第一帧的遮罩的情况下，将视频中的对象与背景分离。我们提出了单次视频对象分割（OSVOS），基于全卷积神经网络架构，能够连续地将在ImageNet上学习的通用语义信息转移到前景分割任务，并最终学习测试序列的单个注释对象的外观（因此是单次）。虽然所有帧都是独立处理的，但结果在时间上是一致和稳定的。我们在两个带注释的视频分割数据库上进行了实验，结果表明OSVOS速度快，并且显著提高了最新技术水平（79.8% vs 68.0%）。
2017-04-13 cs.CV
D3S -- A Discriminative Single Shot Segmentation Tracker
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S，它缩小了视觉对象跟踪和视频对象分割之间的差距。单次网络应用具有互补几何特性的两个目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象以同时实现高鲁棒性和在线目标分割。D3 S没有对每个数据集进行微调，并且只对分割进行训练作为主要输出，在VOT 2016，VOT 2018和GOT-10 k基准测试中表现优于所有跟踪器，并且在TrackingNet上的表现接近最先进的跟踪器。D3 S在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下，同时运行速度更快一个数量级，接近实时。
2020-04-14 cs.CV
SAM-IF: Leveraging SAM for Incremental Few-Shot Instance Segmentation
Shanghai Jiao Tong University（上海交通大学）；Noematrix Co., Ltd.（诺码特里克斯有限公司）
SAM-IF利用SAM模型，通过多类分类器和余弦相似度分类器实现增量少样本实例分割，仅更新分类器权重支持增量学习，在有限标注数据下取得更合理结果。
2024-12-15 cs.CV
Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation
A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；Jiangxi Finance and Economics University（江西财经大学）
当前的Few-Shot分割（FSSeg）方法主要集中在提高新类的性能，而忽略了基类的性能。为了克服这一限制，广义Few-Shot语义分割（GFSSeg）的任务已被引入，旨在预测基础和新的类的分割掩码。然而，目前的基于原型的方法没有显式地考虑基类和新类之间的关系时，更新原型，导致有限的性能，在确定真正的类别。为了解决这一挑战，我们提出了一个类对比损失和类关系损失，以规范原型更新，并鼓励来自不同类的原型之间的距离很大，从而区分彼此的类，同时保持基类的性能。我们提出的方法实现了新的国家的最先进的性能，广义Few-Shot分割任务的PASCAL VOC和MS COCO数据集。
2023-03-24 cs.CV
CRCNet: Few-shot Segmentation with Cross-Reference and Region-Global Conditional Networks
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
Few-Shot分割的目标是学习一个分割模型，该模型可以推广到只有少量训练图像的新类别。在本文中，我们提出了一个交叉参考和局部全局条件网络（CRCNet）的Few-Shot分割。与以前的作品，只预测查询图像的面具，我们提出的模型同时进行预测的支持图像和查询图像。我们的网络可以通过交叉引用机制更好地找到两幅图像中的共现对象，从而帮助Few-Shot分割任务。为了进一步改善特征比较，我们开发了一个局部-全局条件模块来捕获全局和局部关系。我们还开发了一个掩模细化模块，以改善预测的前景区域循环。在PASCAL VOC 2012、MS COCO和FSS-1000数据集上的实验表明，我们的网络达到了新的最先进的性能。
2022-08-23 cs.CV
One-Shot Learning for Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）
用于图像分类的低拍摄学习方法支持从稀疏数据学习。我们扩展这些技术，以支持密集的语义图像分割。具体来说，我们训练一个网络，给定一小部分带注释的图像，生成全卷积网络（FCN）的参数。我们使用此FCN对新语义类的测试图像进行密集像素级预测。与PASCAL VOC 2012数据集中未见过类的单次分割的最佳基线方法相比，我们的架构显示出25%的相对平均IoU改进，并且至少快3倍。
2017-09-11 cs.CV
Prototype-based Incremental Few-Shot Semantic Segmentation
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）；University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）
语义分割模型有两个基本的弱点：i）它们需要大量的训练集，具有昂贵的像素级注释，ii）它们具有静态输出空间，受限于训练集的类。为了解决这两个问题，我们引入了一个新的任务，增量Few-Shot分割（iFSS）。iFSS的目标是扩展一个预先训练的分割模型，其中包含来自少量注释图像的新类别，并且无需访问旧的训练数据。为了克服现有模型inIFS的局限性，我们提出了基于原型的增量Few-Shot分割（PIFS），耦合原型学习和知识蒸馏。PIFS利用原型来初始化新类的分类器，微调网络以改进其特征表示。我们设计了一个基于原型的蒸馏损失的分数，旧的和新的类原型，以避免过度拟合和遗忘，和批量重整，以应付非独立同分布的Few-Shot数据。我们为iFSS创建了一个广泛的基准测试，表明PIFS在所有情况下都优于几种Few-Shot和增量学习方法。
2021-10-18 cs.CV
A Self-Distillation Embedded Supervised Affinity Attention Model for Few-Shot Segmentation
Beihang University（北京航空航天大学）；Beijing University of Technology（北京工业大学）
Few-Shot分割是一种利用有限的标注样本来分割未知对象的方法。然而，现有的方法仍然面临两个主要挑战。首先，支持图像和查询图像之间巨大的特征差异导致知识传递障碍，这损害了分割性能。其次，有限的支持原型不能充分表达支持对象的特征，难以指导高质量的查询分割。针对这两个问题，本文提出了自升华嵌入式监督仿射注意力模型来提高Few-Shot分割任务的性能。具体来说，自升华引导原型模块使用自升华来对齐支持和查询的特征。有监督的亲和注意力模块生成高质量的查询注意力图，以提供足够的对象信息。大量的实验证明，我们的模型显着提高了性能相比，现有的方法。全面的消融实验和可视化研究也表明，我们的方法对Few-Shot分割任务的显着效果。在COCO-20 i数据集上，我们获得了新的最先进的结果。训练代码和预训练模型可在https://github.com/cv516Buaa/SD-AANet上获得。
2023-03-20 cs.CV
Learning Meta-class Memory for Few-Shot Semantic Segmentation
S-lab, Nanyang Technological University（南洋理工大学S-lab）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）；Dept of Data Science and AI, Monash University（莫纳什大学数据科学与人工智能系）
目前，最先进的方法将Few-Shot语义分割任务视为条件前景-背景分割问题，假设每个类是独立的。在本文中，我们引入了元类的概念，这是Meta信息（如某些中间层的功能）之间共享的所有类。为了在Few-Shot分割任务中显式地学习元类表示，提出了一种基于元类记忆的Few-Shot分割方法（MM-Net）。此外，对于$k$拍摄的情况下，我们提出了一种新的图像质量测量模块来选择图像的支持图像。基于质量测度的支持图像特征加权和可以得到高质量的类原型。在PASCAL- $5^i$和COCO数据集上的实验表明，我们提出的方法能够在1次和5次拍摄设置下实现最先进的结果。特别是，我们提出的MM-Net在COCO数据集上实现了37.5\%的mIoU，比以前的最先进水平高出5.1\%。
2021-08-16 cs.CV
Incremental Few-Shot Instance Segmentation
Utrecht University（乌得勒支大学）；Cyclomedia Technology（Cyclomedia技术公司）
当新类别的标记训练数据稀缺时，Few-Shot实例分割方法很有前途。然而，当前的方法不便于灵活地添加新类。它们还要求在训练和测试时提供每个类的示例，这是内存密集型的。在本文中，我们提出了第一个增量的方法来解决这些限制Few-Shot实例分割：iMTFA。我们学习合并到类代表的对象实例的判别嵌入。存储嵌入向量而不是图像有效地解决了内存开销问题。我们使用余弦相似度在ROI级别匹配这些类嵌入。这使我们能够添加新的类，而不需要进一步的训练或访问以前的训练数据。在一系列的实验中，我们始终优于目前的最先进的。此外，减少内存需求使我们能够评估，第一次，Few-Shot实例分割的性能在COCO中的所有类联合。
2021-05-11 cs.CV
Self-guided Few-shot Semantic Segmentation for Remote Sensing Imagery Based on Large Vision Models
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
本研究针对遥感图像少样本语义分割任务，提出一种基于SAM的结构化框架，通过新颖的自动提示学习方法生成像素级提示，实现高效自动化分割，并在DLRSD数据集上超越现有方法。
2023-11-22 cs.CV
Residual Pyramid Learning for Single-Shot Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
像素级语义分割是一个具有挑战性的任务，具有巨大的计算量，特别是如果输入的大小是大的。在分割模型中，除了特征提取之外，还经常使用额外的解码器结构来恢复空间信息。本文提出了一种基于特征残差金字塔网络（RPNet）的单镜头分割方法，该方法通过分解残差块不同层次的标签来学习分割的主成分和残差成分。具体来说，我们使用残差特征来学习目标的边缘和细节，使用身份特征来学习目标的主要部分。在测试时，预测残差用于增强顶层预测的细节。剩余学习块将网络分成几个浅层子网络，这有助于RPNet的训练。然后，我们评估所提出的方法，并将其与CamVid和Cityscapes上的最新方法进行比较。提出的基于RPNet的单镜头分割在像素级分割上取得了令人印象深刻的结果。
2019-03-23 cs.CV
Attention-Based Prototype Calibration for Multi-Rater Few-Shot Medical Image Segmentation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出一种注意力原型校准框架，通过建模评估者特异性偏差，在不修改骨干网络的情况下实现个性化分割，有效提升多评估者少样本分割性能。
2026-06-26 cs.CV
LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation
Xiamen University（厦门大学）；Tencent（腾讯）；Xi’an Jiaotong University（西安交通大学）；Macau University of Science and Technology（澳门科技大学）
我们引入了一个一次性分割方法，以减轻负担的手动注释的医学图像。其主要思想是将单次分割视为经典的基于图谱的分割问题，其中学习了从图谱到未标记数据的体素对应关系。随后，可以将图谱的分割标签转移到具有学习的对应关系的未标记数据。然而，由于图像之间的地面真实对应通常是不可用的，学习系统必须得到良好的监督，以避免模式坍塌和收敛失败。为了克服这个困难，我们诉诸于向前向后一致性，这是广泛使用的对应问题，并额外学习向后对应从扭曲的地图集回到原来的地图集。这种循环对应学习设计使各种额外的、基于循环一致性的监督信号能够使训练过程稳定，同时也提高了性能。我们通过全面的实验证明了我们的方法优于基于深度学习的单次分割方法和经典的多图谱分割方法。
2020-03-20 cs.CV
Few-Shot 3D Point Cloud Semantic Segmentation via Stratified Class-Specific Attention Based Transformer Network
University of South Carolina（南卡罗来纳大学）
三维点云语义分割的目的是将所有的点按不同的语义分类，有利于点云场景重建和理解等重要应用。现有的监督点云语义分割方法通常需要大规模的标注点云进行训练，并且不能处理新的类别。虽然最近提出了一种少样本学习方法来解决这两个问题，但它存在由图构造引起的高计算复杂性以及由于使用池化操作而无法学习点之间的细粒度关系。在本文中，我们进一步解决这些问题，通过开发一个新的多层Transformer网络的Few-Shot点云语义分割。在该网络中，查询点云特征基于不同尺度下的类特定支持特征进行聚合。在不使用池操作的情况下，我们的方法充分利用了支持样本中的所有像素级特征。通过更好地利用支持功能的少样本学习，所提出的方法实现了新的国家的最先进的性能，与现有的Few-Shot 3D点云分割模型的S3DIS数据集和ScanNet数据集的推理时间减少了15\%。
2023-03-28 cs.CV
MFNet: Multi-class Few-shot Segmentation Network with Pixel-wise Metric Learning
Tongji University（同济大学）；King’s College London（伦敦国王学院）
在视觉识别任务中，少样本学习需要在很少的支持样本下学习对象类别的能力。随着深度学习的发展，它的重新流行主要是在图像分类中。这项工作的重点是Few-Shot语义分割，这仍然是一个很大程度上未开发的领域。最近的一些进展往往局限于单类Few-Shot分割。在本文中，我们首先提出了一种新的多路（类）编码和解码架构，有效地融合多尺度查询信息和多类支持信息到一个查询支持嵌入。多类分割直接解码后，这个嵌入。为了更好地进行特征融合，提出了一种多层次的注意力机制，包括支持度特征调制注意力和多尺度组合注意力。最后，为了增强嵌入空间学习，引入了一个额外的像素级度量学习模块，并在输入图像的像素级嵌入上制定了三重损失。在标准基准PASCAL-5i和COCO-20 i上进行的大量实验表明，我们的方法在Few-Shot分割方面明显优于现有技术
2022-07-27 cs.CV
A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2，它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计，进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下，D3 S2仅针对分割作为主要输出进行训练，在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器，并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
Self-Regularized Prototypical Network for Few-Shot Semantic Segmentation
Nanyang Technological University（南洋理工大学）
图像语义分割中的深度CNN通常需要大量密集注释的图像进行训练，并且难以推广到不可见的对象类别。因此，已经开发了Few-Shot分割以仅用几个注释的示例来执行分割。在这项工作中，我们解决了Few-Shot分割使用自正则化原型网络（SRPNet）的基础上，原型提取更好地利用支持信息。SRPNet从支持图像中提取特定于类的原型表示，并通过距离度量-保真度为查询图像生成分割掩码。SRPNet提出了一种直接有效的支持集上的原型正则化方法，在该方法中，生成的原型在支持集本身上进行评估和正则化。生成的原型恢复支持掩码的程度对性能施加了上限。无论从支持集到查询集的知识推广得多么完整，查询集的性能都不应该超过上限。通过特定的原型正则化，SRPNet充分利用了支持中的知识，并提供了高质量的原型，这些原型代表了每个语义类，同时对不同的类具有区分性。通过结合一组正则化原型的迭代查询推理（IQI）模块，进一步提高了查询性能。我们提出的SRPNet在1镜头和5镜头分割基准上实现了新的最先进的性能。
2022-10-30 cs.CV
Frustratingly Simple but Effective Zero-shot Detection and Segmentation: Analysis and a Strong Baseline
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；Amazon（亚马逊）
对象检测和分割方法通常需要大量的实例级标注进行训练，这些标注的收集既耗时又昂贵，为此，zero-shot目标检测（或分割）的任务旨在学习有效的方法来识别和定位没有监督的类别的对象实例。为这些任务构建架构需要从无数的设计选项中进行选择，从用于将信息从可见类别转移到不可见类别的类编码形式，到为学习而优化的函数性质。在这项工作中，我们广泛研究这些设计选择，并仔细构建一个简单而非常有效的zero-shot识别方法。通过对MSCOCO数据集上的目标检测和分割的广泛实验，我们强调我们提出的方法优于现有的，相当复杂的架构。我们的研究结果和方法，我们建议作为一个有竞争力的未来的基线，指向需要重新审视最近的一些设计趋势，在zero-shot检测/分割。
2023-02-14 cs.CV
Zero-Shot 4D Lidar Panoptic Segmentation
NVIDIA（英伟达）
激光雷达中任意物体的Zero-shot 4D分割和识别对于具身导航至关重要，其应用范围从流感知到语义映射和定位。然而，在推进研究和开发用于激光雷达时空场景理解的通用方法方面的主要挑战在于提供必要的多样性和标注规模的数据集的稀缺。（Segment Anything in Lidar--4D），一种方法，利用多模态机器人传感器设置作为桥梁，结合现成的视觉提取视频对象分割（VOS）的最新发展，激光雷达的语言基础模型。我们利用VOS模型在短视频序列中伪标记tracklet，用序列级CLIP标记注释这些tracklet，并使用校准的多模态传感器设置将它们提升到4D激光雷达空间，以将它们提取到我们的SAL-4D模型。由于时间上一致的预测，我们在3D Zero-Shot激光雷达全景分割（LPS）中优于现有技术的$5$ PQ，并且解锁Zero-Shot 4D-LPS。
2025-04-01 cs.CV
Prototype Refinement Network for Few-Shot Segmentation
AInnovation Technology Co., Ltd.（创新奇智科技有限公司）
Few-Shot分割目标是在提供很少注释图像的情况下分割新类别。它比传统的语义分割任务更具挑战性，分割具有丰富注释图像的已知类。在本文中，我们提出了一个原型细化网络（PRNet）来解决Few-Shot分割的挑战。它首先学习从已知类的支持和查询图像中双向提取原型。此外，提取新类的代表性原型，我们使用适应和融合的原型细化。自适应步骤使模型学习新的概念，这是直接通过再训练实现的。首先提出了原型融合的概念，将支持原型和查询原型融合，融合了支持原型和查询原型的知识。它在原型精化中是有效的，而无需引入额外的可学习参数。通过这种方式，原型在低数据状态下变得更具歧视性。在PASAL- $5^i$和COCO- $20^i$上的实验证明了该方法的优越性.特别是在COCO- $20^i$上，PRNet在1次激发设置下的性能明显优于现有方法13.1%。
2020-05-09 cs.CV
Deep Gaussian Processes for Few-Shot Segmentation
Linköping University（林雪平大学）；Zenseact AB；ETH Zurich（苏黎世联邦理工学院）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
Few-Shot分割是一项具有挑战性的任务，需要从少量带注释的样本中提取可推广的表示，以便分割新的查询图像。一种常见的方法是用单个原型对每个类进行建模。虽然概念上简单，但当目标外观分布是多模态的或在特征空间中不可线性分离时，这些方法会受到影响。为了解决这个问题，我们提出了一个基于高斯过程（GP）回归的Few-Shot学习公式。通过GP的表现力，我们的方法能够在深特征空间中对复杂的外观分布进行建模。GP提供了一种捕获不确定性的原则性方法，这是由CNN解码器获得的最终分割的另一个强大线索。我们进一步利用我们方法的端到端学习能力来学习GP学习器的输出空间，确保更丰富的分割掩码编码。我们进行全面的实验分析我们的Few-Shot学习制定。我们的方法为5次拍摄分割设定了一个新的最先进水平，在PASCAL-5i和COCO-20 i上的mIoU分数分别为68.1和49.8
2021-03-30 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad（海得拉巴国际信息技术学院）；Adobe（奥多比）
Few-Shot分割（FSS）方法使用（支持）图像掩模对的小集合对目标（查询）图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中，我们展示了现有方法中利用这种相似性信息的差距，并提出了一个框架- SimPropNet，以弥合这些差距。我们建议联合预测的支持和查询掩码，以迫使支持功能，以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
Generalized Few-Shot Semantic Segmentation in Remote Sensing: Challenge and Benchmark
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；the University of Tokyo（东京大学）；Ontario Tech University（安大略理工大学）；University of British Columbia（不列颠哥伦比亚大学）
针对遥感领域小样本分割需兼顾新类适应与基类性能的需求，首次提出遥感广义小样本语义分割基准，发布扩充后的OpenEarthMap数据集并给出挑战赛两阶段基准结果。
2024-09-17 cs.CV
One-Shot Adaptive Segmentation For Scientific Images
Purdue University（普渡大学）
提出免训练一次性框架，用单张参考图结合DINOv3和特征正交化定位候选区域，经SAM分割，在显微镜和池沸腾数据集上平均IoU分别提升5.91%和78.62%。
2026-10-08 cs.CV
Hypercorrelation Squeeze for Few-Shot Segmentation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
Few-Shot语义分割的目的是学习只使用目标类的几个带注释的支持图像从查询图像中分割目标对象。这项具有挑战性的任务需要理解不同层次的视觉线索，并分析查询和支持图像之间的细粒度对应关系。为了解决这个问题，我们提出了超相关挤压网络（HSNet），它利用了多级特征相关性和高效的4D卷积。它从不同级别的中间卷积层中提取不同的特征，并构建4D相关张量的集合，即，超相关该方法在金字塔架构中使用高效的中心枢轴4D卷积，以从粗到细的方式逐渐将超相关的高级语义和低级几何线索挤压到精确的分割掩模中。在PASCAL-5i、COCO-20 i和FSS-1000的标准Few-Shot分割基准上的显著性能改进验证了所提出方法的有效性。
2021-10-14 cs.CV
DiffuSAM: Diffusion-Based Prompt-Free SAM2 for Few-Shot and Source-Free Medical Image Segmentation
School of Electrical Engineering, Tel Aviv University, Israel（特拉维夫大学电气工程学院）；School of Biomedical Engineering, Tel Aviv University, Israel（特拉维夫大学生物医学工程学院）
DiffuSAM通过轻量级扩散先验生成SAM2兼容的分割掩码嵌入，实现无提示医学图像分割，无需用户输入，在BTCV和CHAOS数据集上表现出色。
2026-04-27 cs.CV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；SenseTime（商汤科技）
语义分割是一项重要而普遍的任务，但在更广泛的应用中扩展到更多的类时，严重遭受像素级注释的高成本。为此，我们专注于名为弱杆语义分割的问题，其中新的类是从便宜的图像级标签的支持下，具有现成的像素级标签的基类学习。为了解决这个问题，我们提出了SimFormer，它在MaskFormer上执行双重相似性转移。具体来说，MaskFormer将语义分割任务分解为两个子任务：提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类，这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性，并将这种类不可知的语义相似性提取到新类的语义掩码中，从而使分割模型与图像之间的像素级语义关系规则化。此外，我们提出了一个补充损失，以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
An Efficient Framework for Few-shot Skeleton-based Temporal Action Segmentation
Harbin Institute of Technology（哈尔滨工业大学）
时态动作分割（TAS）的目的是在长的未修剪动作序列中对动作进行分类和定位。随着深度学习的成功，出现了许多用于动作分割的深度模型。然而，Few-Shot TAS仍然是一个具有挑战性的问题。本研究提出一个有效的框架，为Few-Shot基于图像的TAS，包括数据增强方法和改进的模型。本文提出了一种基于运动插值的数据增强方法，通过合成动作序列，有效地增加了数据量。此外，我们连接一个连接主义时间分类（CTC）层与网络设计的基于TCP的TAS，以获得一个优化的模型。利用CTC可以增强预测和地面实况之间的时间对齐，并进一步改进分割结果的分段度量。在两个小规模数据集和一个大规模数据集上进行的实验表明，本文提出的两种方法能够有效地提高基于Few-Shot特征的TAS任务的性能.
2022-07-20 cs.CV
Self-Guided and Cross-Guided Learning for Few-Shot Segmentation
XJTLU（西交利物浦大学）；University of Liverpool（利物浦大学）；Dinnar Automation Technology（迪纳自动化技术公司）
Few-Shot分割由于其能够有效地分割具有少量注释样本的不可见对象类而受到了广泛关注。大多数现有的方法使用掩码全局平均池（GAP）编码的注释支持图像的特征向量，以促进查询图像分割。然而，由于平均操作，该流水线不可避免地丢失了一些判别信息。在本文中，我们提出了一个简单而有效的自我引导学习方法，其中丢失的关键信息被挖掘。具体地，通过对带注释的支持图像进行初始预测，使用掩蔽的GAP将覆盖的和未覆盖的前景区域分别编码为主支持向量和辅助支持向量。通过聚合主支持向量和辅助支持向量，在查询图像上获得更好的分割性能。受我们用于单镜头分割的自引导模块的启发，我们提出了一个用于多镜头分割的交叉引导模块，其中使用来自多个注释样本的预测融合最终掩码，其中高质量的支持向量贡献更多，反之亦然。该模块在推理阶段改进了最终预测，而无需重新训练。大量的实验表明，我们的方法在PASCAL-5i和COCO-20 i数据集上都实现了新的最先进的性能。
2021-03-30 cs.CV
Few-shot 3D Point Cloud Semantic Segmentation
National University of Singapore（新加坡国立大学）
许多现有的3D点云语义分割方法都是完全监督的。这些完全监督的方法严重依赖于大量的标记训练数据，这些数据很难获得，并且在训练后不能分割新的类。为了减轻这些限制，我们提出了一种新的注意力感知的多原型转换Few-Shot点云语义分割方法来分割新的类给出了一些标记的例子。具体来说，每个类由多个原型表示，以模拟标记点的复杂数据分布。随后，我们采用了一个转导标签传播方法，利用标记的多原型和未标记的点之间的亲和力，以及未标记的点之间。此外，我们设计了一个注意力感知的多层次特征学习网络来学习识别特征，这些特征可以捕获点之间的几何依赖性和语义相关性。我们提出的方法与不同的Few-Shot点云语义分割设置（即，2/3-路1/5-拍摄）在两个基准数据集。我们的代码可在https://github.com/Na-Z/attMPTI上获得。
2021-03-29 cs.CV
Applying ViT in Generalized Few-shot Semantic Segmentation
NYU Shanghai（上海纽约大学）
本文探讨了基于ViT的模型在广义少样本语义分割（GFSS）中的能力，实验表明DINOv2与线性分类器组合在PASCAL-$5^i$基准上表现领先，单样本场景下超越ResNet结构116%，同时指出纯ViT模型易过拟合。
2024-08-27 cs.CV
