Learning Pixel Representations for Generic Segmentation
Technion - Israel Institute of Technology（以色列理工学院）
到目前为止，用于通用（非语义）分割的深度学习方法是间接的，并且依赖于边缘检测。这与直接应用DNN的语义分割相反。我们提出了一种替代方法，称为深度通用分割（DGS），并尝试遵循用于语义分割的路径。我们的主要贡献是一个新的方法，学习一个像素的代表，反映段的相关性。该表示与CRF相结合以产生分割算法。我们表明，我们能够学习有意义的表示，提高分割质量和表示本身实现国家的最先进的段相似性分数。分割结果是有竞争力和有前途的。
2019-09-25 cs.CV
Image Segmentation using Unsupervised Watershed Algorithm with an Over-segmentation Reduction Technique
University of Moratuwa（莫拉图瓦大学）
图像分割是将图像分割成有意义的片段的过程。由于同质性的定义根据用户的观点而变化，因此分段的含义是主观的，因此分段的自动化具有挑战性。分水岭是一种流行的分割技术，它假设图像中的地形图，每个像素的亮度代表其高度，并找到沿着山脊顶部的线条。由于缺乏对被分类对象的了解，该算法的结果通常会受到过度分割的影响。本文提出了一种通过假设目标的相邻分割段具有相似的颜色分布来减少分水岭算法过分割的方法。该方法证明了传统的分水岭算法的改进。
2018-10-09 cs.CV
Is segmentation uncertainty useful?
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）
概率图像分割编码不同的预测置信度和分割问题中固有的模糊性。虽然不同的概率分割模型的目的是捕捉不同方面的分割不确定性和模糊性，这些建模的差异很少讨论的不确定性的应用程序的上下文中。我们考虑分割不确定性的两个常见用例，即分割质量评估和主动学习。我们认为四个既定的策略概率分割，讨论他们的建模能力，并调查他们在这两个任务的表现。我们发现，对于所有的模型和两个任务，返回的不确定性与分割误差呈正相关，但并没有证明是有用的主动学习。
2021-03-30 cs.CV
MaskSplit: Self-supervised Meta-learning for Few-shot Semantic Segmentation
MonolithAI；Middle East Technical University（中东技术大学）；Hacettepe University（哈切特佩大学）
就像其他少样本学习问题一样，Few-Shot分割旨在最大限度地减少对手动注释的需求，这在分割任务中成本特别高。即使Few-Shot设置降低了新测试类的成本，仍然需要注释训练数据。为了缓解这一需求，我们提出了一种自监督训练方法来学习Few-Shot分割模型。我们首先使用无监督显著性估计来获得图像上的伪掩模。然后，我们训练一个简单的原型为基础的模型在不同的分裂的伪掩模和增强的图像。我们广泛的实验表明，所提出的方法取得了可喜的成果，突出了自我监督训练的潜力。据我们所知，这是第一个工作，解决无监督的Few-Shot分割问题的自然图像。
2021-11-03 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
One-Shot Weakly Supervised Video Object Segmentation
University of Alberta（阿尔伯塔大学）；Indian Institute of Science (IISc)（印度科学学院（IISc））；ElementAI；HiSilicon, Huawei Research（华为海思研究部）
传统的Few-Shot对象分割方法从具有强标记的分割掩模的几个标记的支持图像学习对象分割。最近的工作表明，在涂鸦和边界框方面，它的表现与较弱的监督水平相当。然而，已经有有限的关注给予的问题，Few-Shot对象分割与图像级的监督。我们提出了一种新的多模态交互模块的Few-Shot对象分割，利用共同的注意力机制使用视觉和词嵌入。它使我们的模型，以实现5.1%的改进，比以前提出的图像级Few-Shot对象分割。我们的方法比较接近使用强监督的最先进的方法，而我们的方法使用最少的监督。我们进一步提出了一种新的设置Few-Shot弱监督视频对象分割（VOS），依赖于图像级标签的第一帧。建议的设置使用弱注释，不像半监督VOS设置，利用强标记的分割掩码。该设置评估了在VOS设置中推广到新类的有效性。该设置将VOS数据拆分为多个折叠，每个折叠具有不同的类别。它提供了一个潜在的设置，以评估如何Few-Shot对象分割方法可以受益于额外的对象姿势，或对象的相互作用，是不可用的静态帧在PASCAL-5i基准。
2019-12-18 cs.CV
Judging from Support-set: A New Way to Utilize Few-Shot Segmentation for Segmentation Refinement Process
Brookhaven National Laboratory（布鲁赫斯国家实验室）；Roblox（Roblox公司）；Rutgers University（罗格斯大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对无法判定分割细化是否成功的研究空白，提出JFS方法，利用现成少样本分割模型评估细化掩码质量，并在PASCAL数据集上验证了其判定分割细化成功与否的有效性。
2025-07-09 cs.CV
Differentiable Meta-learning Model for Few-shot Semantic Segmentation
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）
为了解决语义分割的某些情况下的注释稀缺问题，已经有一些尝试来开发少样本学习范例中的分割模型。然而，大多数现有方法仅关注传统的单向分割设置（即，一个图像仅包含单个对象）。这与实际的语义分割任务相距甚远，在实际的语义分割任务中，通过执行精确的多对象分割通常需要K路设置（K>1）。为了解决这个问题，我们制定了Few-Shot语义分割任务作为一个基于学习的像素分类问题，并提出了一个新的框架称为MetaSegNet基于元学习。在MetaSegNet中，嵌入模块的结构由全局和局部特征分支组成，以提取适当的元知识用于Few-Shot分割。此外，我们将一个线性模型作为基础学习器集成到MetaSegNet中，以直接预测多对象分割的每个像素的标签。此外，我们的MetaSegNet可以从头开始以端到端的方式通过情景训练机制进行训练。在两个流行的语义分割数据集上的实验，即，PASCAL VOC和COCO，揭示了所提出的MetaSegNet在K-way Few-Shot语义分割任务中的有效性。
2019-11-23 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
One-Shot Instance Segmentation
University of Tübingen（图宾根大学）
我们解决了一次性实例分割的问题：给定一个新的，以前未知的对象类别的示例图像，在一个复杂的场景中找到并分割该类别的所有对象。为了解决这个具有挑战性的新任务，我们提出了Siamese Mask R-CNN。它通过对参考图像和场景进行编码的Siamese主干扩展了Mask R-CNN，使其能够对参考类别进行目标检测和分割。我们在MS Coco上展示了实证结果，突出了一次性设置的挑战：虽然将有关实例分割的知识转移到新的对象类别效果很好，但将检测网络定位到参考类别似乎更困难。我们的工作提供了第一个强有力的基线单镜头实例分割，并有望激发进一步研究更强大和灵活的景物分析算法。代码可在：https://github.com/bethgelab/siamese-mask-rcnn
2019-05-28 cs.CV
DenseMP: Unsupervised Dense Pre-training for Few-shot Medical Image Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Austin Peay State University（奥斯汀佩伊州立大学）
针对小样本医学图像分割训练数据稀缺易过拟合的问题，提出含两阶段无监督稠密预训练的DenseMP流水线，可提升PA-Net性能，在Abd-CT、Abd-MRI数据集上达SOTA。
2023-07-13 cs.CV
CRNet: Cross-Reference Networks for Few-Shot Segmentation
Nanyang Technological University（南洋理工大学）；A*Star（新加坡科技研究局）
在过去的几年中，最先进的图像分割算法是基于深度卷积神经网络的。为了渲染具有理解概念能力的深度网络，人类需要收集大量像素级注释数据来训练模型，这是耗时且繁琐的。近年来，Few-Shot分割方法被提出来解决这一问题。Few-Shot分割的目标是学习一个分割模型，该模型可以推广到只有少量训练图像的新类别。在本文中，我们提出了一个交叉引用网络（CRNet）的Few-Shot分割。与以前的作品只预测查询图像中的掩码不同，我们提出的模型同时对支持图像和查询图像进行预测。通过交叉引用机制，我们的网络可以更好地找到两幅图像中的共现对象，从而帮助Few-Shot分割任务。我们还开发了一个掩模细化模块来循环地细化前景区域的预测。对于$k$ -shot学习，我们建议微调网络的部分，以利用多个标记的支持图像。在PASCAL VOC 2012数据集上的实验表明，我们的网络达到了最先进的性能。
2020-03-24 cs.CV
Robust Motion Segmentation from Pairwise Matches
Czech Institute of Informatics, Robotics and Cybernetics – Czech Technical University in Prague（捷克信息学、机器人与控制论研究所——布拉格捷克理工大学）
在本文中，我们解决了一个分类问题，以前没有考虑过，即运动分割只给成对匹配。我们的贡献，这一未探索的任务是一个新的制定运动分割作为一个两步的过程。首先，对图像对独立地执行运动分割。其次，我们将独立的成对分割结果以鲁棒的方式组合到最终的全局一致分割中。我们的方法受到平均方法成功的启发。我们在模拟以及在真实的实验中证明，我们的方法是非常有效的，在减少成对运动分割的错误，可以应付大量的不匹配。
2019-05-22 cs.CV
Multi-similarity based Hyperrelation Network for few-shot segmentation
Few-Shot语义分割的目标是在只有少量标注样本的情况下识别出不可见类别的对象区域。Few-Shot分割的关键是在支持图像和查询图像之间建立鲁棒的语义关系，并防止过拟合。在本文中，我们提出了一个有效的多相似性超关系网络（MSHNet）来解决Few-Shot语义分割问题。在MSHNet中，我们提出了一种新的生成原型相似度（GPS），它与余弦相似度一起可以在支持图像和查询图像之间建立强语义关系。基于全局特征的局部生成原型相似度与基于局部特征的全局余弦相似度在逻辑上是互补的，同时利用这两种相似度可以更全面地表达查询图像与支持图像之间的关系。此外，我们提出了一个对称合并块（SMB）在MSHNet有效地合并多层，多镜头和多相似性超关系特征。MSHNet是建立在相似性而不是特定类别特征的基础上的，可以实现更普遍的统一性，有效地减少过拟合。在两个基准语义分割数据集Pascal-5i和COCO-20 i上，MSHNet在1次和5次语义分割任务上实现了最新的性能。
2022-06-23 cs.CV
PartSTAD: 2D-to-3D Part Segmentation Task Adaptation
KRAFTON Inc.（克拉夫顿公司）；KAIST（韩国科学技术院）
PartSTAD通过任务自适应微调二维边界框模型并引入自适应合并权重及SAM改善边界，在PartNet-Mobility上显著提升少样本三维部件分割性能。
2024-07-19 cs.CV
Zero-shot Hierarchical Plant Segmentation via Foundation Segmentation Models and Text-to-image Attention
The University of Osaka（大阪大学）；Phytometrics；Nagoya University（名古屋大学）
ZeroPlantSeg通过基础分割模型和文本到图像注意力实现零shot分层植物分割，有效提取植物个体，优于现有方法。
2025-12-19 cs.CV
CANet: Class-Agnostic Segmentation Networks with Iterative Refinement and Attentive Few-Shot Learning
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）；China University of Mining and Technology（中国矿业大学）
语义分割的最新进展是由深度卷积神经网络和大规模标记图像数据集驱动的。然而，用于逐像素分割的数据标记是繁琐且昂贵的。此外，经过训练的模型只能在一组预定义的类内进行预测。在本文中，我们提出了CANet，一个类不可知的分割网络，执行Few-Shot分割新的类，只有少数注释的图像可用。我们的网络由一个两分支密集比较模块和一个迭代优化模块组成，该模块在支持图像和查询图像之间进行多级特征比较，该模块迭代地细化预测结果。此外，我们引入了一个注意力机制，以有效地融合信息，从多个支持的例子下，k-shot学习。PASCAL VOC 2012上的实验表明，我们的方法实现了平均Intersection-over-Union得分为55.4%的1镜头分割和57.1%的5镜头分割，分别超过了14.6%和13.2%的大幅度的最先进的方法。
2019-03-06 cs.CV
Zero-Shot Semantic Segmentation
Sorbonne Université（索邦大学）
语义分割模型在扩展到大量对象类的能力方面受到限制。在本文中，我们介绍了新的任务zero-shot语义分割：学习像素分类从未见过的对象类别与零训练样本。为此，我们提出了一种新的架构，C33 Net，结合深度视觉分割模型的方法来生成视觉表示的语义词嵌入。通过这种方式，P2P 3 Net解决了在测试时面临可见和不可见类别的像素分类任务（所谓的“广义”zero-shot分类）。性能进一步提高了一个自我训练的步骤，依赖于自动伪标记的像素从看不见的类。在两个标准的分割数据集，Pascal-VOC和Pascal-Context，我们提出了zero-shot基准和设置有竞争力的基线。对于Pascal-Context数据集中的复杂场景，我们通过使用图形上下文编码来扩展我们的方法，以充分利用来自类分割图的空间上下文先验。
2019-11-18 cs.CV
Integrative Few-Shot Learning for Classification and Segmentation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们介绍了Few-Shot分类和分割（FS-CS）的综合任务，旨在分类和分割目标对象的查询图像时，目标类与一些例子。该任务结合了两个传统的少样本学习问题，Few-Shot分类和分割。FS-CS将它们推广到具有任意图像对的更真实的情节，其中每个目标类可能存在于查询中，也可能不存在。为了解决这个问题，我们提出了综合少样本学习（iFSL）框架的FS-CS，训练学习者构建类明智的前景地图多标签分类和像素明智的分割。我们还开发了一个有效的iFSL模型，专注挤压网络（ASNet），它利用深层语义相关性和全局自我注意力来生成可靠的前景地图。在实验中，所提出的方法表现出良好的性能上的FS-CS任务，也达到了最先进的标准Few-Shot分割基准。
2022-04-27 cs.CV
A Location-Sensitive Local Prototype Network for Few-Shot Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；VoxelCloud, Inc.（体素云公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
尽管深度神经网络在医学图像分割方面取得了巨大的成功，但它们通常需要大量昂贵的专家级注释数据。Few-Shot分割方法通过学习从有限数量的标记示例中转移知识来解决这个问题。在设计高性能的Few-Shot分割算法时，适当地描述先验知识是至关重要的。由于强空间先验存在于许多医学成像模式，我们提出了一种基于原型的方法-即位置敏感的本地原型网络-利用空间先验来执行Few-Shot医学图像分割。我们的方法划分成容易解决的局部区域分割与局部原型的子问题与全球原型分割整个图像的困难问题。对于内脏CT图像数据集上的器官分割实验，我们的方法在平均Dice系数上优于最先进的方法10%。广泛的消融研究证明了结合空间信息的实质性好处，并证实了我们的方法的有效性。
2021-03-18 cs.CV
Single-shot Path Integrated Panoptic Segmentation
Yonsei University（延世大学）；Adobe Research（Adobe研究院）
全景分割是一种将实例分割和语义分割相结合的新方法，近年来受到了广泛的关注。然而，大多数以前的方法是由多个通路，每个通路专门用于指定的分割任务。在本文中，我们提出了解决全景分割在单镜头通过整合的执行流程。通过该集成路径，生成了一个统一的特征图，称为全景特征，它包含了事物和材料的信息。Panoptic-Feature通过辅助问题变得更加复杂，这些辅助问题引导属于同一实例的像素聚类并区分不同类别的对象。卷积滤波器的集合（其中每个滤波器表示一个事物或一个填充物）被立即应用于全景特征，从而实现单次全景分割。结合自上而下和自下而上两种方法的优点，我们的方法SPINet在主要的全景分割基准：COCO和Cityscapes上具有很高的效率和准确性。
2020-12-04 cs.CV
Meta-Learning 3D Shape Segmentation Functions
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出将三维形状分割函数学习形式化为元学习问题，通过自监督重建损失和元学习器预测先验，实现无需或少量训练数据即可快速适应新形状的无监督三维分割，实验表明该方法优于传统设计。
2024-02-06 cs.CV
Zero-Shot Instance Segmentation
University of Chinese Academy of Sciences（中国科学院大学）；AInnovation Technology Co Ltd（创新奇智科技有限公司）
深度学习显著提高了具有丰富标记数据的实例分割的精度。然而，在许多领域，如医疗和制造业，收集足够的数据是非常困难的，标记这些数据需要很高的专业技能。我们遵循这个动机，并提出了一个新的任务集命名为zero-shot实例分割（ZSI）。在ZSI的训练阶段，模型使用可见数据进行训练，而在测试阶段，它用于分割所有可见和不可见的实例。首先，我们制定了ZSI任务，并提出了一种方法来解决这一挑战，它包括Zero-shot检测器，语义掩码头，背景感知RPN和同步背景策略。我们提出了一个新的基准zero-shot实例分割的基础上的MS-COCO数据集。实验结果表明，该方法不仅在zero-shot目标检测任务上优于现有方法，而且在ZSI上也取得了良好的性能。我们的方法将作为一个坚实的基线，并促进未来的研究在zero-shot实例分割。
2021-06-01 cs.CV
STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery
University of Michigan（密歇根大学）
针对零样本仿真到真实的沉船声呐图像分割问题，提出STARS网络融合形变场与异常体实现泛化，全仿真训练无需真实数据微调，在真实数据集上较最优基线提升20%分割性能。
2023-10-02 cs.CV
2D-Guided 3D Gaussian Segmentation
University of Science and Technology of China（中国科学技术大学）；AI Thrust, HKUST(GZ)（香港科技大学（广州）人工智能学域）
本文提出一种以2D分割图为监督的3D高斯分割方法，通过引导语义学习并采用最近邻聚类和统计滤波细化，实现多对象高效分割，性能与单对象方法相当。
2023-12-26 cs.CV
SIGN: Spatial-information Incorporated Generative Network for Generalized Zero-shot Semantic Segmentation
USC Information Sciences Institute（南加州大学信息科学研究所）
与传统的zero-shot分类不同，zero-shot语义分割在像素级而不是图像级预测类别标签。在解决zero-shot语义分割问题时，对周围上下文的像素级预测的需求促使我们使用位置编码来合并空间信息。我们通过引入相对位置编码的概念来改进标准的位置编码，该相对位置编码在特征级上集成了空间信息，并且可以处理任意大小的图像。此外，在自训练广泛应用于zero-shot语义分割中生成伪标签的同时，本文提出了一种新的基于知识蒸馏的自训练策略，即退火自训练，它可以自动为伪标签分配不同的重要性，以提高性能。我们系统地研究了所提出的相对位置编码和退火自训练的综合实验评估，我们的实证结果证实了我们的方法在三个基准数据集上的有效性。
2021-08-27 cs.CV
PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
National University of Singapore（新加坡国立大学）
尽管深度CNN在图像语义分割方面取得了很大进展，但它们通常需要大量密集注释的图像进行训练，并且难以推广到看不见的对象类别。因此，已经开发了Few-Shot分割以学习仅从几个注释的示例执行分割。在本文中，我们从度量学习的角度来解决具有挑战性的Few-Shot分割问题，并提出了PANet，一种新的原型对齐网络，以更好地利用支持集的信息。我们的PANet从嵌入空间内的一些支持图像中学习特定于类的原型表示，然后通过将每个像素与学习的原型相匹配来对查询图像进行分割。通过非参数度量学习，PANet提供了高质量的原型，这些原型代表了每个语义类别，同时对不同类别具有区分性。此外，PANet还引入了支持和查询之间的原型对齐正则化。通过这种方式，PANet充分利用了来自支持的知识，并在Few-Shot分割上提供了更好的泛化。值得注意的是，我们的模型在PASCAL-5i上分别实现了48.1%和55.7%的mIoU得分，分别超过了1.8%和8.6%的最先进的方法。
2020-02-07 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Chinese/English mixed Character Segmentation as Semantic Segmentation
Sun Yat-sen University（中山大学）；iPIN
多语种印刷文档中字符的多样性给OCR字符分割带来了困难。以前的方法主要集中在单语文本，不适合多语言的情况下。在这项工作中，我们特别处理的中文/英文混合的情况下，它作为一个语义分割的问题。我们充分利用了语义分割领域中被称为全卷积网络（FCN）的成功架构。如果有足够宽的感受野，FCN可以利用水平位置周围的必要背景来确定这是否是分裂点。作为一种深度神经架构，FCN可以从原始文本行图像中自动学习有用的特征。虽然在具有模拟随机干扰的合成样本上进行了训练，但我们的FCN模型可以很好地推广到现实世界的样本。实验结果表明，我们的模型显着优于以前的方法。
2016-11-16 cs.CV
Task-Adaptive Feature Transformer for Few-Shot Segmentation
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
少样本学习允许机器仅使用少量标记样本对新类别进行分类。近年来，针对低样本数据的语义分割的Few-Shot分割也引起了人们极大的兴趣。在本文中，我们提出了一个可学习的模块Few-Shot分割，任务自适应功能Transformer（TAFT）。TAFT线性地将特定于任务的高级特征转换为一组非常适合分割工作的任务不可知特征。使用这种任务条件的特征变换，该模型被证明可以有效地利用新类别中的语义信息来生成紧密的分割掩模。建议TAFT模块可以很容易地插入到现有的语义分割算法，实现Few-Shot分割能力，只有几个增加的参数。我们将TAFT与Deeplab V3+（一种知名的分割架构）相结合;在PASCAL- $5^i$数据集上的实验证实，这种组合成功地为分割算法增加了少样本学习能力，在一些关键的代表性案例中实现了最先进的Few-Shot分割性能。
2020-10-22 cs.AI cs.CV
Few-shot 3D LiDAR Semantic Segmentation for Autonomous Driving
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在自动驾驶中，新的物体和缺乏注释的情况对传统的基于深度学习的三维LiDAR语义分割提出了挑战。少样本学习是解决这些问题的可行途径。然而，目前的Few-Shot语义分割方法主要针对相机数据，大多数只预测新类，而没有考虑基类。出于安全考虑，该设置不能直接应用于自动驾驶。因此，我们提出了一个Few-Shot三维激光雷达语义分割方法，同时预测新的类和基类。该方法试图解决广义Few-Shot语义分割中的背景模糊问题。本文首先回顾了原有的交叉熵和知识蒸馏损失，然后提出了一种新的损失函数，该函数结合背景信息实现了三维激光雷达的Few-Shot语义分割。在SemanticKITTI上的大量实验证明了该方法的有效性。
2023-03-03 cs.CV cs.RO
Refined-Segmentation R-CNN: A Two-stage Convolutional Neural Network for Punctate White Matter Lesion Segmentation in Preterm Infants
Xidian University（西安电子科技大学）；The First Affiliated Hospital of Xi'an Jiaotong University（西安交通大学第一附属医院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
利用自动算法准确分割婴儿大脑点状白质病变（PWML）可以降低出生后发育的潜在风险。如何有效地分割PWML已成为近年来医学图像分割领域的研究热点之一。在本文中，我们构建了一个有效的两阶段PWML语义分割网络的基础上病变的特点，称为细化分割R-CNN（RS RCNN）。我们提出了一种启发式RPN（H-RPN），它可以利用周围的PWML启发式分割的周围信息。此外，我们还设计了一个轻量级的分割网络，以快速的方式分割病变。采用稠密连接条件随机场（DCRF）对分割结果进行优化。我们仅使用T1 w MRI分割PWML。实验结果表明，该模型可以很好地分割出普通大小甚至像素大小的病变。Dice相似系数为0.6616，敏感度为0.7069，特异度为0.9997，Hausdorff距离为52.9130。所提出的方法优于国家的最先进的算法。(The本文的代码可在https：//github.com/YalongLiu/Refined-Segmentation-R-CNN上获得）
2019-07-01 cs.CV eess.IV
Few-Shot Rotation-Invariant Aerial Image Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute for Advanced Study（东方高等研究院）
针对少样本航空图像分割中目标方向变化导致匹配失效的问题，提出FRINet网络，通过旋转自适应匹配和同标签监督，在基准上取得最先进性能。
2023-05-29 cs.CV eess.IV
SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes
Tsinghua University（清华大学）；Tencent Youtu Lab（腾讯优图实验室）；University College London（伦敦大学学院）
Few-Shot语义分割的目标是在查询图像中分割新类别的对象，而支持图像中只有少量带注释的示例。大多数高级解决方案都利用了一个度量学习框架，该框架通过将每个像素与学习到的前景原型相匹配来执行分割。然而，这个框架遭受偏见的分类，由于不完整的建设的样本对前景原型。为了解决这个问题，在本文中，我们引入了一个互补的自我对比任务到Few-Shot语义分割。我们的新模型能够将区域中的像素与该区域的原型相关联，无论它们是在前景还是背景中。为此，我们直接从查询图像中生成自对比背景原型，从而构建完整的样本对，从而完成补充和辅助分割任务，以实现更好的分割模型的训练。在PASCAL-5 $^i$和COCO-20 $^i$上的大量实验清楚地证明了我们的建议的优越性。在不牺牲推理效率的情况下，我们的模型实现了Few-Shot语义分割的1次和5次设置的结果。
2021-04-28 cs.AI cs.CV
Segment Anything Model (SAM) for Digital Pathology: Assess Zero-shot Segmentation on Whole Slide Imaging
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）；Veterans Affairs Tennessee Valley Healthcare System（退伍军人事务部田纳西谷医疗系统）
本研究评估了 SAM 模型在 WSI 上的零样本分割性能，发现其对大型连通物体效果显著，但对密集实例分割表现不佳，并指出未来少样本微调的潜力。
2023-04-09 cs.CV eess.IV
Segment Anything Model for Brain Tumor Segmentation
Zhengzhou University（郑州大学）
本研究针对脑肿瘤精准分割的临床需求，评估了零样本图像分割基础模型SAM在脑肿瘤分割任务上的性能，发现未微调的SAM与当前SOTA模型仍有差距。
2024-09-11 cs.CV eess.IV
On generalisability of segment anything model for nuclear instance segmentation in histology images
University of Warwick（华威大学）；GSK（葛兰素史克）
本文评估SAM在组织学图像细胞核实例分割中的零样本与微调泛化性能，并提出用细胞核检测模型生成边界框或中心点提示以实现自动实例分割。
2024-01-25 cs.CV eess.IV
Hypernet-Ensemble Learning of Segmentation Probability for Medical Image Segmentation with Ambiguous Labels
MGH（麻省总医院）；HMS（哈佛医学院）；UKE（汉堡大学医学中心）；MIT（麻省理工学院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
尽管深度学习（DL）在许多分割任务上表现出色，但基于DL的方法对高度极化的标签概率的预测过于自信。这对于许多具有固有标签模糊性的应用来说通常是不期望的，甚至在人类注释中也是如此。这一挑战已经通过利用每个图像的多个注释和分割不确定性来解决。然而，多个每图像注释在现实世界的应用中通常不可用，并且不确定性不能向用户提供对分割结果的完全控制。在本文中，我们提出了新的方法来提高分割概率估计，而不会牺牲在现实世界中的情况下，我们只有一个模糊的注释，每个图像的性能。我们边缘化的估计分割概率图的网络，鼓励下/过段与不同的Tversky损失，而不惩罚平衡分割。此外，我们提出了一个统一的超网络集成方法，以减轻训练多个网络的计算负担。我们的方法成功地估计了反映底层结构的分割概率图，并为具有挑战性的3D医学图像分割提供了直观的分割控制。虽然我们提出的方法的主要重点不是提高二进制分割的性能，我们的方法略优于国家的最先进的。代码可在\url{https://github.com/sh4174/HypernetEnsemble}上获得。
2021-12-13 cs.CV cs.LG eess.IV
SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge for Semi-Supervised Learning in Medical Image Segmentation
Nanjing University of Science and Technology（南京理工大学）；Fudan University（复旦大学）；University of Notre Dame（圣母大学）
本研究提出SamDSK方法，结合SAM与领域特定知识，通过迭代训练与标注集扩充的两阶段流程，实现医学图像半监督分割，在三类任务上验证了有效性，为标签高效的医学图像分割提供新思路。
2023-08-26 cs.AI cs.CV cs.LG
Few-Shot Segmentation Propagation with Guided Networks
UC Berkeley（加州大学伯克利分校）
基于学习的视觉分割方法在特定类型的分割任务上取得了进展，但受到必要的监督，固定任务的狭窄定义以及在推理过程中缺乏控制以纠正错误的限制。为了弥补标准方法的刚性和注释负担，我们解决了Few-Shot分割的问题：给定很少的图像和很少的像素监督，相应地分割任何图像。我们提出了引导网络，它从任何数量的监督中提取潜在的任务表示，并优化我们的架构端到端，以实现快速，准确的Few-Shot分割。我们的方法可以在没有进一步优化的情况下切换任务，并在获得更多指导时快速更新。我们报告的第一个结果，从一个像素每个概念的分割，并显示实时交互式视频分割。我们的统一方法传播像素注释跨空间的交互式分割，跨时间的视频分割，跨场景的语义分割。我们的引导分割器在注释量和时间方面的准确性是最先进的。请访问http://github.com/shelhamer/revolver获取代码、模型和更多详细信息。
2018-05-25 cs.CV cs.LG stat.ML
Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model
Nanjing University of Science and Technology（南京理工大学）；Fudan University（复旦大学）；University of Notre Dame（圣母大学）
本文提出SAMAug方法，利用SAM生成的掩码、特征和稳定性分数增强医学图像输入，以提升U-Net等分割模型的性能，在三个任务上验证了有效性。
2023-06-21 cs.AI cs.CV cs.LG
WinCLIP: Zero-/Few-Shot Anomaly Classification and Segmentation
AWS AI Labs（AWS人工智能实验室）；KAIST（韩国科学技术院）
视觉异常分类和分割是工业质量检测自动化的关键。该领域先前研究的重点是为每个质量检查任务训练自定义模型，这需要特定于任务的图像和注释。在本文中，我们离开这个制度，解决zero-shot和少数正常的镜头异常分类和分割。最近CLIP，一个视觉语言模型，已经显示出革命性的通用性与竞争力的零/Few-Shot性能相比，全监督。但CLIP在异常分类和分割任务上存在不足。因此，我们提出了基于窗口的CLIP（WinCLIP）（1）状态词和提示模板上的组合集成，以及（2）与文本对齐的窗口/补丁/图像级特征的有效提取和聚合。我们还提出了它的几个正常的镜头扩展WinCLIP+，它使用正常图像的互补信息。在MVTec-AD（和VisA）中，无需进一步调优，WinCLIP在zero-shot异常分类和分割中实现了91.8%/85.1%（78.1%/79.6%）的AUROC，而WinCLIP+在1次正常拍摄中实现了93.1%/95.2%（83.8%/96.4%），大大超过了最先进的水平。
2023-03-26 cs.AI cs.CL cs.CV
