PNM: Pixel Null Model for General Image Segmentation
Tsinghua University（清华大学）；ByteDance Group（字节跳动集团）
图像分割中的一个主要挑战是对对象边界进行分类。最近的努力提出了改进的分割结果与边界掩模。然而，即使模型正确地捕获了对象轮廓，它们仍然容易对边界像素进行错误分类。在这种情况下，即使是完美的边界图也无助于分割细化。在本文中，我们认为，分配适当的先验权重，容易出错的像素，如对象边界，可以显着提高分割质量。具体而言，我们提出了\textit{pixel null model}（PNM），先验模型，根据其被正确分类的随机分割器的概率加权每个像素。实证分析表明，PNM捕获的错误分类分布的不同国家的最先进的（SOTA）分割。在三个数据集（Cityscapes，ADE 20 K，MS COCO）上进行的语义，实例和全景分割任务的广泛实验证实，PNM始终提高了大多数SOTA方法（包括视觉Transformer）的分割质量，并大大优于基于边界的方法。我们还观察到，广泛使用的平均IoU（mIoU）度量对不同锐度的边界不敏感。作为一个副产品，我们提出了一个新的度量，\textit{PNM IoU}，它感知边界的清晰度，更好地反映了模型分割性能的易错区域。
2022-03-13 cs.CV
Pixel-by-Pixel Cross-Domain Alignment for Few-Shot Semantic Segmentation
Polytechnic University of Turin（都灵理工大学）；CINI - Consorzio Interuniversitario Nazionale per l’Informatica（意大利国家跨大学信息学联盟）
在本文中，我们考虑自动驾驶应用程序中的语义分割的任务。具体来说，我们考虑跨域Few-Shot设置，其中训练可以仅使用少数真实世界注释图像和许多注释合成图像。在这种情况下，由于分割中固有的像素类不平衡，使得对齐域更具挑战性，并且导致忽略代表性不足的类并过度拟合代表性良好的类。我们解决这个问题，一个新的框架称为像素的像素跨域对齐（PixDA）。我们提出了一种新的逐像素域对抗性损失，遵循三个标准：（i）对齐每个像素的源域和目标域，（ii）避免正确表示的像素上的负传递，以及（iii）正则化不频繁类的训练以避免过拟合。逐像素对抗训练由一种新的样本选择过程和一种知识蒸馏策略辅助，该样本选择过程处理源数据和目标数据之间的不平衡，该知识蒸馏策略避免了对少数目标图像的过度拟合。我们在标准的合成到真实的基准测试中证明，PixDA在（1-5）次拍摄设置中优于以前的最先进的方法。
2021-10-22 cs.CV
Pixel Level Data Augmentation for Semantic Image Segmentation using Generative Adversarial Networks
Beihang University（北京航空航天大学）；Keep Inc（Keep公司）
语义分割是计算机视觉的基本课题之一，它的目的是为图像中的每个像素分配语义标签。不平衡的语义标签分布可能对分割精度产生负面影响。在本文中，我们研究使用数据增强方法来平衡语义标签分布，以提高分割性能。我们建议使用生成对抗网络（GANs）来生成逼真的图像，以提高语义分割网络的性能。实验结果表明，该方法不仅可以提高对低精度类的分割性能，而且平均分割精度提高了1.3%~ 2.1%。实验结果表明，这种增强方法可以提高分割精度，并且可以很容易地应用到其他分割模型中。
2019-11-26 cs.CV
Single Pixel Reconstruction for One-stage Instance Segmentation
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang International Studies University（浙江外国语学院）；University of Sydney（悉尼大学）
目标实例分割是计算机视觉中最基本也是最具挑战性的任务之一，它要求对图像进行像素级的理解。大多数现有的方法解决这个问题，通过添加一个掩模预测分支的区域建议网络（RPN）的两阶段的对象检测器。虽然产生了良好的分割结果，这些两阶段的方法的效率是远远不能令人满意的，限制了它们在实践中的适用性。在本文中，我们提出了一个一阶段的框架，SPRNet，它执行有效的实例分割通过引入一个单像素重建（SPR）分支，现成的一阶段检测器。增加的SPR分支直接从卷积特征图中的每个像素重建像素级掩模。使用相同的ResNet-50主干，SPRNet以更高的推理速度实现了与Mask R-CNN相当的掩码AP，并在每个尺度上与RetinaNet相比获得了对框AP的全面改进。
2019-05-17 cs.CV
Hierarchical pixel clustering for image segmentation
St. Petersburg Institute for Informatics and Automation of RAS（俄罗斯科学院圣彼得堡信息学与自动化研究所）
本文讨论了像素簇或像素段的连续数目的逐段常数图像近似。研究了图像逼近的层次序列对最优逼近序列的优化。通过减少类中的段数，提供了从像素聚类到图像分割的过渡。算法由初等公式证明。
2014-01-23 cs.CV
Meta Corrupted Pixels Mining for Medical Image Segmentation
Xi’an Jiaotong University（西安交通大学）；Xidian University（西安电子科技大学）
深度神经网络在成堆的医学图像分析任务中取得了令人满意的性能。然而，深度神经网络的训练需要大量具有高质量注释的样本。在医学图像分割中，获取精确的像素级注释是非常费力和昂贵的。针对在标注可能被破坏的数据集上训练深度分割模型的问题，提出了一种基于简单元掩码网络的Meta Corrupted Pixels Mining（MCPM）方法。我们的方法的目标是自动估计一个加权图，以评估每个像素在分割网络学习中的重要性。Meta掩码网络将预测分割结果的损失值图作为输入，能够识别出损坏的层并为其分配小的权重。采用另一种算法同时训练分割网络和Meta掩码网络。在LIDC-IDRI和LiTS数据集上的大量实验结果表明，我们的方法优于为应对损坏的注释而设计的最先进的方法。
2020-07-07 cs.CV
Hard Pixel Mining for Depth Privileged Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
语义分割已经取得了很大的进展，但由于场景复杂、物体遮挡等原因，语义分割仍存在一定的挑战性，一些研究工作试图使用额外的信息，如深度图来帮助基于RGB的语义分割，因为深度图可以提供互补的几何线索。然而，由于深度传感器的不可访问性，深度信息通常无法用于测试图像。在语义分割中，深度信息只对训练图像有效，而对测试图像无效，本文仅利用训练图像的深度信息作为优先信息来挖掘硬像素。具体来说，我们提出了一种新的损失重量模块，它输出的损失重量图采用两个深度相关的测量硬像素：深度预测误差和深度感知分割误差。然后将损失权重图应用于分割损失，目标是通过更多地关注硬像素来学习更鲁棒的模型。此外，本研究亦探讨以减重图为基础的课程学习策略。同时，为了充分挖掘不同尺度上的硬像素，我们将我们的损失权重模块应用于多尺度侧输出。我们的硬像素挖掘方法在两个基准数据集上取得了最先进的结果，甚至优于在测试过程中需要深度输入的方法。
2020-03-11 cs.CV
A Pixel-Level Meta-Learner for Weakly Supervised Few-Shot Semantic Segmentation
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
Few-Shot语义分割解决了学习任务，其中只有少数具有地面实况像素级标签的图像可用于感兴趣的新类别。通常需要收集大量数据（即，基类），然后是元学习策略来解决上述学习任务。当在训练和测试期间只能观察到图像级语义标签时，弱监督Few-Shot语义分割被认为是更具挑战性的任务。为了解决这个问题，我们提出了一种新的元学习框架，它预测伪像素级分割掩码从有限的数据量和它们的语义标签。更重要的是，我们的学习方案进一步利用产生的像素级信息，用于具有分割保证的查询图像输入。因此，我们提出的学习模型可以被看作是一个像素级的元学习者。通过对基准数据集的广泛实验，我们表明，我们的模型在完全监督设置下实现了令人满意的性能，但在弱监督设置下对最先进的方法表现良好。
2021-11-02 cs.CV
Per-Pixel Classification is Not All You Need for Semantic Segmentation
Facebook AI Research（Facebook人工智能研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
现代方法通常将语义分割公式化为逐像素分类任务，而实例级分割则使用替代掩模分类来处理。我们的关键见解：掩码分类足够通用，以使用完全相同的模型、损失和训练过程以统一的方式解决语义级和实例级分割任务。根据这一观察，我们提出了MaskFormer，这是一个简单的掩码分类模型，它预测一组二进制掩码，每个掩码与单个全局类别标签预测相关联。总体而言，所提出的基于掩模分类的方法简化了语义和全景分割任务的有效方法的景观，并显示出良好的实证结果。特别是，我们观察到MaskFormer在类的数量很大时优于每像素分类基线。我们基于掩模分类的方法优于当前最先进的语义（在ADE 20 K上为55.6 mIoU）和全景分割（在COCO上为52.7 PQ）模型。
2021-10-31 cs.CV
COCO_TS Dataset: Pixel-level Annotations Based on Weak Supervision for Scene Text Segmentation
University of Siena（锡耶纳大学）
缺乏具有像素级监督的大规模数据集是训练用于场景文本分割的深度卷积网络的一个重大障碍。为此，通常采用合成数据生成来扩大训练数据集。尽管如此，合成数据不能再现自然图像的复杂性和可变性。在本文中，弱监督学习的方法是用来减少训练之间的真实和合成数据的转变。生成文本检测数据集的像素级监督（即，其中仅边界框注释可用）。特别是，创建并发布了COCO-Text-Segmentation（COCO_TS）数据集，该数据集为COCO-Text数据集提供像素级监督。所生成的注释被用于训练用于语义分割的深度卷积神经网络。实验表明，该数据集可以用来代替合成数据，使我们能够使用只有一小部分的训练样本，并显着提高性能。
2019-09-24 cs.CV
Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation
Huazhong University of Science and Technology（华中科技大学）；Harvard University（哈佛大学）
图像分割是一项基本的视觉任务，也是许多应用的关键步骤。本文提出了一种基于超边界像素方向（super-BPD）的快速图像分割方法和一种基于super-BPD的自定义分割算法。准确地说，我们将每个像素上的BPD定义为从其最近边界指向像素的二维单位向量。在BPD中，来自不同区域的附近像素具有彼此偏离的相反方向，并且同一区域中的相邻像素具有指向彼此或彼此的方向（即，围绕中间点）。我们利用这样的属性划分成超级BPD，这是新的信息超像素与强大的方向相似性快速分组到分割区域的图像。在BSDS 500和Pascal Context上的大量实验结果表明，该算法在图像分割中具有较高的准确性和有效性。在实践中，所提出的超级BPD实现了与MCG相当或更好的性能，同时以约25 fps vs. 0.07fps运行。超级BPD还表现出一个值得注意的可转移性看不见的场景。该代码可在https://github.com/JianqiangWan/Super-BPD上公开获取。
2020-05-30 cs.CV
Distilling Pixel-Wise Feature Similarities for Semantic Segmentation
在神经网络压缩技术中，知识蒸馏是一种有效的方法，它迫使一个简单的学生网络模仿一个较大的教师网络的输出。然而，大多数这样的模型蒸馏方法集中在图像级分类任务。直接使这些方法适应语义分割的任务只会带来边际改进。在本文中，我们提出了一个简单的，但有效的知识表示称为逐像素特征相似性（PFS），以解决具有挑战性的蒸馏问题的语义分割。开发的PFS为高级卷积特征的每个像素位置编码空间结构信息，这有助于以更简单的方式指导蒸馏过程。此外，提出了一种新颖的加权像素级软预测模仿方法，使学生网络能够根据其像素知识差距有选择地模仿教师网络的输出。在Pascal VOC 2012、ADE20K和Pascal Context的挑战性数据集上进行了广泛的实验。与几个强大的基线相比，我们的方法带来了显着的性能改进，并实现了新的最先进的结果。
2019-10-31 cs.CV
Pixelwise Instance Segmentation with a Dynamically Instantiated Network
University of Oxford（牛津大学）
语义分割和目标检测的研究近年来取得了长足的进展。然而，前一个任务没有相同对象的不同实例的概念，后者在粗略的边界框级别上操作。我们提出了一个实例分割系统，产生一个分割图，每个像素被分配一个对象类和实例身份标签。大多数方法使对象检测器适应于产生段而不是框。相比之下，我们的方法是基于一个初始的语义分割模块，它提供给一个实例子网络。该子网络使用初始类别级分割，以及来自对象检测器输出的线索，在端到端CRF中预测实例。我们模型的这一部分是动态实例化的，每个图像产生可变数量的实例。我们的端到端方法不需要后期处理，而是从整体上考虑图像，而不是处理独立的建议。因此，与某些相关工作不同，一个像素不能属于多个实例。此外，实现了更精确的分割，正如我们在Pascal VOC和Cityscapes数据集上的最新结果（特别是在高IoU阈值下）所示。
2017-04-07 cs.CV
Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training
Peking University（北京大学）；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用国家工程实验室）；Center for Data Science（数据科学中心）；Beijing International Center for Mathematical Research (BICMR)（北京国际数学研究中心）；Center for Data Science in Health and Medicine（健康医疗数据科学中心）
提出了一种基于像素对齐和自训练的无监督跨模态领域自适应方法。像素对齐将ceT1扫描转换为hrT2模态，有助于减少训练分割模型中的域偏移。自训练调整分割网络的决策边界以适应hrT2扫描的分布。实验结果表明，PAST显著优于非UDA基线，在CrossMoDA验证阶段排行榜上获得了2级，平均Dice得分为0.8395。
2021-09-29 cs.CV
PixelLink: Detecting Scene Text via Instance Segmentation
Zhejiang University（浙江大学）；CVTE Research（CVTE研究院）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
大多数最先进的场景文本检测算法是基于深度学习的方法，其依赖于限界框回归并执行至少两种预测：文本/非文本分类和位置回归。在这些方法中，回归在边界框的获取中起着关键作用，但它不是必不可少的，因为文本/非文本预测也可以被认为是一种本身包含完整位置信息的语义分割。然而，场景图像中的文本实例通常彼此非常接近，使得它们很难通过语义分割分离。因此，需要实例分割来解决这个问题。提出了一种基于实例分割的场景文本检测算法PixelLink。文本实例首先通过将同一实例中的像素链接在一起来分割。然后直接从分割结果中提取文本边界框，而无需位置回归。实验表明，与基于回归的方法相比，PixelLink在多个基准测试中可以获得更好或相当的性能，同时需要更少的训练迭代次数和更少的训练数据。
2018-01-04 cs.CV
Intra-Class Subdivision for Pixel Contrastive Learning: Application to Semi-supervised Cardiac Image Segmentation
College of Computer Science（计算机科学学院）；Software Engineering（软件工程）；Shenzhen University（深圳大学）；Shenzhen 518060, China（深圳518060, 中国）
本文提出SPCL框架，通过类内细分和边界对比损失提升心脏图像分割的精度和边界识别能力。
2026-01-30 cs.CV
Affinity Derivation and Graph Merge for Instance Segmentation
University of Science and Technology of China（中国科学技术大学）；Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）
提出了一种基于像素亲和度信息的实例分割方法，该信息是同一实例中两个像素之间的关系。在我们的方案中，我们使用了两个结构相似的神经网络。一个是预测像素级语义得分，另一个是设计来获得像素的亲和力。将像素作为顶点，将亲和度作为边，提出了一种简单有效的图合并算法，将像素聚类为实例。实验结果表明，该方案可以生成细粒度的实例掩码。利用Cityscapes训练数据，该算法在测试集上获得了27.3AP的性能.
2018-11-27 cs.CV
Weak-shot Semantic Segmentation via Dual Similarity Transfer
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；SenseTime（商汤科技）
语义分割是一项重要而普遍的任务，但在更广泛的应用中扩展到更多的类时，严重遭受像素级注释的高成本。为此，我们专注于名为弱杆语义分割的问题，其中新的类是从便宜的图像级标签的支持下，具有现成的像素级标签的基类学习。为了解决这个问题，我们提出了SimFormer，它在MaskFormer上执行双重相似性转移。具体来说，MaskFormer将语义分割任务分解为两个子任务：提案分类和每个提案的提案分割。建议分割允许建议像素相似性从基类转移到新类，这使得新类的掩码学习成为可能。我们还从基本类中学习像素-像素相似性，并将这种类不可知的语义相似性提取到新类的语义掩码中，从而使分割模型与图像之间的像素级语义关系规则化。此外，我们提出了一个补充损失，以促进新类的学习。在具有挑战性的COCO-Stuff-10 K和ADE 20 K数据集上的综合实验证明了该方法的有效性。代码可在https://github.com/bcmi/SimFormer-Weak-Shot-Semantic-Segmentation上获得。
2022-10-05 cs.CV
Semantic Segmentation via Pixel-to-Center Similarity Calculation
Huazhong University of Science and Technology（华中科技大学）；Meituan Inc.（美团）
由于全卷积网络在语义分割中取得了巨大的成功，因此人们提出了大量的工作集中在提取有区别的像素特征表示。然而，我们观察到现有的方法仍然遭受两个典型的挑战，即（i）在不同场景中的大类内特征变化，（ii）在同一场景中的小类间特征区别。在本文中，我们首先重新思考语义分割从像素和类中心之间的相似性的角度。分割头的每个权值向量代表了整个数据集中其对应的语义类，可以看作是类中心的嵌入。因此，逐像素分类相当于计算像素和类中心之间的最终特征空间中的相似性。在这种新颖的观点下，我们提出了一个类中心相似性层（CCS层），以解决上述挑战，通过生成自适应类中心条件不同的场景和监督类中心之间的相似性。它利用一个自适应类中心模块（ACCM）来生成类中心的条件下，每个场景，适应大类内的变化不同的场景。引入专门设计的损失函数，分别基于预测的中心到中心和像素到中心的相似性来控制类间和类内距离。最后，CCS层输出经处理的像素到中心的相似性作为分割预测。大量的实验表明，我们的模型对最先进的基于CNN的方法表现良好。
2023-01-12 cs.CV
Learning Category- and Instance-Aware Pixel Embedding for Fast Panoptic Segmentation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Horizon Robotics（地平线机器人）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
全景分割（PS）是一项复杂的场景理解任务，需要对物体和填充区域进行高质量的分割。以前的方法分别用语义和实例分割模块处理这两个类，然后用启发式融合或附加模块来解决两个输出之间的冲突。这项工作简化了这个管道的PS一致建模的两个类与一个新的PS框架，它扩展了一个额外的模块来预测类别和实例感知像素嵌入（CIAE）的检测模型。CIAE是一种新颖的逐像素嵌入特征，它对语义分类和实例区分信息进行编码。在推理过程中，PS结果简单地通过根据学习的嵌入将每个像素分配给检测到的实例或填充类来导出。我们的方法不仅展示了快速的推理速度，而且是第一个一阶段的方法，以实现具有挑战性的COCO基准上的两阶段的方法相当的性能。
2021-06-16 cs.CV
Railroad is not a Train: Saliency as Pseudo-pixel Supervision for Weakly Supervised Semantic Segmentation
Yonsei University（延世大学）；Sungkyunkwan University（成均馆大学）
现有的弱监督语义分割（WSSS）研究中使用图像级弱监督有几个局限性：稀疏的对象覆盖，不准确的对象边界，和来自非目标对象的共现像素。为了克服这些挑战，我们提出了一种新的框架，即显式伪像素监督（EPS），它通过结合两个弱监督从像素级反馈中学习;图像级标签通过本地化映射提供对象身份，显着性映射来自现成的显着性检测模型提供了丰富的边界。我们设计了一个联合训练策略，充分利用两者之间的信息互补关系。我们的方法可以获得准确的对象边界和丢弃共现像素，从而显着提高伪掩模的质量。实验结果表明，该方法通过解决WSSS的关键挑战，显著优于现有方法，并在PASCAL VOC 2012和MS COCO 2014数据集上实现了新的最先进性能。
2021-05-19 cs.CV
FGAseg: Fine-Grained Pixel-Text Alignment for Open-Vocabulary Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））
FGAseg通过像素级对齐模块和类别信息补充模块，利用跨模态注意力与可优化伪掩码细化CLIP的粗粒度对齐，从而增强开放词汇语义分割中的细粒度像素-文本对齐和类别边界信息，并在多个基准上超越现有方法。
2025-01-03 cs.CV
Pixel Difference Convolutional Network for RGB-D Semantic Segmentation
Tongji University（同济大学）；École normale supérieure, PSL Research University（巴黎高等师范学院，PSL研究大学）
由于深度数据的可用性，可以使用卷积神经网络来推进RGB-D语义分割。虽然对象不能简单地通过2D外观来区分，但通过局部像素差异和深度中的几何图案，在某些情况下可以很好地分离它们。考虑到固定的网格内核结构，CNN受限于缺乏捕获详细的细粒度信息的能力，因此无法实现精确的像素级语义分割。为了解决这个问题，我们提出了一个像素差卷积网络（PDCNet），通过聚合深度数据的局部范围和RGB数据的全局范围内的强度和梯度信息，分别捕获详细的内在模式。准确地说，PDCNet由深度分支和RGB分支组成。对于深度分支，我们提出了像素差分卷积（PDC），通过聚合强度和梯度信息来考虑深度数据中的局部和详细几何信息。对于RGB分支，我们贡献了一个轻量级的级联大内核（CLK）来扩展PDC，即CPDC，以享受RGB数据的全局上下文并进一步提升性能。因此，模态数据的局部和全局像素差异在信息传播过程中被无缝地并入PDCNet。在两个具有挑战性的基准数据集上进行实验，即，NYUDv2和SUN RGB-D表明，我们的PDCNet实现了语义分割任务的最先进的性能。
2023-02-23 cs.CV
Exploring PCA-based feature representations of image pixels via CNN to enhance food image segmentation
本文提出一种基于CNN和PCA的无监督食品图像分割方法，利用轮廓系数评估像素特征聚类质量，在FoodSeg103上取得0.5423的mIoU，无需微调即可实现灵活、可泛化的分割。
2024-11-05 cs.CV
Semi-Supervised Semantic Segmentation with Pixel-Level Contrastive Learning from a Class-wise Memory Bank
Universidad de Zaragoza（萨拉戈萨大学）；Magic Leap（Magic Leap公司）；Bitbrain（Bitbrain公司）
本文提出了一种新的半监督语义分割方法。这种方法的关键元素是我们的对比学习模块，该模块强制分割网络为整个数据集的同类样本产生类似的像素级特征表示。为了实现这一点，我们保持一个存储体不断更新的相关和高质量的特征向量标记的数据。在端到端训练中，来自标记数据和未标记数据的特征被优化为与来自存储体的同类样本相似。我们的方法在众所周知的公共基准上优于当前最先进的半监督语义分割和半监督领域自适应，在最具挑战性的场景上有更大的改进，即，更少的可用标记数据。https://github.com/Shathe/SemiSeg-Contrastive
2021-08-06 cs.CV
Class-level Multiple Distributions Representation are Necessary for Semantic Segmentation
Nanjing Normal University（南京师范大学）
现有的方法集中在使用类级别的功能，以提高语义分割的性能。如何刻画类内像素和类间像素之间的关系是提取具有鉴别力的类级代表特征的关键。在本文中，我们第一次介绍了描述类内变化的多重分布。然后，提出了多分布表示学习（\textbf{MDRL}），以增加像素表示的语义分割。同时，我们设计了一个类多分布一致性策略来构造嵌入像素的区分性多分布表示。此外，我们提出了一个多分布语义聚合模块，聚合相应类别的多个分布，以增强像素的语义信息。我们的方法可以无缝集成到流行的细分框架FCN/PSPNet/CCNet中，并在ADE 20 K上实现5.61\%/1.75\%/0.75\%的mIoU改进。在Cityscapes、ADE 20 K数据集上进行的大量实验证明，该方法可以显著提高性能。
2023-03-14 cs.CV
Bayesian Active Learning for Semantic Segmentation
Samsung SDS Research America（三星SDS美国研究院）
本文提出基于稀疏像素级标注和平衡熵（BalEnt）像素级贝叶斯不确定性度量的贝叶斯主动学习框架，在多个语义分割基准上以少量标注像素达到有监督水平的 mIoU，并显著超越先前最先进方法。
2024-08-03 cs.CV
MFNet: Multi-class Few-shot Segmentation Network with Pixel-wise Metric Learning
Tongji University（同济大学）；King’s College London（伦敦国王学院）
在视觉识别任务中，少样本学习需要在很少的支持样本下学习对象类别的能力。随着深度学习的发展，它的重新流行主要是在图像分类中。这项工作的重点是Few-Shot语义分割，这仍然是一个很大程度上未开发的领域。最近的一些进展往往局限于单类Few-Shot分割。在本文中，我们首先提出了一种新的多路（类）编码和解码架构，有效地融合多尺度查询信息和多类支持信息到一个查询支持嵌入。多类分割直接解码后，这个嵌入。为了更好地进行特征融合，提出了一种多层次的注意力机制，包括支持度特征调制注意力和多尺度组合注意力。最后，为了增强嵌入空间学习，引入了一个额外的像素级度量学习模块，并在输入图像的像素级嵌入上制定了三重损失。在标准基准PASCAL-5i和COCO-20 i上进行的大量实验表明，我们的方法在Few-Shot分割方面明显优于现有技术
2022-07-27 cs.CV
Distilling effective supervision for robust medical image segmentation with noisy labels
Tsinghua University（清华大学）
尽管深度学习方法在医学图像分割任务中取得了成功，但人类水平的性能依赖于具有高质量注释的大量训练数据，这些数据收集起来既昂贵又耗时，而事实是存在带有标签噪声的低质量注释，这导致学习模型的性能不佳。带噪声标签的分割学习的两个突出方向包括逐像素噪声鲁棒训练和图像级噪声鲁棒训练。在这项工作中，我们提出了一个新的框架，以解决分割与噪声标签提取有效的监督信息，从像素和图像水平。特别是，我们明确地估计每个像素的不确定性作为逐像素的噪声估计，并提出逐像素的鲁棒学习，通过使用原始标签和伪标签。此外，我们提出了一个图像级的鲁棒学习方法，以容纳更多的信息，作为补充像素级的学习。我们在模拟和真实世界的噪声数据集上进行了广泛的实验。结果表明，我们的方法相比，国家的最先进的基线与噪声标签的医学图像分割的优越性能。
2021-06-21 cs.CV
CoupAlign: Coupling Word-Pixel with Sentence-Mask Alignments for Referring Image Segmentation
Xi’an Jiaotong University（西安交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）
参考图像分割的目的是定位由自然语言句子描述的视觉对象的所有像素。以前的工作学习直接对齐句子嵌入和像素级嵌入以突出显示所引用的对象，但忽略了同一对象内像素的语义一致性，导致不完整的掩码和预测中的定位错误。为了解决这个问题，我们提出了CoupAlign，一个简单而有效的多层次的视觉语义对齐方法，耦合的词-像素对齐的掩码对齐，以执行对象掩码约束，实现更准确的定位和分割。具体来说，单词像素对齐（WPA）模块在视觉和语言编码器的中间层中执行语言和像素级特征的早期融合。基于单词像素对齐的嵌入，生成一组掩码建议来假设可能的对象。然后在句子模板对齐（SMA）模块中，通过句子嵌入对模板进行加权以定位引用的对象，最后将模板投影回来以聚合目标的像素。为了进一步增强两个对齐模块的学习，设计了一个辅助损失来对比前景和背景像素。通过将像素和掩码与语言特征分层对齐，我们的CoupAlign在视觉和语义层面上捕获像素的一致性，从而生成更准确的预测。在流行数据集上进行了大量实验（例如，RefCOCO和G-Ref）表明，我们的方法与最先进的方法相比实现了一致的改进，例如，在RefCOCO的验证和测试集上增加约2% oIoU。特别是，CoupAlign在将目标与同一类的多个对象区分开来方面具有卓越的能力。
2022-12-04 cs.CV
Region Mutual Information Loss for Semantic Segmentation
Zhejiang University（浙江大学）；Huazhong University of Science and Technology（华中科技大学）；Fabu Inc.（Fabu公司）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
语义分割是计算机视觉中的一个基本问题。它被认为是一个像素级的分类问题，在实践中，大多数分割模型使用像素级的损失作为其最佳化的rimmings。然而，逐像素损失忽略了图像中像素之间的依赖性。已经研究了利用像素之间的关系的几种方法，\eg、条件随机场（CRF）和基于像素亲和度的方法。然而，这些方法通常需要额外的模型分支，大量的额外内存，或更多的推理时间。在本文中，我们开发了一个区域互信息（RMI）损失模型的像素之间的依赖性更简单，更有效。与将像素视为独立样本的逐像素损失相比，RMI使用一个像素及其相邻像素来表示该像素。然后对于图像中的每个像素，我们得到一个多维点，它编码像素之间的关系，图像被转换为这些高维点的多维分布。因此，预测和地面实况可以通过最大化它们的多维分布之间的互信息（MI）来实现高阶一致性。此外，由于MI的实际值是很难计算的，我们得到了一个下限的MI和最大化的下限，以最大化的MI的实际值。RMI在训练阶段只需要少量额外的计算资源，在测试过程中没有任何开销。实验结果表明，RMI在PASCAL VOC 2012和CamVid数据集上可以实现实质性和一致的性能改进。该代码可在https://github.com/ZJULearning/RMI上获得。
2019-10-26 cs.CV
Weakly Supervised Semantic Segmentation by Pixel-to-Prototype Contrast
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
图像级弱监督语义分割（WSSS）以类激活图（CAMs）为基础，取得了很大的进展，但分类和分割之间的监督差距仍然阻碍了模型生成更完整、更精确的伪模板进行分割。在这项研究中，我们提出了弱监督像素原型对比，可以提供像素级的监督信号，以缩小差距。在两个直观先验的指导下，我们的方法在不同的视图和图像的每个视图内执行，旨在施加跨视图特征语义一致性正则化，并促进特征空间的类内（间）紧凑性（分散性）。我们的方法可以无缝地纳入现有的WSSS模型，而无需对基础网络进行任何更改，并且不会产生任何额外的推理负担。大量的实验表明，我们的方法一致地提高了两个强基线的大幅度，证明了有效性。具体来说，建立在SEAM之上，我们将PASCAL VOC 2012上的初始种子mIoU从55.4%提高到61.5%。此外，我们的方法，我们增加了分割mIoU的EPS从70.8%到73.6%，实现了新的国家的最先进的。
2022-03-14 cs.CV
Adaptive Affinity Fields for Semantic Segmentation
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
语义分割已经取得了很大的进展，越来越强大的像素分类器，并通过条件随机场（CRF）或生成对抗网络（GAN）纳入结构先验。我们提出了一个更简单的替代方案，只在训练过程中学习验证分割的空间结构。与现有的方法，强制执行单个像素的语义标签和相邻像素之间的标签匹配，我们提出了自适应亲和场（AAF）的概念，以捕捉和匹配标签空间中相邻像素之间的语义关系。我们使用对抗学习来为每个语义类别选择最佳的亲和场大小。它被公式化为一个极大极小问题，在最好最坏的学习情况下优化我们的分割神经网络。AAF是通用的表示结构作为一个集合的像素为中心的关系，更容易训练比GAN和更有效的比CRF没有运行时推理。我们对PASCAL VOC 2012、Cityscapes和GTA5数据集进行了广泛的评估，证明了其高于标准的分割性能和跨领域的强大泛化能力。
2018-08-21 cs.CV
Influencer Backdoor Attack on Semantic Segmentation
University of Oxford（牛津大学）；Dartmouth College（达特茅斯学院）；The University of Hong Kong（香港大学）
该研究提出针对语义分割的IBA后门攻击，通过最近邻触发器注入与像素随机标记策略，可误导受害类所有像素分类且保持非受害像素准确率，验证了现有分割模型的后门脆弱性与攻击实用性。
2024-04-17 cs.CV
Segmentation Transformer: Object-Contextual Representations for Semantic Segmentation
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院智能信息处理重点实验室，中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们解决的语义分割问题，重点放在上下文聚合策略。我们的动机是像素的标签是像素所属的对象的类别。我们提出了一个简单而有效的方法，对象上下文表示，通过利用相应的对象类的表示来表征像素。首先，我们在地面实况分割的监督下学习对象区域。其次，我们计算对象区域表示聚集的像素位于对象区域的表示。最后，计算每个像素和每个对象区域之间的关系，并使用对象上下文表示来增强每个像素的表示，该对象上下文表示是所有对象区域表示根据它们与像素的关系的加权聚合。我们的经验表明，所提出的方法在各种具有挑战性的语义分割基准：Cityscapes，ADE 20 K，LIP，PASCAL上下文，COCO的东西，实现了有竞争力的性能。Cityscapes、ADE20K、LIP、PASCAL-Context和COCO-Stuff。我们提交的“HRNet + OCR + SegFix”在提交时在Cityscapes排行榜上排名第一。代码可在https://git.io/openseg和https://git.io/HRNet.OCR上获得。我们使用Transformer编码器-解码器框架重新表述对象上下文表示方案。详情见第3.3节。
2021-04-30 cs.CV
Beyond pixel-wise supervision for segmentation: A few global shape descriptors might be surprisingly good!
ÉTS Montréal（蒙特利尔高等工程技术学院）；CRCHUM Montréal（蒙特利尔大学医院研究中心）
训练深度分割网络的标准损失可以被视为像素的单独分类，而不是监督预测分割的全局形状。虽然有效，但它们需要精确了解图像中每个像素的标签。这项研究调查了全局几何形状描述符在单独用作训练深度网络的分割损失时的有效性。不仅在理论上有趣，还有更深层次的动机将分割问题作为形状描述符的重建：获得低阶形状矩近似值的注释可能比全掩模对应物要简单得多，并且解剖先验可以很容易地编码为不变的形状描述，这可能会减轻注释负担。此外，最重要的是，我们假设，给定一个任务，某些形状描述可能是不变的图像采集协议/模式和受试者人群，这可能会打开有趣的研究途径，在医学图像分割的泛化。我们在深度分割的背景下引入并制定了一些形状描述符，并评估了它们在两个不同的挑战性任务中作为独立损失的潜力。受最近深度网络约束优化工作的启发，我们提出了一种使用这些描述符来监督分割的方法，而无需任何像素级标签。非常令人惊讶的是，每个类只有4个描述符值就可以接近具有65 k个独立离散标签的分割掩码的性能。我们还发现，形状描述符可以是一种有效的方式来编码关于任务的解剖先验，从而能够利用专家知识而无需额外的注释。我们的实现是公开的，可以很容易地扩展到其他任务和描述符：https://github.com/hkervadec/shape_descriptors
2021-05-03 cs.CV
Class-independent sequential full image segmentation, using a convolutional net that finds a segment within an attention region, given a pointer pixel within this segment
Vaya Vision（瓦亚视觉）
这项工作研究了使用全卷积网络（FCN）来找到图像片段，给定此片段区域内的像素。该网络接收图像、图像中的点和感兴趣区域（RoI）掩模。净输出是点所在段的二进制掩码。可以找到片段的区域包含在输入RoI掩码中。完整的图像分割可以通过在图像上逐个区域地顺序运行该网络，并将输出片段拼接到单个分割图中来实现。这种简单的方法解决了图像分割的两个主要挑战：1）分割未包含在训练集中的未知类别。2)分割单个对象实例（事物）和非对象（素材），如天空和植被。因此，如果指针像素位于组中的一个人内，则网络将输出覆盖该个人的掩码;如果指针点位于天空区域内，则网络返回图像中的天空区域。即使在训练集中没有出现天空或人的例子，这也是正确的。该网络在COCO panoptic数据集上进行了测试和训练，并实现了67%的IOU用于分割熟悉的类（这是网络训练集的一部分），53%的IOU用于分割不熟悉的类（不包括在训练中）。
2019-02-23 cs.CV
Discovering Class-Specific Pixels for Weakly-Supervised Semantic Segmentation
University of Oxford（牛津大学）
我们提出了一种方法来发现类特定像素的弱监督语义分割任务。我们表明，适当地结合显着性和注意力地图，使我们能够获得可靠的线索，能够显着提高性能。首先，我们提出了一个简单而强大的分层方法来发现类不可知的显着区域，使用显着对象检测器，否则将被忽略。其次，我们使用完全卷积的注意力地图来可靠地定位给定图像中的类特定区域。我们将这两个线索结合起来，发现特定于类的像素，然后将其用作训练CNN的近似基础事实。在解决弱监督语义分割任务的同时，我们确保图像级分类任务也得到解决，以便强制CNN为图像中存在的每个对象分配至少一个像素。在实验上，在PASCAL VOC 12 val和测试集上，我们获得了60.8%和61.9%的mIoU，与已发表的最新结果相比，实现了5.1%和5.2%的性能提升。该代码是公开的。
2017-07-18 cs.CV
Semantic Segmentation Refinement by Monte Carlo Region Growing of High Confidence Detections
Marquette University（马凯特大学）
尽管最近使用全卷积网络进行了改进，但一般来说，由大多数最先进的语义分割方法产生的分割并未显示出对对象边界的令人满意的粘附。我们提出了一种方法来细化这种深度学习模型生成的分割结果。我们的方法将像素密集分割网络生成的置信度分数作为输入，并重新标记置信度较低的像素。重新标记方法采用区域生长机制，将这些像素聚合到具有高置信度分数和相似外观的相邻区域。为了纠正语义分割算法在高置信度下错误分类的像素标签，我们通过对区域种子进行蒙特卡罗采样来生成多个区域生长步骤。我们的方法提高了最先进的完全卷积语义分割方法在公开可用的COCO和PASCAL数据集上的准确性，并且在精细注释的DAVIS数据集的选定序列上显示出明显更好的结果。
2018-02-21 cs.CV
Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
The Hong Kong Polytechnic University（香港理工大学）；Dalian University of Technology（大连理工大学）
领域自适应语义分割的目的是在源领域数据的监督下学习模型，并在未标记的目标领域上产生令人满意的稠密预测。这个具有挑战性的任务的一个流行的解决方案是自我训练，它选择目标样本上的高分预测作为训练的伪标签。然而，产生的伪标签往往包含大量的噪声，因为该模型偏向于源域以及大多数类别。为了解决上述问题，我们建议直接探索目标域数据的固有像素分布，而不是严重依赖于源域。具体来说，我们同时聚类像素和纠正伪标签与获得的集群分配。这个过程是以在线方式完成的，因此伪标签可以与分割模型共同进化，而无需额外的训练轮。为了克服长尾类别上的类不平衡问题，我们采用了分布对齐技术来强制集群分配的边缘类分布接近伪标签。所提出的方法，即类平衡像素级自标记（CPSL），提高了目标域上的分割性能比国家的最先进的大幅度，特别是长尾类别。
2022-03-18 cs.CV
Joint Class-Affinity Loss Correction for Robust Medical Image Segmentation with Noisy Labels
Department of Electrical Engineering, City Univeristy of Hong Kong, Hong Kong
以有限的注释成本收集的噪声标签阻止医学图像分割算法学习精确的语义相关性。以前的分割技术的学习与噪声标签只是执行一个像素的方式来保持语义，如像素的标签校正，但忽略了成对的方式。事实上，我们观察到逐对方式捕获像素之间的亲和关系可以大大降低标签噪声率。出于这一观察，我们提出了一个新的观点，通过合并像素明智的和成对的方式，其中监督来自嘈杂的类和亲和标签，分别噪声缓解。统一像素方式和成对方式，我们提出了一个强大的联合类亲和分割（JCAS）框架，以打击标签噪声问题在医学图像分割。考虑到成对方式的亲和力包含上下文依赖性，设计了一个差分亲和力推理（DAR）模块，通过推理类内和类间的亲和力关系来校正像素级分割预测。为了进一步提高抗噪声能力，设计了类亲和损失校正（CALC）策略，通过类和亲和标签中建模的噪声标签分布来校正监督信号。同时，CALC策略通过理论推导的一致性正则化，将逐像素和逐对方式相互作用。在合成和现实世界的噪声标签下进行的大量实验证实了所提出的JCAS框架的有效性，其性能上限的差距最小。源代码可从\url{https://github.com/CityU-AIM-Group/JCAS}获得。
2022-06-16 cs.CV
PCLMix: Weakly Supervised Medical Image Segmentation via Pixel-Level Contrastive Learning and Dynamic Mix Augmentation
College of Artificial Intelligence, Sichuan University（四川大学人工智能学院）
针对弱监督医学图像分割中监督信号传播易过度扩散的问题，提出含动态混合增强、像素级对比学习与双一致性正则化的PCLMix框架，在ACDC数据集上缩小了与全监督方法的性能差距。
2024-05-18 cs.CV
Can we unify monocular detectors for autonomous driving by using the pixel-wise semantic segmentation of CNNs?
University of Alcalá (UAH)（阿尔卡拉大学）
自动驾驶是一个具有挑战性的话题，需要复杂的感知任务解决方案，例如道路，车道，交通标志或信号灯，车辆和行人的识别。通过多年的研究，计算机视觉已经能够使用单目检测器来处理这些任务，这些单目检测器可以以相对较低的处理时间提供显着的检测率。然而，最近出现的卷积神经网络（CNN）已经彻底改变了计算机视觉领域，并且使得在接近实时的时间内（甚至在可以在车辆上携带的硬件上）执行全像素语义分割的方法成为可能。在本文中，我们建议使用完整的图像分割作为一种方法，以简化和统一的自动驾驶汽车的感知模块中所需的检测任务，分析主要问题，如计算时间和检测性能。
2016-07-04 cs.CV
From Explanations to Segmentation: Using Explainable AI for Image Segmentation
Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute, HHI（弗劳恩霍夫电信研究所，海因里希·赫兹研究所，HHI）；Humboldt University Berlin（柏林洪堡大学）
利用深度神经网络（DNN）的能力进行图像分割的新时代带来了一个代价：为了训练神经网络进行像素级分割，必须手动标记大量的训练样本。在这项工作中，我们通过间接解决方案来解决这个问题。我们建立在可解释AI（XAI）社区的进步基础上，并从分层相关传播（LRP）的输出中提取像素级二进制分割，解释分类网络的决策。我们表明，我们实现了类似的结果相比，一个既定的U-Net分割架构，而生成的训练数据显着简化。所提出的方法可以以弱监督的方式进行训练，因为训练样本必须仅在图像级别上进行标记，同时能够输出分割掩码。这使得它特别适用于更广泛的实际应用，其中繁琐的像素级标记通常是不可能的。
2022-02-01 cs.CV
Cell Instance Segmentation: The Devil Is in the Boundaries
Department of Computer Science and Engineering, University of Notre Dame（计算机科学与工程系，诺丁汉大学）；Leibniz-Institut für Analytische Wissenschaften–ISAS–e.V.（莱比锡分析科学研究所）；School of Computing and Informatics, University of Louisiana at Lafayette（计算与信息学系，路易斯安那州立大学拉斐特分校）
提出Ceb方法利用细胞边界特征和标签将前景像素聚类为细胞实例，通过改进Watershed算法提取边界并构建边界签名进行分类，在多个数据集上优于现有像素聚类方法且媲美SOTA。
2025-10-10 cs.CV
Flow Based Self-supervised Pixel Embedding for Image Segmentation
CuraCloud（库拉云）
我们提出了一种新的自监督的方法，从运动线索的图像特征学习。这种新方法在两个方向上利用了深度学习的最新进展：1）训练深度神经网络在使用合成流数据估计真实数据中的光流方面的成功;以及2）从运动线索（如光流）学习图像特征的新兴工作。在此基础上，我们证明了图像特征可以通过首先用合成流数据训练光流估计器，然后从真实运动数据中的估计流学习图像特征来学习自我监督。我们演示和评估这种方法的图像分割任务。使用学习的图像特征表示，该网络在Few-Shot分割任务中的表现明显优于从头开始训练的网络。
2019-01-08 cs.CV
Which Pixel to Annotate: a Label-Efficient Nuclei Segmentation Framework
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong at Shenzhen（香港中文大学（深圳））；Sun Yat-sen University（中山大学）；Pazhou Lab（琶洲实验室）
近年来，需要大量标注样本的深度神经网络已被广泛应用于H\&E染色病理图像的细胞核实例分割。然而，它是低效的，不必要的标记的所有像素的细胞核图像的数据集，通常包含相似的和冗余的模式。虽然无监督和半监督学习方法已被研究用于细胞核分割，但很少有工作深入研究样本的选择性标记以减少注释的工作量。因此，在本文中，我们提出了一种新的完整的细胞核分割框架，只选择几个图像补丁进行注释，从选定的样本中增加训练集，并以半监督的方式实现细胞核分割。在所提出的框架中，我们首先开发了一种新的基于一致性的补丁选择方法，以确定哪些图像补丁是最有益的训练。然后，我们引入了一个条件的单图像GAN与组件式的神经网络，合成更多的训练样本。最后，我们提出的框架用上述增强的样本训练现有的分割模型。实验结果表明，我们提出的方法可以获得相同水平的性能作为一个完全监督的基线，通过注释小于5%的像素在一些基准。
2022-12-20 cs.CV
Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机学院）；ReLER, University of Technology Sydney（悉尼科技大学ReLER）；Zhejiang University（浙江大学）
领域自适应语义分割的目标是训练一个模型，该模型仅使用域外（源）注释对目标执行令人满意的像素级预测。传统的解决方案是尽量减少源和目标之间的差异，使有效的知识转移。以前的领域差异最小化方法主要是基于对抗训练。它们倾向于全局地考虑域差异，这忽略了像素之间的关系，并且区分性较低。在本文中，我们建议建立像素级的循环之间的源和目标像素对的关联，并对比加强其连接，以减少域的差距，使功能更具歧视性。据我们所知，这是处理这一具有挑战性的任务的新视角。在GTAV $\rightarrow$ Cityscapes和SYNTHIA $\rightarrow$ Cityscapes两个具有代表性的领域自适应基准测试上的实验结果验证了该方法的有效性，并表明该方法与现有方法相比具有良好的性能.我们的方法可以在一个阶段中进行端到端的训练，并且不引入额外的参数，这有望作为一个通用框架，并有助于简化领域自适应语义分割的未来研究。代码可在https://github.com/kgl-prml/Pixel- Level-Cycle-Association获得。
2020-10-31 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.（Octi公司）
我们提出了一个自下而上的方法，使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络，该网络经过训练，可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型，只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割，一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型，并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Region-level Contrastive and Consistency Learning for Semi-Supervised Semantic Segmentation
Jilin University（吉林大学）；Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
目前的半监督语义分割方法主要集中在设计像素级一致性和对比正则化。然而，像素级正则化对来自具有不正确预测的像素的噪声敏感，并且像素级对比正则化具有O（pixel_num^2）的内存和计算成本。为了解决这些问题，我们提出了一种新的区域级对比和一致性学习框架（RC ^2L）的半监督语义分割。具体来说，我们首先提出了一个区域掩码对比（RMC）损失和区域特征对比（RFC）损失，以实现区域级的对比属性。此外，区域类一致性（RCC）损失和语义掩码一致性（SMC）损失提出了实现区域级的一致性。基于提出的区域级对比和一致性正则化，我们开发了一个用于半监督语义分割的区域级对比和一致性学习框架（RC ^2L），并在两个具有挑战性的基准测试（PASCAL VOC 2012和Cityscapes）上评估了我们的RC $^2$ L，性能优于最先进的。
2022-04-28 cs.CV
1st Place Winner of the 2024 Pixel-level Video Understanding in the Wild (CVPR'24 PVUW) Challenge in Video Panoptic Segmentation and Best Long Video Consistency of Video Semantic Segmentation
Device Solutions Research America, Samsung Semiconductor, Inc.（三星半导体公司美国设备解决方案研究中心）
本文提出基于DINOv2 ViT-g和DVIS框架的视频理解方案，在PVUW'24挑战赛中获VPS第一名、VSS第三名及VC16第一名。
2024-06-08 cs.CV
Class Balanced PixelNet for Neurological Image Segmentation
National University of Singapore（新加坡国立大学）
在本文中，我们提出了一种自动脑肿瘤分割方法（例如，PixelNet）使用像素级卷积神经网络（CNN）。该模型从多个卷积层中提取特征，并将它们连接起来形成一个超列，其中对适度数量的像素进行采样以进行优化。超列确保了像素预测器的局部和全局上下文信息。该模型通过在训练阶段采样几个像素来确认统计效率，其中空间冗余限制了传统像素级语义分割方法中相邻像素之间的信息学习。此外，训练数据中的标签偏斜导致卷积模型经常收敛到某些类别，这是医学数据集中的常见问题。我们通过在采样时间内为所有类选择相等数量的像素来处理这个问题。该模型在脑肿瘤和缺血性中风病变分割数据集上取得了令人满意的结果。
2022-04-23 cs.CV eess.IV
Incorporating Feature Pyramid Tokenization and Open Vocabulary Semantic Segmentation
Zhejiang University（浙江大学）
本文提出特征金字塔词元化（PAT），通过可学习码本聚类多分辨率特征并联合学习像素重构与语义分割，以统一的感知与语义词元压缩促进开放词汇语义分割，在提升基线性能的同时保持参数高效性。
2024-12-18 cs.CV
Beyond Pixels: Semi-Supervised Semantic Segmentation with a Multi-scale Patch-based Multi-Label Classifier
Stonybrook University（石溪大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；EPFL（洛桑联邦理工学院）
本文提出多尺度补丁多标签分类器（MPMC），作为即插即用模块，通过补丁级监督和自适应伪标签权重，提升现有半监督语义分割框架性能，在三个数据集上显著改善分割结果。
2024-07-16 cs.CV
