Cross-Domain Grouping and Alignment for Domain Adaptive Semantic Segmentation
Yonsei University（延世大学）；Korea University（高丽大学）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
在深度卷积神经网络（CNN）内跨源域和目标域适配语义分割网络的现有技术以全局或类别感知的方式处理来自两个域的所有样本。它们不考虑目标域本身或估计类别内的类间变化，从而限制了对具有多模态数据分布的域进行编码。为了克服这个限制，我们引入了一个可学习的聚类模块，和一个新的领域自适应框架称为跨域分组和对齐。为了在不忘记源域上的精确分割能力的情况下最大化域对齐的目标对跨域的样本进行聚类，我们提出了两个损失函数，特别是为了鼓励聚类之间的语义一致性和正交性。我们还提出了一个损失，以解决类不平衡的问题，这是以前的方法的另一个局限性。我们的实验表明，我们的方法一贯提高适应性能的语义分割，优于国家的最先进的各种领域自适应设置。
2020-12-17 cs.CV
Deep Grouping Model for Unified Perceptual Parsing
University of Rochester（罗切斯特大学）；Tsinghua University（清华大学）
基于感知的分组过程产生分层和合成图像表示，帮助人类和机器视觉系统识别异构的视觉概念。可以在经典的分层超像素分割或图像解析工作中找到示例。然而，由于许多挑战，分组过程在现代基于CNN的图像分割网络中很大程度上被忽视，包括网格形状的CNN特征图和不规则形状的感知分组层次结构之间的固有不兼容性。克服这些挑战，我们提出了一个深度分组模型（DGM），紧密结合这两种类型的表示，并定义了一个自下而上和自上而下的过程中的功能交换。当在最近的Broden+数据集上评估模型用于统一感知解析任务时，与其他基于上下文的分割模型相比，它实现了最先进的结果，同时具有较小的计算开销。与现代CNN方法相比，DGM具有更好的可解释性。
2020-03-25 cs.CV
PointGroup: Dual-Set Point Grouping for 3D Instance Segmentation
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
实例分割是场景理解的一项重要任务。与成熟的二维、三维点云实例分割相比，还有很大的改进空间。在本文中，我们提出了PointGroup，一个新的端到端自底向上的体系结构，特别关注通过探索对象之间的空隙空间来更好地对点进行分组。我们设计了一个双分支网络来提取点特征并预测语义标签和偏移量，以便将每个点移向其各自的实例质心。聚类组件随后利用原始和偏移的点坐标集，利用它们的互补强度。此外，我们制定了ScoreNet来评估候选实例，然后使用非最大抑制（NMS）来删除重复。我们在两个具有挑战性的数据集ScanNet v2和S3DIS上进行了广泛的实验，在这些数据集上，我们的方法实现了最高的性能，分别为63.6%和64.0%，而在IoU阈值为0.5的mAP方面，以前的最佳解决方案分别为54.9%和54.4%。
2020-04-03 cs.CV
Grouping Boundary Proposals for Fast Interactive Image Segmentation
Shandong Artificial Intelligence Institute（山东省人工智能研究院）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；University Paris Dauphine, PSL Research University（巴黎多芬大学，巴黎文理研究大学）；CNRS（法国国家科学研究中心）
本文提出一种基于最小测地线框架的图像分割模型，结合自适应割的圆形最优路径计算和基于图的边界提议分组方案，通过利用图像边缘连通性信息解决复杂场景下的捷径问题，优于现有最先进方法。
2023-09-08 cs.CV
Associating Spatially-Consistent Grouping with Text-supervised Semantic Segmentation
Harbin Institute of Technology（哈尔滨工业大学）；ByteDance（字节跳动）
本文研究仅通过图文对训练执行语义分割，提出将自监督空间一致性分组与文本监督语义分割相关联，并设计单向名词到区域对比损失和上下文感知掩码策略实现区域级识别，在Pascal VOC和Context基准上显著超越现有方法。
2023-04-03 cs.CV
Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
无监督语义分割的目的是发现图像内和图像间的分组，这些分组在没有外部监督的情况下捕获类别的对象和视图不变性。自然地，分割具有不同的粒度级别，在无监督分割中产生了歧义。现有的方法避免了这种模糊性，并将其视为建模之外的一个因素，而我们拥抱它，并希望无监督分割的分层分组一致性。我们将无监督分割作为一个逐像素的特征学习问题。我们的想法是，一个好的表示不仅应该揭示特定的分组级别，而且应该以一致和可预测的方式揭示任何分组级别。我们通过同一图像的多个视图之间的共同分割来执行分组和引导特征学习的空间一致性，并通过粗粒度和细粒度特征之间的聚类Transformers来执行分组层次结构的语义一致性。我们提供了第一个数据驱动的无监督分层语义分割方法，称为分层分割（HSG）。通过捕获视觉相似性和统计共现，HSG在五个主要的以对象和场景为中心的基准测试中也大大优于现有的无监督分割方法。我们的代码可在https://github.com/twke18/HSG上公开获取。
2022-04-25 cs.CV cs.LG
MaskGroup: Hierarchical Point Grouping and Masking for 3D Instance Segmentation
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究了三维实例分割问题，该问题在机器人学、增强现实等领域有着广泛的应用。由于三维物体周围环境的复杂性，不同物体的分离是非常困难的。为了解决这个具有挑战性的问题，我们提出了一个新的框架组和细化的3D实例。在实践中，我们首先学习每个点的偏移向量，并将其移动到其预测的实例中心。为了更好地对这些点进行分组，我们提出了一种分层点融合算法来逐步合并集中聚集的点。所有的点被分组到小的集群中，这些集群进一步逐渐经历另一个聚类过程以合并到更大的组中。这些多尺度组被用于实例预测，这有利于预测具有不同尺度的实例。此外，一个新的MaskScoreNet开发，以产生这些群体的二进制点掩模，进一步细化分割结果。在ScanNetV2和S3DIS基准上进行的大量实验证明了该方法的有效性。例如，我们的方法在ScanNetV2测试集上实现了66.4\%的mAP和0.5的IoU阈值，比最先进的方法高1.9\%。
2022-03-28 cs.CV
DBGroup: Dual-Branch Point Grouping for Weakly Supervised 3D Semantic Instance Segmentation
DBGroup通过双分支点分组和多轮自训练，实现高效弱监督三维语义实例分割，超越现有方法性能。
2025-11-25 cs.CV
Semantic Instance Segmentation via Deep Metric Learning
Google Inc.（谷歌公司）；UCLA（加利福尼亚大学洛杉矶分校）
我们提出了一种新的语义实例分割的方法，首先计算两个像素是如何可能属于同一个对象，然后通过分组相似的像素在一起。我们的相似性度量是基于一个深度的、完全卷积的嵌入模型。我们的分组方法是基于选择与一组“种子点”足够相似的所有点，这些点是从一个深度的、完全卷积的评分模型中选择的。我们在Pascal VOC实例分割基准测试中显示了具有竞争力的结果。
2017-03-30 cs.CV
GroupViT: Semantic Segmentation Emerges from Text Supervision
NVIDIA（英伟达）；UC San Diego（加州大学圣地亚哥分校）
建模和识别是视觉场景理解的重要组成部分，例如，用于目标检测和语义分割。对于端到端的深度学习系统，图像区域的分组通常通过像素级识别标签的自上而下的监督隐式地发生。相反，在本文中，我们建议将分组机制带回到深度网络中，这允许语义段仅通过文本监督自动出现。我们提出了一个层次化的图像视觉Transformer（GroupViT），它超越了常规的网格结构表示，并学会将图像区域分组为逐渐变大的任意形状的片段。我们训练GroupViT联合文本编码器上的大规模图像文本数据集通过对比损失。在只有文本监督而没有任何像素级注释的情况下，GroupViT学习将语义区域分组在一起，并以zero-shot方式成功地转移到语义分割任务，即，而无需任何进一步的微调。它在PASCAL VOC 2012上实现了52.3% mIoU的zero-shot准确度，在PASCAL Context数据集上实现了22.4% mIoU，并且与需要更高级别监督的最先进的迁移学习方法相比具有竞争力。我们在https://github.com/NVlabs/GroupViT上开源我们的代码。
2022-07-18 cs.CV
Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity
Meta AI Research（元人工智能研究院）；UC Berkeley（加州大学伯克利分校）
开放世界实例分割是将像素分组为对象实例而无需任何预定分类的任务。这是具有挑战性的，因为最先进的方法依赖于从大型标记数据集获得的显式类语义，并且域外评估性能显着下降。在这里，我们提出了一种新的方法，面具的建议，通用的网络（GGN），没有语义监督。我们的方法结合了像素亲和力的局部测量与实例级掩码监督，产生一个训练方案，旨在使模型的通用数据多样性允许。我们介绍了一种预测成对亲和力（PA）的方法，这是一种学习到的像素对之间的局部关系。PA很好地概括了看不见的类别。从PA中，我们构建了一个大的伪地面实况实例掩码集;结合人工注释的实例掩码，我们训练了GGN，并在各种基准测试（包括COCO、LVIS、ADE 20 K和UVO）上在开放世界实例分割上显著优于SOTA。代码可在项目网站上获得：www.example.com。
2022-04-12 cs.CV
SoftGroup for 3D Instance Segmentation on Point Clouds
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
现有的最先进的3D实例分割方法执行语义分割，然后进行分组。硬预测是在执行语义分割时进行的，使得每个点与单个类相关联。然而，源于硬决策的错误传播到分组中，导致（1）预测实例与地面实况之间的低重叠和（2）大量误报。为了解决上述问题，本文提出了一种三维实例分割方法称为软组，执行自下而上的软分组，然后由自上而下的细化。SoftGroup允许每个点与多个类相关联，以减轻语义预测错误引起的问题，并通过学习将其归类为背景来抑制误报实例。在不同数据集和多个评价指标上的实验结果证明了SoftGroup的有效性。其性能在ScanNet v2隐藏测试集上超过最强先验方法+6.2%，在S3DIS Area 5上超过AP_50 +6.8%。SoftGroup的速度也很快，在ScanNet v2数据集上使用单个Titan X每次扫描的速度为345 ms。这两个数据集的源代码和训练模型可在\url{https://github.com/thangvubk/SoftGroup.git}上获得。
2022-03-03 cs.CV
UGainS: Uncertainty Guided Anomaly Instance Segmentation
RWTH Aachen University（亚琛工业大学）；Ford Motor Company（福特汽车公司）
针对异常分割中像素分组限制评估单个异常物体的问题，提出UGainS方法，利用不确定性区域引导通用分割模型生成精确异常实例掩码，提升了逐像素分割性能并在多个验证集上取得优异AP。
2023-08-03 cs.CV
CONSIGN: Conformal Segmentation Informed by Spatial Groupings via Decomposition
Department of Mathematics and Scientific Computing（数学与科学计算系）；University of Graz（格拉茨大学）；BioTechMed-Graz（BioTechMed-格拉茨）；IDea_Lab
CONSIGN通过分解的空间分组指导，改进图像分割的不确定性量化，采用符合性预测框架，结合空间相关性，提升分割性能和不确定性估计质量。
2026-05-08 cs.CV cs.LG
SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
我们介绍了相似性组建议网络（SGPN），这是一个简单直观的深度学习框架，用于点云上的3D对象实例分割。SGPN使用单个网络来预测点分组建议和每个建议的对应语义类，我们可以直接从中提取实例分割结果。SGPN的有效性的重要的是它的三维实例分割结果的新颖表示形式的相似性矩阵，表示在嵌入的特征空间中的每对点之间的相似性，从而产生一个准确的分组建议为每个点。据我们所知，SGPN是第一个在点云上学习3D实例感知语义分割的框架。在不同的三维场景上的实验结果表明了该方法在三维实例分割上的有效性，并评估了SGPN在提高三维目标检测和语义分割效果方面的能力。我们还通过将2D CNN功能无缝集成到框架中以提高性能来展示其灵活性。
2019-05-30 cs.CV
LogoSP: Local-global Grouping of Superpoints for Unsupervised Semantic Segmentation of 3D Point Clouds
Shenzhen Research Institute, The Hong Kong Polytechnic University（深圳研究院，香港理工大学）；vLAR Group, The Hong Kong Polytechnic University（vLAR集团，香港理工大学）
本文提出 LogoSP，通过结合局部点特征与频域全局模式对超点分组以生成伪标签，在室内外三维点云无监督语义分割上显著优于现有方法。
2025-06-09 cs.AI cs.CV cs.LG
Labeling, Cutting, Grouping: an Efficient Text Line Segmentation Method for Medieval Manuscripts
University of Fribourg（弗里堡大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Luleå University of Technology（吕勒奥理工大学）
本文介绍了一种通过集成基于深度学习的预分类和最先进的分割方法来提取文本行的新方法。复杂手写文档中的文本行提取是一个重大的挑战，即使是最现代的计算机视觉算法。历史手稿是一类特别难处理的文件，因为它们呈现出多种形式的噪音，如退化，渗透，行间注释和精心制作的脚本。在这项工作中，我们提出了一种新的方法，它使用语义分割在像素级的中间任务，其次是文本行提取步骤。我们在最近的一个具有挑战性的中世纪手稿数据集上测量了我们方法的性能，并通过将错误减少80.7%而超过了最先进的结果。此外，我们证明了我们的方法在不同脚本编写的各种其他数据集上的有效性。因此，我们的贡献是双重的。首先，我们证明了语义像素分割可以用作强去噪预处理步骤之前，执行文本行提取。其次，我们介绍了一种新颖的，简单的和强大的算法，利用高质量的语义分割，以实现99.42%行IU的文本行提取性能的一个具有挑战性的数据集。
2019-07-01 cs.CL cs.CV
Recurrent Pixel Embedding for Instance Grouping
University of California, Irvine（加州大学欧文分校）
我们引入了一个可区分的，端到端的可训练框架，用于解决像素级分组问题，如由两个新组件组成的实例分割。首先，我们回归像素到一个超球面嵌入空间，使来自同一组的像素具有高余弦相似性，而来自不同组的像素具有低于指定的保证金的相似性。我们分析了嵌入维数和边缘的选择，将它们与球面上均匀分布点问题的理论结果联系起来。其次，分组实例，我们利用均值漂移聚类的一个变体，实现为一个由内核带宽参数化的递归神经网络。这个循环分组模块是可微的，具有收敛动力学和概率可解释性。通过这个模块反向传播组加权损失，可以让学习专注于纠正在后续聚类过程中无法解决的嵌入错误。我们的框架，而概念上简单，理论上丰富，也是实际有效的和计算效率。我们证明了国家的最先进的实例分割的对象提案生成的实质性改进，以及展示分类任务，如边界检测和语义分割的分组损失的好处。
2017-12-22 cs.CV cs.LG cs.MM
SegGroup: Seg-Level Supervision for 3D Instance and Semantic Segmentation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
现有的点云实例和语义分割方法大多依赖于强监控信号，需要对场景中的每个点进行点级标记。然而，这种强有力的监督遭受了巨大的注释成本，这就需要研究有效的注释。在本文中，我们发现，实例的位置问题的实例和语义3D场景分割。通过充分利用位置的优势，我们设计了一种弱监督的点云分割方法，只需点击每个实例的一个点即可指示其位置进行注释。通过预处理的过度分割，我们将这些位置注释扩展到片段中作为片段级标签。我们进一步设计了一个分段分组网络（SegGroup），通过分层地将未标记的分段分组到相关的附近标记的分段中，在分段级标签下生成点级伪标签，以便现有的点级监督分割模型可以直接使用这些伪标签进行训练。实验结果表明，我们的段级监督方法（SegGroup）实现了与完全注释的点级监督方法相当的结果。此外，在给定固定注释预算的情况下，它优于最近的弱监督方法。代码可在https://github.com/AnTao97/SegGroup上获得。
2022-07-24 cs.CV
Visual Grouping by Neural Oscillators
Ecole Polytechnique（巴黎综合理工学院）；Massachusetts Institute of Technology（麻省理工学院）
分布式同步被认为在大脑中的几个尺度上发生，并被认为在感知分组中起着关键的功能作用。国家的最先进的视觉分组算法，然而，似乎给比较少的注意神经同步类比。基于动态系统并发同步的框架，提出了一种简单的扩散连接神经振子网络来解决视觉分组问题。多层算法和反馈机制进行了研究。同样的算法在几个经典的视觉分组问题，包括点聚类，轮廓整合和图像分割，取得了可喜的成果。
2008-07-18 cs.CV cs.NE
Top-Down Beats Bottom-Up in 3D Instance Segmentation
Samsung Research（三星研究院）
提出TD3D，首个在3D实例分割中超越自底向上方法的自顶向下、无聚类、全卷积、端到端数据驱动方法，在多个基准上实现更高准确性和泛化能力，推理速度显著提升。
2023-09-11 cs.CV
Self-Supervised Visual Representation Learning with Semantic Grouping
University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）；University of Edinburgh（爱丁堡大学）；LunarAI
在本文中，我们解决了学习视觉表示从未标记的场景为中心的数据的问题。现有的作品已经证明了利用场景为中心的数据中的底层复杂结构的潜力;尽管如此，他们通常依赖于手工制作的对象先验或专门的借口任务来构建学习框架，这可能会损害泛化能力。相反，我们提出了从数据驱动的语义槽，即SlotCon，联合语义分组和表示学习的对比学习。语义分组是通过将像素分配给一组可学习的原型来执行的，这些原型可以通过对特征进行集中处理来适应每个样本并形成新的槽。基于学习到的数据相关槽，采用对比目标进行表示学习，这增强了特征的可区分性，并且相反地促进了将语义上一致的像素分组在一起。与以前的努力相比，通过同时优化语义分组和对比学习的两个耦合目标，我们的方法绕过手工制作的先验的缺点，并能够从以场景为中心的图像学习对象/组级表示。实验结果表明，该方法能有效地将复杂场景分解为语义组进行特征学习，并对后续的目标检测、实例分割和语义分割等任务有很大的帮助。代码可从以下网址获得：https://github.com/CVMI-Lab/SlotCon。
2022-10-10 cs.CV cs.LG
Scalable SoftGroup for 3D Instance Segmentation on Point Clouds
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Chung-Ang University（中央大学）
本文提出可扩展的SoftGroup（及SoftGroup++）用于点云3D实例分割，通过软语义关联和背景分类减少误差，并利用八叉树k-NN加速，在多个数据集上显著提升精度和速度。
2023-12-23 cs.CV
Multi-Modal Association based Grouping for Form Structure Extraction
Adobe（奥多比公司）
文档结构抽取是一个广泛研究的领域。最近在这个方向的工作是基于深度学习的，主要集中在通过语义分割使用全卷积NN提取结构。在这项工作中，我们提出了一种新的多模态方法的形式结构提取。给定简单的元素，如文本和小部件，我们提取高阶结构，如文本块，文本字段，选择字段和选择组，这是必不可少的信息收集的形式。为了实现这一点，我们通过识别最接近它的候选元素来获得每个低级元素（参考）周围的局部图像补丁。我们通过BiLSTM顺序处理候选元素的文本和空间表示，以获得上下文感知的表示，并将它们与通过CNN处理获得的图像补丁特征融合。随后，顺序解码器采用该融合特征向量来预测参考和候选之间的关联类型。这些预测的关联被用来通过连接组件分析来确定更大的结构。实验结果表明，我们的方法实现了90.29%，73.80%，83.12%，和52.72%的召回率以上结构，分别优于语义分割基线显着。我们通过消融显示了我们的方法的有效性，并将其与使用单独的方式进行比较。我们还介绍了我们新的丰富的人工注释表单数据集。
2021-07-09 cs.CV
Open-Vocabulary and Referring Segmentation for 3D Gaussians Using 2D Detectors
Johns Hopkins University（约翰霍普金斯大学）
提出GaussDet方法，利用离散的2D开放词汇检测器与指代表达能力，通过视图聚合语义标签分布实现3D场景的开放词汇分割和指代分割，在零样本设置下显著提升指代分割性能。
2026-06-29 cs.CV
PanoNet: Real-time Panoptic Segmentation through Position-Sensitive Feature Embedding
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
我们提出了一个简单，快速，灵活的框架，同时产生语义和实例掩码的全景分割。我们的方法称为PanoNet，采用了一种干净自然的结构设计，纯粹作为分割任务来解决问题，而无需耗时的检测过程。我们还介绍了位置敏感的嵌入，例如分组占对象的外观和空间位置。总的来说，PanoNet可以实时的【形】生成高分辨率Cityscapes图像的高全景质量结果，明显快于具有可比性能的所有其他方法。我们的方法很好地满足了自动驾驶和增强现实等许多应用的实际速度和内存要求。
2020-08-01 cs.CV
Seg4Diff: Unveiling Open-Vocabulary Segmentation in Text-to-Image Diffusion Transformers
KAIST AI（韩国科学技术院人工智能研究所）；Korea University（韩国大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出Seg4Diff框架，系统分析MM-DiT注意力结构，发现特定语义定位专家层可自然产生高质量分割掩码，并通过轻量级掩码微调同时提升分割性能与生成图像保真度，证明语义分组是扩散Transformer的涌现特性。
2025-09-22 cs.CV
Instance Segmentation in 3D Scenes using Semantic Superpoint Tree Networks
South China University of Technology（华南理工大学）；DexForce Technology Co., Ltd.（德福斯科技有限公司）；Pazhou Laboratory（琶洲实验室）；Peng Cheng Laboratory（鹏城实验室）
三维场景中的实例分割是场景理解的基础。由于数据不规则性和实例数量不确定性的复合因素，这仍然具有挑战性。最先进的方法在很大程度上依赖于一个通用管道，该管道首先学习在语义和实例级别上有区别的逐点特征，然后是用于提出对象实例的单独的点分组步骤。虽然很有前途，但它们的缺点是：（1）第二步不受实例分割的主要目标的监督，以及（2）它们的逐点特征学习和分组对于处理数据不规则性不太有效，可能导致碎片分割。为了解决这些问题，我们在这项工作中提出了一个端到端的解决方案的语义超点树网络（SSTNet）提出对象实例从场景点。SSTNet中的关键是一个中间的语义超点树（SST），它是基于学习到的超点语义特征构建的，并且将在中间树节点处被遍历和分裂，用于对象实例的建议。我们还在SSTNet中设计了一个细化模块，称为CSTNet，以修剪可能被错误地分组到实例提案中的超点。在ScanNet和S3DIS上的实验表明了该方法的有效性。在提交时，SSTNet在ScanNet（V2）排行榜上排名第一，mAP比第二好的方法高2%。PyTorch的源代码可以在https://github.com/Gorilla-Lab-SCUT/SSTNet上找到。
2021-08-17 cs.CV
Know What Your Neighbors Do: 3D Semantic Segmentation of Point Clouds
RWTH Aachen University（亚琛工业大学）
在本文中，我们提出了一种深度学习架构，解决了非结构化点云的3D语义分割问题。与以前的工作相比，我们引入了分组技术，在初始世界空间和学习的特征空间中定义点邻域。邻域是重要的，因为它们允许根据邻域的空间延伸来计算局部或全局点特征。此外，我们还引入了专用的损失函数来进一步构建学习点特征空间：成对距离损失和质心损失。我们将展示如何将这些机制应用于点云的3D语义分割任务，并报告室内和室外数据集的最新性能。
2018-12-08 cs.CV
Deep Metric Learning for Open World Semantic Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
经典的闭集语义分割网络检测分布外（OOD）对象的能力有限，这对于自动驾驶等安全关键型应用非常重要。增量学习这些带有少量注释的OOD对象是扩大深度学习模型知识库的理想方法。在本文中，我们提出了一个开放世界的语义分割系统，它包括两个模块：（1）一个开放集语义分割模块，检测分布和OOD对象。(2)增量式少样本学习模块，用于逐渐将这些OOD对象合并到其现有知识库中。这个开放世界的语义分割系统表现得像一个人，它能够识别OOD对象，并在相应的监督下逐渐学习它们。我们采用深度度量学习网络（DMLNet）与对比聚类实现开集语义分割。与其他开集语义分割方法相比，我们的DMLNet在三个具有挑战性的开集语义分割数据集上实现了最先进的性能，而无需使用额外的数据或生成模型。在此基础上，进一步提出了两种增量式少样本学习方法，利用面向对象对象的标注对DMLNet进行渐进式改进。
2021-08-10 cs.CV
Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
无监督语义分割的任务旨在将像素聚类成语义上有意义的组。具体来说，分配给同一个集群的像素应该共享高级语义属性，如它们的对象或部件类别。本文介绍了MaskDistill：一个新的框架，无监督的语义分割的基础上的三个关键思想。首先，我们提倡一种数据驱动的策略来生成对象掩码，作为语义分割的像素分组之前。这种方法省略了手工制作的先验，这些先验通常是为特定的场景组合而设计的，并且限制了竞争框架的适用性。其次，MaskDistill对对象掩码进行聚类，以获得用于训练初始对象分割模型的伪地面实况。第三，我们利用这个模型来过滤掉低质量的对象掩码。这种策略减轻了我们的像素分组之前的噪声，并导致一个干净的收集的面具，我们使用训练最终的分割模型。通过结合这些组件，我们可以大大优于以前的工作，无监督语义分割的PASCAL（+11% mIoU）和COCO（+4%掩码AP50）。有趣的是，与现有的方法相反，我们的框架不依赖于低级别的图像线索，也不限于以对象为中心的数据集。将提供代码和模型。
2022-06-13 cs.CV cs.LG
LEST: Large-scale LiDAR Semantic Segmentation with Transformer
LiangDao GmbH（亮道智能）；Ilmenau University of Technology（伊尔梅瑙工业大学）
针对大规模激光雷达点云语义分割任务，提出纯Transformer架构LEST，包含空间填充曲线分组策略和距离余弦线性Transformer两个创新组件，在nuScenes和SemanticKITTI数据集上性能超越现有最优方法。
2023-07-14 cs.CV
Bottom-up Object Detection by Grouping Extreme and Center Points
UT Austin（德克萨斯大学奥斯汀分校）
随着深度学习的出现，目标检测从自自底向上的【形】转变为自上而下的识别问题。最先进的算法列举了一个近乎详尽的对象位置列表，并将每个位置分类为：对象或非对象。在本文中，我们表明，自自底向上的【形】方法仍然表现出竞争力。我们使用标准的关键点估计网络检测对象的四个极端点（最顶部，最左侧，最底部，最右侧）和一个中心点。如果这五个关键点在几何上对齐，我们将它们分组到一个限界框中。因此，目标检测是纯粹基于外观的关键点估计问题，而没有区域分类或隐式特征学习。所提出的方法执行与国家的最先进的区域为基础的检测方法，与43.2%的COCO测试开发的限界框AP。此外，我们估计的极端点直接跨越粗糙的八角形掩模，COCO MaskAP为18.9%，比香草边界框的MaskAP好得多。极值点引导分割进一步将其提高到34.6% Mask AP。
2019-04-25 cs.CV
CMT-DeepLab: Clustering Mask Transformers for Panoptic Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；KAIST（韩国科学技术院）；Google Research（谷歌研究院）
我们提出了聚类掩码Transformer（CMT-DeepLab），这是一个基于transformer的框架，用于围绕聚类设计的全景分割。它重新考虑了分割和检测中使用的现有Transformer架构; CMT-DeepLab将对象查询视为聚类中心，在应用于分割时，这些聚类中心填补了对像素进行分组的角色。聚类是用交替的过程计算的，首先通过它们的特征亲和力将像素分配到聚类，然后更新聚类中心和像素特征。这些操作共同组成了聚类掩码Transformer（CMT）层，该层产生的交叉注意力更密集，与最终分割任务更一致。CMT-DeepLab将现有技术的性能显著提高了4.4%PQ，在COCO测试开发集上实现了55.7%PQ的最新技术水平。
2022-06-17 cs.CV
MedCRP-CL: Continual Medical Image Segmentation via Bayesian Nonparametric Semantic Modality Discovery
University College London, London, United Kingdom（伦敦大学学院）
该研究提出MedCRP-CL框架，通过在线任务结构发现和结构感知的连续学习方法，解决医学图像分割在持续学习中的挑战，实现了73.3%的Dice得分和仅4.1%的遗忘率。
2026-08-05 cs.CV cs.LG
Instance Segmentation of Dense and Overlapping Objects via Layering
RWTH Aachen University（亚琛工业大学）；University of Regensburg（雷根斯堡大学）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
实例分割旨在描绘图像中的每个感兴趣的个体对象。现有技术的方法通过划分语义分割或细化检测到的对象的粗略表示来实现该目标。在这项工作中，我们提出了一种新的方法来解决这个问题，通过对象分层，即通过分布拥挤，甚至重叠的对象到不同的层。通过将空间上分离的对象分组在同一层中，可以通过提取每个层中的连接组件来轻松隔离实例。与以前的方法相比，我们的方法不受复杂对象形状或对象重叠的影响。通过最少的后处理，我们的方法在不同的数据集上产生了非常有竞争力的结果：C。elegans（BBBC）、重叠宫颈细胞（OCC）和培养的神经母细胞瘤细胞（CCDB）。源代码是公开的。
2022-10-07 cs.CV
FreeSeg: Free Mask from Interpretable Contrastive Language-Image Pretraining for Semantic Segmentation
全监督语义分割从密集掩码中学习，这需要对闭集进行大量注释。在本文中，我们使用自然语言作为监督没有任何像素级的注释开放世界分割。我们将所提出的框架称为FreeSeg，其中掩码可以从预训练模型的原始特征图中免费获得。与zero-shot或开集分割相比，FreeSeg不需要任何注释掩码，并且它广泛预测类别不可知的无监督分割之外的类别。具体地，FreeSeg从可解释对比图像预训练（ICLIP）的图像-文本相似性图（ITSM）中获得自由掩码。我们的核心改进是密集ICLIP的平滑最小池，部分标签和像素分割策略。此外，FreeSeg非常简单，没有复杂的设计，如分组，聚类或检索。除了简单性之外，FreeSeg的性能在很大程度上超过了以前的最先进水平，例如在相同设置下VOC数据集上的mIoU高出13.4%。
2022-12-14 cs.CV
Improved Image Segmentation via Cost Minimization of Multiple Hypotheses
The Johns Hopkins University（约翰斯·霍普金斯大学）
图像分割是许多图像理解系统的重要组成部分。它旨在以空间和感知连贯的方式对像素进行分组。通常，这些算法具有控制所产生的过分割程度的参数集合。它仍然是一个挑战，以适当地选择这样的参数，人类一样的感知分组。在这项工作中，我们利用不同的参数选择产生的片段的多样性。我们扫描分割参数空间并生成图像分割假设的集合（从高度过度分割到欠分割）。这些被馈送到成本最小化框架中，该框架通过选择以下段来产生最终分割：（1）更好地描述图像的自然轮廓，以及（2）在所有分割假设中更稳定和持久。我们比较我们的算法的性能与国家的最先进的算法，表明我们可以实现改进的结果。我们还表明，我们的框架是强大的分割内核，产生的初始假设集的选择。
2018-01-31 cs.CV
CAGroup3D: Class-Aware Grouping for 3D Object Detection on Point Clouds
Peking University（北京大学）；Beijing Institute of Technology（北京理工大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peng Cheng Laboratory（鹏城实验室）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））
我们提出了一种新的两阶段全稀疏卷积3D目标检测框架，命名为CAGroup 3D。我们提出的方法首先通过利用具有相同语义预测的对象表面体素上的类感知局部组策略来生成一些高质量的3D建议，该策略考虑了先前自下而上方法中放弃的语义一致性和多样局部性。然后，为了恢复由于不正确的体素分割而丢失的体素的特征，我们构建了一个完全稀疏的卷积RoI池化模块，直接从主干中聚合细粒度的空间信息，以进一步改进建议。它具有内存和计算效率，可以更好地编码每个3D提案的几何特定特征。我们的模型实现了最先进的3D检测性能，在ScanNet V2上的+ \textit{3.6\%}和在SUN RGB-D上的+ \textit{2.6} \%的显著增益（mAP@0.25）。代码将在https://github.com/Haiyang-W/CAGroup3D上提供。
2022-10-09 cs.CV
Natural Scene Image Segmentation Based on Multi-Layer Feature Extraction
本文讨论了自然图像分割的问题，提取信息的多层阵列，该阵列是基于颜色，梯度和统计特性的局部邻域的图像。高斯混合模型（GMM）被用来提高局部谱直方图特征的有效性。对这些特征的处理导致形成包含像素的相干区域的粗糙的初始过分割层。通过使用两个建议的功能，计算两个相邻区域之间的距离，并作出决定，他们的合并区域合并。在伯克利分割数据集上进行了大量的实验，以评估我们提出的方法的性能，并将结果与最近的最先进的方法进行比较。实验结果表明，我们的方法实现了更高水平的准确性，自然图像相比，最近的方法。
2016-10-11 cs.CV
Scaling Open-Vocabulary Image Segmentation with Image-Level Labels
Google Research（谷歌研究院）；NVIDIA（英伟达）
我们设计了一个开放词汇的图像分割模型，将图像组织成由任意文本表示的有意义的区域。最近的作品（CLIP和ALIGN），尽管达到了令人印象深刻的开放词汇分类精度与图像级的标题标签，无法分割的视觉概念与像素。我们认为，这些模型错过了视觉分组的重要步骤，即在学习视觉语义对齐之前将像素组织成组。我们提出OpenSeg来解决上述问题，同时仍然使用可扩展的图像级字幕监督。首先，它学习为可能的组织提出分割掩码。然后，它通过将标题中的每个单词与一个或几个预测的掩码对齐来学习视觉语义对齐。我们发现掩码表示是支持从字幕中学习图像分割的关键，使得可以扩展数据集和词汇量。OpenSeg在PASCAL数据集上的表现明显优于LSeg最近的开放词汇表方法，达到+19.9 mIoU，这要归功于其可扩展性。
2022-07-20 cs.CV
Robust 3D Scene Segmentation through Hierarchical and Learnable Part-Fusion
Intel Labs（英特尔实验室）
3D语义分割是自动驾驶、机器人和AR/VR等多个场景理解应用的基本构建块。几种最先进的语义分割模型遭受部分误分类问题，其中，同一对象的部分被不正确地标记。以往的方法采用层次化、迭代法来融合语义和实例信息，但它们在上下文融合中缺乏可学习性，并且计算复杂和启发式驱动。本文提出了分段融合，一种新的基于注意力的语义和实例信息的层次融合方法，以解决部分错误分类。所提出的方法包括一个图形分割算法，用于将点分组为片段，将点特征合并为片段特征，一个可学习的基于注意力的网络，根据它们的语义和实例特征融合这些片段，然后是一个简单而有效的连接组件标记算法，将片段特征转换为实例标签。Segment-Fusion可以灵活地与任何网络架构一起用于语义/实例分割。在ScanNet和S3 DIS数据集上进行评估时，它将几个语义分割骨干的定性和定量性能提高了5%。
2021-11-16 cs.CV
HEAP: Unsupervised Object Discovery and Localization with Contrastive Grouping
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd（华为国际私人有限公司）
提出基于对比分组的分层合并框架HEAP，通过轻量级交叉注意力头和区域级、图像级对比损失实现高效的分层图像分解，在无监督目标发现与定位任务上取得最先进性能。
2024-01-04 cs.CV
Latent Noise Segmentation: How Neural Noise Leads to the Emergence of Segmentation and Grouping
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出神经噪声可驱动无监督知觉分组与分割，通过在DNN中加入噪声并构建Good Gestalt数据集，验证其能再现人类知觉现象且性能优于其他无监督模型24.9%。
2024-10-23 cs.CV
Instance Segmentation with Point Supervision
Element AI；University of British Columbia（不列颠哥伦比亚大学）
实例分割方法通常需要昂贵的每像素标签。我们提出了一种方法，只需要点级注释。在训练过程中，模型只能访问每个对象的单个像素标签，但任务是输出完整的分割掩码。为了解决这一挑战，我们构建了一个具有两个分支的网络：（1）预测每个对象位置的定位网络（L-Net）;以及（2）学习嵌入空间的嵌入网络（E-Net），其中同一对象的像素很接近。通过对具有相似嵌入的像素进行分组来获得定位对象的分割掩模。在训练时，虽然L-Net只需要点级别的注释，但E-Net使用由类不可知的对象建议方法生成的伪标签。我们在PASCAL VOC，COCO，KITTI和CityScapes数据集上评估了我们的方法。实验表明，我们的方法（1）在某些情况下与全监督方法相比获得了有竞争力的结果;（2）在固定注释预算的情况下优于全监督和弱监督方法;以及（3）是具有点级监督的实例分割的第一个强基线。
2019-06-14 cs.CV
EipFormer: Emphasizing Instance Positions in 3D Instance Segmentation
针对3D实例分割中固定实例位置偏离中心及单一坐标难以区分相邻实例的问题，本文提出基于Transformer的EipFormer，通过渐进式聚合和双重位置嵌入提升分割性能。
2023-12-09 cs.AI cs.CV
Instance-Level Salient Object Segmentation
Sun Yat-sen University（中山大学）；The University of Hong Kong（香港大学）
由于深度卷积神经网络，图像显著性检测最近取得了快速进展。然而，没有一个现有的方法能够识别检测到的显著区域中的对象实例。在本文中，我们提出了一个显着的实例分割方法，产生一个显着性掩模与不同的对象实例标签的输入图像。我们的方法由三个步骤组成，估计显着性图、检测显着对象轮廓和识别显着对象实例。对于前两步，我们提出了一个多尺度显着性细化网络，它生成高质量的显着区域掩模和显着对象轮廓。一旦与多尺度组合分组和基于MAP的子集优化框架相结合，我们的方法可以产生非常有前途的显著对象实例分割结果。为了促进显著性实例分割的进一步研究和评价，我们还构建了一个新的数据库，包含1000幅图像及其像素显著性实例注释。实验结果表明，我们提出的方法是能够实现国家的最先进的性能在所有公共基准的显着区域检测，以及我们的新数据集的显着实例分割。
2017-04-12 cs.CV
Automatic Landmark-Based Segmentation of Human Subcortical Structures in MRI
École de technologie supérieure (ÉTS)（埃克塞尔技术高等学院）；Boston University School of Medicine（波士顿大学医学学院）；Signal and Smart Systems Lab (L3S)（信号与智能系统实验室）；National School of Engineering of Tunis, University of Tunis El Manar（突尼斯国家工程学院，突尼斯El Manar大学）
本文提出一种基于地标引导的3D脑分割方法，通过全局到局部网络检测16个关键皮层下参考点，并结合语义分割模型和后处理步骤，提升皮层下结构分割的准确性。
2026-05-14 cs.CV
Random Ferns for Semantic Segmentation of PolSAR Images
Shanghai Jiao Tong University (SJTU)（上海交通大学）；German Aerospace Center (DLR)（德国航空航天中心）
随机蕨类植物--作为一个不太为人所知的包围学习的例子--已经成功地应用于从关键点匹配到目标检测的许多计算机视觉应用中。本文将Random Fern框架扩展到极化合成孔径雷达图像的语义分割中。通过使用内部投影定义的空间上的Hermitian矩阵，所提出的分类器可以直接应用于极化协方差矩阵，而不需要显式地计算预定义的图像特征。此外，提出了两种不同的优化策略：第一种是基于预先选择和分组的内部二进制特征之前，创建的分类器;第二种是基于迭代地改善给定的随机蕨类植物的属性。这两种策略都能够通过过滤冗余或具有低信息含量的特征以及通过对相关特征进行分组以最好地满足随机蕨类分类器所做的独立性假设来提高性能。实验表明，可以实现类似于更复杂的随机森林模型的结果，并与深度学习基线竞争。
2022-02-07 cs.CV eess.IV
Causal Unsupervised Semantic Segmentation
School of Electrical Engineering（电气工程学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出CAUSE框架，通过因果推理方法解决无监督语义分割中概念聚类层次确定问题，实现像素级分组，并在多个数据集上取得最佳性能。
2023-10-11 cs.AI cs.CV cs.LG
Elastic Boundary Projection for 3D Medical Image Segmentation
Peking University（北京大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins Medical Institute（约翰斯·霍普金斯医学研究所）；Noah’s Ark Lab, Huawei Inc.（华为诺亚方舟实验室）
我们专注于一个重要但具有挑战性的问题：使用2D深度网络处理医学图像分析的3D分割。现有的方法要么应用多视图平面（2D）网络，要么直接使用体积（3D）网络，但这两种方法都不理想：2D网络不能有效地捕获3D上下文，3D网络既消耗内存又不稳定，这可能是由于缺乏预训练模型。在本文中，我们使用一种名为弹性边界投影（EBP）的新方法来弥合2D和3D之间的差距。关键的观察是，虽然对象是一个3D体积，但我们在分割中真正需要的是找到它的边界，这是一个2D表面。因此，我们在3D空间中放置一些枢轴点，对于每个枢轴，我们确定它沿着一组密集方向到对象边界的距离。这将在每个枢轴周围创建一个弹性壳，该壳初始化为一个完美球体。我们训练一个2D深度网络，判断每个端点是否落在物体内，并逐步调整外壳，使其逐渐收敛到边界的实际形状，从而达到分割的目的。EBP允许基于边界的分割，而无需将3D体积切割成切片或补丁，这与传统的2D和3D方法不同。EBP在腹部器官分割中达到了很好的精度。我们的代码已经开源https://github.com/twni2016/Elastic-Boundary-Projection。
2020-06-06 cs.CV
Patch-Based Deep Unsupervised Image Segmentation using Graph Cuts
University of Pennsylvania（宾夕法尼亚大学）；Bowdoin College（鲍登学院）
本文提出一种基于图像块的深度无监督图像分割方法，将深度聚类特征提取与经典图割算法相结合，通过简单卷积网络迭代正则化实现像素级分割，并验证了视觉Transformer块级特征的有效性。
2024-01-15 cs.CV cs.LG eess.IV
A Spatial Guided Self-supervised Clustering Network for Medical Image Segmentation
The University of Sydney（悉尼大学）；Med-X Research Institute, Shanghai Jiao Tong University（上海交通大学Med-X研究院）
医学图像的分割是自动化临床决策支持系统中的一个基本步骤。然而，现有的基于监督式深度学习的医学图像分割方法仍然存在问题，因为它们依赖于大量标记的训练数据。尽管医学成像数据存储库继续扩展，但注释数据的量并没有相应地增加。因此，我们提出了一种新的空间引导自监督聚类网络（SGSCN）的医学图像分割，在那里我们引入了多个损失函数，旨在帮助分组图像像素的空间连接，并具有类似的功能表示。它从单个图像中以端到端的方式迭代学习每个像素的特征表示和聚类分配。我们还提出了一个基于上下文的一致性损失，更好地描绘图像区域的形状和边界。它强制属于一个聚类的所有像素在空间上靠近聚类中心。我们评估了我们的方法对2个公共医学图像数据集，并将其与现有的传统和自监督聚类方法进行比较。实验结果表明，该方法对医学图像分割的准确性最高。
2021-07-11 cs.CV
Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation
Huazhong University of Science and Technology（华中科技大学）；Harvard University（哈佛大学）
图像分割是一项基本的视觉任务，也是许多应用的关键步骤。本文提出了一种基于超边界像素方向（super-BPD）的快速图像分割方法和一种基于super-BPD的自定义分割算法。准确地说，我们将每个像素上的BPD定义为从其最近边界指向像素的二维单位向量。在BPD中，来自不同区域的附近像素具有彼此偏离的相反方向，并且同一区域中的相邻像素具有指向彼此或彼此的方向（即，围绕中间点）。我们利用这样的属性划分成超级BPD，这是新的信息超像素与强大的方向相似性快速分组到分割区域的图像。在BSDS 500和Pascal Context上的大量实验结果表明，该算法在图像分割中具有较高的准确性和有效性。在实践中，所提出的超级BPD实现了与MCG相当或更好的性能，同时以约25 fps vs. 0.07fps运行。超级BPD还表现出一个值得注意的可转移性看不见的场景。该代码可在https://github.com/JianqiangWan/Super-BPD上公开获取。
2020-05-30 cs.CV
