OMH: Structured Sparsity via Optimally Matched Hierarchy for Unsupervised Semantic Segmentation
EPFL（洛桑联邦理工学院）
针对无监督语义分割中特征优化与聚类目标脱节、分割结果难以对齐的问题，提出OMH，通过最优传输学习并行聚类间的稀疏层次结构并施加结构化稀疏约束，提升了分割性能。
2024-04-05 cs.CV cs.LG
Instance Segmentation of Biomedical Images with an Object-aware Embedding Learned with Local Constraints
RWTH Aachen University（亚琛工业大学）
自动实例分割是许多生物医学应用中出现的问题。现有技术的方法或者执行语义分割或者细化从检测方法获得的对象边界框。这两种方法都在不同程度上受到拥挤对象的影响，合并相邻对象或抑制有效对象。在这项工作中，我们通过深度神经网络为每个像素分配一个嵌入向量。该网络被训练为输出来自同一对象的像素的相似方向的嵌入向量，而相邻对象在嵌入空间中是正交的，这有效地避免了人群中对象的融合。我们的方法即使在细胞分割（BBBC006 + DSB2018）和叶分割数据集（CVPPP2017）上使用轻量级骨干网络也能产生最先进的结果。代码和模型权重是公开的。
2020-04-21 cs.CV cs.LG
RangeSeg: Range-Aware Real Time Segmentation of 3D LiDAR Point Clouds
National Chiao Tung University（国立交通大学）
基于三维LiDAR点云的室外场景理解是自动驾驶领域的一项具有挑战性的任务，因为点云的数据结构稀疏且不规则。针对激光雷达不同光束距离分布不均匀的特点，提出了一种基于距离感知的实例分割网络RangeSeg。RangeSeg使用具有两个范围相关解码器的共享编码器主干。重解码器仅计算远目标和小目标所在的距离图像的顶部以提高小目标检测精度，而轻解码器计算整个距离图像以降低计算成本。最后，采用基于分辨率加权距离函数的DBSCAN方法对分割结果进行聚类，得到实例级分割结果。在KITTI数据集上的实验表明，RangeSeg比现有的语义分割方法具有更大的加速比，并提高了小对象和远对象的实例级分割性能。整个RangeSeg管道满足NVIDIA \textsuperscript{\textregistered} JETSON AGX Xavier的实时的要求，平均每秒19帧。
2022-05-02 cs.CV cs.LG
End-to-End Boundary Aware Networks for Medical Image Segmentation
University of California, Los Angeles（加州大学洛杉矶分校）；NVIDIA（英伟达）
全卷积神经网络（CNN）已被证明在表示和分类纹理信息方面是有效的，从而将图像强度转换为实现语义图像分割的输出类别掩码。然而，在医学图像分析中，专家手动分割通常依赖于感兴趣的解剖结构的边界。我们提出了边界感知CNN医学图像分割。我们的网络旨在通过提供特殊的网络边缘分支和边缘感知损失项来考虑器官边界信息，并且它们是可训练的端到端。我们使用BraTS 2018数据集验证了它们在脑肿瘤分割任务上的有效性。实验结果表明，该方法具有更高的分割精度，在医学图像分割中有着广泛的应用前景。
2019-09-10 cs.CV cs.LG eess.IV
Structured Consistency Loss for semi-supervised semantic segmentation
SNUAILAB（首尔大学人工智能实验室）；Seoul National Univ.（首尔大学）；KyeongBook Univ.（庆北大学）
一致性损失是近年来半监督学习研究中解决问题的关键。然而，现有的研究与一致性损失仅限于其应用于分类任务;现有的研究半监督语义分割依赖于像素分类，这并不反映结构化的性质的特征预测。我们提出了一个结构化的一致性损失，以解决现存研究的这一局限性。结构化一致性损失促进教师和学生网络之间像素间相似性的一致性。具体来说，与CutMix的合作通过显著降低计算负担来优化具有结构化一致性损失的半监督语义分割的高效性能。在Cityscapes上验证了所提方法的优越性，Cityscapes的基准测试结果（包括验证和测试数据）分别为81.9 mIoU和83.84 mIoU。这在Cityscapes基准测试套件的像素级语义标记任务中排名第一。据我们所知，我们是第一个提出最先进的半监督学习在语义分割的优势。
2021-11-22 cs.CV
CAD: Confidence-Aware Adaptive Displacement for Semi-Supervised Medical Image Segmentation
College of Information and Intelligence, Hunan Agricultural University（湖南农业大学信息与智能科学学院）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
本文提出CAD框架，通过动态调整替换尺寸和置信度阈值，将最大低置信度区域替换为高置信度图像块，有效提升了半监督医学图像分割的精度并达到最先进水平。
2025-04-03 cs.CV cs.LG
I Bet You Are Wrong: Gambling Adversarial Networks for Structured Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）；TomTom（TomTom公司）
对抗性训练最近已被用于实现结构化语义分割，其目的是在密集预测中保留更高级别的场景结构化。然而，正如我们所展示的，分割网络和地面实况注释的预测之间基于值的区分可能会阻碍训练过程学习以提高结构质量，并使网络无法正确表达不确定性。在本文中，我们重新思考了语义分割的对抗训练，并提出了用正确/不正确的训练目标来制定假/真区分框架。更具体地说，我们用一个“赌徒”网络来代替预测者，这个网络学会在预测明显错误的地方发现和分配预算，而分段网络则试图给赌徒留下任何明确的线索。对两个道路场景语义分割任务的实证评估表明，该方法不仅能够重新表达不确定性，而且还改进了基于像素和基于结构的度量。
2019-08-07 cs.CV
Boundary-Aware Network for Fast and High-Accuracy Portrait Segmentation
College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
与其他语义分割任务相比，人像分割既要求更高的精度，又要求更快的推理速度。然而，这个问题在以前的作品中没有得到很好的研究。在本文中，我们提出了一个轻量级的网络架构，称为边界感知网络（BANet），有选择地提取边界区域的细节信息，使高质量的分割输出实时（> 25 FPS）的速度。此外，我们设计了一个新的损失函数，称为细化损失，监督与图像级梯度信息的网络。我们的模型能够产生更精细的分割结果，比注释具有更丰富的细节。
2019-01-12 cs.CV
3D Kidneys and Kidney Tumor Semantic Segmentation using Boundary-Aware Networks
NVIDIA（英伟达）；University of California, Los Angeles（加州大学洛杉矶分校）
肾脏和肾脏肿瘤的自动分割是量化肿瘤的形态学细节以监测疾病进展并准确比较关于肾脏肿瘤治疗的决策的重要步骤。手动描绘技术通常是繁琐的，容易出错的，并且需要专业知识来创建肾脏和肾脏肿瘤分割的明确表示。在这项工作中，我们提出了一个端到端的边界感知完全卷积神经网络（CNN），用于从动脉相腹部3D CT扫描中进行可靠的肾脏和肾脏肿瘤语义分割。我们提出了一个分割网络组成的编码器-解码器架构，专门占器官和肿瘤的边缘信息，通过设计一个专用的边界分支监督边缘感知损失条款。我们在2019 MICCAI KiTS肾脏肿瘤分割挑战数据集上评估了我们的模型，我们的方法重复获得了肾脏和肿瘤的骰子得分为0.9742和0.8103，总体综合骰子得分为0.8923。
2019-09-14 cs.CV cs.LG eess.IV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University（延世大学）
我们解决的问题，弱监督语义分割（WSSS）使用限界框注释。虽然对象边界框是分割相应对象的良好指示器，但它们不指定对象边界，使得难以训练卷积神经网络（CNN）进行语义分割。我们发现，背景区域在图像中部分是感知一致的，这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法，我们提出了一种新的池化方法，称为背景感知池化（BAP），它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割，但标签仍然包含噪声，特别是在对象边界处。为了解决这个问题，我们还引入了噪声感知损失（NAL），使网络不太容易受到错误标签的影响。实验结果表明，在PASCAL VOC 2012数据集上，使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法，NAL进一步提高了性能。
2021-04-02 cs.CV
BAGNet: Bidirectional Aware Guidance Network for Malignant Breast lesions Segmentation
Nankai University（南开大学）；Civil Aviation General Hospital（民航总医院）；Chinese PLA General Hospital（中国人民解放军总医院）
乳腺病变分割是计算机辅助诊断系统的重要环节，一直受到人们的关注。然而，准确分割的恶性乳腺病变是一个具有挑战性的任务，由于异质性的结构和相似的强度分布的影响。本文提出了一种新的双向感知引导网络（BAGNet）从乳腺超声图像中分割恶性病变。具体而言，双向感知引导网络用于从输入的粗显着性图中捕获全局（低级）和局部（高级）特征之间的上下文。全局特征图的引入可以减少周围组织（背景）对病变区域的干扰。为了评估网络的分割性能，我们使用六种常用的评估指标在公共乳腺超声数据集上与几种最先进的医学图像分割方法进行了比较。大量的实验结果表明，我们的方法取得了最有竞争力的分割结果对恶性乳腺超声图像。
2022-04-28 cs.CV cs.LG eess.IV
Anatomically-aware Uncertainty for Semi-supervised Image Segmentation
ETS Montreal（蒙特利尔高等工程技术学院）
提出一种利用分割掩码全局信息的解剖学感知不确定性估计方法，通过单次推理降低计算成本，并在心脏和腹部数据集上提升了半监督分割精度。
2023-10-24 cs.AI cs.CV cs.LG
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Significance-aware Information Bottleneck for Domain Adaptive Semantic Segmentation
School of Computer Science & Technology, HUST（华中科技大学计算机科学与技术学院）；CAI, UTS（悉尼科技大学人工智能中心）
在无监督的领域自适应问题中，通过对抗学习在潜在特征空间中对齐两个领域的策略在图像分类中取得了很大的进展，但在潜在表示过于复杂的语义分割任务中通常失败。在这项工作中，我们为对抗网络配备了“重要性感知信息瓶颈（SIB）”，以解决上述问题。新的网络结构称为SIBAN，在对抗适应之前实现了重要性感知的特征纯化，这简化了特征对齐并稳定了对抗训练过程。在两个领域自适应任务中，即，GTA5 -> Cityscapes和SYNTHIA -> Cityscapes，我们验证了所提出的方法可以产生领先的结果相比，其他特征空间的替代品。此外，SIBAN甚至可以匹配最先进的输出空间方法的分割精度，而后者通常被认为是更好的选择域自适应分割任务。
2019-04-01 cs.AI cs.CV cs.LG
Fully Convolutional Instance-aware Semantic Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们为实例感知语义分割任务提出了第一个完全卷积的端到端解决方案。它继承了FCN在语义分割和实例掩码建议方面的所有优点。它联合执行实例掩码预测和分类。底层卷积表示在两个子任务之间以及所有感兴趣区域之间完全共享。所提出的网络是高度集成的，并实现了最先进的性能，在准确性和效率。在COCO 2016细分市场竞争中以较大优势胜出。代码将在\url{https://github.com/daijifeng001/TA-FCN}发布。
2017-04-10 cs.CV
Semantic Segmentation from Image Labels by Reconstruction from Structured Decomposition
本文提出将弱监督图像分割重新定义为基于掩码的图像分解重建问题，隐式嵌入正则化，在初步实验中表现出良好效果和对背景歧义的鲁棒性。
2024-09-02 cs.CV
Context-aware Padding for Semantic Segmentation
KU Leuven（鲁汶大学）；ETHZ（苏黎世联邦理工学院）
零填充广泛用于卷积神经网络中，以防止特征图的大小过快地减小。然而，有人声称这扰乱了边境的统计数据。作为替代方案，我们提出了一个上下文感知（CA）填充方法来扩展图像。我们将填充问题重新表述为图像外推问题，并说明了对语义分割任务的影响。使用上下文感知填充，基于ResNet的分割模型在Cityscapes和DeepGlobe卫星成像挑战的数据集上实现了比传统零填充更高的平均Intersection-Over-Union。此外，我们的填充在训练和测试期间不会带来明显的开销。
2021-09-16 cs.CV
StaticSegFormer: An Efficient High-Performance Semantic Segmentation Based on Static Structured Pruning
该研究针对动态结构化剪枝在GPU上帧率低的问题，提出StaticSegFormer静态结构化剪枝方法，使SegFormer在Cityscapes上帧率提升最高34%且无mIoU下降，适配小型编码器与大图像场景。
2026-08-06 cs.CV
Efficient piecewise training of deep structured models for semantic segmentation
The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
语义图像分割的最新进展主要是通过训练深度卷积神经网络（CNN）实现的。我们将展示如何通过使用上下文信息来提高语义分割;具体而言，我们将探索图像区域之间的“补丁-补丁”上下文和“补丁-背景”上下文。为了从补丁补丁上下文中学习，我们用基于CNN的成对势函数来构造条件随机场（CRF），以捕获相邻补丁之间的语义相关性。然后应用所提出的深度结构化模型的有效分段训练，以避免用于反向传播的重复昂贵的CRF推断。对于捕获补丁背景上下文，我们表明，传统的多尺度图像输入和滑动金字塔池的网络设计是有效的，以提高性能。我们的实验结果在一些流行的语义分割数据集上设置了新的最先进的性能，包括NYUDv 2，PASCAL VOC 2012，PASCAL上下文和SIFT流。特别是，我们在具有挑战性的PASCAL VOC 2012数据集上实现了78.0的交叉-联合得分。
2016-06-06 cs.CV
Learning to Adapt Structured Output Space for Semantic Segmentation
NEC Laboratories America（美国NEC实验室）；University of California, Merced（加州大学默塞德分校）
用于语义分割的基于卷积神经网络的方法依赖于具有像素级基础事实的监督，但是可能不能很好地推广到看不见的图像域。由于标记过程是繁琐且劳动密集型的，因此开发可以使源地面真实标签适应目标域的算法是非常感兴趣的。在本文中，我们提出了一种对抗性学习方法的领域自适应的背景下，语义分割。考虑到语义分割的结构化输出，包含源域和目标域之间的空间相似性，我们在输出空间中采用对抗学习。为了进一步增强自适应模型，我们构建了一个多级对抗网络，以有效地执行不同特征级别的输出空间领域自适应。在不同的领域自适应设置下进行了广泛的实验和消融研究，包括合成到真实和跨城市的场景。我们表明，该方法在准确性和视觉质量方面优于最先进的方法。
2020-07-06 cs.CV
Segmentation-Aware Convolutional Networks Using Local Attention Masks
Carnegie Mellon University（卡内基梅隆大学）；Ryerson University（瑞尔森大学）；Facebook AI Research（Facebook人工智能研究院）
我们介绍了一种在卷积神经网络（CNN）中集成分割信息的方法。这抵消了CNN跨区域平滑信息的趋势，并提高了它们的空间精度。为了获得分割信息，我们建立了一个CNN来提供一个嵌入空间，其中可以基于欧几里得距离来估计区域共同隶属度。我们使用这些嵌入来计算相对于每个神经元位置的局部注意力掩码。我们将这样的掩码合并到CNN中，并将卷积操作替换为“分段感知”变体，该变体允许神经元选择性地关注来自其自身区域的输入。我们将生成的网络称为分割感知的CNN，因为它根据局部分割线索在每个图像点处调整其滤波器。我们证明了我们的方法在两个不同的密集预测任务，涉及分类（语义分割）和回归（光流）的优点。我们的研究结果表明，在语义分割中，我们可以匹配DenseCRFs的性能，同时更快，更简单，在光流中，我们获得了比不使用局部注意力掩模的网络更清晰的响应。在这两种情况下，分割感知卷积都能在强基线上产生系统性的改进。这个工作的源代码可以在http://cs.cmu.edu/~aharley/segaware上获得。
2017-08-15 cs.CV
TopoLoRA-SAM: Topology-Aware Parameter-Efficient Adaptation of Foundation Segmenters for Thin-Structure and Cross-Domain Binary Semantic Segmentation
Talan Research \& Innovation Center, Paris, France
TopoLoRA-SAM通过拓扑感知的参数高效方法，在细长结构和跨域二分类语义分割中实现最佳性能。
2026-01-05 cs.AI cs.CV cs.LG
Automated anomaly-aware 3D segmentation of bones and cartilages in knee MR images from the Osteoarthritis Initiative
The University of Queensland（昆士兰大学）；Australian e-Health Research Centre（澳大利亚电子健康研究中心）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
在医学图像分析中，通常具有潜在异常和病理的多组分解剖结构的自动分割是一项具有挑战性的任务。在这项工作中，我们开发了一种多步骤的方法，使用基于U-Net的神经网络，从不同级别骨关节炎患者的膝关节三维磁共振（MR）图像中初步检测股骨远端、胫骨近端和髌骨的异常（骨髓病变、骨囊肿）。随后，提取的数据用于下游任务，包括单个骨骼和软骨体积以及骨骼异常的语义分割。对于异常检测，开发了基于U-Net的模型，通过修复重建图像中股骨和胫骨的骨骼轮廓，以便将异常骨骼区域替换为接近正常的外观。重建误差用于检测骨骼异常。第二个异常感知网络（与异常初始分割网络进行比较）用于从包含骨异常谱的膝关节MR图像中提供股骨、胫骨和髌骨骨和软骨的最终自动分割。与来自异常初始分割网络的结果相比，异常感知分割方法为骨分割提供了高达58%的Hausdorff距离减少。此外，与异常初始分割网络（AUC高达0.874）相比，异常感知网络能够以更高的灵敏度和特异性（AUC高达0.896）检测MR图像中的骨病变。
2022-12-01 cs.CV cs.LG eess.IV
Location-aware Upsampling for Semantic Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
许多成功的学习目标，如最小化骰子损失和交叉熵损失，使分割任务取得了前所未有的突破。除了这些语义度量，本文旨在引入位置监督到语义分割。基于这一思想，我们提出了一个位置感知的上采样（LaU），自适应地细化插值坐标与可训练的偏移。然后，通过鼓励像素向分类良好的位置移动来建立位置感知损失。LaU是与插值相结合的偏移预测，其被端到端地训练以在每个位置处从粗到细生成置信度分数。在位置感知损失的指导下，新模块可以以即插即用的方式取代其普通对应模块（\textit{e.g.}，双线性上采样），以进一步提升领先的编码器-解码器方法。大量的实验验证了在基准数据集上的最先进的方法的一致改进。我们的代码可在https://github.com/HolmesShuan/Location-aware-Upsampling-for-Semantic-Segmentation上获得
2019-11-14 cs.CV
Part-aware Panoptic Segmentation
Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们介绍了新的场景理解任务的部分感知的全景分割（PPS），其目的是了解一个场景在多个层次的抽象，并统一的场景解析和部分解析的任务。对于这个新任务，我们在两个常用的数据集上提供了一致的注释：Cityscapes和Pascal VOC。此外，我们提出了一个单一的指标来评估PPS，称为部分感知泛光质量（PartPQ）。对于这个新任务，使用度量和注释，我们通过合并现有最先进的全景分割和部分分割方法的结果来设置多个基线。最后，我们进行了几个实验，评估在这个单一的任务中，不同层次的抽象的重要性。
2021-06-11 cs.CV
Building Segmentation through a Gated Graph Convolutional Neural Network with Deep Structured Feature Embedding
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
由于建筑物形状的复杂性，从光学图像中自动提取建筑物仍然是一个挑战。语义分割是一种有效的方法。深度卷积神经网络（DCNN）的最新发展使精确的像素级分类任务成为可能。然而，一个核心问题仍然存在：边界的精确划定。深度架构通常无法产生具有准确边界的细粒度分割，因为它们是渐进式下采样的。因此，我们引入了一个通用的框架来克服这个问题，将图卷积网络（GCN）和深度结构化特征嵌入（DSFE）集成到端到端的工作流程中。此外，我们提出了一种门控图卷积网络，而不是使用经典的图卷积神经网络，它能够细化弱和粗语义预测，以生成清晰的边界和细粒度的像素级分类。以建筑物足迹的语义分割为例，比较了不同的特征嵌入结构和图神经网络。我们提出的框架与新的GCN架构优于国家的最先进的方法。虽然我们在这项工作中的主要任务是建筑足迹提取，所提出的方法可以普遍适用于其他二进制或多标签分割任务。
2019-11-08 cs.CV
SEMEDA: Enhancing Segmentation Precision with Semantic Edge Aware Loss
Sorbonne Université（索邦大学）
虽然现在深度神经网络在语义分割任务上取得了令人印象深刻的性能，但它们通常是通过优化像素损失（如交叉熵）来训练的。因此，这种网络输出的预测通常很难准确地捕捉对象边界，并在对象内部显示出漏洞。在本文中，我们提出了一种新的方法来改善预测分割掩模的结构。我们介绍了一种新的语义边缘检测网络，它允许匹配的预测和地面真相分割掩模。这种语义边缘感知策略（SEMEDA）可以与端到端训练框架中的任何骨干深度网络相结合。通过对Pascal VOC 2012和Cityscapes数据集的全面实验验证，我们表明，所提出的SEMEDA方法通过强制执行尖锐边界和避免对象内部的不连续性来增强预测分割掩码的结构，从而提高分割性能。此外，我们的语义边缘感知损失可以集成到任何流行的分割网络中，而不需要任何额外的注释，并且与标准像素交叉熵损失相比，计算负载可以忽略不计。
2019-05-06 cs.CV
Instance-aware 3D Semantic Segmentation powered by Shape Generators and Classifiers
UT Austin（德克萨斯大学奥斯汀分校）；Westlake University（西湖大学）
针对现有3D语义分割模型在实例级别表现不佳的问题，提出一种结合形状生成器和分类器的实例感知方法，通过实例级监督的形状重建与分类任务增强特征表示，在多个公共基准上显著优于现有方法。
2023-11-21 cs.CV
Exploring Context with Deep Structured models for Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
最先进的语义图像分割方法大多基于训练深度卷积神经网络（CNN）。在这项工作中，我们提出了改善语义分割与上下文信息的使用。特别是，我们探索了深度CNN中的“补丁-补丁”上下文和“补丁-背景”上下文。我们通过结合CNN和条件随机场（CRF）来制定深度结构化模型，以学习图像区域之间的补丁-补丁上下文。具体来说，我们制定了基于CNN的成对势函数，以捕捉相邻补丁之间的语义相关性。然后应用所提出的深度结构化模型的有效分段训练，以避免在反向传播过程中重复昂贵的CRF推断。对于捕获补丁背景上下文，我们表明，传统的多尺度图像输入和滑动金字塔池的网络设计是非常有效的，以提高性能。我们对所提出的方法进行了综合评价。我们在许多具有挑战性的语义分割数据集上实现了新的最先进的性能，包括$NYUDv2$、$PASCAL$ - $VOC2012$、$Cityscapes$、$PASCAL$ - $Context$、$SUN$ - $RGBD$、$SIFT$ - $flow$和$KITTI$数据集。特别是，我们报告了$PASCAL$ - $VOC2012$数据集上$77.8$的交叉-联合评分。
2017-05-02 cs.CV
Boundary-aware Graph Reasoning for Semantic Segmentation
University of Pittsburgh（匹兹堡大学）；Northwestern Polytechnical University（西北工业大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一个边界感知图推理（BGR）模块来学习长期的上下文特征的语义分割。我们的BGR模块探索了一种合理的方法，将分割错误区域与图形构建场景相结合，而不是直接基于主干特征构建图形。由于大多数难以分割的像素广泛分布在边界区域，我们的BGR模块使用边界得分图作为先验知识来加强图节点连接，从而引导图推理集中在边界区域。此外，我们采用了一种高效的图卷积实现来降低计算成本，这有利于将我们的BGR模块集成到当前的分割主干中。在三个具有挑战性的分割基准上的大量实验证明了我们提出的BGR模块用于语义分割的有效性。
2021-08-09 cs.CV
Scale-aware multi-level guidance for interactive instance segmentation
Institute of Computer Science II（第二计算机科学研究所）；University of Bonn（波恩大学）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
在交互式实例分割中，用户给出反馈以迭代地细化分割掩码。用户提供的点击被转换成引导地图，该引导地图为网络提供关于感兴趣对象的下落的必要线索。目前系统中使用的导航地图纯粹是以距离为基础的，不是过于局限就是没有信息。我们提出了一种新的转换用户点击生成规模感知的指导地图，利用图像中存在的层次结构信息。使用我们的指导图，即使是最基本的FCN也能够超越现有的方法，这些方法需要在大规模分割数据集上预先训练的最先进的分割网络。我们证明了我们提出的转型战略的有效性，通过全面的实验，我们显着提高国家的最先进的四个标准的交互式分割基准。
2018-12-07 cs.CV
Depth-aware CNN for RGB-D Segmentation
University of Southern California（南加利福尼亚大学）
卷积神经网络（CNN）由于其固定的网格核结构而缺乏处理几何信息的能力。深度数据的可用性使得使用CNN的RGB-D语义分割能够取得进展。最先进的方法要么使用深度作为附加图像，要么处理3D体积或点云中的空间信息。这些方法具有高计算和存储成本。为了解决这些问题，我们通过引入两个直观，灵活和有效的操作：深度感知卷积和深度感知平均池化，提出了深度感知CNN。通过在信息传播过程中利用像素之间的深度相似性，几何形状被无缝地结合到CNN中。在不引入任何额外参数的情况下，这两种算子都可以轻松集成到现有的CNN中。大量的实验和消融研究具有挑战性的RGB-D语义分割基准验证了我们的方法的有效性和灵活性。
2018-03-19 cs.CV
DEAL: Difficulty-aware Active Learning for Semantic Segmentation
Zhejiang University（浙江大学）
主动学习的目标是通过寻找信息量最大的样本来解决标记数据的缺乏问题。然而，现有方法在应用于语义分割时，忽略了不同语义区域的分割难度，导致对细小、细长等硬语义区域的分割效果不佳。为了解决这个问题，我们提出了一个语义难度-awarE主动学习（DEAL）网络由两个分支组成：共同分割分支和语义难度分支。对于后一个分支，与分割结果和GT之间的分割误差的监督，逐像素的概率注意模块被引入到学习不同的语义区域的语义难度分数。最后，设计了两个获取函数来选择语义困难的最有价值的样本。在语义分割基准测试上的竞争结果表明，DEAL实现了最先进的主动学习性能，特别是提高了硬语义区域的性能。
2020-10-17 cs.CV
Tree-structured Kronecker Convolutional Network for Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
现有的大多数语义分割方法都是利用无卷积来扩大滤波器的接收域，但忽略了部分信息。为了解决这个问题，我们首先提出了一种新的Kronecker卷积，该卷积采用Kronecker积来扩展标准卷积核，以考虑到被atrous卷积忽略的部分特征。因此，它可以捕获部分信息，并同时扩大接受领域的过滤器，而无需引入额外的参数。其次，提出了树结构特征聚合（TFA）模块，该模块遵循递归规则进行扩展，形成层次结构。因此，它可以自然地学习多尺度对象的表示，并在复杂场景中编码分层上下文信息。最后，我们利用Kronecker卷积和TFA模块设计了树结构的Kronecker卷积网络（TKCN）。在PASCAL VOC 2012、PASCAL-Context和Cityscapes三个数据集上的实验验证了该方法的有效性。我们在https://github.com/wutianyiRosun/TKCN上公开提供代码和训练模型。
2018-12-15 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
Distribution-aware Margin Calibration for Medical Image Segmentation
University of Technology Sydney（悉尼科技大学）；School of Electrical and Data Engineering（电气与数据工程学院）
Jaccard指数，也称为Intersection-over-Union（IoU评分），是医学图像分割中最关键的评价指标之一。然而，直接优化多个目标类的平均IoU（mIoU）得分是一个开放的问题。虽然已经提出了一些算法来优化它的代理人，有没有保证提供的泛化能力。在本文中，我们提出了一种新的数据分布感知的边缘校准方法，用于在整个数据分布上更好地推广mIoU，并以刚性下限为基础。该方案在实践中确保了在IoU分数方面更好的分割性能。我们在两个医学图像分割数据集上评估了所提出的边缘校准方法的有效性，显示出使用深度分割模型的其他学习方案的IoU分数的实质性改善。
2020-11-03 cs.CV
LoG-CAN: local-global Class-aware Network for semantic segmentation of remote sensing images
Zhejiang University（浙江大学）
遥感图像具有背景复杂、类内方差大、尺度变化大等特点，给语义分割带来了挑战。我们提出了LoG-CAN，一个多尺度的语义分割网络与一个全局类感知（GCA）模块和本地类感知（LCA）模块的遥感图像。LCA模块生成局部类表示作为中间感知元素，间接地将像素与全局类表示相关联以减少类内的方差;和一个多具有GCA和LCA模块的尺度架构通过级联细化和特征融合在不同尺度下产生有效的对象分割。通过对ISPRS Vaihingen数据集和ISPRS Potsdam数据集的测试，实验结果表明，LoG-CAN在显著减少网络参数和计算量的同时，在一般语义分割方面优于现有方法。代码位于~ \href{https://github.com/xwmaxwma/rssegmentation}{https://github.com/xwmaxwma/rssegmentation}。
2023-03-14 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
Quality-Aware Memory Network for Interactive Volumetric Image Segmentation
ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Technology（北京理工大学）
尽管自动医学图像分割技术最近取得了进展，但全自动的结果通常不能满足临床使用，并且通常需要进一步改进。在这项工作中，我们提出了一个质量感知的记忆网络的交互式分割的三维医学图像。由用户在任意切片上提供指导，首先采用交互网络来获得初始2D分割。质量感知存储器网络随后在整个体积上双向传播初始分割估计。可以以相同的方式并入基于对其他切片的附加用户指导的后续细化。为了进一步促进交互式分割，引入了质量评估模块，以基于每个切片的当前分割质量来建议下一个切片进行分割。所提出的网络具有两个吸引人的特征：1）记忆增强网络提供了快速编码过去分割信息的能力，这些信息将被检索用于其他切片的分割; 2）质量评估模块使模型能够直接估计分割预测的质量，这允许主动学习范例，其中用户优先标记质量最低的切片进行多轮细化。所提出的网络导致了鲁棒的交互式分割引擎，其可以很好地推广到各种类型的用户注释（例如，涂鸦，盒子）。在各种医学数据集上的实验结果表明，与现有技术相比，我们的方法的优越性。
2021-07-05 cs.CV
Pitfalls of topology-aware image segmentation
Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM)（慕尼黑工业大学医疗保健与医学人工智能教席）；TUM University Hospital（慕尼黑工业大学医院）；School of Computation, Information and Technology, TUM（慕尼黑工业大学计算、信息与技术学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Department of Computing, Imperial College London（伦敦帝国理工学院计算机系）；Weill Cornell Medicine, Cornell University（康奈尔大学威尔医学院）
本文指出了拓扑感知医学图像分割在模型评估中存在的连通性选择、标注伪影和指标误用等陷阱，并通过实证分析揭示其影响，提出了建立公平稳健评估标准的建议。
2024-12-19 cs.AI cs.CV cs.LG
Scale-aware Test-time Click Adaptation for Pulmonary Nodule and Mass Segmentation
Wuhan University（武汉大学）；Artificial Intelligence Institute of Wuhan University（武汉大学人工智能研究院）；Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；Dianei Technology（点内科技）
本文提出一种具有尺度感知测试时点击自适应的多尺度神经网络，利用易获取的病灶点击作为线索，有效提升了肺结节与肿块（尤其是大病灶）的分割性能，且可无缝集成至现有网络。
2023-07-28 cs.CV cs.LG eess.IV
Uncertainty-Aware Multi-Parametric Magnetic Resonance Image Information Fusion for 3D Object Segmentation
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Guangdong Provincial Key Laboratory of Artificial Intelligence in Medical Image Analysis and Application（广东省医学图像分析与应用人工智能重点实验室）
多参数磁共振（MR）成像是临床中不可或缺的工具。因此，基于多参数MR成像的自动感兴趣体积分割对于计算机辅助疾病诊断、治疗计划和预后监测至关重要。尽管在基于深度学习的医学图像分析方面进行了广泛的研究，但仍需要进一步的研究来有效地利用不同成像参数提供的信息。如何进行信息融合是该领域的一个关键问题。在这里，我们提出了一个不确定性意识的多参数MR图像特征融合方法，充分利用增强的三维图像分割的信息。利用各模态独立预测的一致性来指导多模态图像特征的融合。在两个数据集上进行了广泛的实验，一个用于脑组织分割，另一个用于腹部多器官分割，与现有模型相比，我们所提出的方法具有更好的分割性能。
2022-11-16 cs.CV cs.LG eess.IV
AASeg: Attention Aware Network for Real Time Semantic Segmentation
University of Maryland（马里兰大学）
本文提出AASeg实时语义分割网络，通过轻量级空间与通道注意力及多尺度上下文模块增强特征判别与上下文表示，在Cityscapes、ADE20K和CamVid上以较低计算开销实现精度与效率的优越平衡。
2025-07-05 cs.CV cs.LG eess.IV
Bi-VLGM : Bi-Level Class-Severity-Aware Vision-Language Graph Matching for Text Guided Medical Image Segmentation
City University of Hong Kong（香港城市大学）；Chinese University of Hong Kong（香港中文大学）
本文提出Bi-VLGM框架，通过词级和句级视觉-语言图匹配模块，分别利用类别和严重程度感知关系，解决文本引导医学图像分割中的模态内关系扭曲问题，显著提升分割性能。
2023-05-20 cs.CV cs.LG eess.IV
Anomaly-Aware Semantic Segmentation via Style-Aligned OoD Augmentation
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）；University of Siegen（锡根大学）
针对自动驾驶开放场景下语义分割模型的异常感知需求，提出风格对齐的OoD数据增强方法缩小域差距，并结合简单微调损失，使预训练模型仅需少量微调即可实现异常分割且保留原任务性能。
2023-08-19 cs.AI cs.CV cs.LG
Depth-aware Object Segmentation and Grasp Detection for Robotic Picking Tasks
Graz University of Technology（格拉茨技术大学）；University of Klagenfurt（克拉根福大学）
在本文中，我们提出了一种新的深度神经网络架构的联合类不可知的对象分割和把握检测机器人采摘任务使用平行板夹持器。我们介绍了深度感知坐标卷积（CoordConv），一种在不增加任何额外的网络参数或计算复杂性的情况下，提高复杂场景中基于点建议的对象实例分割的准确性的方法。深度感知CoordConv使用深度数据来提取关于对象位置的先验信息，以实现高度准确的对象实例分割。这些产生的分割掩模，结合预测把握候选人，导致一个完整的场景描述使用平行板夹持器抓。我们评估把握检测和实例分割的准确性具有挑战性的机器人采摘数据集，即Siléane和OCID_grasp，并显示联合把握检测和分割的好处在现实世界的机器人采摘任务。
2021-11-22 cs.CV cs.RO
RDTE-UNet: A Boundary and Detail Aware UNet for Precise Medical Image Segmentation
针对医学图像解剖变异性与边界模糊性导致精细结构分割困难的问题，提出RDTE-UNet分割网络，通过混合Transformer主干及ASBE、HVDA和EulerFF三个模块增强边界与细节特征，在Synapse和BUSI数据集上取得了优越的分割精度与边界质量。
2025-11-03 cs.CV
Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution Remote Sensing Imagery
Wuhan University（武汉大学）
地理空间目标分割作为一种特殊的语义分割任务，在高空间分辨率遥感图像中往往面临着背景尺度变化大、类内方差大、前景-背景不平衡等问题。然而，一般的语义分割方法主要针对自然场景中的尺度变化，对大面积对地观测场景中的其他两个问题考虑不足。本文认为问题在于缺乏前景建模，并从基于关系和基于优化的前景建模的角度提出了一种前景感知关系网络（FarSeg），以缓解上述两个问题。FarSeg从关系的角度出发，通过学习前景-场景关系，将前景相关的上下文关联起来，增强了前景特征的区分度。同时，从优化的角度，提出了一种前景感知的优化，在训练过程中关注前景示例和背景硬示例，以实现均衡优化。使用大规模数据集获得的实验结果表明，该方法优于最先进的通用语义分割方法，并且在速度和准确性之间取得了更好的权衡。代码已在以下网址提供：\url{https://github.com/Z-Zheng/FarSeg}。
2020-11-19 cs.CV cs.LG eess.IV
Deep Value Networks Learn to Evaluate and Iteratively Refine Structured Outputs
ETH Zürich（苏黎世联邦理工学院）；Google Brain（谷歌大脑）
我们通过优化深度值网络（DVN）来实现结构化输出预测，以精确估计给定输入的不同输出配置上的任务损失。一旦模型被训练好，我们就通过梯度下降对输出变量的连续松弛进行推理，以从价值网络中找到具有有希望得分的输出。当应用于图像分割时，值网络将图像和分割掩码作为输入，并预测标量，估计输入和地面真值掩码之间的交集。对于多标签分类，DVN的目标是正确预测任何潜在标签配置的F1分数。DVN框架在多标签预测和图像分割基准测试中取得了最先进的结果。
2017-08-08 cs.AI cs.CV cs.LG
Complex Relations in a Deep Structured Prediction Model for Fine Image Segmentation
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Center for Brains, Minds and Machines（脑、心智与机器中心）；MIT（麻省理工学院）
许多用于语义分割的深度学习架构涉及全卷积神经网络（FCN），然后是条件随机场（CRF），以对图像进行推理。这些模型通常涉及基于由FCNs计算的局部外观特征的一元势，以及基于像素之间的位移的二元势。我们表明，虽然目前的方法成功地分割整个对象，他们表现不佳的情况下，涉及大量的对象部分。因此，我们建议纳入到推理算法的方式，人类识别和本地化的部分启发额外的高阶电位。我们将两个关系，被证明是有用的人类对象识别-遏制和附件-到CRF的能量项，并评估其性能的Pascal VOC零件数据集。我们的实验结果表明，精细部分的分割是积极的影响，这两个关系的增加，精细部分的分割可以进一步影响复杂的结构特征。
2018-05-24 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题，其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案，多任务网络，执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本，因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测，我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案，以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明，我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford（牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法，在EPIC Fields上显著提升跟踪与分割一致性，并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
Stan: Small tumor-aware network for breast ultrasound image segmentation
University of Idaho（爱达荷大学）
乳腺肿瘤分割提供了准确的肿瘤边界，并作为进一步癌症量化的关键步骤。尽管已经提出了基于深度学习的方法并取得了可喜的成果，但现有方法在检测小乳腺肿瘤方面存在困难。检测小肿瘤的能力在使用计算机辅助诊断（CAD）系统发现早期癌症方面尤为重要。在本文中，我们提出了一种新的深度学习架构，称为小肿瘤感知网络（STAN），以提高分割不同大小肿瘤的性能。新架构集成了丰富的上下文信息和高分辨率图像功能。我们验证了所提出的方法，使用七个定量指标对两个公共乳腺超声数据集。所提出的方法优于国家的最先进的方法分割小乳腺肿瘤。指数
2020-02-03 cs.CV cs.LG eess.IV
Part-aware Prototype Network for Few-shot Semantic Segmentation
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
Few-Shot语义分割旨在学习仅用少量带注释的示例来分割新对象类，具有广泛的现实应用。现有的大多数方法要么集中在单向Few-Shot分割的限制性设置上，要么遭受对象区域的不完全覆盖。在本文中，我们提出了一种新的Few-Shot语义分割框架的基础上的原型表示。我们的主要思想是将整体类表示分解为一组部分感知的原型，能够捕获不同的和细粒度的对象功能。此外，我们建议利用未标记的数据来丰富我们的部分感知原型，从而更好地建模语义对象的类内变化。我们开发了一种新的图神经网络模型来生成和增强基于标记和未标记图像的零件感知原型。在两个基准上进行的广泛的实验评估表明，我们的方法优于现有技术，具有相当大的利润率。
2022-12-02 cs.CV
