Structure-aware scale-adaptive networks for cancer segmentation in whole-slide images
Queen Mary University of London（伦敦玛丽女王大学）；Communication University of Zhejiang（浙江传媒学院）；University of Leicester（莱斯特大学）
全切片图像中的癌症分割是估计存活肿瘤负荷的基本步骤，这对于癌症评估具有重要价值。然而，模糊的边界或与存活肿瘤区域分离的小区域等因素使其成为一项具有挑战性的任务。考虑到多尺度特征在各种视觉相关任务中的有用性，我们提出了一种结构感知的尺度自适应特征选择方法，用于高效准确的癌症分割。基于一个流行的编码器-解码器结构的分割网络，提出了一个尺度自适应模块，用于选择更鲁棒的特征来表示模糊的，非刚性的边界。此外，提出了一种结构相似性度量，以更好地处理小区域分割的组织结构意识。此外，先进的设计，包括几个注意力机制和选择核卷积应用于基线网络进行比较研究的目的。广泛的实验结果表明，与PAIP 2019挑战中提交的前十名结果相比，所提出的结构感知尺度自适应网络在肝癌分割方面表现出色。对结直肠癌分割的进一步评估表明，在考虑效率和准确性之间的权衡时，尺度自适应模块改善了基线网络或优于其他优秀的注意力机制设计。
2021-09-26 cs.CV cs.LG eess.IV
Stan: Small tumor-aware network for breast ultrasound image segmentation
University of Idaho（爱达荷大学）
乳腺肿瘤分割提供了准确的肿瘤边界，并作为进一步癌症量化的关键步骤。尽管已经提出了基于深度学习的方法并取得了可喜的成果，但现有方法在检测小乳腺肿瘤方面存在困难。检测小肿瘤的能力在使用计算机辅助诊断（CAD）系统发现早期癌症方面尤为重要。在本文中，我们提出了一种新的深度学习架构，称为小肿瘤感知网络（STAN），以提高分割不同大小肿瘤的性能。新架构集成了丰富的上下文信息和高分辨率图像功能。我们验证了所提出的方法，使用七个定量指标对两个公共乳腺超声数据集。所提出的方法优于国家的最先进的方法分割小乳腺肿瘤。指数
2020-02-03 cs.CV cs.LG eess.IV
Automated anomaly-aware 3D segmentation of bones and cartilages in knee MR images from the Osteoarthritis Initiative
The University of Queensland（昆士兰大学）；Australian e-Health Research Centre（澳大利亚电子健康研究中心）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
在医学图像分析中，通常具有潜在异常和病理的多组分解剖结构的自动分割是一项具有挑战性的任务。在这项工作中，我们开发了一种多步骤的方法，使用基于U-Net的神经网络，从不同级别骨关节炎患者的膝关节三维磁共振（MR）图像中初步检测股骨远端、胫骨近端和髌骨的异常（骨髓病变、骨囊肿）。随后，提取的数据用于下游任务，包括单个骨骼和软骨体积以及骨骼异常的语义分割。对于异常检测，开发了基于U-Net的模型，通过修复重建图像中股骨和胫骨的骨骼轮廓，以便将异常骨骼区域替换为接近正常的外观。重建误差用于检测骨骼异常。第二个异常感知网络（与异常初始分割网络进行比较）用于从包含骨异常谱的膝关节MR图像中提供股骨、胫骨和髌骨骨和软骨的最终自动分割。与来自异常初始分割网络的结果相比，异常感知分割方法为骨分割提供了高达58%的Hausdorff距离减少。此外，与异常初始分割网络（AUC高达0.874）相比，异常感知网络能够以更高的灵敏度和特异性（AUC高达0.896）检测MR图像中的骨病变。
2022-12-01 cs.CV cs.LG eess.IV
Bi-VLGM : Bi-Level Class-Severity-Aware Vision-Language Graph Matching for Text Guided Medical Image Segmentation
City University of Hong Kong（香港城市大学）；Chinese University of Hong Kong（香港中文大学）
本文提出Bi-VLGM框架，通过词级和句级视觉-语言图匹配模块，分别利用类别和严重程度感知关系，解决文本引导医学图像分割中的模态内关系扭曲问题，显著提升分割性能。
2023-05-20 cs.CV cs.LG eess.IV
Scale-aware Test-time Click Adaptation for Pulmonary Nodule and Mass Segmentation
Wuhan University（武汉大学）；Artificial Intelligence Institute of Wuhan University（武汉大学人工智能研究院）；Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；Dianei Technology（点内科技）
本文提出一种具有尺度感知测试时点击自适应的多尺度神经网络，利用易获取的病灶点击作为线索，有效提升了肺结节与肿块（尤其是大病灶）的分割性能，且可无缝集成至现有网络。
2023-07-28 cs.CV cs.LG eess.IV
High Fidelity Interactive Video Segmentation Using Tensor Decomposition Boundary Loss Convolutional Tessellations and Context Aware Skip Connections
Intel Corporation（英特尔公司）
我们为交互式视频分割任务提供了一种高保真度深度学习算法（HyperSeg），该算法使用具有上下文感知跳过连接的卷积网络，以及压缩的超列图像特征与卷积曲面细分过程相结合。为了保持高输出保真度，我们的模型以高分辨率处理和渲染所有图像特征，而不使用下采样或池化过程。我们主要通过两种方法在我们的模型中有效地保持这种一致的，高等级的保真度：（1）我们使用一种基于几何原理的张量分解过程来调节超列特征的数量，以及（2）我们使用卷积镶嵌技术以其原生分辨率渲染这些特征。对于改进的像素级分割结果，我们引入了边界损失函数;对于改进的视频数据的时间相干性，我们在模型中包括时间图像信息。通过实验，我们证明了我们的模型对基线模型使用高分辨率视频数据的交互式分割任务的准确性提高。我们还介绍了一个基准视频分割数据集，VFX分割数据集，其中包含超过27，046个高分辨率视频帧，包括绿屏和各种合成场景，以及相应的手工制作的像素级分割。我们的工作提出了一个扩展，以提高最先进的分割保真度与高分辨率数据，并可用于广泛的应用领域，包括视觉特效管道和医学成像学科。
2020-11-23 cs.CV cs.LG eess.IV
ESTAN: Enhanced Small Tumor-Aware Network for Breast Ultrasound Image Segmentation
University of Idaho（爱达荷大学）；University of Utah School of Medicine（犹他大学医学院）
乳腺肿瘤分割是计算机辅助诊断（CAD）系统中用于乳腺癌检测的关键任务，因为准确的肿瘤大小、形状和位置对于进一步的肿瘤量化和分类是重要的。然而，由于斑点噪声、患者之间不同的肿瘤形状和大小以及肿瘤样图像区域的存在，分割超声图像中的小肿瘤是具有挑战性的。最近，基于深度学习的方法在生物医学图像分析方面取得了巨大成功，但目前最先进的方法在分割小乳腺肿瘤方面的性能较差。在本文中，我们提出了一种新型的深度神经网络架构，即增强型小肿瘤感知网络（ESTAN），以准确、鲁棒地分割乳腺肿瘤。ESTAN引入了两个编码器来提取和融合不同尺度的图像上下文信息，并在编码器中使用行-列方式的内核来适应乳房解剖结构。我们验证了所提出的方法，并将其与使用七个定量指标的三个公共乳腺超声数据集上的九种最先进的方法进行比较。实验结果表明，该方法在小肿瘤分割方面取得了最好的整体性能，优于其他所有方法。
2020-09-27 cs.CV cs.LG eess.IV
AASeg: Attention Aware Network for Real Time Semantic Segmentation
University of Maryland（马里兰大学）
本文提出AASeg实时语义分割网络，通过轻量级空间与通道注意力及多尺度上下文模块增强特征判别与上下文表示，在Cityscapes、ADE20K和CamVid上以较低计算开销实现精度与效率的优越平衡。
2025-07-05 cs.CV cs.LG eess.IV
Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution Remote Sensing Imagery
Wuhan University（武汉大学）
地理空间目标分割作为一种特殊的语义分割任务，在高空间分辨率遥感图像中往往面临着背景尺度变化大、类内方差大、前景-背景不平衡等问题。然而，一般的语义分割方法主要针对自然场景中的尺度变化，对大面积对地观测场景中的其他两个问题考虑不足。本文认为问题在于缺乏前景建模，并从基于关系和基于优化的前景建模的角度提出了一种前景感知关系网络（FarSeg），以缓解上述两个问题。FarSeg从关系的角度出发，通过学习前景-场景关系，将前景相关的上下文关联起来，增强了前景特征的区分度。同时，从优化的角度，提出了一种前景感知的优化，在训练过程中关注前景示例和背景硬示例，以实现均衡优化。使用大规模数据集获得的实验结果表明，该方法优于最先进的通用语义分割方法，并且在速度和准确性之间取得了更好的权衡。代码已在以下网址提供：\url{https://github.com/Z-Zheng/FarSeg}。
2020-11-19 cs.CV cs.LG eess.IV
InverseForm: A Loss Function for Structured Boundary-Aware Segmentation
Qualcomm AI Research（高通人工智能研究院）
我们提出了一种新的边界感知损失项语义分割使用逆变换网络，有效地学习估计和目标边界之间的参数转换的程度。该插件损失项补充了捕获边界变换中的交叉熵损失，并允许在不增加其大小和计算复杂性的情况下对分割骨干模型进行一致且显著的性能改进。我们分析了我们的损失函数对三个室内和室外分割基准的定量和定性影响，包括Cityscapes，NYU-Depth-v2和PASCAL，将其集成到几个骨干网络的单任务和多任务设置的训练阶段。我们广泛的实验表明，所提出的方法始终优于基线，甚至在两个数据集上设置了新的最先进的方法。
2021-04-08 cs.CV cs.LG
Geometry Aware Field-to-field Transformations for 3D Semantic Segmentation
ETH（苏黎世联邦理工学院）；MIT（麻省理工学院）
该研究提出一种几何感知场到场变换方法，借助NeRF仅用2D监督实现3D语义分割，通过表面点云提特征获紧凑场景表示，结合无监督掩码自编码实现少样本分割，且适配任意类型NeRF的场景。
2023-10-08 cs.CV cs.LG
MPASNET: Motion Prior-Aware Siamese Network for Unsupervised Deep Crowd Segmentation in Video Scenes
Shanghai Jiao Tong University（上海交通大学）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
人群分割是拥挤景物分析的基础，获得精细的像素级分割图是非常必要的。然而，它仍然是一个具有挑战性的问题，因为现有的方法要么需要密集的像素级注释来训练深度学习模型，要么仅仅从具有物理模型的光学或粒子流中产生粗略的分割图。在本文中，我们提出了运动先验感知暹罗网络（MPASNET）的无监督人群语义分割。该模型不仅消除了对注释的需要，而且还产生高质量的分割图。特别地，我们首先分析跨帧的相干运动模式，然后在集体粒子上应用圆形区域合并策略来生成伪标签。此外，我们为MPASNET配备了用于增强不变正则化和连体特征聚合的连体分支。在基准数据集上的实验表明，我们的模型在mIoU方面比最先进的模型高出12%以上。
2021-06-02 cs.CV cs.LG
Boundary-Aware Network for Abdominal Multi-Organ Segmentation
Northwestern Polytechnical University（西北工业大学）
腹部多器官的自动分割是腹部器官相关疾病计算机辅助诊断中的一个关键而又具有挑战性的任务。尽管许多深度学习模型在许多医学图像分割任务中取得了显着的成功，但由于腹部器官的大小不同以及它们之间的边界模糊，腹部器官的准确分割仍然具有挑战性。在本文中，我们提出了一个边界感知网络（BA-Net）分割腹部器官的CT扫描和MRI扫描。该模型包含共享编码器、边界解码器和分割解码器。在两个解码器上都采用了多尺度深度监督策略，这可以减轻可变器官尺寸引起的问题。边界解码器在每个尺度上产生的边界概率图被用作注意力来增强分割特征图。我们在腹部多器官分割（AMOS）挑战数据集上评估了BA-Net，并在CT扫描上实现了89.29 $\%$的多器官分割平均Dice评分，在MRI扫描上实现了71.92 $\%$的平均Dice评分。结果表明，BA-Net在这两个分割任务上都优于nnUNet。
2022-08-29 cs.CV eess.IV
Context-aware PolyUNet for Liver and Lesion Segmentation from Abdominal CT Images
The Chinese University of Hong Kong（香港中文大学）
在临床实践中，从计算机断层扫描（CT）图像中准确分割肝脏和病变以辅助肝脏肿瘤疾病的诊断和评估是非常重要的。然而，由于图像的对比度、分辨率和质量的多样性，从对比增强CT体积中自动分割肝脏和病变是极具挑战性的。先前基于UNet的2D逐切片或3D逐体积分割方法要么缺乏足够的空间上下文，要么遭受高GPU计算成本，这限制了性能。为了解决这些问题，我们提出了一种新的上下文感知PolyUNet，用于准确的肝脏和病变分割。它共同探索结构多样性和连续t相邻切片，以丰富特征表达能力和空间上下文信息，同时避免GPU内存消耗过载。此外，我们利用放大/缩小和两阶段细化策略，以排除不相关的上下文，并专注于细粒度分割的特定区域。我们的方法在MICCAI 2017肝脏肿瘤分割（LiTS）挑战赛中使用单个模型在所有任务中实现了非常有竞争力的性能，并分别在肝脏分割、病变分割、病变检测和肿瘤负荷估计中对$3^{rd}$、$12^{th}$、$2^{nd}$和$5^{th}$进行了排名。
2021-06-21 cs.CV eess.IV
AirwayNet: A Voxel-Connectivity Aware Approach for Accurate Airway Segmentation Using Convolutional Neural Networks
Shanghai Jiao Tong University（上海交通大学）；Imperial College London（帝国理工学院）
CT扫描上的气道分割对于肺部疾病诊断和支气管内导航至关重要。由于气道结构复杂、形态多样，人工拔除气道需要付出很大的努力。对于自动气道提取，基于卷积神经网络（CNN）的方法最近已经成为最先进的方法。然而，对于CNN来说，感知树状模式并理解气道的连通性仍然是一个挑战。为了解决这个问题，我们提出了一个体素连接感知的方法命名为AirwayNet准确的气道分割。通过连通性建模，将传统的二值分割任务转化为26个连通性预测任务。因此，我们的AirwayNet学习气道结构和相邻体素之间的关系。为了利用上下文知识，肺距离图和体素坐标被馈送到AirwayNet中作为附加语义信息。与现有方法相比，AirwayNet实现了卓越的性能，证明了网络对体素连接的感知的有效性。
2019-07-16 cs.CV eess.IV
UADSN: Uncertainty-Aware Dual-Stream Network for Facial Nerve Segmentation
University of Electronic Science and Technology of China（电子科技大学）
本文提出不确定性感知双流网络UADSN，融合2D与3D分割并通过一致性损失、通道压缩与空间激励模块及clDice损失，提升CT中细小面神经的分割精度。
2024-06-29 cs.CV eess.IV
TA-Net: Topology-Aware Network for Gland Segmentation
University of Idaho（爱达荷大学）
在组织病理学图像分析中，腺体分割是定量评价腺体形态的关键步骤。然而，准确地分离密集聚集的腺体是具有挑战性的。现有的基于深度学习的方法试图使用基于轮廓的技术来缓解这个问题，但只取得了有限的成功。为了应对这一挑战，我们提出了一种新的拓扑感知网络（TA-网），以准确地分离密集的集群和严重变形的腺体。建议的TA网络有一个多任务的学习架构，并提高了泛化的腺体分割通过学习共享表示从两个任务：实例分割和腺体拓扑估计。所提出的拓扑损失使用腺体骨架和标记来计算腺体拓扑。它驱动网络生成符合真实腺体拓扑的分割结果。我们使用三个定量指标，F1分数，对象级骰子系数和对象级豪斯多夫距离，在GlaS和CRAG数据集上验证了所提出的方法。大量的实验表明，TA-Net在两个数据集上实现了最先进的性能。TA-Net在存在密集聚集的腺体的情况下优于其他方法。
2021-10-27 cs.CV eess.IV
EfficientCellSeg: Efficient Volumetric Cell Segmentation Using Context Aware Pseudocoloring
Heidelberg University（海德堡大学）
荧光显微镜图像中的体积细胞分割对于研究各种细胞过程非常重要。应用范围从癌细胞的分析到胚胎阶段细胞的行为研究。与其他计算机视觉领域一样，最近的方法使用大型卷积神经网络（CNN）或Vision Transformer模型（ViTs）。由于可用的3D显微图像的数量通常是有限的应用，我们采取不同的方法，并引入一个小的CNN体积细胞分割。与以前用于细胞分割的CNN模型相比，我们的模型是有效的，并且具有非对称的编码器-解码器结构，解码器中的参数很少。通过迁移学习进一步提高了训练效率。此外，我们引入了上下文感知伪着色，以利用三维图像的z方向上的空间上下文，同时执行体积细胞切片分割。我们使用来自细胞跟踪挑战的细胞分割基准的不同3D数据集评估了我们的方法。我们的分割方法实现了顶级结果，而我们的CNN模型的参数数量比其他顶级方法少25倍。代码和预训练模型可在以下网址获得：https://github.com/roydenwa/efficient-cell-seg
2022-11-28 cs.CV eess.IV
Instance Segmentation of Biomedical Images with an Object-aware Embedding Learned with Local Constraints
RWTH Aachen University（亚琛工业大学）
自动实例分割是许多生物医学应用中出现的问题。现有技术的方法或者执行语义分割或者细化从检测方法获得的对象边界框。这两种方法都在不同程度上受到拥挤对象的影响，合并相邻对象或抑制有效对象。在这项工作中，我们通过深度神经网络为每个像素分配一个嵌入向量。该网络被训练为输出来自同一对象的像素的相似方向的嵌入向量，而相邻对象在嵌入空间中是正交的，这有效地避免了人群中对象的融合。我们的方法即使在细胞分割（BBBC006 + DSB2018）和叶分割数据集（CVPPP2017）上使用轻量级骨干网络也能产生最先进的结果。代码和模型权重是公开的。
2020-04-21 cs.CV cs.LG
RangeSeg: Range-Aware Real Time Segmentation of 3D LiDAR Point Clouds
National Chiao Tung University（国立交通大学）
基于三维LiDAR点云的室外场景理解是自动驾驶领域的一项具有挑战性的任务，因为点云的数据结构稀疏且不规则。针对激光雷达不同光束距离分布不均匀的特点，提出了一种基于距离感知的实例分割网络RangeSeg。RangeSeg使用具有两个范围相关解码器的共享编码器主干。重解码器仅计算远目标和小目标所在的距离图像的顶部以提高小目标检测精度，而轻解码器计算整个距离图像以降低计算成本。最后，采用基于分辨率加权距离函数的DBSCAN方法对分割结果进行聚类，得到实例级分割结果。在KITTI数据集上的实验表明，RangeSeg比现有的语义分割方法具有更大的加速比，并提高了小对象和远对象的实例级分割性能。整个RangeSeg管道满足NVIDIA \textsuperscript{\textregistered} JETSON AGX Xavier的实时的要求，平均每秒19帧。
2022-05-02 cs.CV cs.LG
SAM-V: Geometry-Aware Segment Anything for Multi-View Instance Segmentation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta
SAM-V将几何模型VGGT特征集成到SAM中，通过提示融合机制实现端到端的多视图实例分割，无需离线掩码匹配或三维重建，在IGGT基准上显著提升IoU和召回率。
2026-09-23 cs.CV cs.LG
Boundary-Aware Network for Fast and High-Accuracy Portrait Segmentation
College of Electrical Engineering, Zhejiang University（浙江大学电气工程学院）
与其他语义分割任务相比，人像分割既要求更高的精度，又要求更快的推理速度。然而，这个问题在以前的作品中没有得到很好的研究。在本文中，我们提出了一个轻量级的网络架构，称为边界感知网络（BANet），有选择地提取边界区域的细节信息，使高质量的分割输出实时（> 25 FPS）的速度。此外，我们设计了一个新的损失函数，称为细化损失，监督与图像级梯度信息的网络。我们的模型能够产生更精细的分割结果，比注释具有更丰富的细节。
2019-01-12 cs.CV
Context-aware Feature Generation for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
现有的语义分割模型严重依赖于密集的逐像素注释。为了减少标注的压力，我们专注于一个具有挑战性的任务命名为zero-shot语义分割，其目的是分割看不见的零注释对象。这个任务可以通过语义词嵌入跨类别传递知识来完成。在本文中，我们提出了一种新的上下文感知的zero-shot分割称为CaGNet的特征生成方法。特别是，观察到一个像素级的功能高度依赖于其上下文信息，我们插入一个上下文模块在分割网络捕捉像素级的上下文信息，这指导了从语义词嵌入生成更多样化和上下文感知功能的过程。我们的方法在三个基准数据集上实现了最先进的结果，用于zero-shot分割。代码可在https://github.com/bcmi/CaGNet-Zero-Shot-Semantic-Segmentation上获得。
2020-08-16 cs.CV
Hardware-aware Real-time Myocardial Segmentation Quality Control in Contrast Echocardiography
University of Notre Dame（圣母大学）；Boston Children’s Hospital, Harvard Medical School（哈佛医学院波士顿儿童医院）；Guangdong Cardiovascular Institute, Guangdong Provincial People’s Hospital（广东省人民医院广东省心血管病研究所）；University of Pittsburgh（匹兹堡大学）
超声造影心肌自动分割技术在心肌灌注参数的定量化方面显示出巨大的潜力。分割质量控制是保证分割结果准确性的重要环节，是质量研究和临床应用的基础。通常，分割质量控制发生在数据采集之后。在数据采集时，操作员无法了解分割结果的质量。动态分割质量控制可以帮助操作者调整超声探头或在质量不满意时重新获取数据，这可以大大减少耗时的手动校正工作。然而，部署最先进的基于DNN的模型是不可行的，因为分割模块和质量控制模块必须适应超声机器上的有限硬件资源，同时满足严格的延迟约束。在本文中，我们提出了一个硬件感知的神经结构搜索框架，用于自动心肌分割和对比超声心动图的质量控制。我们在训练过程中将硬件延迟作为正则化项显式地纳入损失函数。该方法为具有严格延迟的分割模块和质量预测模块搜索最佳神经网络结构。
2021-09-14 cs.CV eess.IV physics.med-ph
Segmentation-Aware Hyperspectral Image Classification
HAVELSAN Inc.（哈维尔桑公司）
本文提出了一种统一的高光谱图像分类方法，该方法以三维高光谱数据立方体为输入，产生一个分类图。在所提出的方法中，深度神经网络，它使用光谱和空间信息与残差连接，和基于像素亲和网络的分割感知超像素一起使用。在该架构中，分割感知超像素在深度残差网络的初始分类图上运行，并对获得的结果应用多数投票。实验结果表明，我们提出的方法在两个基准数据集上产生了最先进的结果。此外，我们还表明，分割感知超像素有很大的贡献，在训练数据不足的情况下，高光谱图像分类方法的成功。
2019-05-22 cs.CV
Semantic Aware Attention Based Deep Object Co-segmentation
The University of Tokyo（东京大学）
对象共分割是从多幅图像中分割出相同对象的任务。在本文中，我们提出了基于注意力的对象共分割的对象共分割，利用一种新的注意力机制的瓶颈层的深层神经网络的语义相关的功能选择。此外，我们利用注意力学习器的优点，提出了一种线性时间复杂度的多输入图像分割算法。实验结果表明，我们的模型在多个数据集上实现了最先进的性能，并显着减少了计算时间。
2018-10-16 cs.CV
Fully Convolutional Instance-aware Semantic Segmentation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们为实例感知语义分割任务提出了第一个完全卷积的端到端解决方案。它继承了FCN在语义分割和实例掩码建议方面的所有优点。它联合执行实例掩码预测和分类。底层卷积表示在两个子任务之间以及所有感兴趣区域之间完全共享。所提出的网络是高度集成的，并实现了最先进的性能，在准确性和效率。在COCO 2016细分市场竞争中以较大优势胜出。代码将在\url{https://github.com/daijifeng001/TA-FCN}发布。
2017-04-10 cs.CV
Context-aware Padding for Semantic Segmentation
KU Leuven（鲁汶大学）；ETHZ（苏黎世联邦理工学院）
零填充广泛用于卷积神经网络中，以防止特征图的大小过快地减小。然而，有人声称这扰乱了边境的统计数据。作为替代方案，我们提出了一个上下文感知（CA）填充方法来扩展图像。我们将填充问题重新表述为图像外推问题，并说明了对语义分割任务的影响。使用上下文感知填充，基于ResNet的分割模型在Cityscapes和DeepGlobe卫星成像挑战的数据集上实现了比传统零填充更高的平均Intersection-Over-Union。此外，我们的填充在训练和测试期间不会带来明显的开销。
2021-09-16 cs.CV
Segmentation-Aware Convolutional Networks Using Local Attention Masks
Carnegie Mellon University（卡内基梅隆大学）；Ryerson University（瑞尔森大学）；Facebook AI Research（Facebook人工智能研究院）
我们介绍了一种在卷积神经网络（CNN）中集成分割信息的方法。这抵消了CNN跨区域平滑信息的趋势，并提高了它们的空间精度。为了获得分割信息，我们建立了一个CNN来提供一个嵌入空间，其中可以基于欧几里得距离来估计区域共同隶属度。我们使用这些嵌入来计算相对于每个神经元位置的局部注意力掩码。我们将这样的掩码合并到CNN中，并将卷积操作替换为“分段感知”变体，该变体允许神经元选择性地关注来自其自身区域的输入。我们将生成的网络称为分割感知的CNN，因为它根据局部分割线索在每个图像点处调整其滤波器。我们证明了我们的方法在两个不同的密集预测任务，涉及分类（语义分割）和回归（光流）的优点。我们的研究结果表明，在语义分割中，我们可以匹配DenseCRFs的性能，同时更快，更简单，在光流中，我们获得了比不使用局部注意力掩模的网络更清晰的响应。在这两种情况下，分割感知卷积都能在强基线上产生系统性的改进。这个工作的源代码可以在http://cs.cmu.edu/~aharley/segaware上获得。
2017-08-15 cs.CV
Boundary-aware Graph Reasoning for Semantic Segmentation
University of Pittsburgh（匹兹堡大学）；Northwestern Polytechnical University（西北工业大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一个边界感知图推理（BGR）模块来学习长期的上下文特征的语义分割。我们的BGR模块探索了一种合理的方法，将分割错误区域与图形构建场景相结合，而不是直接基于主干特征构建图形。由于大多数难以分割的像素广泛分布在边界区域，我们的BGR模块使用边界得分图作为先验知识来加强图节点连接，从而引导图推理集中在边界区域。此外，我们采用了一种高效的图卷积实现来降低计算成本，这有利于将我们的BGR模块集成到当前的分割主干中。在三个具有挑战性的分割基准上的大量实验证明了我们提出的BGR模块用于语义分割的有效性。
2021-08-09 cs.CV
From Pixel to Patch: Synthesize Context-aware Features for Zero-shot Semantic Segmentation
Shanghai Jiao Tong University（上海交通大学）
为了减轻图像标注的负担，零样本学习已经被积极地研究用于图像分类任务。有趣的是，语义分割任务需要更多的劳动密集型像素方式的注释，但zero-shot语义分割只吸引了有限的研究兴趣。因此，我们专注于zero-shot语义分割，其目的是分割看不见的对象，只有类别级的语义表示提供了看不见的类别。在本文中，我们提出了一种新的上下文感知特征生成网络（CaGNet），它可以合成上下文感知像素视觉特征的基础上看不见的类别类别级的语义表示和像素的上下文信息。合成的特征用于微调分类器，以能够分割看不见的对象。此外，我们将逐像素特征生成和微调扩展到逐块特征生成和微调，其另外考虑像素间关系。在Pascal-VOC、Pascal-Context和COCO-stuff上的实验结果表明，该方法明显优于现有的zero-shot语义分割方法。代码可在https://github.com/bcmi/CaGNetv2-Zero-Shot-Semantic-Segmentation上获得。
2022-01-21 cs.CV
SEMEDA: Enhancing Segmentation Precision with Semantic Edge Aware Loss
Sorbonne Université（索邦大学）
虽然现在深度神经网络在语义分割任务上取得了令人印象深刻的性能，但它们通常是通过优化像素损失（如交叉熵）来训练的。因此，这种网络输出的预测通常很难准确地捕捉对象边界，并在对象内部显示出漏洞。在本文中，我们提出了一种新的方法来改善预测分割掩模的结构。我们介绍了一种新的语义边缘检测网络，它允许匹配的预测和地面真相分割掩模。这种语义边缘感知策略（SEMEDA）可以与端到端训练框架中的任何骨干深度网络相结合。通过对Pascal VOC 2012和Cityscapes数据集的全面实验验证，我们表明，所提出的SEMEDA方法通过强制执行尖锐边界和避免对象内部的不连续性来增强预测分割掩码的结构，从而提高分割性能。此外，我们的语义边缘感知损失可以集成到任何流行的分割网络中，而不需要任何额外的注释，并且与标准像素交叉熵损失相比，计算负载可以忽略不计。
2019-05-06 cs.CV
A Context-aware Delayed Agglomeration Framework for Electron Microscopy Segmentation
Janelia Farm Research Campus, HHMI（霍华德·休斯医学研究所珍妮莉亚农场研究园区）；University of California, Riverside（加州大学河滨分校）
近年来，电子显微镜（EM）图像（或体积）分割作为连接组学的工具已经变得非常重要。本文提出了一种新的凝聚框架EM分割。特别是，给定一个过度分割的图像或体积，我们提出了一个新的框架，用于准确地聚类相同神经元的区域。与现有的凝聚方法不同，所提出的上下文感知算法将不同生物实体的超像素（过分割区域）划分为不同的子集，并分别将它们凝聚在一起。此外，本文描述了一个“延迟”的凝聚聚类计划，推迟一些合并的决定，有关新形成的机构，以产生一个更有信心的边界预测。我们报告所提出的方法在分割精度方面比现有的2D和3D数据集标准方法有了显着的改进。
2015-03-23 cs.CV
Scale-aware multi-level guidance for interactive instance segmentation
Institute of Computer Science II（第二计算机科学研究所）；University of Bonn（波恩大学）；School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
在交互式实例分割中，用户给出反馈以迭代地细化分割掩码。用户提供的点击被转换成引导地图，该引导地图为网络提供关于感兴趣对象的下落的必要线索。目前系统中使用的导航地图纯粹是以距离为基础的，不是过于局限就是没有信息。我们提出了一种新的转换用户点击生成规模感知的指导地图，利用图像中存在的层次结构信息。使用我们的指导图，即使是最基本的FCN也能够超越现有的方法，这些方法需要在大规模分割数据集上预先训练的最先进的分割网络。我们证明了我们提出的转型战略的有效性，通过全面的实验，我们显着提高国家的最先进的四个标准的交互式分割基准。
2018-12-07 cs.CV
Part-aware Prototype Network for Few-shot Semantic Segmentation
Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
Few-Shot语义分割旨在学习仅用少量带注释的示例来分割新对象类，具有广泛的现实应用。现有的大多数方法要么集中在单向Few-Shot分割的限制性设置上，要么遭受对象区域的不完全覆盖。在本文中，我们提出了一种新的Few-Shot语义分割框架的基础上的原型表示。我们的主要思想是将整体类表示分解为一组部分感知的原型，能够捕获不同的和细粒度的对象功能。此外，我们建议利用未标记的数据来丰富我们的部分感知原型，从而更好地建模语义对象的类内变化。我们开发了一种新的图神经网络模型来生成和增强基于标记和未标记图像的零件感知原型。在两个基准上进行的广泛的实验评估表明，我们的方法优于现有技术，具有相当大的利润率。
2022-12-02 cs.CV
LoG-CAN: local-global Class-aware Network for semantic segmentation of remote sensing images
Zhejiang University（浙江大学）
遥感图像具有背景复杂、类内方差大、尺度变化大等特点，给语义分割带来了挑战。我们提出了LoG-CAN，一个多尺度的语义分割网络与一个全局类感知（GCA）模块和本地类感知（LCA）模块的遥感图像。LCA模块生成局部类表示作为中间感知元素，间接地将像素与全局类表示相关联以减少类内的方差;和一个多具有GCA和LCA模块的尺度架构通过级联细化和特征融合在不同尺度下产生有效的对象分割。通过对ISPRS Vaihingen数据集和ISPRS Potsdam数据集的测试，实验结果表明，LoG-CAN在显著减少网络参数和计算量的同时，在一般语义分割方面优于现有方法。代码位于~ \href{https://github.com/xwmaxwma/rssegmentation}{https://github.com/xwmaxwma/rssegmentation}。
2023-03-14 cs.CV
Graph-Segmenter: Graph Transformer with Boundary-aware Attention for Semantic Segmentation
ZongMu Technology（纵目科技）；Technical University of Braunschweig（布伦瑞克工业大学）
本文提出Graph-Segmenter，通过Graph Transformer联合建模窗口间全局关系与窗口内像素局部关系，并利用Boundary-aware Attention优化对象边缘，在三个主流语义分割数据集上达到SOTA性能。
2023-08-15 cs.CV
Automatic Video Object Segmentation via Motion-Appearance-Stream Fusion and Instance-aware Segmentation
Seoul National University（首尔国立大学）
提出了一种融合运动流、外观流和实例感知分割的视频对象自动分割方法。该方案由一个双流融合网络和一个实例分割网络组成。双流融合网络再次由运动和外观流网络组成，它们分别提取长期的时间和空间信息。与现有的两个流融合方法不同，所提出的融合网络在原始分辨率下混合两个流，以获得准确的分割边界。我们开发了一个循环的双向多尺度结构与跳跃连接的流融合网络提取长期的时间信息。此外，多尺度结构使得能够在网络的末端获得原始分辨率特征。作为双流融合的结果，我们有一个像素级的概率分割图，它具有较高的值在像素属于前景对象。通过结合前景图的概率和实例分割掩模的对象性得分，我们最终获得视频序列的前景分割结果，而无需任何用户干预，即，我们实现了成功的自动视频分割。所提出的结构显示了自动视频对象分割任务的最先进的性能，也实现了近半监督的性能。
2019-12-03 cs.CV
Quality-Aware Memory Network for Interactive Volumetric Image Segmentation
ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Technology（北京理工大学）
尽管自动医学图像分割技术最近取得了进展，但全自动的结果通常不能满足临床使用，并且通常需要进一步改进。在这项工作中，我们提出了一个质量感知的记忆网络的交互式分割的三维医学图像。由用户在任意切片上提供指导，首先采用交互网络来获得初始2D分割。质量感知存储器网络随后在整个体积上双向传播初始分割估计。可以以相同的方式并入基于对其他切片的附加用户指导的后续细化。为了进一步促进交互式分割，引入了质量评估模块，以基于每个切片的当前分割质量来建议下一个切片进行分割。所提出的网络具有两个吸引人的特征：1）记忆增强网络提供了快速编码过去分割信息的能力，这些信息将被检索用于其他切片的分割; 2）质量评估模块使模型能够直接估计分割预测的质量，这允许主动学习范例，其中用户优先标记质量最低的切片进行多轮细化。所提出的网络导致了鲁棒的交互式分割引擎，其可以很好地推广到各种类型的用户注释（例如，涂鸦，盒子）。在各种医学数据集上的实验结果表明，与现有技术相比，我们的方法的优越性。
2021-07-05 cs.CV
Anatomy-Aware Measurement of Segmentation Accuracy
University of Waterloo（滑铁卢大学）；Suez Canal University（苏伊士运河大学）
量化医学图像中的器官、组织类型和肿瘤的分割和手动描绘的准确性是遭受多种问题的必要测量。所有准确度测量的一个主要缺点是它们忽略了给定段内不同区域的解剖学意义或相关性。因此，现有的准确性度量测量给定段与地面实况的重叠，而段内没有任何解剖学区分。例如，如果我们将直肠壁或尿道括约肌理解为解剖区域，那么当前的准确性测量在应用于评估前列腺段的质量时忽略了它们的重要性。在本文中，我们提出了一个解剖感知的测量方案的分割准确性的医学图像。这个想法是创建一个基于共识形状的“主黄金”，该形状不仅包含片段的轮廓，还包含内部区域的轮廓（如果存在或相关的话）。为了将这种新方法应用于准确性测量，我们引入了Dice系数和Jaccard指数的解剖学感知扩展，并使用500幅合成前列腺超声图像（每张图像有20个不同的片段）研究其效果。我们表明，通过解剖敏感的分割精度计算，即通过考虑相关的解剖区域，不仅测量的个人用户可以改变，而且用户的分割技能的排名可能需要重新排序。
2016-04-16 cs.CV
Zero-Shot Industrial Anomaly Segmentation with Image-Aware Prompt Generation
Department of Computer Science and Engineering, Chungnam National University（Chungnam国立大学计算机科学与工程系）；Nota Inc.（Nota公司）
针对现有文本引导零样本工业异常分割模型依赖固定提示适应性不足的问题，提出IAP-AS方法，利用图像标记模型和LLM生成动态上下文感知提示，提升F1-max指标达10%，增强工业场景适应性与泛化性。
2025-04-18 cs.AI cs.CV
TASAM: Terrain-and-Aware Segment Anything Model for Temporal-Scale Remote Sensing Segmentation
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Wuhan University（武汉大学）；Dalian University of Technology（大连理工大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出TASAM，通过地形感知适配器、时间提示生成器和多尺度融合三个轻量模块扩展SAM，在不重训主干的情况下提升高分辨率遥感图像分割性能，并在LoveDA、iSAID和WHU-CD三个基准上超越零样本SAM和专用模型。
2025-09-19 cs.CV
Part-aware Prompted Segment Anything Model for Adaptive Segmentation
Department of Computer Science and Engineering, University of Michigan（计算机科学与工程系，密歇根大学）；Department of Electrical and Computer Engineering, University of Michigan（电气与计算机工程系，密歇根大学）
提出部件感知提示的段任意模型（$P^2SAM$），无需微调，仅凭一次性数据即可自适应新患者，通过部件级多点提示和分布引导检索提升分割性能，在两个医学应用和自然图像任务中均显著提升。
2025-05-25 cs.CV
KDTwin: Task-Aware Knowledge Distillation for Lightweight Multi-Task Driving Scene Segmentation
KDTwin提出任务感知知识蒸馏框架，通过编码器成对蒸馏和任务特定解码器损失，在不增加推理开销下提升轻量级多任务驾驶场景分割性能。
2026-09-17 cs.CV
Context-aware virtual adversarial training for anatomically-plausible segmentation
Ecole de technologie supérieure（高等技术学院）；Shandong University（山东大学）
尽管具有出色的准确性，但基于深度神经网络的半监督分割方法仍然可以产生临床医生认为在解剖学上不可能的预测，例如，包含孔或断开的区域。为了解决这个问题，我们提出了一个上下文感知的虚拟对抗训练（CaVAT）方法生成解剖学上合理的分割。与只关注准确性的方法不同，我们的方法还考虑了复杂的拓扑约束，如连接性，这不能很容易地在可微损失函数中建模。我们使用对抗性训练来生成违反约束的示例，因此网络可以学习避免对新示例进行这种错误的预测，并使用Reinforce算法来处理不可微的分割约束。所提出的方法提供了一种通用且有效的方法来在任何分割网络上添加任何约束。两个临床相关的数据集上的实验表明，我们的方法产生的分割是准确的和解剖学上合理的区域连接。
2021-07-13 cs.CV
Permutation-Aware Action Segmentation via Unsupervised Frame-to-Segment Alignment
Retrocausal, Inc.（Retrocausal公司）
本文提出一种无监督框架，通过帧到段对齐实现感知-aware的动作分割，利用变换器模型和伪标签提升分割性能。
2025-12-01 cs.CV
SUNet: Scale-aware Unified Network for Panoptic Segmentation
Shanghai Jiao Tong University（上海交通大学）；University of Michigan-Shanghai Jiao Tong University Joint Institute（上海交通大学密歇根学院）
全景分割结合了语义分割和实例分割的优点，能够为智能车辆提供像素级和实例级的环境感知信息。然而，它面临着各种尺度的分割对象，特别是在非常大和非常小的。在这项工作中，我们提出了两个轻量级的模块来缓解这个问题。首先，像素-关系块被设计用于对大规模事物的全局上下文信息进行建模，其基于查询无关的公式化并且带来小的参数增量。然后，对流网络被构造为收集额外的高分辨率的小规模的东西的信息，提供更合适的语义特征，为下游的分割分支。基于这两个模块，我们提出了一个端到端的尺度感知统一网络（SUNet），它更适合于多尺度对象。在Cityscapes和COCO上的大量实验证明了所提方法的有效性。
2022-09-07 cs.CV
A Probabilistic Segment Anything Model for Ambiguity-Aware Medical Image Segmentation
Department of Computer Science University of Kentucky（计算机科学系 哥伦比亚大学）
针对医学图像分割中标注模糊性问题，提出概率SAM模型，通过潜在变量和变分训练生成多样分割，在LIDC-IDRI数据集上优于基线。
2025-09-06 cs.CV
Ultra-high Resolution Image Segmentation via Locality-aware Context Fusion and Alternating Local Enhancement
超高分辨率图像分割由于其实际应用价值，近年来引起了人们越来越多的关注。在本文中，我们创新了广泛使用的高分辨率图像分割流水线，其中超高分辨率图像被划分成规则的补丁进行局部分割，然后将局部结果合并到一个高分辨率的语义掩码。特别是，我们引入了一种新的基于局部感知上下文融合的分割模型来处理局部补丁，其中局部补丁及其各种上下文之间的相关性被联合和互补地用于处理具有较大变化的语义区域。此外，我们提出了交替局部增强模块，限制了从上下文引入的冗余信息的负面影响，从而被赋予了固定的局部感知功能，以产生细化的结果的能力。此外，在综合实验中，我们证明了我们的模型优于其他国家的最先进的方法在公共基准。我们发布的代码可在https://github.com/liqiokkk/FCtL上获得。
2022-12-06 cs.CV
Instance-aware Semantic Segmentation via Multi-task Network Cascades
Microsoft Research（微软研究院）
语义分割的研究近年来取得了很大的进展，但许多主流方法都无法识别对象实例。在本文中，我们提出了多任务网络级联的实例感知语义分割。我们的模型由三个网络组成，分别区分实例，估计掩码和分类对象。这些网络形成级联结构，并被设计为共享其卷积特征。我们开发了一种算法，用于这种因果级联结构的非平凡端到端训练。我们的解决方案是一个干净的单步训练框架，可以推广到具有更多阶段的级联。我们展示了PASCAL VOC上最先进的实例感知语义分割准确性。与此同时，我们的方法使用VGG-16测试图像仅需360 ms，这比以前的系统快两个数量级。作为副产品，我们的方法还实现了令人信服的目标检测结果，超过了竞争对手的Fast/Faster R-CNN系统。本文中描述的方法是我们提交MS COCO 2015细分竞争的基础，我们在那里赢得了第一名。
2015-12-14 cs.CV
Region-Aware Metric Learning for Open World Semantic Segmentation via Meta-Channel Aggregation
Peking University（北京大学）；National Biomedical Imaging Center, Peking University（北京大学国家生物医学成像中心）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
作为最具挑战性和实用性的分割任务之一，开放世界语义分割要求模型分割图像中的异常区域，并渐进地学习分割分布外（OOD）对象，特别是在Few-Shot条件下。目前最先进的（SOTA）方法，深度度量学习网络（DMLNet），依赖于像素级的度量学习，具有不同语义的相似区域的识别是困难的。因此，我们提出了一种称为区域感知度量学习（RAML）的方法，该方法首先分离图像的区域，并生成区域感知特征以进行进一步的度量学习。RAML提高了分割的异常区域的完整性。此外，我们提出了一种新的元通道聚合（MCA）模块，以进一步分离异常区域，形成高质量的子区域候选人，从而提高模型性能的OOD对象。为了评估所提出的RAML，我们对用于异常分割的失物招领和道路异常数据集以及用于增量少样本学习的CityScapes数据集进行了广泛的实验和消融研究。实验结果表明，所提出的RAML在开放世界分割的两个阶段都达到了SOTA性能。我们的代码和附录可以在https://github.com/czifan/RAML上找到。
2022-05-17 cs.CV
Edge-aware Feature Aggregation Network for Polyp Segmentation
Nanjing University of Science and Technology（南京理工大学）；NPU（西北工业大学）；Southeast University（东南大学）；ETH Zürich（苏黎世联邦理工学院）
本文提出边缘感知特征聚合网络EFA-Net，通过边缘引导、尺度感知卷积和跨层级融合模块解决息肉分割中的尺度变化与边界模糊问题，在多个结肠镜数据集上取得优于现有方法的性能。
2025-02-05 cs.CV
RISAM: Referring Image Segmentation via Mutual-Aware Attention Features
Tianjin University（天津大学）；Xiaoying AI lab（小影AI实验室）
针对现有指代图像分割方法易受视觉上下文主导、分割错误的问题，提出结合SAM与互感知注意力机制的MARIS方法，通过双向跨模态融合和多模态查询令牌提升分割准确性，在三个基准上超越现有最优水平。
2024-05-21 cs.CV
CAVIS: Context-Aware Video Instance Segmentation
DGIST
提出上下文感知视频实例分割框架CAVIS，通过上下文感知实例跟踪器和原型跨帧对比损失增强实例关联，在VIS和VPS基准上超越现有方法，尤其擅长OVIS挑战性视频。
2025-07-09 cs.CV
