AttendSeg: A Tiny Attention Condenser Neural Network for Semantic Segmentation on the Edge
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
在这项研究中，我们介绍了\textbf{AttendSeg}，这是一种为设备上语义分割量身定制的低精度，高度紧凑的深度神经网络。AttendSeg拥有一个自注意力网络架构，包括轻量级的注意力冷凝器，用于以非常低的复杂度改善空间通道选择性注意力。AttendSeg独特的宏观架构和微观架构设计属性在代表性和效率之间取得了很好的平衡，这是通过专门为手头任务量身定制的机器驱动的设计探索策略实现的。实验结果表明，所提出的AttendSeg可以实现与复杂度更高的更大深度神经网络相当的分割精度，同时具有显着更低的架构和计算复杂性（需要多达27倍的MAC，参数减少> 72倍，重量内存需求减少> 288倍），使其非常适合边缘上的TinyML应用程序。
2021-04-29 cs.CV cs.LG
MIST: Medical Image Segmentation Transformer with Convolutional Attention Mixing (CAM) Decoder
Purdue University（普渡大学）
本文提出MIST模型，通过结合MaxViT编码器和卷积注意力混合解码器，增强局部与长程特征建模，在ACDC和Synapse数据集上取得领先的医学图像分割性能。
2023-10-30 cs.CV cs.LG
Cropland PAtteRNS: Parallel Dimensional Attention Networks and Attention to Dataset Disparity for Crop Segmentation in Satellite Imagery Time Series Data
Swansea University（斯旺西大学）
提出PAtteRNS混合Transformer-卷积模型，分别对时间、光谱、空间维度使用自注意力，在PASTIS和MTLCC数据集上超越现有模型，并揭示数据集类别分组和瓦片尺寸对公平比较的影响。
2026-09-30 cs.CV cs.LG
Channelized Axial Attention for Semantic Segmentation -- Considering Channel Relation within Spatial Attention for Semantic Segmentation
University of Technology Sydney（悉尼科技大学）；Tencent AI LAB（腾讯AI实验室）；University of Sydney（悉尼大学）
空间和通道注意力分别在空间和通道维度上对语义相互依赖性进行建模，最近已被广泛用于语义分割。然而，单独计算空间和通道注意力有时会导致错误，特别是对于那些困难的情况。在本文中，我们提出了一种新的轴向注意力（CAA），将通道注意力和空间注意力无缝集成到一个单一的操作中，计算开销可以忽略不计。具体来说，我们将空间注意力的点积操作分解为两个部分，并在其间插入通道关系，允许在每个空间位置上独立优化通道注意力。我们进一步开发了分组向量化，这使得我们的模型可以在不降低运行速度的情况下以非常少的内存消耗运行。在多个基准数据集（包括Cityscapes，PASCAL Context和COCO-Stuff）上进行的比较实验表明，我们的CAA在所有测试数据集上的性能优于许多最先进的分割模型（包括双重注意力）。
2021-09-12 cs.CV
Semantic Segmentation With Multi Scale Spatial Attention For Self Driving Cars
Vellore Institute of Technology（韦洛尔理工学院）
在本文中，我们提出了一种新的神经网络使用多尺度特征融合在不同的尺度准确和有效的语义图像分割。我们使用基于ResNet的特征提取器，在下采样部分使用膨胀卷积层，在上采样部分使用atrous卷积层，并使用concat操作合并它们。提出了一种新的注意模块，以编码更多的上下文信息，增强网络的感受野。我们对我们的网络进行了深入的理论分析，并提供了训练和优化细节。我们的网络在Camvid数据集和Cityscapes数据集上进行了训练和测试，使用每类平均准确度和Intersection Over Union（IOU）作为评估指标。我们的模型在语义分割方面优于以前最先进的方法，在>100 FPS的速度下运行时，平均IOU值为74.12。
2020-09-30 cs.CV cs.LG
Linear Attention Mechanism: An Efficient Attention for Semantic Segmentation
Wuhan University（武汉大学）
在本文中，为了弥补这一不足，我们提出了一个线性注意力机制，这是近似于点积注意力与更少的内存和计算成本。有效的设计使得注意力机制和神经网络之间的结合更加灵活和通用。在语义分割上的实验证明了线性注意力机制的有效性。代码可在https://github.com/lironui/Linear-Attention-Mechanism上获得。
2020-08-20 cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York（约克大学）
我们提出了一种新的技术，将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示，与U-Net及其残差变体相比，具有很强的竞争力。
2019-02-08 cs.CV
Masked-attention Mask Transformer for Universal Image Segmentation
Facebook AI Research (FAIR)（脸书人工智能研究院）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
图像分割是关于将具有不同语义的像素分组，例如，类别或实例成员资格，其中每个语义选择定义一个任务。虽然每个任务的语义不同，但目前的研究重点是为每个任务设计专门的架构。我们提出了掩蔽注意掩模Transformer（Mask2Former），一个新的架构能够解决任何图像分割任务（全景，实例或语义）。它的关键组成部分包括掩蔽注意力，它通过将交叉注意力约束在预测的掩蔽区域内来提取局部特征。除了将研究工作量减少至少三倍之外，它在四个流行的数据集上的表现明显优于最好的专业架构。最值得注意的是，Mask2Former为全景分割（COCO上为57.8 PQ）、实例分割（COCO上为50.1 AP）和语义分割（ADE 20 K上为57.7 mIoU）设定了最新的技术水平。
2022-06-15 cs.AI cs.CV cs.LG
ET-Net: A Generic Edge-aTtention Guidance Network for Medical Image Segmentation
Tianjin University（天津大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
分割是医学图像分析中的一项基本任务。然而，大多数现有的方法集中在主区域提取，而忽略了边缘信息，这是有用的，以获得准确的分割。在本文中，我们提出了一种通用的医学分割方法，称为边缘注意力引导网络（ET-网），它嵌入了边缘注意力表示来指导分割网络。具体地，边缘引导模块用于学习早期编码层中的边缘注意表示，然后将其转移到多尺度解码层，使用加权聚合模块进行融合。四个分割任务的实验结果（即，视网膜图像中的视盘/杯和血管分割，以及胸部X射线和CT图像中的肺部分割）表明，保留边缘注意表示有助于最终的分割精度，并且我们提出的方法优于当前最先进的分割方法。我们的方法的源代码可以在https://github.com/ZzzJzzZ/ETNet上获得。
2019-07-25 cs.CV
Semantic Aware Attention Based Deep Object Co-segmentation
The University of Tokyo（东京大学）
对象共分割是从多幅图像中分割出相同对象的任务。在本文中，我们提出了基于注意力的对象共分割的对象共分割，利用一种新的注意力机制的瓶颈层的深层神经网络的语义相关的功能选择。此外，我们利用注意力学习器的优点，提出了一种线性时间复杂度的多输入图像分割算法。实验结果表明，我们的模型在多个数据集上实现了最先进的性能，并显着减少了计算时间。
2018-10-16 cs.CV
Attention Swin U-Net: Cross-Contextual Attention Mechanism for Skin Lesion Segmentation
Shahid Beheshti University（沙希德·贝赫什提大学）；RWTH Aachen University（亚琛工业大学）；Alzahra University（阿尔扎赫拉大学）；University of Regensburg（雷根斯堡大学）
黑色素瘤是由人类皮肤中黑色素细胞的异常生长引起的。像其他癌症一样，这种危及生命的皮肤癌可以通过早期诊断来治疗。为了支持通过自动皮肤病变分割的诊断，已经提出了几种全卷积网络（FCN）方法，特别是U-Net架构。具有对称结构的U-Net模型在分割任务中表现出优越的性能。然而，U-Net架构中卷积运算的局部性限制限制了其在捕获长程依赖性方面的性能，这对于医学图像中的分割任务至关重要。为了解决这一限制，最近提出了一种基于Transformer的U-Net架构，该架构用Swin Transformer模块取代CNN块，以捕获本地和全局表示。在本文中，我们提出了Att-SwinU-Net，一个基于注意力的Swin U-Net扩展，用于医学图像分割。在我们的设计中，我们试图通过仔细设计跳过连接路径来提高网络的特征重用性，我们认为，在跳过连接路径中使用的经典级联操作可以通过引入注意机制来进一步改进。通过对几个皮肤病变分割数据集进行全面的消融研究，我们证明了我们提出的注意力机制的有效性。
2022-10-30 cs.CV cs.LG eess.IV
AGD-Autoencoder: Attention Gated Deep Convolutional Autoencoder for Brain Tumor Segmentation
脑肿瘤分割是医学图像分析中的一个具有挑战性的问题。其终点是生成在fMRI筛查中准确识别脑肿瘤区域的显著掩模。在本文中，我们提出了一种新的注意力门（AG模型）脑肿瘤分割，利用边缘检测单元和注意力门控网络突出和分割的功能磁共振成像图像的显着区域。该功能使我们能够消除必须明确指向受损区域（外部组织定位）并按照经典计算机视觉技术进行分类的必要性。AG可以很容易地集成到深度卷积神经网络（CNN）中。最小的计算开销是必需的，而AGs显着提高灵敏度分数。我们表明，边缘检测器与注意力门控机制一起提供了足够的方法，用于脑分割，达到0.78的IOU
2021-07-07 cs.CV cs.LG eess.IV
Attention on Classification for Fire Segmentation
Instituto Superior Tecnico, University of Lisbon（里斯本大学高级技术学院）
图像和视频中的火灾检测和定位是火灾事故处理的重要内容。虽然语义分割方法可以用来指示图像中具有火灾的像素的位置，但是它们的预测是局部的，并且它们通常没有考虑图像中隐含在图像标签中的火灾存在的全局信息。我们提出了一种卷积神经网络（CNN）来对图像中的火灾进行联合分类和分割，从而提高了火灾分割的性能。我们使用一个空间自注意力机制来捕捉像素之间的长程相关性，并使用一个新的通道注意力模块，它使用的分类概率作为注意力权重。该网络是联合训练的分割和分类，从而提高了单任务图像分割方法的性能，并提出了以前的方法用于火灾分割。
2021-11-04 cs.CV
Deep attention-guided fusion network for lesion segmentation
Shanghai Jiao Tong University（上海交通大学）；Minjiang Teachers College（闽江师范高等专科学校）
我们参与了任务1：病变分割。本文描述了我们的算法和ISIC挑战2018 -皮肤病变分析对黑色素瘤检测的验证集的最终结果。
2018-07-25 cs.CV
Connection Sensitive Attention U-NET for Accurate Retinal Vessel Segmentation
Beijing University of Chemical Technology（北京化工大学）
我们开发了一个连接敏感的注意力U-Net（CSAU），用于精确的视网膜血管分割。该方法改进了用于语义分割的最近的注意力U-网络，具有四个关键改进：（1）连接敏感损失，其对结构属性进行建模以提高逐像素分割的准确性;（2）具有新颖的神经网络结构的注意力门，并连接向下链接，以有效地学习精细血管上的更好的注意力权重;（3）连接敏感损失和注意力门的集成，以通过在输出之前附加地将注意力权重连接到特征来进一步提高关于详细血管的准确性;（4）连接敏感准确度的度量，以反映边界和薄血管上的分割性能。我们的方法可以有效地改善国家的最先进的血管分割方法，遭受困难的存在异常，分叉和微血管。这种连接敏感性损失与所提出的注意力U-Net紧密结合，以准确地（i）分割视网膜血管，以及（ii）通过对结构特性进行建模来保留薄血管的连接性。我们的方法在DRIVE、STARE和HRF数据集上取得了领先地位。
2019-04-23 cs.CV
MAIS: Memory-Attention for Interactive Segmentation
King’s College London（伦敦国王学院）
针对交互式医学分割中交互被独立处理导致的冗余校正问题，提出 MAIS 记忆注意力机制，通过存储历史用户输入与分割状态整合时序上下文，提升多模态 ViT 分割的效率与精度。
2025-05-12 cs.AI cs.CV cs.LG
Residual Channel Attention Network for Brain Glioma Segmentation
Shanghai University（上海大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
神经胶质瘤是一种严重影响认知功能和降低患者生活质量的恶性脑肿瘤。脑胶质瘤的分割是具有挑战性的，因为在肿瘤区域的类间模糊性。最近，深度学习方法在脑胶质瘤的自动分割中取得了出色的性能。然而，现有的算法未能利用通道的特征相互依赖性来选择语义属性用于胶质瘤分割。在这项研究中，我们实现了一种新型的深度神经网络，它集成了残余通道注意力模块来校准神经胶质瘤分割的中间特征。所提出的通道注意机制自适应加权特征通道，以优化神经胶质瘤的潜在表示。我们在已建立的数据集BraTS2017上评估了我们的方法。实验结果表明了该方法的优越性。
2022-05-22 cs.CV cs.LG eess.IV
Large-Kernel Attention for 3D Medical Image Segmentation
Imperial College London（帝国理工学院）；TECNALIA, Basque Research & Technology Alliance（巴斯克研究与技术联盟TECNALIA）；University of the Basque Country（巴斯克大学）；Royal Brompton Hospital（皇家布朗普顿医院）
使用深度学习方法从3D医学图像（如磁共振成像（MRI）和计算机断层扫描（CT）扫描）中自动分割多个器官和肿瘤可以帮助诊断和治疗癌症。然而，器官往往重叠和复杂的连接，其特点是广泛的解剖变异和低对比度。此外，肿瘤形状、位置和外观的多样性，加上背景体素的主导地位，使得精确的3D医学图像分割变得困难。本文提出了一种新的大内核（LK）注意力模块来解决这些问题，以实现准确的多器官分割和肿瘤分割。在所提出的LK注意模块中结合了卷积和自注意的优点，包括局部上下文信息、长程依赖和通道自适应。该模块还可以分解LK卷积以优化计算成本，并且可以轻松地集成到U-Net等FCN中。全面的消融实验证明了卷积分解的可行性，并探索了最有效和最有效的网络设计。其中，最好的中间型LK基于注意力的U-Net网络在CT-ORG和BraTS 2020数据集上进行了评估，实现了最先进的分割性能。由于所提出的LK注意模块的性能改善也进行了统计验证。
2022-07-19 cs.CV cs.LG eess.IV
AASeg: Attention Aware Network for Real Time Semantic Segmentation
University of Maryland（马里兰大学）
本文提出AASeg实时语义分割网络，通过轻量级空间与通道注意力及多尺度上下文模块增强特征判别与上下文表示，在Cityscapes、ADE20K和CamVid上以较低计算开销实现精度与效率的优越平衡。
2025-07-05 cs.CV cs.LG eess.IV
An automatic COVID-19 CT segmentation network using spatial and channel attention mechanism
Université de Rouen Normandie（鲁昂诺曼底大学）；INSA Rouen（鲁昂国立应用科学学院）；Normandie Univ（诺曼底大学）；UNIROUEN（鲁昂大学）；UNIHAVRE（勒阿弗尔大学）
新型冠状病毒病（COVID-19）大流行对全球公共卫生造成毁灭性影响。计算机断层扫描（CT）是筛查COVID-19的有效工具。快速准确地从CT中分割COVID-19对于帮助诊断和患者监测非常重要。在本文中，我们提出了一个基于U-Net的分割网络使用注意力机制。由于并非所有从编码器中提取的特征都对分割有用，因此我们建议将包括空间和通道注意力的注意力机制纳入U-Net架构，以在空间上和通道上重新加权特征表示，以捕获丰富的上下文关系，以获得更好的特征表示。此外，引入焦点tversky损失处理小病灶分割。在一个包含473个CT切片的COVID-19 CT分割数据集上进行的实验结果表明，该方法能够实现对COVID-19的准确快速分割。该方法仅需0.29秒即可分割出一个CT切片。Dice评分、敏感性和特异性分别为83.1%、86.7%和99.3%。
2021-02-08 cs.CV cs.LG eess.IV
A Novel Approach to Chest X-ray Lung Segmentation Using U-net and Modified Convolutional Block Attention Module
Faculty of Electrical Engineering, K.N. Toosi University of Technology（K.N.图西理工大学电气工程学院）
本文提出将融合通道、空间和像素注意力的改进 CBAM 嵌入 U-net，用于胸部 X 光肺部分割，并通过与现有先进方法对比验证了其性能优势。
2026-11-03 cs.CV cs.LG eess.IV
Realtime Global Attention Network for Semantic Segmentation
School of Engineering, University of Kansas（堪萨斯大学工程学院）
针对语义分割这一具有挑战性的任务，提出了一种端到端的实时全局注意力神经网络（RGANet）。与自注意范式的编码策略不同，全局注意模块通过深度卷积和仿射变换对全局注意进行编码。将这些全局注意力模块集成到一个层次结构中，可以保持较高的推理性能。此外，提出了一种改进的评价指标，即MGRID，以减轻非凸，广泛分散的地面实况区域的负面影响。从国家的最先进的架构语义分割的广泛实验结果表明，机器人单眼视觉感知的建议方法的领先性能。
2021-12-24 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University（南洋理工大学）；The University of Adelaide（阿德莱德大学）
弱监督的语义分割得到了很多研究的关注，因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比，图像标签的获取效率相当高。在我们的工作中，我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中，灵感来自空间神经注意图像描述，我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分，在一个前向路径中生成高质量的伪注释，生成的伪注释导致分割结果，达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
AAU-net: An Adaptive Attention U-net for Breast Lesions Segmentation in Ultrasound Images
Nankai University（南开大学）；University of Oxford（牛津大学）；Manchester University（曼彻斯特大学）
本文提出AAU-net，通过引入由通道和空间自注意力组成的混合自适应注意力模块替代传统卷积，以应对超声图像乳腺病灶分割中强度相似、形态多变和边界模糊等挑战，并在多个公开数据集上验证了其更优的分割性能和泛化能力。
2022-10-31 cs.CV cs.LG eess.IV
Guided Interactive Video Object Segmentation Using Reliability-Based Attention Maps
Korea University（高丽大学）；Chungnam National University（忠南大学）
提出了一种新的视频对象引导交互式分割（GIS）算法，以提高分割精度和减少交互时间。首先，我们设计了基于可靠性的注意力模块来分析多个注释帧的可靠性。其次，我们开发了交叉感知传播模块，将分割结果传播到相邻帧。第三，我们引入了GIS机制，用户可以快速选择不满意的帧，更少的努力。实验结果表明，该算法比传统算法具有更快的分割速度和更准确的分割结果。代码可在https://github.com/yuk6heo/GIS-RAmap上获得。
2021-04-21 cs.CV
GSANet: Semantic Segmentation with Global and Selective Attention
Samsung SOC R&D Lab（三星SOC研发实验室）；San Diego（圣地亚哥（此处仅为城市名，按要求仅提取机构，原文本中San Diego为城市名，实际机构为Samsung SOC R&D Lab，原答案中补充的San Diego不符合提取要求，正确应为仅Samsung SOC R&D Lab）修正后：{）
提出了一种新的用于语义分割的深度学习架构。建议的全球和选择性注意力网络（GSANet）的特点Atrous空间金字塔池（ASPP）与一个新的sparsemax全球注意力和一个新的选择性注意力，部署了凝聚和扩散机制，以聚合多尺度上下文信息从提取的深层功能。还提出了一种选择性注意解码器来处理GSA-ASPP输出，以优化softmax音量。我们是第一个使用低复杂度特征提取网络（FXN）MobileNetEdge对语义分割网络的性能进行基准测试的公司，该网络针对边缘设备的低延迟进行了优化。我们表明，GSANet可以导致更准确的分割与MobileNetEdge，以及强大的FXN，如Xception。GSANet提高了ADE 20 k和Cityscapes数据集上最先进的语义分割准确性。
2020-02-14 cs.CV cs.LG eess.IV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI（微软云计算与人工智能部门）
视频实例分割的目标是预测每个帧的对象分割掩模，以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模，但它们可能无法在具有挑战性的情况下关联实例，因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明，帧间递归注意显着提高时间实例的一致性，同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019（62.1\%）和YouTubeVIS-2021（54.7\%）数据集上都达到了最先进的准确率。此外，定量和定性的结果表明，所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
SMAFormer: Synergistic Multi-Attention Transformer for Medical Image Segmentation
University of Macau（澳门大学）
提出SMAFormer，一种融合像素注意力、通道注意力和空间注意力的Transformer架构，通过协同多注意力块和特征融合调制器提升小肿瘤和器官的分割性能。
2026-05-24 cs.CV
Unsupervised Multi-object Segmentation Using Attention and Soft-argmax
我们引入了一种新的架构，用于无监督的以对象为中心的表示学习和多目标检测和分割，它使用一个投影等变注意力机制来预测场景中存在的对象的坐标，并将特征向量与每个对象相关联。Transformer编码器处理遮挡和冗余检测，卷积自动编码器负责背景重建。我们表明，这种架构显着优于复杂的合成基准的最先进的。
2022-08-31 cs.CV
Upgraded W-Net with Attention Gates and its Application in Unsupervised 3D Liver Segmentation
Otto von Guericke University（奥托·冯·格里克大学）；German Center for Neurodegenerative Disease（德国神经退行性疾病中心）；Center for Behavioral Brain Sciences（行为脑科学中心）；Leibniz Institute for Neurobiology（莱布尼茨神经生物学研究所）
生物医学图像的分割可以帮助放射科医生做出更好的诊断，并通过帮助检测异常（如肿瘤）更快地做出决策。然而，手动或半自动分割可能是一项耗时的任务。大多数基于深度学习的自动分割方法都是有监督的，并且依赖于手动分割的地面实况。这个问题的一个可能的解决方案是一种基于无监督深度学习的自动分割方法，这项研究工作试图解决这个问题。我们使用了一个W-Net架构，并对其进行了修改，使其可以应用于3D体积。此外，为了抑制分割中的噪声，我们在跳过连接中添加了注意力门。使用软N-Cuts计算分割输出的损失，使用SSIM计算重建输出的损失。条件随机场被用作后处理步骤，以微调结果。所提出的方法已经显示出有前途的结果，与手动分割相比，肝脏分割的骰子系数为0.88。
2020-11-20 cs.CV cs.LG eess.IV
From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs
Technical University of Munich（慕尼黑技术大学）；Helmholtz Munich（亥姆霍兹慕尼黑）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文通过逐层线性探测评估MLLMs整个流程，揭示适配器导致的分割表示下降及LLM层通过注意力机制逐步恢复的机制，为未来分割模型设计提供依据。
2026-03-18 cs.AI cs.CV cs.LG
Local Memory Attention for Fast Video Semantic Segmentation
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的神经网络模块，将现有的单帧语义分割模型转换为视频语义分割管道。与以前的作品相比，我们努力实现一个简单，快速和通用的模块，可以集成到几乎任何单帧架构。我们的方法将过去帧中的语义信息的丰富表示聚合到记忆模块中。然后通过注意力机制访问存储在存储器中的信息。与以前的基于记忆的方法相比，我们提出了一个快速的局部注意力层，在先前帧的局部区域提供时间外观线索。我们通过第二个基于注意力的模块进一步将这些线索与当前帧的编码融合。分割解码器处理融合的表示以预测最终的语义分割。我们将我们的方法集成到两个流行的语义分割网络：ERFNet和PSPNet。我们观察到mIoU中Cityscapes的分割性能分别提高了1.7%和2.1%，而ERFNet的推理时间仅增加了1.5ms。
2021-09-26 cs.CV
Feedback Attention for Cell Image Segmentation
Meijo University（名城大学）
在本文中，我们解决细胞图像分割任务的反馈注意力机制，如反馈处理。与传统的前馈处理神经网络模型不同，我们专注于人脑中的反馈处理，并假设网络通过连接从深层到浅层的特征映射来像人类一样学习。我们提出了一些模仿人脑的反馈注意力，并将输出层的特征映射反馈到接近输入层。具有反馈注意力的U-Net比仅使用前馈处理的传统方法表现出更好的效果。
2020-08-14 cs.CV
USEMA: a Scalable Efficient Mamba Like Attention for Medical Image Segmentation
University of California Irvine（加州大学 Irvine 分校）
USEMA结合了CNN的局部特征提取能力与SEMA注意力机制，通过局部窗口注意力和理论一致的算术平均，提升医学图像分割的计算效率和性能。
2026-05-11 cs.CV
DLA-Net: Learning Dual Local Attention Features for Semantic Segmentation of Large-Scale Building Facade Point Clouds
Xiamen University（厦门大学）
建筑物立面的语义分割在城市建筑物重建、损伤评估等应用中具有重要意义。由于缺乏与细粒度建筑立面相关的3D点云数据集，我们构建了第一个用于语义分割的大规模建筑立面点云基准数据集。现有的语义分割方法不能充分挖掘点云的局部邻域信息。为了解决这个问题，我们提出了一个可学习的注意力模块，学习双本地注意力功能，在本文中称为DLA。DLA模块由两个块组成，包括自注意块和注意池块，它们都嵌入了增强的位置编码块。DLA模块可以很容易地嵌入到各种网络架构中进行点云分割，自然会产生一个新的3D语义分割网络与编码器-解码器架构，在这项工作中称为DLA-Net。在我们构建的建筑立面数据集上的大量实验结果表明，所提出的DLA-Net比最先进的语义分割方法具有更好的性能。
2021-06-01 cs.CV
VQS: Linking Segmentations to Questions and Answers for Supervised Attention in VQA and Question-Focused Semantic Segmentation
IIIS, Tsinghua University（清华大学交叉信息研究院）；CRCV, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；Adobe Research（Adobe 研究院）；Google Research（谷歌研究院）
丰富而密集的人类标记数据集是最近视觉-语言理解进步的主要推动因素之一。许多看似遥远的注释（例如，语义分割和视觉问答（VQA））是内在联系的，因为它们揭示了人类对相同视觉场景的理解的不同层次和视角--甚至是同一组图像（例如，COCO）。COCO的流行与这些注释和任务相关。明确地将它们联系起来可能会对单个任务以及统一的视觉和语言建模都有很大的好处。我们提出了初步的工作，链接的实例分割提供的COCO的问题和答案（QA）的VQA数据集，并命名收集的链接视觉问题和分割答案（VQS）。它们在以前独立的任务之间转移了人类的监督，为现有问题提供了更有效的杠杆，并为新的研究问题和模型打开了大门。本文研究了VQS数据的两个应用：VQA的监督注意和一种新的以问题为中心的语义分割任务。对于前者，我们通过简单地增加多层感知器的一些注意力特征，这些注意力特征是使用分割QA链接作为显式监督来学习的，从而在VQA真实多项选择任务上获得了最先进的结果。为了把后者的角度来看，我们研究了两种似是而非的方法，并将它们与Oracle方法进行比较，假设在测试阶段给出了实例分割。
2017-08-15 cs.CL cs.CV cs.LG
Squeeze-and-Attention Networks for Semantic Segmentation
Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）；University of Waterloo（滑铁卢大学）；Mstar Technologies（Mstar科技公司）；Peng Cheng Laboratory（鹏城实验室）
最近将注意力机制整合到分割网络中，通过更加强调信息量更大的特征来提高其表示能力。然而，这些注意力机制忽略了语义分割的隐式子任务，并且受到卷积核的网格结构的约束。在本文中，我们提出了一种新的挤压和注意力网络（SANet）架构，该架构利用有效的挤压和注意力（SA）模块来解释分割的两个独特特征：i）像素组注意力，ii）逐像素预测。具体而言，所提出的SA模块通过引入“注意力”卷积通道来对传统卷积施加像素组注意力，从而以有效的方式考虑空间通道的相互依赖性。通过合并来自SANet的四个分层阶段的输出以整合多尺度上下文以获得增强的逐像素预测来产生最终分割结果。在两个具有挑战性的公共数据集上的实证实验验证了所提出的SANets的有效性，在PASCAL VOC上实现了83.2%的mIoU（没有COCO预训练），在PASCAL Context上实现了54.4%的最新mIoU。
2020-04-01 cs.CV
Accurate Cell Segmentation in Digital Pathology Images via Attention Enforced Networks
Institute of Network Technology（网络技术研究所）；School of Automation（自动化学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
自动细胞分割是计算机辅助诊断（CAD）流程中的重要步骤，例如乳腺癌的检测和分级。准确的细胞分割不仅可以帮助病理学家做出更精确的诊断，而且可以节省大量的时间和人力。然而，该任务受到染色变化、细胞不均匀强度、背景杂波和来自不同组织的细胞的影响。为了解决这些问题，我们提出了一个注意力增强网络（AENet），它是建立在空间注意力模块和通道注意力模块，集成局部特征与全局依赖性和权重有效的通道自适应。此外，我们还引入了一个特征融合分支来桥接高层次和低层次的特征。最后，标记控制的分水岭算法被应用到后处理的预测分割图，以减少破碎的区域。在测试阶段，我们提出了一个单独的颜色归一化方法来处理染色变化的问题。我们在MoNuSeg数据集上评估了这个模型。对几个先前的方法的定量比较证明了我们的方法的优越性。
2020-12-27 cs.CV cs.LG eess.IV
Multi-Task Attention-Based Semi-Supervised Learning for Medical Image Segmentation
Erasmus MC（伊拉斯姆斯医学中心）；University of Copenhagen（哥本哈根大学）
我们提出了一种新的半监督图像分割方法，同时优化监督分割和无监督重建目标。重建目标使用注意力机制，该机制将对应于不同类别的图像区域的重建分开。所提出的方法进行了评估两个应用程序：脑肿瘤和白质高信号分割。我们的方法在未标记和少量标记图像上训练，优于用相同数量的图像训练的监督CNN和在未标记数据上预训练的CNN。在消融实验中，我们观察到，所提出的注意力机制大大提高了分割性能。我们探讨了两种多任务训练策略：联合训练和交替训练。交替训练需要更少的超参数，并实现比联合训练更好，更稳定的性能。最后，我们分析了通过不同方法学习的特征，发现注意力机制有助于在编码器的更深层中学习更有区别的特征。
2019-07-29 cs.CV
RTA-Former: Reverse Transformer Attention for Polyp Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出RTA-Former网络，通过在解码器中结合逆向注意力与transformer阶段以增强边缘分割，在五个息肉分割数据集上达到SOTA性能，有望提升临床决策与患者预后。
2024-04-28 cs.CV cs.LG eess.IV
EPSNet: Efficient Panoptic Segmentation Network with Cross-layer Attention Fusion
National Taiwan University（国立台湾大学）；National University of Kaohsiung（国立高雄大学）
全景分割是一个场景解析任务，它将语义分割和实例分割统一到一个任务中。然而，现有的研究并没有对推理时间进行过多的关注。在这项工作中，我们提出了一个有效的全景分割网络（EPSNet），以解决全景分割任务的快速推理速度。基本上，EPSNet基于原型掩码和掩码系数的简单线性组合来生成掩码。用于实例分割和语义分割的轻量级网络分支只需要预测掩码系数，并使用原型网络分支预测的共享原型生成掩码。此外，为了提高共享原型的质量，我们采用了一个称为“跨层注意力融合模块”的模块，该模块使用注意力机制聚合多尺度特征，帮助它们捕获彼此之间的长程依赖关系。为了验证所提出的工作，我们对具有挑战性的COCO panoptic数据集进行了各种实验，这些实验以更快的推理速度（GPU上为53 ms）实现了非常有前途的性能。
2020-12-24 cs.CV
Attention to Refine through Multi-Scales for Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）
提出了一种新的语义分割的注意力模型，该模型聚合了多尺度和上下文特征以改进预测。具体地，骨架卷积神经网络框架接受多个不同尺度的输入，这意味着CNN可以得到不同尺度的表示。提出的注意力模型将分别处理来自不同尺度流的特征并将它们集成。然后，模型的位置注意分支学习对每个像素位置处的多尺度特征进行软加权。此外，我们添加了一个重新校准分支，与位置注意力出现的地方平行，以重新校准每个类的得分图。我们在PASCAL VOC 2012和ADE 20K数据集上取得了相当有竞争力的结果，超过了基线和相关工作。
2018-07-09 cs.CV
Brain Segmentation from k-space with End-to-end Recurrent Attention Network
Siemens Healthineers（西门子医疗）；Rutgers University（罗格斯大学）
医学图像分割的任务通常涉及图像重建步骤，以在任何分析之前将采集的原始数据转换为图像。然而，由于重建过程中的噪声，伪影和信息丢失几乎是不可避免的，这损害了分割的最终性能。我们提出了一种新的学习框架，直接从k空间数据进行磁共振脑图像分割。端到端的框架包括一个独特的任务驱动的注意力模块，该模块反复利用中间分割估计，以促进从原始数据中的图像域特征提取，从而紧密地桥接重建和分割任务。此外，为了解决手动标记的挑战，我们引入了一种新的工作流程，通过利用成像模态模拟器和数字幻影生成标记的训练数据进行分割。大量的实验结果表明，该方法优于几个国家的最先进的方法。
2019-07-21 cs.CV
Sparse Spatial Attention Network for Semantic Segmentation
The University of Manchester（曼彻斯特大学）
空间注意力机制通过将全局上下文信息聚合到每个查询位置来捕获长距离依赖性，这有利于语义分割。在本文中，我们提出了一个稀疏空间注意力网络（SSANet），以提高空间注意力机制的效率，而不牺牲性能。具体而言，提出了一种稀疏非本地（SNL）块采样每个查询元素的键和值元素的子集，以自适应地捕获长程关系，并生成稀疏亲和矩阵，以有效地聚合上下文信息。在Cityscapes、PASCAL Context和ADE 20K数据集上的实验结果表明，该方法的性能优于其他上下文聚合方法，达到了最先进的性能。
2021-09-04 cs.CV
RASNet: Segmentation for Tracking Surgical Instruments in Surgical Videos Using Refined Attention Segmentation Network
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
分割手术器械跟踪在机器人辅助手术中起着重要的作用。手术器械的分割有助于捕获用于跟踪的准确空间信息。本文提出了一种新的网络，精细注意分割网络，同时分割手术器械，并确定其类别。采用了分割中常用的U型网络。与以往工作不同的是，采用了一个注意力模块来帮助网络集中在关键区域，这可以提高分割精度。为了解决类不平衡问题，交叉熵损失和Jaccard指数的对数的加权和被用作损失函数。此外，我们的网络采用了迁移学习。编码器在ImageNet上进行了预训练。MICCAI EndoVis Challenge 2017的数据集用于评估我们的网络。基于这个数据集，我们的网络实现了最先进的性能，平均Dice为94.65%，平均IOU为90.33%。
2019-09-19 cs.CV
Attention GhostUNet++: Enhanced Segmentation of Adipose Tissue and Liver in CT Images
Chulalongkorn University（朱拉隆功大学）
针对腹部脂肪（SAT、VAT）和肝脏的CT图像分割需求，提出融合通道、空间、深度注意力机制的Attention GhostUNet++模型，在AATTCT-IDS和LiTS数据集上取得高Dice系数，提升分割精度与效率，为身体成分分析提供有效工具。
2025-04-14 cs.CV cs.LG cs.MM
Attention Based Semantic Segmentation on UAV Dataset for Natural Disaster Damage Assessment
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
气候变化的有害影响包括世界各地发生的更强和更具破坏性的飓风。识别一个地区不同的受损结构，包括建筑物和道路，是至关重要的，因为它有助于救援队计划他们的努力，以尽量减少自然灾害造成的损失。语义分割有助于识别图像的不同部分。我们在高分辨率无人机数据集上实现了一种新的基于自注意的语义分割模型，并在测试集上获得了约88%的平均IoU分数。这一研究结果对在自然灾害损失评估中使用自我注意方案具有一定的启发意义，可以挽救生命，减少经济损失。
2021-06-01 cs.CV
Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation
Universidade Federal da Bahia（巴伊亚联邦大学）；Universidade Federal do Maranhão（马拉尼昂联邦大学）
提出了一种基于深度卷积神经网络的图像语义分割方法。我们建议的主要目标是探索对象边界信息，以提高整体分割性能。与以前的作品，结合边界和分割功能，或那些使用边界信息来规范语义分割，我们提出了一种新的方法，体现到分割的边界信息。为此，我们的语义分割方法使用两个流，它们通过注意力门组合在一起，形成端到端的Y模型。据我们所知，我们的工作是第一次表明，边界检测可以提高语义分割时，通过语义融合门（注意力模型）融合。我们在公共数据集上对我们的方法进行了广泛的评估。在考虑相同的训练条件下，将我们提出的模型与其他12个最先进的分割器进行比较后，我们发现所有数据集上的结果都具有竞争力。我们提出的模型在CityScapes、CamVid和Pascal Context数据集上实现了最佳mIoU，在Mapillary Vistas上次之。
2021-08-05 cs.CV
A Self-Distillation Embedded Supervised Affinity Attention Model for Few-Shot Segmentation
Beihang University（北京航空航天大学）；Beijing University of Technology（北京工业大学）
Few-Shot分割是一种利用有限的标注样本来分割未知对象的方法。然而，现有的方法仍然面临两个主要挑战。首先，支持图像和查询图像之间巨大的特征差异导致知识传递障碍，这损害了分割性能。其次，有限的支持原型不能充分表达支持对象的特征，难以指导高质量的查询分割。针对这两个问题，本文提出了自升华嵌入式监督仿射注意力模型来提高Few-Shot分割任务的性能。具体来说，自升华引导原型模块使用自升华来对齐支持和查询的特征。有监督的亲和注意力模块生成高质量的查询注意力图，以提供足够的对象信息。大量的实验证明，我们的模型显着提高了性能相比，现有的方法。全面的消融实验和可视化研究也表明，我们的方法对Few-Shot分割任务的显着效果。在COCO-20 i数据集上，我们获得了新的最先进的结果。训练代码和预训练模型可在https://github.com/cv516Buaa/SD-AANet上获得。
2023-03-20 cs.CV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Transformers在医学图像分割方面取得了巨大成功。然而，Transformers可能会表现出有限的泛化能力，由于潜在的单尺度自我注意力（SA）机制。在本文中，我们通过引入多尺度层次视觉Transformer（MERIT）骨干网络来解决这个问题，该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器，即级联注意力解码（CASCADE），以进一步细化MERIT生成的多阶段特征。最后，我们介绍了一种有效的多阶段特征混合损失聚合（MUTATION）方法，通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准（即，Synapse Multi-organ，ACDC）证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
Attention-guided Unified Network for Panoptic Segmentation
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Noah’s Ark Lab, Huawei Inc.（华为公司诺亚方舟实验室）
本文研究了全景分割，最近提出的任务，分割前景（FG）的对象在实例级别以及背景（BG）的内容在语义级别。现有的方法大多分别处理这两个问题，但在本文中，我们揭示了它们之间的潜在关系，特别是FG对象提供互补的线索，以帮助BG的理解。我们的方法，命名为注意力引导的统一网络（AUNet），是一个统一的框架，具有两个分支的FG和BG分割同时进行。BG分支中增加了两个关注源，即RPN和FG分割掩码，分别提供对象级和像素级关注。我们的方法被推广到不同的骨干，在FG和BG分割中具有一致的准确性增益，并且在MS-COCO（46.5%PQ）和Cityscapes（59.0%PQ）基准中也设置了新的最先进的技术。
2019-04-17 cs.CV
Multimodal Spatial Attention Module for Targeting Multimodal PET-CT Lung Tumor Segmentation
The University of Sydney（悉尼大学）
多模式正电子发射断层扫描-计算机断层扫描（PET-CT）通常用于评估癌症。PET-CT将肿瘤检测的高灵敏度与PET和来自CT的解剖信息相结合。肿瘤分割是PET-CT的一个关键环节，但目前还没有一种准确的自动分割方法。分割往往是由不同的成像专家手动完成，它是劳动密集型的，容易出现错误和不一致。以前的自动分割方法主要集中在融合从PET和CT模态中单独提取的信息，基本假设每个模态包含互补信息。然而，这些方法没有充分利用可以引导分割的高PET肿瘤灵敏度。我们引入了一个多模态空间注意模块（MSAM），它可以自动学习强调与肿瘤相关的区域（空间区域），并抑制具有生理高摄取的正常区域。随后采用所得到的空间注意力图来靶向卷积神经网络（CNN），以分割具有较高肿瘤可能性的区域。我们的MSAM可以应用于常见的骨干网架构和端到端培训。我们在非小细胞肺癌（NSCLC）和软组织肉瘤（STS）的两个临床PET-CT数据集上的实验结果验证了MSAM在这些不同癌症类型中的有效性。我们表明，我们的MSAM，与传统的U-网骨干，超过了国家的最先进的肺肿瘤分割方法的7.6%的保证金骰子相似系数（DSC）。
2020-08-06 cs.CV cs.LG eess.IV
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
Zhejiang University（浙江大学）
弱监督语义分割（WSSS）只使用图像级标签可以大大降低标注成本，因此吸引了相当大的研究兴趣。然而，其性能仍然不如完全监督的同行。为了缓解性能差距，我们提出了一个显着性引导的自我注意力网络（SGAN）来解决WSSS问题。引入的自我注意力机制能够捕获丰富而广泛的上下文信息，但可能会将注意力错误地传播到意想不到的区域。为了使该机制能够在弱监督下有效地工作，我们将类不可知的显着性先验集成到自我注意力机制中，并利用类特定的注意力线索作为SGAN的额外监督。我们的SGAN能够产生密集和准确的定位线索，从而提高分割性能。此外，通过简单地用部分标记的地面实况替换额外的监督，SGAN也有效地用于半监督语义分割。在PASCAL VOC 2012和COCO数据集上的实验表明，我们的方法在弱监督和半监督环境下的性能优于所有其他最先进的方法。
2020-01-12 cs.CV
Interlaced Sparse Self-Attention for Semantic Segmentation
Microsoft Research Asia（微软亚洲研究院）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
在本文中，我们提出了一个所谓的交错稀疏自注意的方法，以提高效率的\emph{self-attention}机制语义分割。其主要思想是将稠密亲和矩阵分解为两个稀疏亲和矩阵的乘积。存在两个连续的注意力模块，每个注意力模块估计稀疏亲和矩阵。第一关注模块用于估计具有长空间间隔距离的位置的子集内的亲和力，并且第二关注模块用于估计具有短空间间隔距离的位置的子集内的亲和力。这两个注意力模块被设计成使得每个位置能够接收来自所有其他位置的信息。与原始的自我注意模块相比，我们的方法大大降低了计算和内存的复杂性，特别是在处理高分辨率特征图时。我们经验验证了我们的方法的有效性六个具有挑战性的语义分割基准。
2019-07-30 cs.CV
