YOLO-FireAD: Efficient Fire Detection via Attention-Guided Inverted Residual Learning and Dual-Pooling Feature Preservation
School of Computer Science and Technology, Shandong Jianzhu University(计算机科学与技术学院,山东建筑大学);International School of Information Science\&Engineering, Dalian University of Technology(信息科学与工程国际学院,大连理工大学);Wuhan SecureScape Technology Co., Ltd(武汉SecureScape科技有限公司);University of Glasgow, Glasgow, UK(格拉斯哥大学)
针对动态环境火灾检测难兼顾效率与精度、现有YOLO模型特征提取受限的问题,提出含注意力引导倒残差模块与双池化下采样融合模块的YOLO-FireAD,在参数量、计算量更低的情况下实现了更优的检测精度。
2025-08-01 cs.CV
Generalisable 3D Fabric Architecture for Streamlined Universal Multi-Dataset Medical Image Segmentation
University of Queensland(昆士兰大学);Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心)
数据稀缺在用于医学图像分割的深度学习模型中很常见。以前的工作提出了多数据集学习,同时或通过迁移学习来扩展训练集。然而,医学图像数据集具有不同大小的图像和特征,并且同时为多个数据集开发模型具有挑战性。这项工作提出了织物图像表示编码网络(FIRENet),这是一种用于同时进行多数据集分割和迁移学习的通用架构,涉及任意数量的数据集。为了处理不同大小的图像和特征,使用3D结构模块来封装许多多尺度子架构。可以隐式地学习这些子架构的最佳组合以最佳地适合目标数据集。对于不同尺度的特征提取,在每个结构节点中使用atrous空间金字塔池化(ASPP3D)的3D扩展,以用于丰富尺度图像特征的细粒度覆盖。在第一个实验中,FIRENet对人类膝关节、肩关节和髋关节的多个肌肉骨骼数据集进行了3D通用骨骼分割,并表现出出色的同时多数据集分割性能。在测试迁移学习时,FIRENet进一步表现出出色的单数据集性能(在前列腺数据集上进行预训练时),以及显着提高的通用骨骼分割性能。以下实验涉及10个医学分割十项全能(MSD)挑战数据集的同时分割。FIRENet展示了良好的多数据集分割结果和高度多样化图像尺寸的数据集间适应性。在这两个实验中,FIRENet通过一个统一的网络简化了多数据集学习,不需要超参数调整。
2022-11-29 cs.CV eess.IV
Experimental Large-Scale Jet Flames' Geometrical Features Extraction for Risk Management Using Infrared Images and Deep Learning Segmentation Methods
Tecnologico de Monterrey(蒙特雷科技大学);Universidad de las Americas Puebla(普埃布拉美洲大学);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
喷射火灾相对较小,在工业厂房可能发生的各种火灾事故中影响最小;然而,它们通常涉及称为多米诺效应的过程,该过程导致更严重的事件,例如爆炸或引发另一场火灾,使得对此类火灾的分析成为风险分析的重要组成部分。这项研究工作探讨了深度学习模型在另一种方法中的应用,该方法使用喷射火焰的语义分割来提取与火灾风险评估相关的主要几何属性。比较了传统的图像处理方法和一些最先进的深度学习模型。研究发现,最好的方法是称为UNet的深度学习架构,以及它的两个改进,Attention UNet和UNet++。然后,该模型被用来分割一组不同的管道出口直径的垂直射流火焰,以提取其主要的几何特征。注意UNet在火焰高度和面积的近似方面获得了最佳的总体性能,同时也显示出它与UNet++之间的统计学显着差异。UNet在离地距离近似方面获得了最佳的整体性能;然而,没有足够的数据证明Attention UNet和UNet++之间存在统计学显著差异。UNet++优于其他模型的唯一实例是在获得具有0.01275 m管道出口直径的喷射火焰的升空距离时。在一般情况下,探索的模型显示出良好的协议之间的实验和预测值相对较大的湍流丙烷射流火焰,在音速和亚音速制度释放,因此,使这些辐射区分割模型,不同的射流火焰风险管理方案的一个合适的方法。
2022-01-20 cs.CV eess.IV
FireRescue: A UAV-Based Dataset and Enhanced YOLO Model for Object Detection in Fire Rescue Scenes
organization= School of Information;Communication Enginnering, University of Electronic Science
本文提出FireRescue数据集和FRS-YOLO模型,用于提升消防救援场景中复杂环境下的目标检测性能。
2025-12-31 cs.CV
Channelized Axial Attention for Semantic Segmentation -- Considering Channel Relation within Spatial Attention for Semantic Segmentation
University of Technology Sydney(悉尼科技大学);Tencent AI LAB(腾讯AI实验室);University of Sydney(悉尼大学)
空间和通道注意力分别在空间和通道维度上对语义相互依赖性进行建模,最近已被广泛用于语义分割。然而,单独计算空间和通道注意力有时会导致错误,特别是对于那些困难的情况。在本文中,我们提出了一种新的轴向注意力(CAA),将通道注意力和空间注意力无缝集成到一个单一的操作中,计算开销可以忽略不计。具体来说,我们将空间注意力的点积操作分解为两个部分,并在其间插入通道关系,允许在每个空间位置上独立优化通道注意力。我们进一步开发了分组向量化,这使得我们的模型可以在不降低运行速度的情况下以非常少的内存消耗运行。在多个基准数据集(包括Cityscapes,PASCAL Context和COCO-Stuff)上进行的比较实验表明,我们的CAA在所有测试数据集上的性能优于许多最先进的分割模型(包括双重注意力)。
2021-09-12 cs.CV
Linear Attention Mechanism: An Efficient Attention for Semantic Segmentation
Wuhan University(武汉大学)
在本文中,为了弥补这一不足,我们提出了一个线性注意力机制,这是近似于点积注意力与更少的内存和计算成本。有效的设计使得注意力机制和神经网络之间的结合更加灵活和通用。在语义分割上的实验证明了线性注意力机制的有效性。代码可在https://github.com/lironui/Linear-Attention-Mechanism上获得。
2020-08-20 cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York(约克大学)
我们提出了一种新的技术,将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示,与U-Net及其残差变体相比,具有很强的竞争力。
2019-02-08 cs.CV
Connection Sensitive Attention U-NET for Accurate Retinal Vessel Segmentation
Beijing University of Chemical Technology(北京化工大学)
我们开发了一个连接敏感的注意力U-Net(CSAU),用于精确的视网膜血管分割。该方法改进了用于语义分割的最近的注意力U-网络,具有四个关键改进:(1)连接敏感损失,其对结构属性进行建模以提高逐像素分割的准确性;(2)具有新颖的神经网络结构的注意力门,并连接向下链接,以有效地学习精细血管上的更好的注意力权重;(3)连接敏感损失和注意力门的集成,以通过在输出之前附加地将注意力权重连接到特征来进一步提高关于详细血管的准确性;(4)连接敏感准确度的度量,以反映边界和薄血管上的分割性能。我们的方法可以有效地改善国家的最先进的血管分割方法,遭受困难的存在异常,分叉和微血管。这种连接敏感性损失与所提出的注意力U-Net紧密结合,以准确地(i)分割视网膜血管,以及(ii)通过对结构特性进行建模来保留薄血管的连接性。我们的方法在DRIVE、STARE和HRF数据集上取得了领先地位。
2019-04-23 cs.CV
Realtime Global Attention Network for Semantic Segmentation
School of Engineering, University of Kansas(堪萨斯大学工程学院)
针对语义分割这一具有挑战性的任务,提出了一种端到端的实时全局注意力神经网络(RGANet)。与自注意范式的编码策略不同,全局注意模块通过深度卷积和仿射变换对全局注意进行编码。将这些全局注意力模块集成到一个层次结构中,可以保持较高的推理性能。此外,提出了一种改进的评价指标,即MGRID,以减轻非凸,广泛分散的地面实况区域的负面影响。从国家的最先进的架构语义分割的广泛实验结果表明,机器人单眼视觉感知的建议方法的领先性能。
2021-12-24 cs.CV
Decoupled Spatial Neural Attention for Weakly Supervised Semantic Segmentation
Nanyang Technological University(南洋理工大学);The University of Adelaide(阿德莱德大学)
弱监督的语义分割得到了很多研究的关注,因为它强调了需要获得大量的密集像素明智的地面实况注释的训练图像。与其他形式的弱监督相比,图像标签的获取效率相当高。在我们的工作中,我们专注于弱监督语义分割与图像标签标注。这项任务的最新进展在很大程度上取决于生成的伪注释的质量。在这项工作中,灵感来自空间神经注意图像描述,我们提出了一个解耦的空间神经注意网络生成伪注释。我们的解耦注意力结构可以同时识别目标区域和定位有区别的部分,在一个前向路径中生成高质量的伪注释,生成的伪注释导致分割结果,达到了最先进的弱监督语义分割。
2018-03-07 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI(微软云计算与人工智能部门)
视频实例分割的目标是预测每个帧的对象分割掩模,以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模,但它们可能无法在具有挑战性的情况下关联实例,因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明,帧间递归注意显着提高时间实例的一致性,同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019(62.1\%)和YouTubeVIS-2021(54.7\%)数据集上都达到了最先进的准确率。此外,定量和定性的结果表明,所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
Intelligent Spatial Estimation for Fire Hazards in Engineering Sites: An Enhanced YOLOv8-Powered Proximity Analysis Framework
University of Greater Manchester(格雷厄姆·曼彻斯特大学);Edge Hill University(埃德希尔大学);University of Khorfakkan(科夫阿克坎大学)
本研究提出一种增强的YOLOv8框架,结合双模型实现火灾检测与基于接近性的风险评估,通过像素距离转换和风险评分提升火灾预警性能。
2026-03-10 cs.CV
SMAFormer: Synergistic Multi-Attention Transformer for Medical Image Segmentation
University of Macau(澳门大学)
提出SMAFormer,一种融合像素注意力、通道注意力和空间注意力的Transformer架构,通过协同多注意力块和特征融合调制器提升小肿瘤和器官的分割性能。
2026-05-24 cs.CV
Unsupervised Multi-object Segmentation Using Attention and Soft-argmax
我们引入了一种新的架构,用于无监督的以对象为中心的表示学习和多目标检测和分割,它使用一个投影等变注意力机制来预测场景中存在的对象的坐标,并将特征向量与每个对象相关联。Transformer编码器处理遮挡和冗余检测,卷积自动编码器负责背景重建。我们表明,这种架构显着优于复杂的合成基准的最先进的。
2022-08-31 cs.CV
Local Memory Attention for Fast Video Semantic Segmentation
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种新的神经网络模块,将现有的单帧语义分割模型转换为视频语义分割管道。与以前的作品相比,我们努力实现一个简单,快速和通用的模块,可以集成到几乎任何单帧架构。我们的方法将过去帧中的语义信息的丰富表示聚合到记忆模块中。然后通过注意力机制访问存储在存储器中的信息。与以前的基于记忆的方法相比,我们提出了一个快速的局部注意力层,在先前帧的局部区域提供时间外观线索。我们通过第二个基于注意力的模块进一步将这些线索与当前帧的编码融合。分割解码器处理融合的表示以预测最终的语义分割。我们将我们的方法集成到两个流行的语义分割网络:ERFNet和PSPNet。我们观察到mIoU中Cityscapes的分割性能分别提高了1.7%和2.1%,而ERFNet的推理时间仅增加了1.5ms。
2021-09-26 cs.CV
Feedback Attention for Cell Image Segmentation
Meijo University(名城大学)
在本文中,我们解决细胞图像分割任务的反馈注意力机制,如反馈处理。与传统的前馈处理神经网络模型不同,我们专注于人脑中的反馈处理,并假设网络通过连接从深层到浅层的特征映射来像人类一样学习。我们提出了一些模仿人脑的反馈注意力,并将输出层的特征映射反馈到接近输入层。具有反馈注意力的U-Net比仅使用前馈处理的传统方法表现出更好的效果。
2020-08-14 cs.CV
USEMA: a Scalable Efficient Mamba Like Attention for Medical Image Segmentation
University of California Irvine(加州大学 Irvine 分校)
USEMA结合了CNN的局部特征提取能力与SEMA注意力机制,通过局部窗口注意力和理论一致的算术平均,提升医学图像分割的计算效率和性能。
2026-05-11 cs.CV
DLA-Net: Learning Dual Local Attention Features for Semantic Segmentation of Large-Scale Building Facade Point Clouds
Xiamen University(厦门大学)
建筑物立面的语义分割在城市建筑物重建、损伤评估等应用中具有重要意义。由于缺乏与细粒度建筑立面相关的3D点云数据集,我们构建了第一个用于语义分割的大规模建筑立面点云基准数据集。现有的语义分割方法不能充分挖掘点云的局部邻域信息。为了解决这个问题,我们提出了一个可学习的注意力模块,学习双本地注意力功能,在本文中称为DLA。DLA模块由两个块组成,包括自注意块和注意池块,它们都嵌入了增强的位置编码块。DLA模块可以很容易地嵌入到各种网络架构中进行点云分割,自然会产生一个新的3D语义分割网络与编码器-解码器架构,在这项工作中称为DLA-Net。在我们构建的建筑立面数据集上的大量实验结果表明,所提出的DLA-Net比最先进的语义分割方法具有更好的性能。
2021-06-01 cs.CV
Squeeze-and-Attention Networks for Semantic Segmentation
Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室);University of Waterloo(滑铁卢大学);Mstar Technologies(Mstar科技公司);Peng Cheng Laboratory(鹏城实验室)
最近将注意力机制整合到分割网络中,通过更加强调信息量更大的特征来提高其表示能力。然而,这些注意力机制忽略了语义分割的隐式子任务,并且受到卷积核的网格结构的约束。在本文中,我们提出了一种新的挤压和注意力网络(SANet)架构,该架构利用有效的挤压和注意力(SA)模块来解释分割的两个独特特征:i)像素组注意力,ii)逐像素预测。具体而言,所提出的SA模块通过引入“注意力”卷积通道来对传统卷积施加像素组注意力,从而以有效的方式考虑空间通道的相互依赖性。通过合并来自SANet的四个分层阶段的输出以整合多尺度上下文以获得增强的逐像素预测来产生最终分割结果。在两个具有挑战性的公共数据集上的实证实验验证了所提出的SANets的有效性,在PASCAL VOC上实现了83.2%的mIoU(没有COCO预训练),在PASCAL Context上实现了54.4%的最新mIoU。
2020-04-01 cs.CV
Multi-Task Attention-Based Semi-Supervised Learning for Medical Image Segmentation
Erasmus MC(伊拉斯姆斯医学中心);University of Copenhagen(哥本哈根大学)
我们提出了一种新的半监督图像分割方法,同时优化监督分割和无监督重建目标。重建目标使用注意力机制,该机制将对应于不同类别的图像区域的重建分开。所提出的方法进行了评估两个应用程序:脑肿瘤和白质高信号分割。我们的方法在未标记和少量标记图像上训练,优于用相同数量的图像训练的监督CNN和在未标记数据上预训练的CNN。在消融实验中,我们观察到,所提出的注意力机制大大提高了分割性能。我们探讨了两种多任务训练策略:联合训练和交替训练。交替训练需要更少的超参数,并实现比联合训练更好,更稳定的性能。最后,我们分析了通过不同方法学习的特征,发现注意力机制有助于在编码器的更深层中学习更有区别的特征。
2019-07-29 cs.CV
EPSNet: Efficient Panoptic Segmentation Network with Cross-layer Attention Fusion
National Taiwan University(国立台湾大学);National University of Kaohsiung(国立高雄大学)
全景分割是一个场景解析任务,它将语义分割和实例分割统一到一个任务中。然而,现有的研究并没有对推理时间进行过多的关注。在这项工作中,我们提出了一个有效的全景分割网络(EPSNet),以解决全景分割任务的快速推理速度。基本上,EPSNet基于原型掩码和掩码系数的简单线性组合来生成掩码。用于实例分割和语义分割的轻量级网络分支只需要预测掩码系数,并使用原型网络分支预测的共享原型生成掩码。此外,为了提高共享原型的质量,我们采用了一个称为“跨层注意力融合模块”的模块,该模块使用注意力机制聚合多尺度特征,帮助它们捕获彼此之间的长程依赖关系。为了验证所提出的工作,我们对具有挑战性的COCO panoptic数据集进行了各种实验,这些实验以更快的推理速度(GPU上为53 ms)实现了非常有前途的性能。
2020-12-24 cs.CV
Attention to Refine through Multi-Scales for Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学)
提出了一种新的语义分割的注意力模型,该模型聚合了多尺度和上下文特征以改进预测。具体地,骨架卷积神经网络框架接受多个不同尺度的输入,这意味着CNN可以得到不同尺度的表示。提出的注意力模型将分别处理来自不同尺度流的特征并将它们集成。然后,模型的位置注意分支学习对每个像素位置处的多尺度特征进行软加权。此外,我们添加了一个重新校准分支,与位置注意力出现的地方平行,以重新校准每个类的得分图。我们在PASCAL VOC 2012和ADE 20K数据集上取得了相当有竞争力的结果,超过了基线和相关工作。
2018-07-09 cs.CV
Brain Segmentation from k-space with End-to-end Recurrent Attention Network
Siemens Healthineers(西门子医疗);Rutgers University(罗格斯大学)
医学图像分割的任务通常涉及图像重建步骤,以在任何分析之前将采集的原始数据转换为图像。然而,由于重建过程中的噪声,伪影和信息丢失几乎是不可避免的,这损害了分割的最终性能。我们提出了一种新的学习框架,直接从k空间数据进行磁共振脑图像分割。端到端的框架包括一个独特的任务驱动的注意力模块,该模块反复利用中间分割估计,以促进从原始数据中的图像域特征提取,从而紧密地桥接重建和分割任务。此外,为了解决手动标记的挑战,我们引入了一种新的工作流程,通过利用成像模态模拟器和数字幻影生成标记的训练数据进行分割。大量的实验结果表明,该方法优于几个国家的最先进的方法。
2019-07-21 cs.CV
Sparse Spatial Attention Network for Semantic Segmentation
The University of Manchester(曼彻斯特大学)
空间注意力机制通过将全局上下文信息聚合到每个查询位置来捕获长距离依赖性,这有利于语义分割。在本文中,我们提出了一个稀疏空间注意力网络(SSANet),以提高空间注意力机制的效率,而不牺牲性能。具体而言,提出了一种稀疏非本地(SNL)块采样每个查询元素的键和值元素的子集,以自适应地捕获长程关系,并生成稀疏亲和矩阵,以有效地聚合上下文信息。在Cityscapes、PASCAL Context和ADE 20K数据集上的实验结果表明,该方法的性能优于其他上下文聚合方法,达到了最先进的性能。
2021-09-04 cs.CV
Attention Based Semantic Segmentation on UAV Dataset for Natural Disaster Damage Assessment
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
气候变化的有害影响包括世界各地发生的更强和更具破坏性的飓风。识别一个地区不同的受损结构,包括建筑物和道路,是至关重要的,因为它有助于救援队计划他们的努力,以尽量减少自然灾害造成的损失。语义分割有助于识别图像的不同部分。我们在高分辨率无人机数据集上实现了一种新的基于自注意的语义分割模型,并在测试集上获得了约88%的平均IoU分数。这一研究结果对在自然灾害损失评估中使用自我注意方案具有一定的启发意义,可以挽救生命,减少经济损失。
2021-06-01 cs.CV
Attention-based fusion of semantic boundary and non-boundary information to improve semantic segmentation
Universidade Federal da Bahia(巴伊亚联邦大学);Universidade Federal do Maranhão(马拉尼昂联邦大学)
提出了一种基于深度卷积神经网络的图像语义分割方法。我们建议的主要目标是探索对象边界信息,以提高整体分割性能。与以前的作品,结合边界和分割功能,或那些使用边界信息来规范语义分割,我们提出了一种新的方法,体现到分割的边界信息。为此,我们的语义分割方法使用两个流,它们通过注意力门组合在一起,形成端到端的Y模型。据我们所知,我们的工作是第一次表明,边界检测可以提高语义分割时,通过语义融合门(注意力模型)融合。我们在公共数据集上对我们的方法进行了广泛的评估。在考虑相同的训练条件下,将我们提出的模型与其他12个最先进的分割器进行比较后,我们发现所有数据集上的结果都具有竞争力。我们提出的模型在CityScapes、CamVid和Pascal Context数据集上实现了最佳mIoU,在Mapillary Vistas上次之。
2021-08-05 cs.CV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Transformers在医学图像分割方面取得了巨大成功。然而,Transformers可能会表现出有限的泛化能力,由于潜在的单尺度自我注意力(SA)机制。在本文中,我们通过引入多尺度层次视觉Transformer(MERIT)骨干网络来解决这个问题,该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器,即级联注意力解码(CASCADE),以进一步细化MERIT生成的多阶段特征。最后,我们介绍了一种有效的多阶段特征混合损失聚合(MUTATION)方法,通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准(即,Synapse Multi-organ,ACDC)证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
Attention-guided Unified Network for Panoptic Segmentation
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Horizon Robotics, Inc.(地平线机器人公司);Johns Hopkins University(约翰斯·霍普金斯大学);Noah’s Ark Lab, Huawei Inc.(华为公司诺亚方舟实验室)
本文研究了全景分割,最近提出的任务,分割前景(FG)的对象在实例级别以及背景(BG)的内容在语义级别。现有的方法大多分别处理这两个问题,但在本文中,我们揭示了它们之间的潜在关系,特别是FG对象提供互补的线索,以帮助BG的理解。我们的方法,命名为注意力引导的统一网络(AUNet),是一个统一的框架,具有两个分支的FG和BG分割同时进行。BG分支中增加了两个关注源,即RPN和FG分割掩码,分别提供对象级和像素级关注。我们的方法被推广到不同的骨干,在FG和BG分割中具有一致的准确性增益,并且在MS-COCO(46.5%PQ)和Cityscapes(59.0%PQ)基准中也设置了新的最先进的技术。
2019-04-17 cs.CV
Saliency Guided Self-attention Network for Weakly and Semi-supervised Semantic Segmentation
Zhejiang University(浙江大学)
弱监督语义分割(WSSS)只使用图像级标签可以大大降低标注成本,因此吸引了相当大的研究兴趣。然而,其性能仍然不如完全监督的同行。为了缓解性能差距,我们提出了一个显着性引导的自我注意力网络(SGAN)来解决WSSS问题。引入的自我注意力机制能够捕获丰富而广泛的上下文信息,但可能会将注意力错误地传播到意想不到的区域。为了使该机制能够在弱监督下有效地工作,我们将类不可知的显着性先验集成到自我注意力机制中,并利用类特定的注意力线索作为SGAN的额外监督。我们的SGAN能够产生密集和准确的定位线索,从而提高分割性能。此外,通过简单地用部分标记的地面实况替换额外的监督,SGAN也有效地用于半监督语义分割。在PASCAL VOC 2012和COCO数据集上的实验表明,我们的方法在弱监督和半监督环境下的性能优于所有其他最先进的方法。
2020-01-12 cs.CV
Interlaced Sparse Self-Attention for Semantic Segmentation
Microsoft Research Asia(微软亚洲研究院);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学)
在本文中,我们提出了一个所谓的交错稀疏自注意的方法,以提高效率的\emph{self-attention}机制语义分割。其主要思想是将稠密亲和矩阵分解为两个稀疏亲和矩阵的乘积。存在两个连续的注意力模块,每个注意力模块估计稀疏亲和矩阵。第一关注模块用于估计具有长空间间隔距离的位置的子集内的亲和力,并且第二关注模块用于估计具有短空间间隔距离的位置的子集内的亲和力。这两个注意力模块被设计成使得每个位置能够接收来自所有其他位置的信息。与原始的自我注意模块相比,我们的方法大大降低了计算和内存的复杂性,特别是在处理高分辨率特征图时。我们经验验证了我们的方法的有效性六个具有挑战性的语义分割基准。
2019-07-30 cs.CV
w-Net: Dual Supervised Medical Image Segmentation Model with Multi-Dimensional Attention and Cascade Multi-Scale Convolution
Hebei University of Technology(河北工业大学);University of Macau(澳门大学);University of Oxford(牛津大学);Hospital of Joint Logistics Support Force(联勤保障部队第九八三医院)
基于深度学习的医学图像分割技术旨在自动识别和标注医学图像上的对象。非局部注意和多尺度特征学习被广泛用于网络建模,推动了医学图像分割的发展。然而,这些注意力机制方法对医学图像中的小目标具有弱的非局部感受野强化连接。然后,在抽象或粗糙的特征图中的重要小对象的特征可能被抛弃,这导致不令人满意的性能。现有的多尺度分割方法只针对不同尺度的图像,其稀疏的多尺度特征集对于小目标的分割不够丰富。在这项工作中,提出了一个多维的注意力分割模型与级联多尺度卷积预测准确分割医学图像中的小目标。作为权重函数,多维注意模块为重要/信息丰富的小对象特征提供系数修改。此外,在每个跳过连接路径中的级联多尺度卷积模块被用来捕获不同语义深度的多尺度特征。在三个数据集上评估了所提出的方法:KiTS 19,Decathlon-10的胰腺CT和MICCAI 2018 LiTS Challenge,证明了比最先进的基线更好的分割性能。
2020-11-15 cs.CV
Hierarchical Attention Networks for Medical Image Segmentation
Renmin University of China(中国人民大学);AInnovation Technology Co., Ltd.(创新奇智科技有限公司);Northwestern Polytechnical University(西北工业大学);Visionary Intelligence Ltd.(远景智能有限公司);Beijing Tongren Hospital(北京同仁医院);Peking Union Medical College Hospital(北京协和医院)
医学图像具有类间模糊性、高变异性和噪声等特点,其像素点的识别具有挑战性。与以往基于自注意的方法从一个层次获取上下文信息不同,本文从高阶图的角度重新构建了自注意力机制,提出了一种新的方法--层次注意力网络(HANet),用于解决医学图像分割问题。具体地,嵌入在HANet中的HA模块从多个级别的邻居捕获上下文信息,其中这些邻居是从高阶图中提取的。在高阶图中,只有当两个节点之间的相关性足够高时,它们之间才会有一条边,这自然减少了由于类间不区分而引起的噪声注意信息。所提出的HA模块对输入方差具有鲁棒性,并且可以灵活地插入到现有的卷积神经网络中。我们进行了三个医学图像分割任务,包括视盘/杯分割,血管分割,肺分割实验。大量的结果表明,我们的方法是更有效的和强大的比现有的国家的最先进的方法。
2019-11-25 cs.CV
Segmentation-Aware Convolutional Networks Using Local Attention Masks
Carnegie Mellon University(卡内基梅隆大学);Ryerson University(瑞尔森大学);Facebook AI Research(Facebook人工智能研究院)
我们介绍了一种在卷积神经网络(CNN)中集成分割信息的方法。这抵消了CNN跨区域平滑信息的趋势,并提高了它们的空间精度。为了获得分割信息,我们建立了一个CNN来提供一个嵌入空间,其中可以基于欧几里得距离来估计区域共同隶属度。我们使用这些嵌入来计算相对于每个神经元位置的局部注意力掩码。我们将这样的掩码合并到CNN中,并将卷积操作替换为“分段感知”变体,该变体允许神经元选择性地关注来自其自身区域的输入。我们将生成的网络称为分割感知的CNN,因为它根据局部分割线索在每个图像点处调整其滤波器。我们证明了我们的方法在两个不同的密集预测任务,涉及分类(语义分割)和回归(光流)的优点。我们的研究结果表明,在语义分割中,我们可以匹配DenseCRFs的性能,同时更快,更简单,在光流中,我们获得了比不使用局部注意力掩模的网络更清晰的响应。在这两种情况下,分割感知卷积都能在强基线上产生系统性的改进。这个工作的源代码可以在http://cs.cmu.edu/~aharley/segaware上获得。
2017-08-15 cs.CV
Joint Forecasting of Panoptic Segmentations with Difference Attention
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Waymo
预测表示对于安全和有效的自治是重要的。为此,全景分割在最近的工作中已经被研究为令人信服的代表。然而,最近关于全景分割预测的最新技术水平存在两个问题:第一,单独的对象实例被彼此独立地对待;第二,单独的对象实例预测以启发式方式合并。为了解决这两个问题,我们研究了一种新的全景分割预测模型,该模型使用基于“差异注意”的Transformer模型联合预测场景中的所有对象实例。它通过考虑深度估计进一步完善了预测。我们在Cityscapes和AIODrive数据集上评估了所提出的模型。我们发现差异注意力特别适合于预测,因为位置等数量的差异使模型能够明确地推理速度和加速度。正因为如此,我们达到了最先进的全景分割预测指标。
2022-04-14 cs.CV
Semantic Attention and Scale Complementary Network for Instance Segmentation in Remote Sensing Images
在本文中,我们专注于具有挑战性的多类别实例分割问题的遥感图像(RSIs),其目的是预测的类别的所有实例和定位它们与像素级的面具。尽管许多地标框架在实例分割方面表现出了良好的性能,但背景和尺度变化实例的复杂性仍然对RSIs的实例分割具有挑战性。针对上述问题,本文提出了一种端到端的多类别实例分割模型,即语义注意力和尺度互补网络模型。该模型主要由语义注意力(SEA)模块和尺度互补掩码分支(SCMB)组成。SEA模块包含一个简单的全卷积语义分割分支,并具有额外的监督,以加强特征图上感兴趣实例的激活并减少背景噪声的干扰。为了处理具有大变化尺度的地理空间实例的欠分割,我们设计了SCMB,将原始的单掩码分支扩展为三叉掩码分支,并在不同尺度上引入互补掩码监督以充分利用多尺度信息。在iSAID数据集和NWPU实例分割数据集上进行了全面的实验,评估了所提出方法的有效性,并取得了良好的性能。
2021-07-25 cs.CV
Bi-Directional Attention for Joint Instance and Semantic Segmentation in Point Clouds
Shandong University(山东大学)
点云中的实例分割是理解3D场景的最细粒度的方法之一。由于它与语义分割的密切关系,许多作品同时处理这两个任务,并利用多任务学习的好处。然而,他们中的大多数人只考虑简单的策略,如元素的功能融合,这可能不会导致相互促进。在这项工作中,我们建立了一个双向注意力模块的骨干神经网络的三维点云感知,它使用的相似性矩阵测量的功能为一个任务,以帮助聚合非本地信息的其他任务,避免潜在的功能排除和任务冲突。通过对S3DIS数据集和PartNet数据集的综合实验和消融研究,验证了该方法的优越性。此外,本文还分析了双向注意模块帮助实例分割和语义分割联合的机制。
2020-03-11 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova(帕多瓦大学)
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景,然而最近的进展表明,使用深度数据允许进一步提高性能。在这项工作中,我们专注于基于transformer的深度学习架构,这些架构在分割任务上实现了最先进的性能,我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地,我们将网络扩展到多模态数据,而不添加任何参数,并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法,在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
Pyramid Attention Network for Semantic Segmentation
Beijing Institute of Technology(北京理工大学);Megvii Inc. (Face++)(旷视科技(Face++));Peking University(北京大学)
提出了一种金字塔注意力网络(PAN),以利用全局上下文信息在语义分割中的影响。与现有的大多数工作不同的是,我们结合注意力机制和空间金字塔提取精确的密集特征的像素标记,而不是复杂的扩张卷积和人工设计的解码器网络。具体来说,我们引入了一个特征金字塔注意力模块,用于在高级输出上执行空间金字塔注意力结构,并结合全局池化来学习更好的特征表示,以及每个解码器层上的全局注意力上采样模块,用于提供全局上下文作为低级特征的指导,以选择类别本地化细节。所提出的方法在PASCAL VOC 2012和Cityscapes基准测试中实现了最先进的性能,在PASCAL VOC 2012上的mIoU准确率达到了84.0%的新纪录,同时在没有COCO数据集的情况下进行训练。
2018-11-25 cs.CV
Enhancing Tree Type Detection in Forest Fire Risk Assessment: Multi-Stage Approach and Color Encoding with Forest Fire Risk Evaluation Framework for UAV Imagery
本文通过引入多种多阶段目标检测器及CBAM注意力、随机擦除和颜色空间优化,提升无人机影像森林火灾风险评估中树种类型检测的准确性,并在加拿大不列颠哥伦比亚省数据上验证了有效性。
2024-08-06 cs.CV
Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对全局注意力易使对抗补丁扩散的问题,本文提出 RAM,通过最大注意力抑制和随机注意力丢弃优化注意力矩阵,增强语义分割模型对多种补丁攻击的鲁棒性。
2024-05-09 cs.CV
SegNeXt: Rethinking Convolutional Attention Design for Semantic Segmentation
Tsinghua University(清华大学);Nankai University(南开大学);Fitten Tech
我们提出了SegNeXt,一个简单的卷积网络架构的语义分割。最近的基于变换的模型已经主导了语义分割领域,由于编码空间信息的自注意效率。在本文中,我们证明了卷积注意是一种比Transformers中的自我注意力机制更有效的编码上下文信息的方式。通过重新审视成功的分割模型所具有的特征,我们发现了几个关键组件,导致分割模型的性能改进。这促使我们设计一种新的卷积注意力网络,使用廉价的卷积运算。在没有附加功能的情况下,我们的SegNeXt显著提高了以前最先进的方法在流行基准测试中的性能,包括ADE 20 K,Cityscapes,COCO-Stuff,Pascal VOC,Pascal Context和iSAID。值得注意的是,SegNeXt的性能优于EfficientNet-L2 w/ NAS-FPN,在Pascal VOC 2012测试排行榜上仅使用其1/10的参数就实现了90.6%的mIoU。平均而言,与ADE 20 K数据集上的最先进方法相比,SegNeXt在相同或更少的计算量下实现了约2.0%的mIoU改进。代码可在https://github.com/uyzhang/JSeg(Jittor)和https://github.com/Visual-Attention-Network/SegNeXt(Pytorch)上获得。
2022-09-18 cs.CV
J-CaPA : Joint Channel and Pyramid Attention Improves Medical Image Segmentation
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出J-CaPA模型,通过联合通道注意力与金字塔注意力机制并结合CutMix数据增强,在Synapse数据集上显著提升多器官分割精度,超越现有最先进方法。
2024-11-25 cs.CV
PraNet-V2: Dual-Supervised Reverse Attention for Medical Image Segmentation
Nankai Institute of Advanced Research (SHENZHEN-FUTIAN)(南开研究院(深圳福田));VCIP & CS, Nankai University(南开大学VCIP与计算机科学系);School of Computing, Australian National University(澳大利亚国立大学计算机学院);Unmanned System Research Institute, Northwestern Polytechnical University(西北工业大学无人系统研究院)
PraNet-V2通过双监督反向注意力模块提升医学图像多类分割性能,实现平均Dice分数提升1.36%
2026-01-19 cs.CV
iSeg: An Iterative Refinement-based Framework for Training-free Segmentation
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Big Data and Software Engineering, Chongqing University(重庆大学大数据与软件工程学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Linkoping University(林雪平大学)
本研究针对免训练分割任务,提出基于迭代优化的iSeg框架,通过熵降低自注意力模块和类别增强交叉注意力模块充分利用自注意力信息,在Cityscapes无监督语义分割上较现有最优免训练方法提升3.8% mIoU。
2024-10-08 cs.CV
Cross Attention Network for Semantic Segmentation
The University of Manchester(曼彻斯特大学)
在本文中,我们解决了语义分割任务与深度网络,结合上下文特征和空间信息。交叉注意网络由两个分支和一个特征交叉注意(FCA)模块组成。具体地说,浅分支用于保存低级别的空间信息,深分支用于提取高级别的上下文特征。然后引入FCA模块将这两个分支结合起来。与现有的大多数注意力机制不同,FCA模块分别从两个分支获取空间注意力图和通道注意力图,然后将它们进行融合。上下文特征用于在融合特征图中提供全局上下文指导,并且空间特征用于细化定位。该网络在Cityscapes和CamVid数据集上的性能优于其他实时方法,速度更快,具有轻量级骨干,并通过深层骨干实现了最先进的性能。
2019-07-25 cs.CV
A Mask Attention Interaction and Scale Enhancement Network for SAR Ship Instance Segmentation
University of Electronic Science and Technology of China(电子科技大学)
现有的合成孔径雷达(SAR)舰船实例分割模型大多没有实现掩模交互或交互性能有限。此外,它们的多尺度船舶实例分割性能适中,特别是对小型船舶。针对这些问题,提出了一种用于SAR舰船实例分割的掩模注意交互和尺度增强网络(MAI-SE-Net)。MAI使用一个空间中间池(ASPP)来获得多分辨率的特征响应,使用一个非局部块(NLB)来模拟长距离的空间依赖,使用一个级联的混洗注意块(CSAB)来提高交互效果。SE使用内容感知的特征重组块(CARAFEB)来生成额外的金字塔底层以提高小型船舶的性能,使用特征平衡操作(FBO)来改善尺度特征描述,并使用全局上下文块(GCB)来细化特征。在两个公开的SSDD和HRSID数据集上的实验结果表明,MAI-SE-Net的性能优于其他9个竞争模型,在SSDD上的检测AP和分割AP分别提高了4.7%和3.4%,在HRSID上的检测AP和分割AP分别提高了3.0%和2.4%.
2022-07-08 cs.CV
Few-shot Medical Image Segmentation with Cycle-resemblance Attention
Illinois Institute of Technology(伊利诺伊理工学院);University of Michigan(密歇根大学)
近年来,随着医学影像应用需求的增加和医学图像标注的专业化要求,少样本学习在医学图像语义分割领域得到了越来越多的关注。为了对有限数量的标记医学图像进行分割,大多数现有的研究使用原型网络(PN)并取得了令人信服的成功。然而,这些方法忽略了从所提出的表示网络中提取的查询图像特征,未能保持查询图像和支持图像之间的空间连接。在本文中,我们提出了一种新的自我监督的Few-Shot医学图像分割网络,并引入了一种新的循环相似注意力(CRA)模块,充分利用查询和支持医学图像之间的像素级关系。值得注意的是,我们首先将多个注意力块排列起来,以提炼更丰富的关系信息。然后,我们提出CRAPNet的CRA模块与一个经典的原型网络,查询和支持功能之间的像素明智的关系被很好地捕捉分割集成。在两个不同的医学图像数据集上进行了广泛的实验,例如,腹部MRI和腹部CT,证明了我们的模型优于现有的最先进的方法。
2022-12-07 cs.CV
DPANET:Dual Pooling Attention Network for Semantic Segmentation
Northwestern Polytechnical University(西北工业大学)
图像分割是一项历史悠久、意义重大的计算机视觉课题。在深度学习技术的帮助下,图像语义分割取得了很大的进展。近年来,基于注意力机制的引导与CNN相比,克服了不同通道之间缺乏交互性的问题,有效地捕捉和聚合了上下文信息。然而,注意力机制产生的海量运算导致其复杂度极高,对GPU内存的需求也极高。为此,我们提出了一个轻量级和灵活的神经网络命名为双池注意力网络(DPANet)。最重要的是DPANet中的所有模块都生成\textbf{0}参数。第一个部分是空间池注意模块,我们密集地构造了一个简单而强大的上下文特征提取方法,大大减少了计算量和复杂度,同时也展示了均匀大核的强大功能。第二部分是频道池关注模块。众所周知,CNN的计算过程结合了空间维度和信道维度的信息。因此,本模块的目的是将它们剥离出来,以便构建所有通道之间的关系,并有选择地增强不同通道的语义信息。在分割数据集上的实验表明,该方法简单有效,参数少,计算复杂度低。
2022-10-11 cs.CV
A Novel Focal Tversky loss function with improved Attention U-Net for lesion segmentation
Ryerson University(瑞尔森大学)
针对医学图像分割中的数据不平衡问题,提出了一种基于Tversky指数的广义焦点损失函数。与常用的Dice损失相比,我们的损失函数在对病变等小结构进行训练时,在准确率和召回率之间实现了更好的权衡。为了评估我们的损失函数,我们改进了注意力U-网络模型,通过加入图像金字塔来保留上下文特征。我们在BUS 2017数据集和ISIC 2018数据集上进行了实验,其中病变分别占图像面积的4.84%和21.4%,与标准U-Net相比,分割精度分别提高了25.7%和3.6%。
2018-10-18 cs.CV
SCAttNet: Semantic Segmentation Network with Spatial and Channel Attention Mechanism for High-Resolution Remote Sensing Images
Central South University(中南大学);Yunnan Normal University(云南师范大学)
高分辨率遥感图像(HRRSIs)包含了大量的地物信息,如纹理、形状和空间位置。语义分割是元素提取的重要环节,在海量HRRIS处理中得到了广泛的应用。然而,由于地物的多样性和复杂性,HRRSI往往表现出较大的类内方差和较小的类间方差,从而给语义分割任务带来了很大的挑战。在本文中,我们提出了一个新的端到端的语义分割网络,它集成了轻量级的空间和通道注意力模块,可以自适应地细化功能。我们比较我们的方法与几个经典的方法在ISPRS Vaihingen和波茨坦数据集。实验结果表明,该方法能取得较好的语义分割效果。源代码可在https://github.com/lehaifeng/SCAttNet上获得。
2020-05-07 cs.CV
Attention-Based Prototype Calibration for Multi-Rater Few-Shot Medical Image Segmentation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出一种注意力原型校准框架,通过建模评估者特异性偏差,在不修改骨干网络的情况下实现个性化分割,有效提升多评估者少样本分割性能。
2026-06-26 cs.CV
Semantic Segmentation with Reverse Attention
全卷积神经网络的最新发展使语义分割的有效端到端学习成为可能。传统上,卷积分类器被教导学习标记语义对象的代表性语义特征。在这项工作中,我们提出了一种反向注意力网络(RAN)架构,该架构训练网络捕获相反的概念(即,不与目标类相关联的内容)。RAN是一个三分支网络,同时执行直接、反向和反向注意力学习过程。大量的实验表明,RAN在语义分割中的有效性。基于DeepLabv 2-LargeFOV构建,RAN在具有挑战性的PASCAL-Context数据集上获得了最先进的mIoU得分(48.1%)。PASCAL-VOC、Person-Part、NYUDv 2和ADE 20 K数据集的性能也有显著改善。
2017-07-20 cs.CV
FIAS: Feature Imbalance-Aware Medical Image Segmentation with Dynamic Fusion and Mixing Attention
针对CNNs与Transformer特征直接融合导致的特征不平衡和冗余问题,提出FIAS网络,通过双路径编码器(DilateFormer+DMK卷积)提取全局与局部特征,结合CAF模块动态平衡特征,并以MixAtt解码器提升精度,在医学图像分割任务中表现出竞争力。
2024-11-27 cs.CV
RefineVIS: Video Instance Segmentation with Temporal Attention Refinement
Microsoft Cloud and AI(微软云计算与人工智能部门)
本文提出 RefineVIS 视频实例分割框架,通过分离关联与分割表征、对比学习及时序注意力优化模块,支持在线与离线推理,并在多个基准上达到最先进精度。
2023-06-07 cs.CV