Pixel-wise Attentional Gating for Parsimonious Pixel Labeling
University of California, Irvine（加州大学欧文分校）
为了在计算预算有限的情况下实现每像素标记任务中的简约推理，我们提出了一个\emph{Pixel-wise Attentional Gating}单元（\emph{PAG}），它学习选择性地处理深度卷积网络每层的空间位置子集。PAG是一种通用的、独立于体系结构的、与问题无关的机制，可以很容易地通过微调“插入”到现有模型中。我们以两种方式利用PAG：1）学习空间变化的池化字段，提高模型性能，而无需与多尺度池化相关的额外计算成本，以及2）为每个像素学习动态计算策略，以减少总计算量，同时保持准确性。我们广泛评估PAG的各种每像素标记任务，包括语义分割，边界检测，单眼深度和表面法线估计。我们证明，PAG允许在这些任务上的竞争力或最先进的性能。我们的实验表明，PAG在输入图像上学习计算的动态空间分配，与相关方法相比，这提供了更好的性能权衡（例如，截断深度模型或动态跳过整个层）。通常，我们观察到PAG可以通过$10\%$减少计算，而没有明显的准确性损失，并且当施加更强的计算约束时，性能优雅地降低。
2018-12-18 cs.CV
Multi-encoder ConvNeXt Network with Smooth Attentional Feature Fusion for Multispectral Semantic Segmentation
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；ESPOL Polytechnic University（ESPOL理工大学）
本文提出MeCSAFNet，一种多分支编码器-解码器架构，用于多光谱图像的土地覆盖分割。通过双ConvNeXt编码器分别处理可见和非可见通道，结合CBAM注意力和ASAU激活函数，提升多尺度特征融合效果，实验显示在FBP和Potsdam数据集上性能显著提升。
2026-10-08 cs.AI cs.CV
Threshold Attention Network for Semantic Segmentation of Remote Sensing Images
State Key Laboratory of Public Big Data, College of Computer Science and Technology, Guizhou University（贵州大学计算机科学与技术学院 公共大数据国家重点实验室）；School of Mathematics and Big Data, Guizhou Education University（贵州师范学院数学与大数据学院）
针对遥感图像语义分割中自注意力机制计算复杂度高、存在信息冗余的问题，提出阈值注意力机制及TANet网络，通过两个专用模块实现特征增强与多尺度信息获取，在公开数据集上表现优于现有最优模型。
2025-01-14 cs.CV
Co-Scale Conv-Attentional Image Transformers
University of California San Diego（加利福尼亚大学圣迭戈分校）
在本文中，我们提出了共尺度的conv-attentional图像Transformers（CoaT），一个基于变压器的图像分类器配备了共尺度和conv-attentional机制。首先，co-scale机制在各个尺度上保持了Transformers的编码器分支的完整性，同时允许在不同尺度上学习的表示有效地相互通信;我们设计了一系列串行和并行块来实现co-scale机制。其次，我们设计了一个对流注意力机制，通过实现一个相对位置嵌入公式的因式分解的注意力模块与一个有效的卷积实现。CoaT为图像Transformers提供了丰富的多尺度和上下文建模功能。在ImageNet上，与类似大小的卷积神经网络和图像/视觉Transformer相比，相对较小的CoaT模型获得了更好的分类结果。CoaT的骨干的有效性也说明了目标检测和实例分割，证明其适用于下游计算机视觉任务。
2021-08-26 cs.CV cs.LG cs.NE
Exploring Set Similarity for Dense Self-supervised Representation Learning
University of Sydney（悉尼大学）；Kuaishou Technology（快手科技）；Xidian University（西安电子科技大学）；University of Melbourne（墨尔本大学）
通过考虑空间对应性，密集自监督表示学习在各种密集预测任务上取得了优异的性能。然而，像素级对应往往是嘈杂的，因为许多类似的误导像素，例如，背景为了解决这个问题，在本文中，我们建议探索\textbf{set} \textbf{sim} ilarity（SetSim）的密集自监督表示学习。由于集合包含更多的语义和结构信息，我们将像素相似性学习推广到集合相似性学习，以提高鲁棒性。具体来说，通过诉诸注意力的意见，我们建立相应的集，从而过滤掉嘈杂的背景，可能会导致不正确的对应关系。同时，这些注意特征可以保持同一图像在不同视角下的一致性，以缓解语义不一致。我们进一步搜索集合的交叉视图最近邻，并采用结构化的邻域信息来增强鲁棒性。实验结果表明，SetSim在目标检测、关键点检测、实例分割和语义分割方面优于现有的方法。
2022-03-14 cs.CV
Fully Attentional Networks with Self-emerging Token Labeling
NVIDIA（英伟达）；Clemson University（克莱姆森大学）；Fudan University（复旦大学）；Caltech（加州理工学院）
本文提出自生成标记标签 (STL) 两阶段训练框架，通过生成语义补丁标记标签改进 Fully Attentional Network (FAN) 预训练，在多个 ImageNet 基准及下游语义分割任务上显著提升了鲁棒性与准确率。
2024-01-08 cs.CV
EOVSAM: Efficient Open-Vocabulary Segmentation with SAM 3 in One Pass
EOVSAM是适配SAM 3的高效开放词汇分割框架，通过单遍预测、注意力聚合策略提升精度，推理速度最高提338倍，在多基准上兼具高精度与快速度优势。
2026-08-04 cs.CV
Understanding The Robustness in Vision Transformers
National University of Singapore（新加坡国立大学）；NVIDIA（英伟达）；The University of Hong Kong（香港大学）；ASU（亚利桑那州立大学）；Caltech（加州理工学院）；ByteDance（字节跳动）
最近的研究表明，视觉Transformer（ViTs）表现出强大的鲁棒性，对各种腐败。虽然这种特性部分归因于自我注意力机制，但目前仍缺乏系统的认识。在本文中，我们研究了自我注意在学习鲁棒表征中的作用。我们的研究的动机是有趣的属性新兴的视觉分组在视觉Transformer，这表明，自我注意力可能会促进鲁棒性，通过改进的中级表示。我们进一步提出了一个家庭的完全注意力网络（FAN），加强这种能力，通过将注意力通道处理设计。我们全面验证了各种层次骨干的设计。我们的模型在ImageNet-1 k和ImageNet-C上实现了最先进的87.1%的准确率和35.8%的mCE，参数为76.8M。我们还展示了最先进的准确性和鲁棒性在两个下游任务：语义分割和目标检测。代码可在：https://github.com/NVlabs/FAN.
2022-11-08 cs.CV
Recurrent Scene Parsing with Perspective Understanding in the Loop
University of California, Irvine（加州大学尔湾分校）
物体可能以任意尺度出现在场景的透视图像中，这对以固定分辨率处理图像的识别系统构成了挑战。我们提出了一个深度感知门控模块，根据对象尺度（与深度成反比）自适应地选择卷积网络架构中的池域大小，以便为远处的对象保留小细节，而较大的感受野用于附近的对象。深度选通信号由立体视差提供或直接从单目输入估计。我们将这种深度感知门控集成到一个循环卷积神经网络中，以执行语义分割。我们的循环模块迭代地细化分割结果，利用以前迭代的深度和语义预测。通过在四个流行的大规模RGB-D数据集上的广泛实验，我们证明了这种方法具有竞争力的语义分割性能，模型更加紧凑。我们对这种架构进行了广泛的分析，包括在单目RGB上操作但在训练过程中使用深度作为边信息的变体，无监督门控作为通用注意力机制，以及多分辨率门控。我们发现，联合语义分割和深度的门控池产生定量单目深度估计的最先进的结果。
2017-12-06 cs.CV
SpectraFlow: Unifying Structural Pretraining and Frequency Adaptation for Medical Image Segmentation
School of Computer Science（计算机科学学院）；Engineering, Sun Yat-sen University（工程，中山大学）；Guangdong Key Laboratory of Big Data Analysis（大数据分析与处理重点实验室）
本文提出SpectraFlow框架，结合结构感知编码器预训练与边界导向解码，解决低数据下医学图像分割的挑战，提升鲁棒性和边界精度。
2026-05-14 cs.CV
Point-Unet: A Context-aware Point-based Neural Network for Volumetric Segmentation
VinAI Research（VinAI研究院）；University of Science, VNU-HCM（胡志明市国家大学科学大学）；University of Arkansas（阿肯色大学）；VinUniversity
针对体素网格分割内存与计算开销高的问题，提出Point-Unet，通过注意力概率图采样稀疏3D点云并用点网络分割，在多个医学数据集上实现更优精度、内存与测试效率。
2024-02-28 cs.CV
Large Language Model Evaluated Stand-alone Attention-Assisted Graph Neural Network with Spatial and Structural Information Interaction for Precise Endoscopic Image Segmentation
Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）；Department of Electronic and Computer Engineering, University of Massachusetts, Lowell（马萨诸塞大学低罗分校电子与计算机工程系）；Department of Radiology, Northwestern University（西北大学放射科）
针对内窥镜息肉分割挑战，提出FOCUS-Med模型，通过双图卷积网络、独立自注意力和快速归一化融合策略整合空间与结构信息，并首次引入大语言模型进行定性评估，在五项关键指标上达到最先进水平。
2025-08-09 cs.CV
Attentional Prototype Inference for Few-Shot Segmentation
Shandong University（山东大学）；Alibaba Group（阿里巴巴集团）；University of Amsterdam（阿姆斯特丹大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；United Imaging Intelligence（联影智能）
本文提出注意力原型推断（API），通过概率建模全局类别原型并引入查询图像局部注意力潜变量，以变分贝叶斯推断优化，有效缓解小样本分割中的不确定性，在多个基准上取得优于现有原型方法的性能。
2023-05-30 cs.CV
Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation From Multimodal Unpaired Images
South China University of Technology（华南理工大学）；University of Utah（犹他大学）
在医学应用中，尽管图像特性不同，但可以在多种模态中观察到相同的解剖结构。目前，用于多模态分割的大多数深度模型依赖于成对的注册图像。然而，多模态配对配准图像在许多情况下是难以获得的。因此，开发一个模型，可以分割的目标对象从不同的模式与不成对的图像是有意义的许多临床应用。在这项工作中，我们提出了一种新的双流翻译和分割统一注意生成对抗网络（UAGAN），它可以执行任何到任何图像模态翻译和分割的目标对象的情况下，两个或两个以上的模态是可用的。平移流用于捕获目标解剖结构的模态不变特征。此外，为了专注于与分割相关的特征，我们添加了注意力块来从翻译流中提取有价值的特征。三模态脑肿瘤分割的实验表明，UAGAN在大多数情况下优于现有的方法。
2019-07-08 cs.CV eess.IV
Rethinking Decoders for Transformer-based Semantic Segmentation: A Compression Perspective
School of Artificial Intelligence（人工智能学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文从压缩视角重新解释Transformer语义分割解码器，提出白盒注意力解码器DEPICT，在ADE20K上优于Segmenter且更轻量鲁棒。
2025-10-09 cs.CV cs.LG
Axial-DeepLab: Stand-Alone Axial-Attention for Panoptic Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
卷积利用局部性来提高效率，代价是丢失长范围上下文。自注意力已经被用来增强具有非局部相互作用的CNN。最近的工作证明，通过将注意力限制在局部区域，可以堆叠自我注意层以获得完全注意力网络。在本文中，我们试图通过将2D自注意分解为两个1D自注意来消除这个约束。这降低了计算复杂度，并允许在更大或甚至全局区域内执行注意力。在同伴中，我们还提出了一个位置敏感的自我注意设计。将两者结合起来就产生了我们的位置敏感轴向注意层，这是一种新的构建块，可以堆叠形成用于图像分类和密集预测的轴向注意模型。我们证明了我们的模型在四个大规模数据集上的有效性。特别是，我们的模型优于ImageNet上所有现有的独立自我注意力模型。我们的Axial-DeepLab在COCO测试开发上比自下而上的最先进技术提高了2.8% PQ。我们的小变体实现了先前的最先进技术，其参数效率为3.8倍，计算效率为27倍。Axial-DeepLab还在Mapillary Vistas和Cityscapes上实现了最先进的结果。
2020-08-06 cs.CV cs.LG
DeformUX-Net: Exploring a 3D Foundation Backbone for Medical Image Segmentation with Depthwise Deformable Convolution
Vanderbilt University（范德堡大学）
针对现有医学图像分割3D模型的算子局限，研究提出3D DeformUX-Net体素CNN骨干网络，结合深度可变形卷积与重参数化三平面偏移实现高效自适应建模，在多类公开数据集上的平均Dice指标均优于现有最先进模型。
2023-10-04 cs.CV
CAFCT-Net: A CNN-Transformer Hybrid Network with Contextual and Attentional Feature Fusion for Liver Tumor Segmentation
School of Information Technology, Monash University（莫纳什大学信息技术学院）
针对CT图像肝肿瘤自动分割问题，提出融合上下文与注意力特征的CNN-Transformer混合网络CAFCT-Net，通过引入AFF、ASPP、AG模块增强边界上下文信息，在LiTS数据集上取得优于纯CNN/Transformer方法的分割精度。
2024-10-04 cs.CV eess.SP stat.AP
Attentional Triple-Encoder Network in Spatiospectral Domains for Medical Image Segmentation
University of Massachusetts Boston, USA（马萨诸塞大学波士顿分校）；Giant Network AI Lab, China（巨人网络人工智能实验室）
本文提出了一种结合空间和光谱域的三编码网络，通过注意力机制提升医学图像分割的Dice分数，实现更精确的OCT分割。
2025-03-20 cs.AI cs.CV eess.IV
TransGUNet: Transformer Meets Graph-based Skip Connection for Medical Image Segmentation
Inha University（仁荷大学）
本文提出 TransGUNet，通过 ACS-GNN 图跳跃连接和 EFS 空间注意力增强多模态医学图像分割，在 6 个已见与 8 个未见数据集上取得更优性能和效率。
2025-02-14 cs.AI cs.CV
Multi-Scale Attentional Network for Multi-Focal Segmentation of Active Bleed after Pelvic Fractures
The Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）；R. Adams Cowley Shock Trauma Center（R·亚当斯·考利休克创伤中心）
创伤是全球45岁以下人群死亡和残疾的主要原因，骨盆骨折是发病率和死亡率的主要来源。腹盆创伤CT的多个动脉出血灶的自动分割可以提供活动性出血总程度的快速客观测量，可能增强护理点的结果预测，同时改善患者分诊，分配适当的资源和确定性干预的时间。尽管活动性出血在创伤护理的快节奏中很重要，但由于出血灶的对比度、强度、位置、大小、形状和多样性，这项任务仍然相当具有挑战性。现有的工作[4]提出了一种启发式的基于规则的分割技术，需要多个阶段，不能有效地优化端到端。为此，我们提出了多尺度注意力网络（MSAN），第一个可靠的端到端网络，用于自动分割对比增强创伤CT扫描的活动性出血。MSAN由以下组件组成：1）编码器，其完全集成来自整体2D切片的全局上下文信息; 2）在训练阶段和推理阶段应用的多尺度策略，以处理由目标尺寸变化引起的挑战; 3）注意模块，以进一步细化深度特征，从而获得更好的分割质量;以及4）充分利用3D信息的多视图机制。我们的MSAN报告了在DSC方面与现有技术相比超过7%的显著改进。
2019-09-03 cs.CV eess.IV
Generalisable Cardiac Structure Segmentation via Attentional and Stacked Image Adaptation
Technical University of Munich（慕尼黑工业大学）；Southern University of Science and Technology（南方科技大学）
处理多中心和多供应商数据集中的域转移对于心脏图像分割仍然具有挑战性。在本文中，我们提出了一个通用的心脏图像分割框架，其中涉及多中心，多供应商，多疾病数据集。提出了一种具有注意力损失的生成对抗网络，将图像从现有的源域转换到目标域，从而生成高质量的合成心脏结构并扩大训练集。我们进一步使用了一系列数据增强技术来模拟真实世界的转换，以提高不可见领域的分割性能。在四家供应商的隐藏验证集上，我们实现了左心室90.3%的平均Dice评分，心肌85.9%，右心室86.5%。我们表明，在异构心脏成像数据集的域移位可以大大减少两个方面：1）高质量的合成数据，通过学习潜在的目标域分布，和2）堆叠的经典图像处理技术的数据增强。
2020-09-15 cs.CV eess.IV
A Late-Stage Bitemporal Feature Fusion Network for Semantic Change Detection
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对语义变化检测中三分支结构纠缠、难以结合基础模型及双时相特征融合缺乏显式细化的问题，本文提出后期双时相特征融合网络，并通过局部-全局注意力聚合与上下文增强模块，在SECOND和Landsat-SCD上达到新SOTA。
2024-06-15 cs.CV
Two-stage MR Image Segmentation Method for Brain Tumors based on Attention Mechanism
提出基于注意力机制的CASP-GAN生成网络和AGCMS分割方法，实现脑肿瘤多模态MR图像的高质量生成与分割，在PSNR、SSMI和RMSE上优于现有方法。
2023-10-10 cs.CV cs.LG eess.IV
Deciphering 'What' and 'Where' Visual Pathways from Spectral Clustering of Layer-Distributed Neural Representations
University of Chicago（芝加哥大学）；TTI-Chicago（芝加哥理工学院）
本研究提出一种基于谱聚类的神经网络激活分析方法，通过整合所有层特征提取空间布局与语义分割，揭示了生成式Transformer中键/查询对应空间通路、值向量对应语义通路的计算机制。
2024-06-20 cs.CV
MARL: Multimodal Attentional Representation Learning for Disease Prediction
RMIT University（皇家墨尔本理工大学）；Qatar University（卡塔尔大学）
现有的学习模型通常利用CT扫描图像来预测肺部疾病。这些模型由影响肺部分割和视觉特征学习的高不确定性构成。我们介绍MARL，一种新的多模态注意表示学习模型架构，学习有用的功能，从多模态数据下的不确定性。我们为所提出的模型提供肺部CT扫描图像和他们的透视历史患者的生物记录。如此丰富的数据有助于分析该疾病的空间和时间方面。MARL采用基于模糊的图像空间分割来克服CT扫描图像中的不确定性。然后，我们利用预先训练的卷积神经网络（CNN）从图像中学习视觉表示向量。我们从分割的图像中增加患者的数据与统计特征。我们开发了一个长短期记忆（LSTM）网络来表示增强的数据并学习疾病进展的顺序模式。最后，我们将CNN和LSTM特征向量注入注意力层，以帮助专注于最佳学习特征。我们评估了MARL对肺部疾病进展和状态分类的回归。MARL优于最先进的CNN架构，如EfficientNet和DenseNet，以及基线预测模型。它达到了91%的R^2分数，比其他模型高出8%到27%。此外，MARL在二进制和多类分类中分别达到97%和92%的准确率。MARL提高了最先进的CNN模型的准确性，范围为19%至57%。结果表明，结合空间和时序特征可以产生更好的鉴别特征。
2021-05-01 cs.CV
MOSAIC: A Multi-View 2.5D Organ Slice Selector with Cross-Attentional Reasoning for Anatomically-Aware CT Localization in Medical Organ Segmentation
King Fahd University of Petroleum and Minerals（国王法赫德石油和矿产大学）
针对腹部CT多器官分割中3D方法开销大、2D方法缺跨视图上下文的问题，提出带VLM的2.5D多视图切片选择器MOSAIC，还提出SLC评估指标，可在保解剖保真度的同时降低下游分割成本。
2025-05-15 cs.CV eess.IV
Saliency-Guided Perceptual Grouping Using Motion Cues in Region-Based Artificial Visual Attention
University of Paderborn（帕德博恩大学）
基于区域的人工注意力构成了一个框架，生物启发的注意力过程的中间抽象层次上使用的计算机视觉和移动机器人。分割算法产生相干着色像素的区域。这些作为原型对象的注意过程确定相关的图像部分。一个单独的区域--不一定代表一个完整的对象--构成了注意力的焦点。然而，对于许多后注意任务，例如识别或跟踪对象，单个片段是不够的。在这里，我们提出了一个显着性指导的方法，分组区域可能属于同一对象的基础上接近和相似的运动。我们比较我们的结果，通过阈值显着图和进一步的注意力引导策略的对象选择。
2013-07-22 cs.CV
Attentional Neural Network: Feature Selection Using Cognitive Feedback
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；NYU Shanghai（上海纽约大学）
注意神经网络是一个新的框架，它集成了自上而下的认知偏见和自下而上的特征提取在一个连贯的架构。自上而下的影响在处理高噪声或困难的分割问题时特别有效。我们的系统是模块化和可扩展的。它也很容易训练和运行成本低，但可以适应复杂的行为。我们获得的分类精度优于或竞争力的MNIST变化数据集上的最先进的结果，并成功地解开重叠的数字与高成功率。我们认为这样一个通用的框架是一个更大的系统模拟整个大脑的认知能力的重要基础。
2014-11-19 cs.CV cs.NE
Local Context Attention for Salient Object Segmentation
Megvii Research（旷视研究院）
显著目标分割的目的是区分各种显著目标和背景。显著对象虽然缺乏语义一致性，但往往具有明显的局部纹理特征和位置特征。基于这一先验，我们提出了一种新的局部上下文注意力网络（LCANet）生成局部增强特征映射在一个统一的表示架构。该网络引入了一个注意力相关过滤器（ACF）模块，通过计算粗预测和全局上下文之间的相关性特征映射来生成显式的局部注意力。然后将其扩展为本地上下文块（LCB）。此外，一个阶段的粗到精的结构，实现了基于LCB自适应增强局部上下文描述能力。在几个显著对象分割数据集上进行了全面的实验，证明了所提出的LCANet对最先进的方法的优越性能，特别是在DUTS-TE数据集上具有0.883的最大F分数和0.034的MAE。
2020-09-24 cs.CV
A Robotics-Inspired Scanpath Model Reveals the Importance of Uncertainty and Semantic Object Cues for Gaze Guidance in Dynamic Scenes
Department One（第一部门）；Department Two（第二部门）；Science of Intelligence, Research Cluster of Excellence（卓越集群“智能科学”）
针对动态场景中对象分割与注视行为独立处理的问题，本文提出受机器人学启发的贝叶斯滤波递归分割模型，通过不确定性估计引导注视，揭示不确定性与语义线索的作用，其行为与人类扫描路径高度相似且支持扩展。
2025-02-11 cs.AI cs.CV q-bio.NC
Reasoning About Human-Object Interactions Through Dual Attention Networks
University of California, Berkeley（加州大学伯克利分校）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM沃森人工智能实验室，IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）；The Chinese University of Hong Kong（香港中文大学）
对象是我们作用的实体，其中对象的功能取决于我们如何与它交互。在这项工作中，我们提出了一个双注意力网络模型的原因，人与对象的交互。双注意框架分别对物体和动作的重要特征进行加权。因此，对对象和动作的识别是相互受益的。该模型在人-物交互数据集Something-Something上显示出有竞争力的分类性能。此外，它可以执行弱时空定位和启示分割，尽管只使用视频级标签进行训练。该模型不仅可以发现动作何时发生以及哪个对象正在被操作，还可以识别对象的哪个部分正在被交互。项目页面：\url{https://dual-attention-network.github.io/}。
2019-09-10 cs.CV
SAFViT: Spatial Attention Fusion Gating for Vision Transformer-Based Nucleus Segmentation and Classification
School of Computer Science, University of Leeds（利兹大学计算机学院）
本研究针对数字病理学中细胞分割与分类的冗余信息问题，提出SAF门控模块替换CellViT的传统跳跃连接，在PanNuke和MoNuSeg数据集上使mPQ达0.471，死亡类F1分数提升14.5个百分点。
2026-07-31 cs.AI cs.CV
TeSG: Textual Semantic Guidance for Infrared and Visible Image Fusion
Xidian University（西电大学）；Chongqing University of Post and Telecommunications（重庆邮电大学）
针对红外与可见光图像融合中文本语义利用不足的问题，提出TeSG方法，通过掩码与文本双层语义引导，结合三个模块优化融合，提升下游任务性能。
2025-06-20 cs.CV
