Uncertainty-Aware Attention for Reliable Interpretation and Prediction
UNIST(蔚山科学技术院);KAIST(韩国科学技术院);AITrics(AITrics公司);Yonsei University College of Medicine(延世大学医学院);University of Oxford(牛津大学)
注意力机制在将深度学习模型聚焦于相关特征和解释它们方面都是有效的。然而,注意力可能是不可靠的,因为生成它们的网络通常是以弱监督的方式训练的。为了克服这一限制,我们将依赖于输入的不确定性的概念引入注意力机制,这样它就可以根据给定的输入为每个具有不同程度噪声的特征生成注意力,从而在不确定的情况下学习更大的方差。我们使用变分推断学习这种不确定性感知注意力(UA)机制,并在电子健康记录的各种风险预测任务上验证它,我们的模型显着优于现有的注意力模型。对学习注意力的分析表明,我们的模型产生的注意力符合临床医生的解释,并通过学习方差提供更丰富的解释。进一步评估的不确定度校准和预测性能的准确性与“我不知道”的决定表明,UA产量网络的可靠性也很高。
2018-05-24 cs.AI cs.LG stat.ML
CATNet: Cross-event Attention-based Time-aware Network for Medical Event Prediction
Harbin Institute of Technology Shenzhen Graduate School(哈尔滨工业大学深圳研究生院);Pengcheng Laboratory(鹏城实验室);Gennlife (Beijing) Technology Co Ltd(基因生活(北京)科技有限公司)
医疗事件预测(MEP)是医学领域的一项基本任务,它需要根据历史病历对医疗事件进行预测,包括用药、诊断代码、实验室检查、程序、结果等。由于医疗数据是一种复杂的时间序列数据,具有异构性和时间不规则性,因此该任务具有挑战性。许多机器学习方法,考虑到这两个特点已经提出了医疗事件预测。然而,大多数文献将这两个特征分开考虑,忽视了不同类型医疗事件之间的相关性,尤其是历史医疗事件与目标医疗事件之间的相关性。在本文中,我们提出了一种新的神经网络的基础上的注意力机制,称为跨事件的注意力为基础的时间感知网络(CATNet),医疗事件预测。它是一种时间感知、事件感知和任务自适应的方法,具有以下优点:1)统一建模异构信息和时态信息,分别考虑局部和全局的时态不规则特性; 2)通过跨事件注意,充分利用不同类型事件之间的相关性。在两个公共数据集(MIMIC-III和eICU)上的实验表明,CATNet可以适应不同的MEP任务,并且在各种MEP任务上优于其他最先进的方法。CATNet的源代码将在本文被接受后发布。
2022-04-29 cs.AI cs.LG
AASeg: Attention Aware Network for Real Time Semantic Segmentation
University of Maryland(马里兰大学)
本文提出AASeg实时语义分割网络,通过轻量级空间与通道注意力及多尺度上下文模块增强特征判别与上下文表示,在Cityscapes、ADE20K和CamVid上以较低计算开销实现精度与效率的优越平衡。
2025-07-05 cs.CV cs.LG eess.IV
AttentionDep: Domain-Aware Attention for Explainable Depression Severity Assessment
Department of Computer Science, University of York(约克大学计算机科学系);French-Azerbaijani University under Azerbaijan State Oil and Industry University(阿塞拜疆国家石油和工业大学下的法阿大学);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院);Department of Engineering, University of Aberdeen(阿伯丁大学工程系);École Polytechnique, Institut Polytechnique de Paris(巴黎理工学院)
针对社交媒体抑郁严重程度检测问题,提出融合上下文与领域知识的领域感知注意力模型AttentionDep,通过分层编码、交叉注意力融入知识图谱及有序回归预测,在分级F1上优于基线5%以上且具备可解释性。
2025-10-01 cs.AI cs.IR cs.LG
Position-Aware Sequential Attention for Accurate Next Item Recommendations
Skolkovo Institute of Science and Technology(斯克尔科夫科学与技术研究所);AIRI
本文提出位置核化的自注意力机制,用于提升序列推荐的准确性。
2026-02-24 cs.AI cs.IR cs.LG
Sequential Recommendation with Relation-Aware Kernelized Self-Attention
最近的研究表明,顺序推荐是由注意力机制改善。通过这种发展,我们提出了一个自注意力机制的Transformer的概率模型的增强的感知核自注意力(RKSA)。Transformer最初的自注意力是一种确定性测度,没有关系意识。因此,我们引入了一个潜在的空间的自注意力力,和潜在的空间模型的推荐上下文的关系作为一个多变量的偏态正态分布与核化协方差矩阵的同现,项目的特点,和用户信息。该工作通过添加推荐任务细节的概率模型,将Transformer的自注意力和顺序推荐相结合。我们在基准数据集上进行了RKSA实验,与最近的基线模型相比,RKSA显示出显着的改进。此外,RKSA还能够生成一个潜在空间模型来回答推荐的原因。
2019-11-15 cs.IR cs.LG stat.ML
Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse
Institute for Artificial Intelligence, Peking University, Beijing(人工智能研究院,北京大学,北京);School of Integrated Circuits, Peking University, Beijing(集成电路学院,北京大学,北京)
本文通过理论和实证证明注意力汇聚自然构建了注意力层内的混合专家机制,并提出汇聚感知训练算法以缓解头部坍塌问题,提升模型性能。
2026-05-27 cs.CL cs.LG
MeGA-CDA: Memory Guided Attention for Category-Aware Unsupervised Domain Adaptive Object Detection
Johns Hopkins University(约翰斯·霍普金斯大学);Mercedes-Benz Research and Development India(梅赛德斯-奔驰印度研发中心)
现有的无监督域自适应目标检测方法通过对抗训练来执行特征对齐。虽然这些方法在性能上实现了合理的改进,但它们通常执行与类别无关的域对齐,从而导致特征的负转移。为了克服这个问题,在这项工作中,我们试图将类别信息到领域自适应过程中提出的记忆引导注意类别感知领域自适应(MeGA-CDA)。所提出的方法包括采用类别明智的鉴别器,以确保类别感知的特征对齐学习域不变的判别特征。然而,由于类别信息是不可用的目标样本,我们建议生成记忆引导的类别特定的注意力地图,然后使用适当的路由功能到相应的类别分类。该方法在几个基准数据集上进行了评估,并显示出优于现有方法的性能。
2021-04-03 cs.CV
Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers
本文提出 Graph-Aware Isomorphic Attention,将注意力机制重构为图操作,利用 GIN 和 PNA 增强关系结构表示,并引入 Sparse GIN-Attention 微调法,以更低开销提升预训练模型的图感知能力与泛化性。
2025-03-05 cond-mat.mes-hall cond-mat.mtrl-sci cs.AI
SAT: Size-Aware Transformer for 3D Point Cloud Semantic Segmentation
Beijing University of Posts and Telecommunications(北京邮电大学)
Transformer模型在点云分割中取得了很好的效果。然而,大多数现有的注意力计划提供了相同的特征学习范式,平等地为所有点,忽略了巨大的差异,在场景对象的大小。在本文中,我们提出了尺寸感知的Transformer(SAT),可以定制有效的感受野不同大小的对象。我们的SAT通过两个步骤实现大小感知学习:为每个注意层引入多尺度特征,并允许每个点自适应地选择其注意领域。它包含两个关键设计:多粒度注意(MGA)方案和再注意模块。MGA解决了两个挑战:有效地聚合来自遥远地区的令牌,并在一个注意力层内保留多尺度特征。具体而言,点-体素交叉注意力被提出来解决第一个挑战,和分流策略的基础上,标准的多头自我注意力被应用于解决第二个。Re-Attention模块根据MGA为每个点输出的细粒度和粗粒度特征动态调整注意力分数。大量的实验结果表明,SAT在S3 DIS和ScanNetV 2数据集上实现了最先进的性能。我们的SAT也实现了最平衡的性能,在所有提到的方法,这说明了建模不同大小的类别的优越性。我们的代码和模型将在本文通过验收后发布。
2023-01-17 cs.CV
CoVA: Context-aware Visual Attention for Webpage Information Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
网页信息抽取是建立知识库的重要步骤。为此,经典的WIE方法利用网站的文档对象模型(DOM)树。然而,DOM树的使用带来了巨大的挑战,因为上下文和外观是以抽象的方式编码的。为了解决这一挑战,我们建议重新制定WIE作为一个上下文感知的网页目标检测任务。具体来说,我们开发了一个上下文感知的基于视觉注意力(CoVA)的检测管道,它结合了外观特征和DOM树的语法结构。为了研究这种方法,我们收集了一个新的大规模电子商务网站数据集,我们用四个标签手动注释每个Web元素:产品价格,产品标题,产品图像和背景。在这个数据集上,我们证明了所提出的CoVA方法是一个新的具有挑战性的基线,它改进了现有的最先进的方法。
2021-10-24 cs.AI cs.CL cs.CV
BAGNet: A Boundary-Aware Graph Attention Network for 3D Point Cloud Semantic Segmentation
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Huazhong University of Science and Technology(华中科技大学)
本文提出BAGNet,一种用于3D点云语义分割的边界感知图注意力网络,通过边界感知图注意力层和轻量级注意力池化层,在保持精度的同时减少计算时间,优于现有方法。
2025-05-31 cs.CV
Rethinking Transformer Connectivity: TLinFormer, A Path to Exact, Full Context-Aware Linear Attention
本文提出 TLinFormer,通过重构神经元连接拓扑实现严格线性复杂度,同时计算精确注意力并保持全历史上下文感知,在长序列推理的延迟、缓存、内存和加速指标上显著优于标准 Transformer。
2025-08-28 cs.LG
FIAS: Feature Imbalance-Aware Medical Image Segmentation with Dynamic Fusion and Mixing Attention
针对CNNs与Transformer特征直接融合导致的特征不平衡和冗余问题,提出FIAS网络,通过双路径编码器(DilateFormer+DMK卷积)提取全局与局部特征,结合CAF模块动态平衡特征,并以MixAtt解码器提升精度,在医学图像分割任务中表现出竞争力。
2024-11-27 cs.CV
RISAM: Referring Image Segmentation via Mutual-Aware Attention Features
Tianjin University(天津大学);Xiaoying AI lab(小影AI实验室)
针对现有指代图像分割方法易受视觉上下文主导、分割错误的问题,提出结合SAM与互感知注意力机制的MARIS方法,通过双向跨模态融合和多模态查询令牌提升分割准确性,在三个基准上超越现有最优水平。
2024-05-21 cs.CV
Lightweight Structure-Aware Attention for Visual Understanding
Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格拉诺布尔大学、法国国家科学研究中心、格拉诺布尔INP、LJK实验室)
本文提出轻量级结构感知注意力LiSA,通过学习相对位置嵌入编码的结构模式增强注意力核判别力,并以对数线性复杂度在ImageNet-1K及多个下游视觉任务上取得最先进结果。
2025-07-03 cs.CV
ISDA: Position-Aware Instance Segmentation with Deformable Attention
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
大多数实例分割模型都不是端到端可训练的,这是由于将建议估计(RPN)作为预处理或将非最大值抑制(NMS)作为后处理。在这里,我们提出了一种新的端到端的实例分割方法称为ISDA。它将任务重塑为预测一组对象掩码,这些对象掩码是通过传统的卷积运算与学习的位置感知内核和对象特征生成的。这些内核和特征是通过利用具有多尺度表示的可变形注意力网络来学习的。由于引入了集合预测机制,所提出的方法是无NMS的。从经验上看,ISDA在MS-COCO上的表现比Mask R-CNN(强基线)高出2.6个点,与最近的模型相比,ISDA的表现领先。代码将很快可用。
2022-02-23 cs.CV
Sequential Attention: A Context-Aware Alignment Function for Machine Reading
Center for Data Science(数据科学中心);New York University(纽约大学)
在本文中,我们提出了一个神经网络模型,它具有一个新的顺序注意层,通过为输入序列中的单词分配权重来扩展软注意力,这种方式不仅考虑了单词与查询的匹配程度,还考虑了周围单词的匹配程度。我们在阅读理解任务上(在谁做了什么和CNN数据集上)评估了这种方法,并表明它极大地提高了一个强大的基线-斯坦福阅读器-并且与最先进的水平竞争。
2017-06-26 cs.CL cs.LG
Singing Voice Synthesis Based on a Musical Note Position-Aware Attention Mechanism
Nagoya Institute of Technology(名古屋工业大学)
本文提出了一种新的序列到序列(seq 2seq)模型与音符位置感知注意机制的歌唱声音合成(SVS)。seq 2seq建模方法,可以同时执行声学和时间建模是有吸引力的。然而,由于唱歌的声音的时间建模的困难,许多最近的SVS系统与编码器-解码器为基础的模型仍然依赖于明确的持续时间信息产生的额外的模块。虽然一些研究使用具有注意力机制的seq 2seq模型进行同步建模,但它们对时间建模的鲁棒性不足。所提出的注意力机制被设计为通过考虑乐谱所给出的节奏来估计注意力权重。此外,还介绍了几种技术,以提高歌唱声音的建模性能。实验结果表明,该模型是有效的自然性和鲁棒性的定时。
2023-03-14 cs.LG cs.SD eess.AS
Graph-Segmenter: Graph Transformer with Boundary-aware Attention for Semantic Segmentation
ZongMu Technology(纵目科技);Technical University of Braunschweig(布伦瑞克工业大学)
本文提出Graph-Segmenter,通过Graph Transformer联合建模窗口间全局关系与窗口内像素局部关系,并利用Boundary-aware Attention优化对象边缘,在三个主流语义分割数据集上达到SOTA性能。
2023-08-15 cs.CV
Segmentation-Aware Convolutional Networks Using Local Attention Masks
Carnegie Mellon University(卡内基梅隆大学);Ryerson University(瑞尔森大学);Facebook AI Research(Facebook人工智能研究院)
我们介绍了一种在卷积神经网络(CNN)中集成分割信息的方法。这抵消了CNN跨区域平滑信息的趋势,并提高了它们的空间精度。为了获得分割信息,我们建立了一个CNN来提供一个嵌入空间,其中可以基于欧几里得距离来估计区域共同隶属度。我们使用这些嵌入来计算相对于每个神经元位置的局部注意力掩码。我们将这样的掩码合并到CNN中,并将卷积操作替换为“分段感知”变体,该变体允许神经元选择性地关注来自其自身区域的输入。我们将生成的网络称为分割感知的CNN,因为它根据局部分割线索在每个图像点处调整其滤波器。我们证明了我们的方法在两个不同的密集预测任务,涉及分类(语义分割)和回归(光流)的优点。我们的研究结果表明,在语义分割中,我们可以匹配DenseCRFs的性能,同时更快,更简单,在光流中,我们获得了比不使用局部注意力掩模的网络更清晰的响应。在这两种情况下,分割感知卷积都能在强基线上产生系统性的改进。这个工作的源代码可以在http://cs.cmu.edu/~aharley/segaware上获得。
2017-08-15 cs.CV
Context-aware Attention-based Gaussian Mixture Models for Vehicular Trajectory Prediction
University of Central Florida(中佛罗里达大学)
本文提出CAA-GMM模型,利用上下文感知注意力机制和高斯混合实现多模态轨迹预测,在nuScenes和Argoverse 2数据集上达到先进精度且计算高效。
2026-10-08 cs.LG
Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference
Baidu Inc(百度公司)
本文提出流注意机制,通过动态层级路由优化注意力计算,提升大语言模型在长上下文场景下的推理效率,实验显示在预填和解码阶段速度提升达2.8倍和2.0倍。
2026-09-29 cs.CL cs.LG
LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs
Openchip & Software Technologies, S.L(Openchip与软件技术公司)
LayerBoost通过层敏感性分析,选择性地调整Transformer层的注意力机制,减少计算复杂度,提升推理效率并保持模型质量。
2026-05-14 cs.CL cs.LG
DPASyn: Mechanism-Aware Drug Synergy Prediction via Dual Attention and Precision-Aware Quantization
School of Software, Yunnan University(云南大学软件学院)
本文提出DPASyn框架,通过双注意力机制和精度感知量化方法,有效建模药物间相互作用,提升药物协同预测的表达能力与效率,优于现有方法。
2025-09-20 cs.LG q-bio.QM
FlexPrefill: A Context-Aware Sparse Attention Mechanism for Efficient Long-Sequence Inference
Peking University(北京大学);The University of Hong Kong(香港大学);ByteDance Inc(字节跳动公司)
本文提出FlexPrefill,一种上下文感知的稀疏注意力机制,通过动态调整稀疏模式与计算预算,提升长序列推理中预填充阶段的效率与准确性。
2025-02-28 cs.CL cs.LG
Pairwise Interactive Graph Attention Network for Context-Aware Recommendation
Nanjing University(南京大学)
上下文感知推荐系统(CARS)考虑了丰富的边信息来提高推荐性能,引起了学术界和工业界越来越多的关注。如何从不同的上下文特征中预测用户偏好是CARS的核心。最近的几个模型关注用户行为,并使用专门设计的结构来从历史行为中提取自适应的用户兴趣。然而,很少有研究考虑项目历史交互,这导致项目特征表示和项目吸引力提取的不足。根据这些观察,我们将用户-项目交互建模为动态交互图(DIG),并提出了一种基于GNN的模型,称为成对交互图注意力网络(PIGAT),以同时捕获动态用户兴趣和项目吸引力。PIGAT引入了注意力机制来考虑每个交互的用户/项目对用户和项目的重要性,该机制捕获用户兴趣、项目吸引力及其对推荐上下文的影响。此外,置信度嵌入应用于交互,以区分在不同时间发生的交互的置信度。然后,更有表现力的用户/项目表示和自适应交互功能,这有利于推荐性能,特别是当涉及长尾项目。我们在三个真实世界的数据集上进行实验,以证明PIGAT的有效性。
2019-11-18 cs.IR cs.LG
LatentLLM: Attention-Aware Joint Tensor Compression
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对LLM/LMM资源消耗大的问题,提出注意力感知的联合张量分解框架,将模型转为降维潜在结构,在降低维度时显著提升压缩模型的准确性,并在多模态推理等基准上验证了优势。
2025-05-23 cs.AI cs.CL cs.CV
Coarse- and Fine-grained Attention Network with Background-aware Loss for Crowd Density Map Estimation
Tsinghua University(清华大学)
在本文中,我们提出了一种新的方法粗粒度和细粒度的注意力网络(CFANet)生成高质量的人群密度图和人数估计,通过将注意力地图,以更好地集中在人群区域。针对直接生成精确的细粒度注意力图的困难,提出了一种由粗到细的渐进式注意力机制,将人群区域识别(CRR)和密度水平估计(DLE)分支相结合,抑制无关背景的影响,并根据人群密度水平分配注意力权重。我们还采用了一个多层次的监督机制,以协助梯度的反向传播和减少过拟合。此外,我们提出了一个背景感知的结构损失(BSL),以减少错误识别率,同时提高结构相似性地面真相。在常用数据集上的大量实验表明,该方法不仅在计数精度上优于现有方法,而且在提高密度图图像质量的同时降低了误识率。
2020-11-07 cs.AI cs.CV
Deep Attention Aware Feature Learning for Person Re-Identification
Tsinghua University(清华大学);Addx Technology(Addx科技);University of Science and Technology Beijing(北京科技大学)
视觉注意力已被证明是有效的,在提高性能的人重新识别。大多数现有的方法通过学习额外的注意力图来重新加权特征图以重新识别人来应用视觉注意力。然而,这类方法不可避免地增加了模型的复杂性和推理时间。在本文中,我们建议在不改变原始结构的情况下,将注意力学习作为附加目标纳入人ReID网络,从而保持相同的推理时间和模型大小。已经考虑了两种注意力,使学习的特征图分别意识到人和相关的身体部位。在全局范围内,整体注意分支(HAB)使骨干得到的特征图集中在人身上,以减轻背景的影响。局部地,部分注意力分支(PAB)使得提取的特征被解耦成若干组并且分别负责不同的身体部位(即,关键点),从而增加对姿态变化和部分遮挡的鲁棒性。这两种注意力是通用的,可以并入现有的ReID网络。我们已经在两个典型的网络(TriNet和Bag of Tricks)上测试了它的性能,并在五个广泛使用的数据集上观察到显着的性能改善。
2020-03-01 cs.CV cs.LG
Attention-aware Inference Optimizations for Large Vision-Language Models with Memory-efficient Decoding
Georgia Institute of Technology(佐治亚理工学院);Cisco Research(思科研究)
本文提出AttentionPack框架,通过紧凑注意力机制和解压机制提升大视觉-语言模型解码效率,实验表明内存效率提升8倍,支持更大批次和更快推理,同时保持输出质量。
2026-03-25 cs.CV cs.LG
Harmonizing Attention: Training-free Texture-aware Geometry Transfer
DATAGRID Inc.(DATAGRID公司);Kyoto University(京都大学)
本文提出免训练的 Harmonizing Attention 方法,通过修改扩散模型自注意力层,以纹理对齐与几何对齐双注意力机制实现跨材质的纹理感知几何迁移,无需微调模型。
2024-09-01 cs.AI cs.CV cs.MM
FAME: Fairness-aware Attention-modulated Video Editing
FAME通过注意力调制在免训练视频编辑中缓解职业相关性别偏见,同时保持提示对齐和时间一致性,在FairVE基准上超越现有基线。
2025-10-27 cs.AI cs.CV
Relation-Aware Graph Attention Network for Visual Question Answering
Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院)
视觉问答(VQA)模型需要充分理解图像中的视觉场景,特别是不同对象之间的交互动态,才能回答图像中语义复杂的问题。我们提出了一个具有感知能力的图注意力网络(ReGAT),它将每幅图像编码成一个图,并通过图注意力机制对多类型的对象间关系进行建模,以学习问题自适应的关系表示。两种类型的视觉对象的关系进行了探讨:(i)显式关系,表示几何位置和对象之间的语义交互;和(ii)隐式关系,捕捉图像区域之间的隐藏的动态。实验表明,ReGAT在VQA 2.0和VQA-CP v2数据集上的性能优于现有的最先进方法。我们进一步表明,ReGAT是兼容现有的VQA架构,并可以用作一个通用的关系编码器,以提高模型性能的VQA。
2019-10-09 cs.AI cs.CV
PDANet: Pyramid Density-aware Attention Net for Accurate Crowd Counting
University of Technology Sydney(悉尼科技大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);Beihang University(北京航空航天大学)
人群计数,即,估计拥挤区域中的人数已经引起了研究界的极大兴趣。虽然已经报道了许多尝试,但由于感兴趣区域内人群密度的巨大规模变化以及人群中的严重闭塞,人群计数仍然是一个开放的现实世界问题。在本文中,我们提出了一种新的金字塔密度感知的基于注意力的网络,简称PDANet,利用注意力,金字塔规模的功能和两个分支解码器模块的密度感知人群计数。PDANet利用这些模块来提取不同的尺度特征,关注相关信息,并抑制误导性信息。我们还解决了不同图像之间的拥挤程度的变化与独家密度感知解码器(DAD)。为此,分类器评估输入特征的密度水平,然后将它们传递到相应的高和低拥挤的DAD模块。最后,我们生成一个整体的密度图,将低和高拥挤密度图的总和视为空间注意力。同时,我们使用两个损失来创建输入场景的精确密度图。在具有挑战性的基准数据集上进行的广泛评估很好地证明了所提出的PDANet在计数的准确性和生成的密度图方面的优越性能。
2020-04-29 cs.CV cs.LG
PolaFormer: Polarity-aware Linear Attention for Vision Transformers
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室);University of Queensland(昆士兰大学)
针对线性注意力因非负约束和指数近似导致信息丢失与高熵的问题,提出极性感知线性注意力机制PolaFormer,显式建模同号和异号query-key交互并采用可学习幂函数降低熵,有效提升了视觉任务的表达能力与效率。
2025-03-04 cs.AI cs.CV
When Attention Collapses: Stage-Aware Visual Token Pruning from Structure to Semantics
Shandong University(山东大学);National University of Singapore (Suzhou) Research Institute(新加坡国立大学(苏州)研究院)
针对视觉语言模型推理中视觉令牌剪枝因依赖单一注意力分数导致特征多样性下降的问题,提出两阶段剪枝框架STS,先通过排斥采样最大化结构多样性,再通过指令感知交叉注意力过滤语义无关令牌,从而提升保留令牌的结构多样性与细粒度任务对齐。
2026-06-02 cs.AI cs.CV
Semantic Aware Attention Based Deep Object Co-segmentation
The University of Tokyo(东京大学)
对象共分割是从多幅图像中分割出相同对象的任务。在本文中,我们提出了基于注意力的对象共分割的对象共分割,利用一种新的注意力机制的瓶颈层的深层神经网络的语义相关的功能选择。此外,我们利用注意力学习器的优点,提出了一种线性时间复杂度的多输入图像分割算法。实验结果表明,我们的模型在多个数据集上实现了最先进的性能,并显着减少了计算时间。
2018-10-16 cs.CV
Attention-Aware Generalized Mean Pooling for Image Retrieval
Jilian Technology Group(极链科技集团);Video++ AI Lab(Video++人工智能实验室)
它已被证明,图像描述符提取的卷积神经网络(CNN)取得了显着的效果检索问题。在本文中,我们将注意力机制应用于CNN,旨在增强与输入图像中的重要关键点相对应的更多相关特征。所生成的注意力感知特征然后通过先前的最先进的广义均值(GeM)池化进行聚合,然后进行归一化以产生紧凑的全局描述符,该全局描述符可以通过点积与其他图像描述符进行有效地比较。我们提出的方法与国家的最先进的方法进行了广泛的比较新的具有挑战性的ROxford5k和RParis6k检索基准。结果表明,显着改善比以前的工作。特别是,我们的注意力感知的GeM(AGeM)描述符在“硬”评估协议下的ROxford5k上的性能优于最先进的方法。
2019-01-28 cs.CV
Instance-aware Remote Sensing Image Captioning with Cross-hierarchy Attention
Northwestern Polytechnical University(西北工业大学);Center for OPTical IMagery Analysis and Learning (OPTIMAL)(光学影像分析与学习中心(OPTIMAL))
空间注意力是提高遥感图像描述字幕效果的一种直接途径。然而,传统的空间注意力方法只考虑了在一个固定的粗网格上的注意力分布,导致在视觉特征提取过程中容易忽略或干扰微小物体的语义。更糟糕的是,传统的空间注意力的固定语义水平限制了不同层次和视角的图像理解,这对于解决遥感图像的巨大差异至关重要。为了解决这些问题,我们提出了一个遥感图像字幕生成器的实例意识和跨层次的注意。1)实例感知是通过引入一个多层次的特征结构,包含多层次的实例可能区域及其周围的视觉信息。2)在此基础上,提出了一种跨层次的注意力机制,使解码器在每个时间步上动态地关注不同的语义层次和实例.在公开数据集上的实验结果表明了该方法的优越性。
2021-05-11 cs.CV
HiCLIP: Contrastive Language-Image Pretraining with Hierarchy-aware Attention
Rutgers University(罗格斯大学);ByteDance Inc.(字节跳动公司)
大规模对比视觉语言预训练(CLIP)的成功使视觉识别和多模态内容理解受益匪浅。简洁的设计使CLIP在推理效率方面优于其他交叉注意融合层较重的视觉语言模型,使其成为广泛的下游任务的热门选择。然而,CLIP并没有明确地捕捉图像和文本中传达的高级和细粒度语义的层次性质,这对视觉语言理解和推理来说是至关重要的。为此,我们在CLIP的视觉和语言分支配备了层次感知注意力,即层次感知CLIP(HiCLIP),以无监督的方式从图像和文本中逐层逐步发现语义层次。因此,这种分层聚合显著改善了跨模态对齐。为了证明HiCLIP的优势,我们进行了定性分析,其无监督的层次归纳推理过程中,以及广泛的定量实验上的视觉识别和视觉语言的下游任务。
2023-03-06 cs.CL cs.CV cs.LG
Self-supervised Learning with Local Attention-Aware Feature
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
在这项工作中,我们提出了一种新的方法自监督学习产生全球和当地的注意力感知视觉功能。我们的方法是基于训练一个模型,以区分输入样本的特定图像变换和修补图像。利用这种方法,所提出的方法能够在Tiny-ImageNet数据集上超过之前最好的竞争对手1.03%,在STL-10数据集上超过2.32%。此外,我们的方法优于STL-10数据集上的全监督学习方法。实验结果和可视化显示的能力,成功地学习全球和当地的注意感知视觉表示。
2021-08-01 cs.CV eess.IV
VSANet: View-aware Sparse Attention Network for Light Field Image Denoising
IIT Kharagpur(印度理工学院克勒格布尔分校)
提出VSANet,通过视图感知稀疏注意力实现全局特征交互与线性复杂度,结合特征细化模块,在光场去噪中取得最优性能。
2026-06-24 cs.CV
Linguistically-aware Attention for Reducing the Semantic-Gap in Vision-Language Tasks
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
注意力模型被广泛应用于视觉语言(V-L)任务中,以实现视觉-文本的关联。人类对视觉世界的强烈语言理解表现出这种相关性。然而,即使是在V-L任务中表现最好的注意力模型也缺乏这种高层次的语言理解,从而在模态之间产生了语义鸿沟。在本文中,我们提出了一种注意力机制-语言感知注意力(LAT)-利用从通用对象检测器获得的对象属性以及预训练的语言模型来减少这种语义差距。LAT在一个共同的语言丰富的空间中代表视觉和文本模态,从而为注意力过程提供语言意识。我们在三个V-L任务中应用并证明了LAT的有效性:计数VQA,VQA和图像描述。在Counting-VQA中,我们提出了一种新的计数特定的VQA模型来预测直观的计数,并在五个数据集上实现最先进的结果。在VQA和Captioning中,我们通过将LAT适应各种基线并不断提高其性能来展示LAT的通用性和有效性。
2020-08-18 cs.CV
SWA-SOP: Spatially-aware Window Attention for Semantic Occupancy Prediction in Autonomous Driving
Autonomous Intelligent Systems group, Computer Science Institute VI – Intelligent Systems and Robotics, University of Bonn, Germany(bonn大学计算机科学研究所VI——智能系统与机器人组);Center for Robotics, University of Bonn, Germany(bonn大学机器人中心);Lamarr Institute for Machine Learning and Artificial Intelligence, Germany(德国lamarr机器学习与人工智能研究所)
针对基于transformer的语义占用预测缺乏空间结构建模导致几何感知差的问题,提出空间感知窗口注意力(SWA)机制,通过引入局部空间上下文显著提升场景补全性能并在多模态基准上取得一致增益。
2025-08-13 cs.AI cs.CV cs.RO
Attention-Aware Anime Line Drawing Colorization
The Hong Kong Polytechnic University(香港理工大学)
动画线描的自动着色由于其对动画产业的重要意义,近年来引起了人们的广泛关注。基于用户提示的方法是线描着色的主流方法,而基于参考的方法提供了一种更直观的方法。然而,尽管基于参考的方法可以改善参考图像和线条画的特征聚合,但着色结果在颜色一致性或语义对应性方面并不令人信服。本文提出了一种基于注意力的动画线描彩色化模型,该模型采用通道和空间卷积注意力模块提高编码器的特征提取和关键区域感知能力,采用具有交叉注意力和自注意力的Stop-Gradient注意力模块解决跨域长距离依赖问题。大量的实验表明,我们的方法优于其他SOTA方法,具有更准确的线条结构和语义颜色信息。
2023-02-24 cs.AI cs.CV cs.GR
Deep Reinforced Attention Learning for Quality-Aware Visual Recognition
在本文中,我们建立在任何卷积神经网络中的中间注意力图的弱监督生成机制的基础上,更直接地揭示了注意力模块的有效性,以充分发挥其潜力。给定一个现有的神经网络配备了任意的注意力模块,我们引入了一个Meta评论网络来评估的质量的注意力地图的主要网络。由于我们设计的奖励的离散性,所提出的学习方法被安排在一个强化学习设置,其中注意演员和经常性的批评者交替优化,以提供即时的批评和修正的临时注意表示,因此被称为深度强化注意学习(DREAL)。它可以普遍适用于不同类型的注意力模块的网络架构,并通过最大化每个单独的注意力模块产生的最终识别性能的相对增益来提高它们的表达能力,如在类别和实例识别基准上的广泛实验所示。
2022-08-30 cs.CV
Relation-Aware Global Attention for Person Re-identification
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
对于人的再识别(re-id),注意力机制已经变得有吸引力,因为它们旨在加强区分性特征并抑制无关特征,这很好地匹配了re-id的关键,即,判别特征学习以前的方法通常使用局部卷积来学习注意力,忽略了从全局结构模式中挖掘知识。直觉上,特征图中的空间位置/节点之间的亲和力提供了类聚类信息,并且有助于推断语义并因此引起注意,特别是对于其中可行的人类姿势受到约束的人图像。在这项工作中,我们提出了一个有效的感知全局注意力(RGA)模块,捕捉全局结构信息,更好地注意学习。具体来说,对于每个特征位置,为了完整地掌握全局范围的结构信息和局部外观信息,我们提出了堆叠关系,即,其与所有特征位置的成对相关性/亲和性(例如,以光栅扫描顺序)和特征本身一起使用浅卷积模型来学习注意力。广泛的消融研究表明,我们的RGA可以显着提高功能表示能力,并帮助实现国家的最先进的性能在几个流行的基准。源代码可在https://github.com/microsoft/Relation-Aware-Global-Attention-Networks上获得。
2020-03-26 cs.CV
Attention-aware Multi-stroke Style Transfer
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);University College London(伦敦大学学院)
神经风格迁移引起了学术界和工业界的广泛关注。虽然视觉效果和效率得到了显著提高,但现有方法无法协调内容图像和风格化图像之间视觉注意力的空间分布,或者通过不同的笔触呈现不同的细节水平。在本文中,我们通过开发一个注意力感知的多笔画风格迁移模型来解决这些限制。我们首先提出将自注意力机制组装到与风格无关的重建自动编码器框架中,从中可以推导出内容图像的注意力图。通过对内容特征和风格特征进行多尺度的风格交换,我们产生了反映不同笔画模式的多个特征图。进一步提出了一种灵活的融合策略,将注意力图的显著特征,这使得多个笔画模式集成到输出图像的不同空间区域和谐。我们证明了我们的方法的有效性,以及产生可比的风格化图像与多个中风模式对国家的最先进的方法。
2019-01-16 cs.CV
Crowd Counting Using Scale-Aware Attention Networks
University of Manitoba(曼尼托巴大学)
在本文中,我们考虑的问题,人群计数的图像。给定拥挤场景的图像,我们的目标是估计该图像的密度图,其中密度图中的每个像素值对应于图像中相应位置处的人群密度。给定估计的密度图,可以通过对密度图中的所有值求和来获得最终的人群计数。人群计数的一个挑战是图像中的尺度变化。在这项工作中,我们提出了一种新的规模感知注意力网络来应对这一挑战。使用最近深度学习架构中流行的注意力机制,我们的模型可以自动关注适合图像的某些全局和局部尺度。通过结合这些全局和局部规模的注意力,我们的模型在几个基准数据集上的人群计数方面优于其他最先进的方法。
2019-03-05 cs.CV
MCGA: Mixture of Codebooks Hyperspectral Reconstruction via Grayscale-Aware Attention
MCGA通过混合代码本与灰度感知注意力框架,实现高效且鲁棒的超光谱图像重建,提升准确率和推理速度。
2025-12-22 cs.CV
Attention to details, logits to truth: visual-aware attention and logits enhancement to mitigate hallucinations in LVLMs
Fujitsu Research and Development Center(富士通研发中心)
本文提出一种无需训练的注意力干预算法,通过增强任务相关token的注意力和改进解码过程,有效减少LVLMs中的幻觉问题。
2026-02-10 cs.CV
Attribute-Aware Attention Model for Fine-grained Representation Learning
Peking University(北京大学)
如何学习一个具有区分性的细粒度表示是计算机视觉应用中的一个关键问题,如人物再识别、细粒度分类、细粒度图像检索等。以往的方法大多集中在学习度量或集成以获得更好的全局表示,但通常缺乏局部信息。基于上述考虑,我们提出了一种新的属性感知注意力模型($A^3M$),它可以学习本地属性表示和全局类别表示在一个端到端的方式。该模型包含两个注意模型:属性引导注意模型利用属性信息帮助选择不同区域的类别特征,类别引导注意模型利用类别线索帮助选择不同属性的局部特征。通过这种属性-类别互惠的过程,局部和全局特征相互受益。最后,得到的特征包含更多的图像识别的内在信息,而不是噪声和无关的功能。在Market-1501、CompCars、CUB-200-2011和CARS 196上进行的大量实验证明了我们的$A^3M$的有效性。代码可在https://github.com/iamhankai/attribute-aware-attention上获得。
2019-12-20 cs.CV
Decision-Aware Attention Propagation for Vision Transformer Explainability
Aarhus University(奥胡斯大学);University of Colorado Boulder(科罗拉多大学波德分校);KIST(韩国科学技术院)
本文提出DAP方法,通过注入决策相关的先验知识到Transformer注意力传播中,生成更敏感、紧凑且忠实的属性图,提升ViT的可解释性。
2026-04-20 cs.CV