Dual-Attention Graph Convolutional Network
Nanjing University of Science and Technology(南京理工大学)
图卷积网络(GCN)在文本结构表示方面表现出强大的能力,有效地促进了文本分类任务。然而,由于文本的复杂性和多样性所引起的图变体的主要问题,在适应GCN从文本中学习区分特征方面仍然存在挑战。在本文中,我们提出了一个双注意GCN模型的各种文本的结构信息,以及解决图不变的问题,通过嵌入两种类型的注意力机制,即连接注意力和跳注意力,到经典的GCN。为了对相邻词之间的各种连接模式进行编码,连接注意自适应地对每个词的邻域施加指定的不同权重,从而捕获短期依赖性。另一方面,跳注意力在图扩散过程中将缩放系数应用于不同范围,使模型更多地了解上下文的分布,从而以自适应的方式捕获长期语义。在五个广泛使用的数据集上进行了大量的实验来评估我们的双注意GCN,所取得的最先进的性能验证了双注意力机制的有效性。
2019-11-28 cs.LG stat.ML
Dual-Attention Based 3D Channel Estimation
本文提出基于双注意机制的3D信道估计网络,通过深度学习探索多域信道相关性,解决传统方法在多输入多输出信道中的性能退化问题。
2026-04-02 cs.LG
Dual Cross-Attention for Medical Image Segmentation
University of Miami(迈阿密大学)
本文提出双重交叉注意力(DCA)模块,通过通道和空间交叉注意力增强U-Net跳跃连接,在多个医学图像分割数据集上显著提升Dice Score。
2023-03-30 cs.CV cs.LG eess.IV
Dual-attention Guided Dropblock Module for Weakly Supervised Object Localization
Beijing University of Posts and Telecommunications(北京邮电大学)
注意力机制经常被用来学习区分性特征以获得更好的特征表示。在本文中,我们扩展的注意力机制的任务,弱监督对象定位(WSOL),并提出了双注意力引导dropblock模块(DGDM),其目的是学习的信息和互补的视觉模式的WSOL。该模块包含两个关键组件,通道注意引导丢弃(CAGD)和空间注意引导丢弃块(SAGD)。为了对通道相互依赖性进行建模,CAGD对通道关注度进行排名,并将具有最大幅度的前k个关注度视为重要关注度。它还保留了一些低价值的元素,如果它们在训练期间变得重要,则增加它们的价值。SAGD可以通过擦除特征图的连续区域而不是单个像素来有效地去除最具鉴别力的信息。这将引导模型捕获区分度较低的部分进行分类。此外,它还可以区分前景对象和背景区域,以减轻注意误导。实验结果表明,该方法实现了新的国家的最先进的定位性能。
2020-07-09 cs.CV
Predicting Rigid Body Dynamics using Dual Quaternion Recurrent Neural Networks with Quaternion Attention
South Westfalia University of Applied Science(西南威斯特伐利亚应用科学大学)
我们提出了一种新的神经网络架构的基础上,双四元数,它允许一个紧凑的表示信息的主要重点是描述刚体运动。为了涵盖刚体运动固有的动态行为,我们提出了神经网络中的递归架构。为了进一步有效地模拟各个刚体之间的相互作用以及外部输入,我们采用了一种新的注意力机制,采用对偶四元数代数。所介绍的架构是可训练的梯度为基础的算法。我们将我们的方法应用到包裹预测问题,其中具有初始位置,方向,速度和角速度的刚体通过固定的模拟环境移动,该环境表现出包裹和边界之间的丰富相互作用。
2020-11-17 cs.LG
DADFNet: Dual Attention and Dual Frequency-Guided Dehazing Network for Video-Empowered Intelligent Transportation
Wuhan University of Technology(武汉理工大学);Nanyang Technological University(南洋理工大学);Sony AI(索尼人工智能研究院);Singapore University of Technology and Design(新加坡科技设计大学);Guangdong University of Technology(广东工业大学)
本文提出双注意力与双频率引导去雾网络 DADFNet,通过联合注意力映射和频率映射实现实时视频去雾,在提升能见度和检测精度的同时仅需 6.3 毫秒处理 1080p 图像,适用于智能交通系统部署。
2023-04-19 cs.CV
DADU: Dual Attention-based Deep Supervised UNet for Automated Semantic Segmentation of Cardiac Images
Kent State University(肯特州立大学)
针对心脏磁共振图像分割任务,提出DADU模型,通过集成UNet、双注意力机制、边缘检测跳跃连接与深度监督,实现左右心室及心肌瘢痕组织的自动分割,Dice系数达98%且性能优于现有技术。
2025-04-18 cs.AI cs.CV cs.LG
DPNET: Dual-Path Network for Efficient Object Detectioj with Lightweight Self-Attention
Temple University(天普大学)
目标检测通常需要花费相当大的计算量才能获得满意的性能,这对于部署在边缘设备中是不友好的。为了解决计算成本和检测精度之间的权衡,本文提出了一种双路径网络,命名为DPNet,高效的目标检测与轻量级的自我注意。在主干中,设计了一个单一的输入/输出轻量级自注意模块(LSAM)来编码不同位置之间的全局交互。在特征金字塔网络(FPN)中,LSAM也被扩展为多输入版本,用于捕获两条路径上的跨分辨率依赖。COCO数据集上的大量实验表明,我们的方法达到了最先进的检测结果。更具体地说,DPNet在COCO测试开发中获得了29.0%的AP,对于320 x320图像,只有1.14 GFLOP和2.27 M模型大小。
2021-10-31 cs.CV
Addressing Information Loss and Interaction Collapse: A Dual Enhanced Attention Framework for Feature Interaction
Beijing University of Posts and Telecommunications(北京邮电大学);Alibaba Group(阿里巴巴集团);Wuhan University(武汉大学)
针对Transformer在CTR特征交互中的信息丢失与交互坍塌问题,提出融合Combo-ID和防坍塌机制的Dual Enhanced Attention框架,并在工业数据集上验证有效。
2025-03-14 cs.IR cs.LG
Dual-attention Focused Module for Weakly Supervised Object Localization
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院)
识别最具区分力区域的研究为仅具有图像级注释的弱监督目标定位提供了参考信息。然而,最具区分力的区域通常隐藏了对象的其他部分,从而阻碍了整个对象的识别和定位。为了解决这个问题,提出了双注意聚焦模块(DFM)来提高目标定位性能。具体来说,我们提出了一个双注意模块的信息融合,由一个位置分支和一个通道。在每个分支中,输入的特征图被推导成增强图和掩模图,从而突出显示或隐藏最具鉴别力的部分。对于位置掩模图,我们引入了一个聚焦矩阵来增强它,它利用了物体的像素是连续的原理。在这两个分支之间,增强图与掩模图相结合,旨在部分补偿丢失的信息并使特征多样化。利用双注意模块和聚焦矩阵,可以精确地识别出隐含信息的整个目标区域。我们在实验中展示了优于DFM的结果。特别是,DFM在ILSVRC 2016和CUB-200-2011中的定位精度方面达到了最先进的性能。
2019-09-11 cs.CV
DPANET:Dual Pooling Attention Network for Semantic Segmentation
Northwestern Polytechnical University(西北工业大学)
图像分割是一项历史悠久、意义重大的计算机视觉课题。在深度学习技术的帮助下,图像语义分割取得了很大的进展。近年来,基于注意力机制的引导与CNN相比,克服了不同通道之间缺乏交互性的问题,有效地捕捉和聚合了上下文信息。然而,注意力机制产生的海量运算导致其复杂度极高,对GPU内存的需求也极高。为此,我们提出了一个轻量级和灵活的神经网络命名为双池注意力网络(DPANet)。最重要的是DPANet中的所有模块都生成\textbf{0}参数。第一个部分是空间池注意模块,我们密集地构造了一个简单而强大的上下文特征提取方法,大大减少了计算量和复杂度,同时也展示了均匀大核的强大功能。第二部分是频道池关注模块。众所周知,CNN的计算过程结合了空间维度和信道维度的信息。因此,本模块的目的是将它们剥离出来,以便构建所有通道之间的关系,并有选择地增强不同通道的语义信息。在分割数据集上的实验表明,该方法简单有效,参数少,计算复杂度低。
2022-10-11 cs.CV
DLA-Net: Learning Dual Local Attention Features for Semantic Segmentation of Large-Scale Building Facade Point Clouds
Xiamen University(厦门大学)
建筑物立面的语义分割在城市建筑物重建、损伤评估等应用中具有重要意义。由于缺乏与细粒度建筑立面相关的3D点云数据集,我们构建了第一个用于语义分割的大规模建筑立面点云基准数据集。现有的语义分割方法不能充分挖掘点云的局部邻域信息。为了解决这个问题,我们提出了一个可学习的注意力模块,学习双本地注意力功能,在本文中称为DLA。DLA模块由两个块组成,包括自注意块和注意池块,它们都嵌入了增强的位置编码块。DLA模块可以很容易地嵌入到各种网络架构中进行点云分割,自然会产生一个新的3D语义分割网络与编码器-解码器架构,在这项工作中称为DLA-Net。在我们构建的建筑立面数据集上的大量实验结果表明,所提出的DLA-Net比最先进的语义分割方法具有更好的性能。
2021-06-01 cs.CV
Attention-based Dual Supervised Decoder for RGBD Semantic Segmentation
Nanjing University(南京大学);Hubei University of Technology(湖北工业大学)
在RGBD语义分割中,编码器-解码器模型得到了广泛的应用,并且大多数编码器-解码器模型都是通过双流网络设计的。一般来说,从RGBD联合推理颜色和几何信息是有益的语义分割。然而,大多数现有的方法未能在编码器和解码器中全面利用多模态信息。在本文中,我们提出了一种新的基于注意力的双重监督解码器的RGBD语义分割。在编码器中,我们设计了一个简单而有效的基于注意力的多模态融合模块来提取和融合多层次的成对互补信息。为了学习更强大的深度表示和丰富的多模态信息,我们引入了双分支解码器,以有效地利用不同任务的相关性和互补线索。在NYUDv 2和SUN-RGBD数据集上的大量实验表明,我们的方法与最先进的方法相比具有更好的性能。
2022-03-15 cs.CV eess.IV
XRJL-HKUST at SemEval-2021 Task 4: WordNet-Enhanced Dual Multi-head Co-Attention for Reading Comprehension of Abstract Meaning
The Hong Kong University of Science and Technology(香港科技大学)
本文介绍了我们提交的系统SemEval 2021任务4:抽象意义的阅读理解。我们的系统使用一个大型的预训练语言模型作为编码器和一个额外的双多头共同注意层,以加强段落和问答对之间的关系,遵循当前最先进的模型DUMA。主要区别在于,我们将问题注意力模块和问题注意力模块叠加在一起,而不是计算注意力模块来模拟再思考过程。我们还增加了一个层归一化模块,以提高我们的模型的性能。此外,为了整合我们已知的抽象概念知识,我们从WordNet中检索候选答案的定义,并将它们作为额外的输入提供给模型。我们的系统,称为WordNet增强的双多头协同注意(WN-DUMA),子任务1和子任务2的官方盲测试集上分别达到86.67%和89.99%的准确率。
2021-03-30 cs.CL cs.LG
D-Align: Dual Query Co-attention Network for 3D Object Detection Based on Multi-frame Point Cloud Sequence
Hanyang University(汉阳大学)
LiDAR传感器广泛用于各种移动机器人应用中的3D目标检测。LiDAR传感器持续实时生成点云数据。传统的3D对象检测器使用在固定持续时间内获取的一组点来检测对象。然而,最近的研究表明,目标检测的性能可以进一步提高,通过利用从点云序列中获得的时空信息。在本文中,我们提出了一种新的三维物体检测器,命名为D-Align,它可以有效地产生强大的鸟瞰图(BEV)的功能,通过对齐和聚合从一系列点集获得的功能。该方法包括一个新的双查询共注意网络,使用两种类型的查询,包括目标查询集(T-QS)和支持查询集(S-QS),分别更新目标和支持框架的功能。D-Align基于从相邻特征图中提取的时间上下文特征将S-QS与T-QS对齐,然后使用门控注意力机制将S-QS与T-QS聚合。通过多个关注层更新双重查询,以逐步增强用于产生检测结果的目标帧特征。我们在nuScenes数据集上的实验表明,所提出的D-Align方法大大提高了基于单帧的基线方法的性能,并显着优于最新的3D对象检测器。
2022-09-30 cs.CV
D2A U-Net: Automatic Segmentation of COVID-19 Lesions from CT Slices with Dilated Convolution and Dual Attention Mechanism
School of Biological Science and Medical Engineering, Beihang University(北京航空航天大学生物与医学工程学院);Beijing Advanced Innovation Center for Biomedical Engineering, Beihang University(北京航空航天大学生物医学工程高精尖创新中心)
2019冠状病毒病(COVID-19)造成了巨大的伤亡,几乎成为全球最紧迫的公共卫生事件。计算机断层扫描(CT)是COVID-19感染的重要筛查工具,COVID-19 CT图像中肺部感染的自动分割将极大地帮助患者的诊断和医疗保健。然而,COVID-19肺部感染的准确和自动分割仍然具有挑战性。在本文中,我们提出了一种基于扩张卷积的扩张双注意力U-Net(D2 A U-Net)用于CT切片中的COVID-19病变分割,并提出了一种新的双注意力机制来解决上述问题。我们在模型解码器中引入了一个扩张卷积模块,以实现大的接收野,从而细化了解码过程,有助于提高分割精度。此外,我们提出了一种双重注意机制,由两个注意模块组成,分别插入跳过连接和模型解码器。利用双重注意机制来细化特征图,减少模型不同层次之间的语义鸿沟。该方法已在开源数据集上进行了评估,并在语义分割方面优于切割边缘方法。我们提出的带有预训练编码器的D2 A U-Net实现了0.7298的Dice得分和0.7071的召回得分。此外,我们还构建了一个没有预训练编码器的简化D2 A U-Net,以提供与从头开始训练的其他模型的公平比较,它仍然优于流行的U-Net家族模型,Dice得分为0.7047,召回得分为0.6626。我们的实验结果表明,通过引入扩张卷积和双重注意机制,假阳性的数量显着减少,这提高了对COVID-19病变的敏感性,随后带来…
2021-02-10 cs.CV eess.IV
A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction
University of California, San Diego(加州大学圣迭戈分校);NEC Laboratories America, Inc.(NEC美国实验室公司)
非线性自回归外生(NARX)模型,它预测的当前值的时间序列的基础上,其以前的值以及当前和过去的值的多个驱动(外生)序列,已经研究了几十年。尽管已经开发了各种NARX模型,但很少有模型能够适当地捕获长期的时间依赖性并选择相关的驱动序列进行预测。在本文中,我们提出了一个双阶段基于注意力的循环神经网络(DA-RNN)来解决这两个问题。在第一阶段中,我们引入输入注意力机制来自适应地提取相关的驾驶系列(a.k.a.,输入特征)。在第二阶段,我们使用一个时间注意力机制选择相关的编码器隐藏状态跨越所有的时间步长。有了这种双阶段注意机制,我们的模型不仅可以有效地进行预测,而且可以很容易地解释。基于SML 2010数据集和NASDAQ 100 Stock数据集的深入实证研究表明,DA-RNN可以超越最先进的时间序列预测方法。
2017-08-14 cs.LG stat.ML
3D Dual-Fusion: Dual-Domain Dual-Query Camera-LiDAR Fusion for 3D Object Detection
Hanyang University(汉阳大学);Korea Advanced Institute of Science & Technology (KAIST)(韩国科学技术院(KAIST))
融合来自相机和LiDAR传感器的数据是实现稳健的3D目标检测的基本技术。相机-LiDAR融合的一个关键挑战是在融合其特征时,在坐标和数据分布方面减轻两个传感器之间的大域差距。在本文中,我们提出了一种新的相机-LiDAR融合架构,称为3D Dual-Fusion,旨在缩小相机和LiDAR数据的特征表示之间的差距。该方法融合了摄像机视图和三维体素视图域的特征,并通过可变形注意力来建模它们的交互。我们重新设计了Transformer融合编码器来聚合来自两个域的信息。两个主要的变化包括:1)基于双查询的可变形注意力,以交互方式融合双域特征; 2)3D局部自注意力,在双查询解码之前对体素域查询进行编码。实验评估的结果表明,所提出的相机-LiDAR融合架构在KITTI和nuScenes数据集上实现了具有竞争力的性能,在一些3D目标检测基准类别中具有最先进的性能。
2023-02-16 cs.CV
Bilateral Network with Residual U-blocks and Dual-Guided Attention for Real-time Semantic Segmentation
School Of Computer Science And Engineering, Northeastern University(东北大学计算机科学与工程学院)
本文提出一种面向实时语义分割的双分支网络,利用残差U型块提取多尺度特征,并通过双引导注意力模块以近线性复杂度实现高效特征融合,在Cityscapes和CamVid上验证了速度与精度的良好平衡。
2023-10-31 cs.CV
Predicting Muscle Thickness Deformation from Muscle Activation Patterns: A Dual-Attention Framework
University of Twente(特文特大学);Faculty of EEMCS(EEMCS学院)
本文提出一种结合自注意力和交叉注意力机制的双注意力深度学习框架,利用sEMG信号直接预测肌肉厚度形变,实验表明其平均精度达0.923±0.900mm,为便携式实时肌肉健康监测提供了新方法。
2024-09-26 cs.LG eess.SP
DA-RefineNet:A Dual Input Whole Slide Image Segmentation Algorithm Based on Attention
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
医学图像的自动分割在疾病诊断中有着广泛的应用。然而,由于医学图像的高分辨率和相应的巨大计算成本,它比自然光学图像分割更具挑战性。滑动窗口是一种常用的全切片图像分割技术,但基于滑动窗口的方法存在缺乏全局上下文信息的缺点。在本文中,我们提出了一个双输入注意力网络(表示为DA-RefineNet)的WSI分割,既可以有效地利用局部细粒度信息和全球粗信息。通过大量的对比实验验证了该方法的有效性,实验结果表明,与单输入方法相比,该方法在WSI分割上具有更好的性能。
2020-12-17 cs.CV eess.IV
A Primal-Dual Framework for Transformers and Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究提出Transformer与神经网络的原始-对偶理论框架,证明自注意力对应SVR的支持向量展开,推导两种新型注意力并验证其在多任务中降冗余、提精度与效率的优势。
2024-06-19 cs.AI cs.CL cs.CV
Dual-Path Region-Guided Attention Network for Ground Reaction Force and Moment Regression
Johns Hopkins University(约翰霍普金斯大学)
本文提出双路径区域引导注意力网络,通过整合空间和时间先验,实现对地面反作用力和力矩的高精度回归。
2025-12-04 cs.LG eess.SP
Fullie and Wiselie: A Dual-Stream Recurrent Convolutional Attention Model for Activity Recognition
University of New South Wales(新南威尔士大学);RMIT University(皇家墨尔本理工大学);Northwestern Polytechnical University(西北工业大学)
多模态特征在基于可穿戴传感器的人体活动识别(HAR)中起着关键作用。自适应地选择最显著的特征是最大化多模态传感器数据的有效性的一种有前途的方法。在这方面,我们提出了一个“收集充分和明智地选择(Fullie和Wiselie)”的原则,以及双流循环卷积注意力模型,循环注意力和活动框架(RAAF),以提高识别性能。我们首先收集模态特征和每对特征之间的关系来生成活动框架,然后引入注意力机制来精确地从活动框架中选择最显著的区域。所选择的帧不仅最大限度地利用有效的功能,但也减少了要有效地计算的功能的数量。我们进一步分析的超参数,准确性,可解释性,和注释依赖性的基础上广泛的实验所提出的模型。结果表明,RAAF在两个基准数据集上取得了有竞争力的性能,并在现实生活中的情况下工作得很好。
2017-11-21 cs.AI cs.HC cs.LG
Lagrange Duality and Compound Multi-Attention Transformer for Semi-Supervised Medical Image Segmentation
University of Macau(澳门大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Guangdong University of Technology(广东工业大学)
针对半监督医学图像分割的长尾问题及混合架构注意力融合不足的问题,提出拉格朗日对偶一致性损失与复合多注意力网络CMAformer,在多个公开数据集上取得当前最优结果。
2024-09-12 cs.AI cs.CV
WeatherSeg: Weather-Robust Image Segmentation using Teacher-Student Dual Learning and Classifier-Updating Attention
School of Artificial Intelligence and Information Engineering, Zhejiang University of Science and Technology(浙江理工大学人工智能与信息工程学院);Department of Computer and Information Sciences, Northumbria University(北爱尔兰北umbria大学计算机与信息科学系);Beijing Quinovare Medical Technology Co., Ltd(北京启诺医疗科技有限公司);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院)
WeatherSeg通过双教师-学生模型和分类器更新注意力机制,提升恶劣天气下的图像分割鲁棒性,有效降低标注成本。
2026-04-28 cs.AI cs.CV
DSTP-RNN: a dual-stage two-phase attention-based recurrent neural networks for long-term and multivariate time series prediction
多变量时间序列的长期预测仍然是一个重要而具有挑战性的问题。解决这一问题的关键是捕捉同一时刻的空间相关性、不同时刻的时空关系以及不同序列之间时间关系的长期依赖性。基于注意力的循环神经网络(RNN)能够有效地表征外源序列和目标序列之间的动态时空关系,但仅在一步时间预测和短期时间预测方面表现较好。本文借鉴人类注意力机制的双阶段两阶段(DSTP)模型以及目标信息和非目标信息的影响机制,分别提出了基于DSTP的RNN(DSTP-RNN)和DSTP-RNN-2用于长期时间序列预测。具体来说,我们首先提出了基于DSTP的结构,以增强外源序列之间的空间相关性。第一阶段产生剧烈但分散的响应权重,而第二阶段导致稳定且集中的响应权重。其次,我们对目标系列进行多重关注,以提高长期依赖性。最后,我们研究了深度空间注意力机制的表现,并提供了实验和解释。我们的方法在能源、金融、环境和医学领域的四个数据集上分别优于九种基线方法。
2019-04-16 cs.LG stat.ML
Attention-Enhanced Dual-Branch ConvNeXt-BiLSTM Network for Subject-Independent EEG Seizure Detection
Khulna University of Engineering & Technology(库尔纳工程技术大学)
提出注意力增强双分支ConvNeXt-BiLSTM网络,融合时频与时间特征,在CHB-MIT数据上实现97.88%准确率,实现受试者无关的EEG癫痫自动检测。
2026-09-22 cs.LG eess.SP
Multifaceted Context Representation using Dual Attention for Ontology Alignment
IIIT Hyderabad(印度信息技术与通信技术研究院海得拉巴分校);IBM Research(IBM研究院)
本体对齐是一个重要的研究问题,发现应用在各个领域,如数据集成,数据传输,数据准备等国家的最先进的(SOTA)架构本体对齐通常使用天真的领域依赖的方法与手工制作的规则和手动分配的值,使它们不可扩展和效率低下。用于本体对齐的深度学习方法使用特定于领域的架构,这些架构不仅无法扩展到其他数据集和领域,而且由于各种限制(包括模型的过拟合,数据集的稀疏性等),通常比基于规则的方法表现更差。基于深度学习的模型,使用双重注意力机制来计算概念的上下文表示,以学习对齐。通过这样做,我们的方法不仅利用本体的语法和语义结构,它也是,通过设计,灵活和可扩展到不同的领域,以最小的努力。我们验证了我们的方法在不同领域的各种数据集和多语言设置,并显示其优越的性能SOTA方法。
2020-10-26 cs.AI cs.DB cs.LG
HELENA: High-Efficiency Learning-based channel Estimation using dual Neural Attention
University of Antwerp - imec, IDLab(安特卫普大学 - imec,IDLab)
HELENA利用轻量级卷积骨干和两种高效注意力机制,实现低延迟、高精度的通道估计,比CEViT在推理速度和参数量上均有显著提升。
2026-04-16 cs.LG cs.NI eess.SP
Dual Decomposition of Convex Optimization Layers for Consistent Attention in Medical Images
Technion Institute of Technology(以色列理工学院);Rambam Health Care Campus(兰巴姆医疗中心)
在医学中集成机器学习模型的一个关键问题是解释其推理的能力。目前流行的可解释性方法在自然图像识别中取得了令人满意的结果,但在医学图像分析中,许多方法提供了部分和噪声的解释。最近,注意力机制在预测性能和可解释性方面都显示出令人信服的结果。注意力的一个基本特征是,它利用了有助于模型预测的输入的突出部分。为此,我们的工作集中在注意力权重分布的解释价值。我们提出了一种多层注意力机制,该机制使用凸优化来强制参与卷积层之间的一致解释。我们应用对偶分解层之间的一致性约束,通过重新参数化他们的注意概率分布。我们进一步建议通过优化我们的目标来学习双重见证;因此,我们的实现使用标准的反向传播,因此它是高效的。在保持预测性能的同时,我们提出的方法利用弱注释的医学成像数据,并为模型的预测提供完整和忠实的解释。
2022-06-07 cs.CV cs.LG
Dual-Stream Attention Transformers for Sewer Defect Classification
Canizaro Livingston Gulf States Center for Environmental Informatics(卡尼扎罗·利文斯顿海湾国家环境信息学中心);The University of New Orleans(新奥尔良大学);US Army Corps of Engineers(美国陆军工程兵团)
本文提出双流多尺度视觉Transformer(DS-MSHViT),通过自注意力正则化和注意力一致性损失联合训练RGB与光流分支,提升下水道缺陷分类性能,优于未使用双流注意力正则化的CNN和MSHViT模型。
2023-11-07 cs.CV cs.LG
Dual-view Correlation Hybrid Attention Network for Robust Holistic Mammogram Classification
Huazhong University of Science and Technology(华中科技大学)
提出双视角相关混合注意力网络(DCHA-Net),通过混合注意力模块和双视角相关损失最大化CC与MLO视图间的特征相关性,在INbreast和CBIS-DDSM数据集上实现优于现有方法的整体乳腺X光图像恶性分类。
2023-06-19 cs.CV cs.LG
Learning Target-oriented Dual Attention for Robust RGB-T Tracking
Anhui University(安徽大学)
RGB-热目标跟踪尝试使用互补的视觉和热红外数据来定位目标对象。现有的RGB-T跟踪器通过鲁棒的特征表示学习或自适应模态加权来融合不同的模态。然而,如何整合双注意力机制来进行视觉跟踪,仍是一个尚未被研究的课题。在本文中,我们提出了两个视觉注意力机制鲁棒RGB-T目标跟踪。具体而言,通过利用RGB和热数据的共同视觉注意来训练深度分类器来实现局部注意。我们还介绍了全局注意力,这是一个多模态目标驱动的注意力估计网络。它可以为分类器提供全局建议以及从先前跟踪结果中提取的局部建议。在两个RGB-T基准数据集上的实验验证了该算法的有效性。
2019-08-12 cs.CV
Reasoning About Human-Object Interactions Through Dual Attention Networks
University of California, Berkeley(加州大学伯克利分校);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室,IBM研究院);Massachusetts Institute of Technology(麻省理工学院);The Chinese University of Hong Kong(香港中文大学)
对象是我们作用的实体,其中对象的功能取决于我们如何与它交互。在这项工作中,我们提出了一个双注意力网络模型的原因,人与对象的交互。双注意框架分别对物体和动作的重要特征进行加权。因此,对对象和动作的识别是相互受益的。该模型在人-物交互数据集Something-Something上显示出有竞争力的分类性能。此外,它可以执行弱时空定位和启示分割,尽管只使用视频级标签进行训练。该模型不仅可以发现动作何时发生以及哪个对象正在被操作,还可以识别对象的哪个部分正在被交互。项目页面:\url{https://dual-attention-network.github.io/}。
2019-09-10 cs.CV
Dual Attention-in-Attention Model for Joint Rain Streak and Raindrop Removal
Australian National University(澳大利亚国立大学);Tencent AI Laboratory(腾讯人工智能实验室);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
雨条纹和雨滴是两种自然现象,它们以不同的方式降低图像捕获。目前,大多数现有的深度去脱轨网络将它们视为两个不同的问题,并单独解决一个问题,因此无法同时充分处理这两个问题。为了解决这个问题,我们提出了一个双注意力模型(DAiAM),其中包括两个DAM删除雨条纹和雨滴。在DAM内,有两个注意地图-每个分别关注大雨和小雨区域,以指导适用区域的不同去化过程。此外,为了进一步细化结果,差分驱动的双注意力在注意力模型(D-DAiAM)提出了一个“重到轻”的计划,以消除雨通过解决不满意的deraining区域。在一个公共雨滴数据集、一个公共雨痕和我们合成的联合雨痕和雨滴(JRSRD)数据集上的大量实验表明,该方法不仅能够同时去除雨痕和雨滴,而且在两个任务上都达到了最先进的性能。
2021-10-19 cs.CV
FDA-GAN: Flow-based Dual Attention GAN for Human Pose Transfer
Zhejiang University(浙江大学)
人体姿态转换的目的是将源人的外观转换为目标姿态。现有的方法利用基于流的扭曲的非刚性人体图像生成取得了很大的成功。然而,他们未能保持合成图像的外观细节,因为源和目标之间的空间相关性没有得到充分利用。为此,我们提出了基于流的双重注意力GAN(FDA-GAN)来应用遮挡和变形感知特征融合,以获得更高的生成质量。具体地说,可变形的局部注意力和流相似性注意力,构成了双重注意力机制,可以得到的输出功能,分别负责变形和遮挡感知融合。此外,为了保持姿态和全局位置在传输过程中的一致性,我们设计了一个姿态归一化网络,用于学习从目标姿态到源姿态的自适应归一化。定性和定量结果都表明,我们的方法在公共iPER和DeepFashion数据集中的性能优于最先进的模型。
2021-12-01 cs.CV
Online Multi-Object Tracking with Dual Matching Attention Networks
Shanghai Jiao Tong University(上海交通大学);Visbody Inc(维塑科技有限公司);University of California, Merced(加州大学默塞德分校);Google Inc(谷歌公司);Northwestern Polytechnical University(西北工业大学);Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们提出了一种在线多目标跟踪(MOT)的方法,它集成了单目标跟踪和数据关联方法在一个统一的框架来处理噪声检测和目标之间的频繁交互的优点。具体来说,对于在MOT中应用单个对象跟踪,我们引入了基于最先进的视觉跟踪器的成本敏感的跟踪损失,这鼓励模型在在线学习期间专注于硬负面干扰。对于数据关联,我们提出了双匹配注意力网络(DMAN)的空间和时间的注意力机制。空间注意力模块生成双注意力图,使网络能够专注于输入图像对的匹配模式,而时间注意力模块自适应地将不同级别的注意力分配给轨迹中的不同样本,以抑制噪声观测。在MOT基准数据集上的实验结果表明,该算法在身份保持指标方面对在线和离线跟踪器都表现良好。
2019-02-02 cs.CV
Dual Attention Networks for Multimodal Reasoning and Matching
Search Solutions Inc.(Search Solutions公司);NAVER Corp.(NAVER公司);NAVER LABS Corp.(NAVER LABS公司)
我们提出了双注意力网络(DAN),它联合利用视觉和文本注意力机制来捕捉视觉和语言之间的细粒度相互作用。DAN通过多个步骤关注图像中的特定区域和文本中的文字,并从这两种模式中收集必要的信息。基于这个框架,我们介绍了两种类型的DAN的多模态推理和匹配,分别。该推理模型允许视觉和文本注意力在协作推理过程中相互引导,这对于诸如视觉问答(VQA)之类的任务是有用的。此外,匹配模型利用这两种注意力机制,通过关注图像和句子之间的共享语义来估计它们之间的相似性。我们广泛的实验验证了DAN在结合视觉和语言方面的有效性,在VQA和图像-文本匹配的公共基准测试中实现了最先进的性能。
2017-03-21 cs.CV
Dual Path Multi-Scale Fusion Networks with Attention for Crowd Counting
Qiniu AtLab(七牛云AI实验室(Qiniu AtLab))
由于大规模的变化,在不同密度场景中的人群计数任务是一个非常困难的挑战。在本文中,我们提出了一种新的双路径多尺度融合网络架构与注意力机制命名SFANet,可以执行精确的计数估计,以及目前的高分辨率密度地图高度拥挤的人群场景。SFANet包含两个主要部分:一个VGG骨干卷积神经网络(CNN)作为前端特征图提取器和一个双路径多尺度融合网络作为后端生成密度图。这些双路径多尺度融合网络具有相同的结构,一条路径负责通过突出图像中的人群区域生成注意力图,另一条路径负责融合多尺度特征以及注意力图,生成最终的高质量高分辨率密度图。SFANet可以通过双路径联合训练以端到端的方式轻松训练。我们已经在四个人群计数数据集(ShanghaiTech,UCF CC 50,UCSD和UCF-QRNF)上评估了我们的方法。实验结果表明,与其他现有方法相比,基于注意力机制和多尺度特征融合的SFANet在所有这些数据集上都取得了最佳性能,并生成了质量更好的密度图。
2019-02-04 cs.CV
Dual Attention on Pyramid Feature Maps for Image Captioning
Global Big Data Technologies Centre, University of Technology Sydney(悉尼科技大学全球大数据技术中心)
从图像中生成自然句子是多媒体中视觉语义理解的一项基本学习任务。在本文中,我们提出了双重注意力的金字塔图像特征图,充分挖掘视觉语义的相关性,提高生成的句子的质量。具体而言,通过充分考虑RNN控制器的隐藏状态所提供的上下文信息,金字塔注意力可以更好地定位图像中的视觉指示性和语义一致的区域。另一方面,上下文信息可以通过学习通道依赖性来帮助重新校准特征分量的重要性,以提高视觉特征的区分能力,从而更好地描述内容。我们在三个著名的数据集上进行了全面的实验:Flickr8K,Flickr30K和MS COCO,在从图像生成描述性和平滑的自然句子方面取得了令人印象深刻的结果。使用卷积视觉特征或更多信息的自下而上的注意力特征,我们的复合字幕模型在单模型模式下实现了非常有前途的性能。所提出的金字塔注意和双重注意方法是高度模块化的,可以插入到各种图像描述模块中,以进一步提高性能。
2021-06-10 cs.CV
GDCA: GAN-based single image super resolution with Dual discriminators and Channel Attention
Korea Advances Institute of Science and Technology (KAIST)(韩国科学技术院(KAist))
单图像超分辨率是一个非常活跃的研究领域。本文通过使用具有双鉴别器的基于GAN的方法并将其与注意力机制相结合来解决SISR。实验结果表明,GDCA方法与其他方法相比,能够生成更清晰、更美观的图像。
2021-11-09 cs.AI cs.CV eess.IV
A Dual-scale Lead-seperated Transformer With Lead-orthogonal Attention And Meta-information For Ecg Classification
Tsinghua University(清华大学);Huachuang Aima Information Technology(华创爱玛信息技术公司);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
通过对12导联心电图(ECG)的分析,可以获得心脏电生理状态的辅助诊断。本文提出了一种双尺度导联分离Transformer与导联正交注意力和元信息(DLTM-ECG)作为一种新的方法来解决这一挑战。每个导联的ECG段被解释为独立的补丁,并且与降维信号一起,它们形成双尺度表示。作为一种减少低相关性片段干扰的方法,两组注意力机制执行引线内部和跨引线注意。我们的方法允许添加以前丢弃的元信息,进一步提高临床信息的利用率。实验结果表明,我们的DLTM-ECG比其他基于变换的模型产生更好的分类分数,在两个基准数据集上匹配或表现优于最先进的(SOTA)深度学习方法。我们的工作具有类似的多通道生物电信号处理和生理多模态任务的潜力。
2022-11-23 cs.CV
Attention Disturbance and Dual-Path Constraint Network for Occluded Person Re-identification
Xiamen University(厦门大学);Donghua University(东华大学);Tencent Youtu Lab(腾讯优图实验室)
针对遮挡行人重识别中人工遮挡与真实遮挡差异导致泛化不足的问题,提出基于Transformer的注意力扰动与双路径约束网络ADP,通过ADM模拟真实遮挡噪声和DPC利用完整图像监督信息,在多个基准上取得优于现有方法的性能。
2024-02-22 cs.CV
Enhancing Facial Expression Recognition through Dual-Direction Attention Mixed Feature Networks and CLIP: Application to 8th ABAW Challenge
本文面向第8届ABAW挑战赛,采用DDAMFN统一解决效价-唤醒度估计、情绪识别与动作单元检测,并探索CLIP用于情绪识别,性能超过基线。
2025-03-15 cs.CV
Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers
AGH University(AGH大学);Jagiellonian University(雅盖隆大学)
本文提出双流Transformer架构,用于从同步双摄像头记录中自动检测互视与联合注意,通过冻结的注视感知骨干网络和自定义令牌融合机制,有效提升了多摄像头实验室环境下的检测性能。
2026-04-29 cs.CV
Multimodal Dual Attention Memory for Video Story Question Answering
Clova AI Research, NAVER Corp(NAVER公司Clova AI研究中心);Seoul National University(首尔大学);SK T-brain;Surromind Robotics
我们提出了一个视频故事问答(QA)架构,多模态双注意力记忆(MDAM)。其关键思想是使用具有后期融合的双重注意力机制。MDAM使用自我注意来学习场景帧和字幕中的潜在概念。给定一个问题,MDAM对这些潜在概念使用第二注意力。在双注意过程之后执行多模态融合(后期融合)。使用这种处理管道,MDAM学习从完整视频内容的抽象中推断高级视觉语言联合表示。我们在PororoQA和MovieQA数据集上评估MDAM,这些数据集分别对卡通视频和电影进行了大规模的QA注释。对于这两个数据集,MDAM实现了新的最先进的结果,与亚军模型相比具有显着的利润率。我们通过消融研究证实了双重注意力机制结合晚期融合的最佳性能。我们还进行定性分析,通过可视化的推理机制MDAM。
2018-09-21 cs.AI cs.CL cs.CV
Dual Attention Suppression Attack: Generate Adversarial Camouflage in Physical World
Beihang University(北京航空航天大学)
深度学习模型容易受到对抗性样本的影响。作为对实际深度学习系统更具威胁性的类型,物理对抗性示例近年来受到了广泛的研究关注。然而,由于没有利用模型不可知和人类特定模式等内在特征,现有作品在物理世界中产生弱对抗性扰动,无法跨不同模型进行攻击,并显示出视觉上可疑的外观。基于注意力反映识别过程内在特征的观点,提出了双重注意力抑制(DAS)攻击,通过抑制模型和人类的注意力,生成具有较强可移植性的、视觉上自然的物理对抗图像。至于攻击,我们通过将模型共享的相似注意模式从目标区域分散到非目标区域来生成可转移的对抗性标记。同时,基于人类视觉注意力总是集中在显著项(例如,可疑的扭曲),我们避开了人类特有的自下而上的注意力,以生成与场景上下文相关的视觉上自然的图像。我们在数字和物理世界中进行了广泛的实验,用于最新模型的分类和检测任务(例如,Yolo-V5),并显着表明,我们的方法优于国家的最先进的方法。
2021-03-01 cs.CV
Look Beyond Saliency: Low-Attention Guided Dual Encoding for Video Semantic Search
Saudi Data And Artificial Intelligence Authority (SDAIA)(沙特数据与人工智能管理局)
本文提出低注意力引导的双编码方法,通过逆注意力嵌入提升视频语义搜索在拥挤场景中的召回率,无需额外训练。
2026-05-07 cs.CV
Adaptive Dual Residual U-Net with Attention Gate and Multiscale Spatial Attention Mechanisms (ADRUwAMS)
本文提出了一种结合自适应双残差网络、注意力机制和多尺度空间注意力的新型模型,用于脑肿瘤的自动分割,提升了肿瘤区域的分割精度和Dice得分。
2026-04-10 cs.AI cs.CV
STDA: Spatio-Temporal Dual-Encoder Network Incorporating Driver Attention to Predict Driver Behaviors Under Safety-Critical Scenarios
Tsinghua University(清华大学)
针对安全关键场景下的车辆行为预测难题,本文提出融合驾驶员注意力的时空双编码器网络STDA,通过注意力预测、特征融合、时间编码和行为预测提升性能、可解释性与泛化能力。
2024-08-03 cs.AI cs.CV cs.LG
Dual Attention Networks for Visual Reference Resolution in Visual Dialog
Seoul National University(首尔国立大学);Surromind Robotics(Surromind机器人公司)
可视化对话(VisDial)是一个需要人工智能智能体回答一系列基于图像的问题的任务。与视觉问答(VQA)不同,这一系列问题应该能够从对话历史中捕获时间上下文,并利用视觉基础信息。一个被称为视觉参考解析的问题涉及这些挑战,要求智能体解决给定问题中的模糊参考,并在给定图像中找到参考。在本文中,我们提出了双注意力网络(DAN)的视觉参考分辨率。DAN由REFER和FIND两种注意网络组成。具体地说,REFER模块通过采用自我注意力机制来学习给定问题和对话历史之间的潜在关系。FIND模块获取图像特征和参考感知表示(即,REFER模块的输出)作为输入,并通过自下而上的注意力机制执行视觉基础。我们在VisDial v1.0和v0.9数据集上对我们的模型进行了定性和定量评估,结果表明DAN的性能明显优于以前的最先进模型。
2019-08-29 cs.CV
Spotlight and Shadow: Attention-Guided Dual-Anchor Introspective Decoding for MLLM Hallucination Mitigation
State Key Laboratory of IOTSC, University of Macau(澳门大学物联网国家重点实验室);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出双锚点反思解码框架DaID,通过动态校准每个token生成来缓解MLLM幻觉,利用视觉注意力分布指导双锚点选择,提升推理能力。
2026-04-11 cs.CV
A Dual-Path Model With Adaptive Attention For Vehicle Re-Identification
University of Maryland(马里兰大学);Academia Sinica(台湾中央研究院)
近年来,注意力模型已被广泛用于人和车辆的重新识别。大多数重新识别方法被设计成将注意力集中在关键点定位上。然而,取决于方向,每个关键点的贡献不同。本文提出了一种新的双路径自适应注意力模型用于车辆再识别。全局外观路径捕获宏观车辆特征,而方向调节的零件外观路径通过将注意力集中在最具信息量的关键点上来学习捕获局部化的判别特征。通过大量的实验,我们表明,所提出的AAVER方法能够在不受约束的情况下准确地重新识别车辆,在具有挑战性的数据集VeRi-776上产生最先进的结果。作为副产品,所提出的系统还能够准确地预测车辆关键点,并显示出比现有技术提高7%以上。关键点估计模型的代码可在https://github.com/Pirazh/Vehicle_Key_Point_Orientation_Estimation上获得。
2019-09-24 cs.CV