TensorCoder: Dimension-Wise Attention via Tensor Representation for Natural Language Modeling
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
Transformer已被广泛应用于许多自然语言处理（NLP）任务中，标记间的缩放点积注意力是Transformer的核心模块。这种注意力是一种令牌式设计，其复杂度是序列长度的二次函数，限制了其在长序列任务中的应用潜力。在本文中，我们提出了一个维度的注意力机制，基于此可以开发一种新的语言建模方法（即TensorCoder）。维度注意可以将注意复杂度从原来的$O(N^2d)$降低到$O(Nd^2)$，其中$N$是序列的长度，$d$是头部的维度。我们在两个任务上验证了TensorCoder，包括掩码语言建模和神经机器翻译。与原始Transformer相比，TensorCoder不仅大大减少了原始模型的计算量，而且在掩蔽语言建模任务（PTB数据集）上获得了改进的性能，在机器翻译任务上也获得了相当的性能。
2020-08-12 cs.CL cs.LG
AttnLRP: Attention-Aware Layer-Wise Relevance Propagation for Transformers
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因茨·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
本文提出AttnLRP方法，通过扩展逐层相关性传播以处理注意力层，首次实现对Transformer输入和潜在表示的高效忠实归因，并在多个模型上验证其优越性。
2024-06-10 cs.AI cs.CL cs.CV
Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach
Wayne State University（韦恩州立大学）
由于深度学习模型通常包含数百万个可训练权重，因此对具有减少的存储空间和提高的运行时效率的更高效的网络结构的需求不断增长。剪枝是最流行的网络压缩技术之一。在本文中，我们提出了一种新的非结构化修剪管道，基于注意力的同时稀疏结构和权重学习（ASWL）。与传统的通道式或权值式注意力机制不同，ASWL提出了一种有效的算法，通过对每一层进行逐层注意来计算剪枝率，并跟踪密集网络和稀疏网络的权值，从而从随机初始化的权值中同时学习剪枝后的结构。我们在MNIST，Cifar10和ImageNet上的实验表明，与最先进的网络剪枝方法相比，ASWL在准确性，剪枝率和运行效率方面取得了优异的剪枝结果。
2022-06-08 cs.CV cs.LG
Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization
School of Engineering Science, The University of Osaka（大阪大学工程科学学院）
研究Transformer不同模块偏好不同流形几何，提出为注意力层和MLP层分别分配Stiefel和DGram约束，在GPT-2预训练中取得最佳性能。
2026-06-12 cs.AI cs.LG
CMA-CLIP: Cross-Modality Attention CLIP for Image-Text Classification
Stony Brook University（石溪大学）；Amazon Inc.（亚马逊公司）
社交媒体和电子商务等现代Web系统包含以图像和文本表达的丰富内容。利用来自多模态的信息可以提高分类和推荐等机器学习任务的性能。在本文中，我们提出了跨模态注意力对比存储-图像预训练（CMA-CLIP），一个新的框架，它统一了两种类型的跨模态注意力，序列式注意力和模态式注意力，有效地融合信息的图像和文本对。序列式注意力使框架能够捕获图像块和文本标记之间的细粒度关系，而模态式注意力则通过其与下游任务的相关性来衡量每个模态。此外，通过添加任务特定的模态明智的注意力和多层感知器，我们提出的框架是能够执行多任务分类与多模态。我们在一个主要零售网站产品属性（MRWPA）数据集和两个公共数据集Food 101和Fashion-Gen上进行了实验，结果表明，CMA-CLIP在MRWPA数据集上进行多任务分类时，在相同的精度水平下，在召回率上平均优于预训练和微调的CLIP 11.9%。它的准确性也超过了Fashion-Gen数据集上最先进的方法5.5%，并在Food 101数据集上实现了竞争性性能。通过详细的消融研究，我们进一步证明了跨模态注意模块的有效性和我们的方法对图像和文本输入中的噪声的鲁棒性，这是实践中的一个共同挑战。
2021-12-09 cs.CL cs.CV cs.LG
MLP, XGBoost, KAN, TDNN, and LSTM-GRU Hybrid RNN with Attention for SPX and NDX European Call Option Pricing
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
本研究探讨了多种神经网络架构及XGBoost在SPX和NDX欧式看涨期权定价中的表现，发现带注意力机制的LSTM-GRU混合RNN模型优于BS基准及其他模型。
2024-10-14 cs.CE cs.LG q-fin.CP
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales（新南威尔士大学）；The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；Australian Institute of Health and Welfare（澳大利亚卫生与福利研究所）
国际疾病分类（ICD）编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中，我们提出了一个分层的标签式注意力Transformer模型（HiLAT）的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后，我们采用了两个层次的标签明智的注意力机制，创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能，我们开发了ClinicalplusXLNet，它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明，HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具，用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
Rethinking of the Image Salient Object Detection: Object-level Semantic Saliency Re-ranking First, Pixel-wise Saliency Refinement Latter
Beihang University（北京航空航天大学）；Qingdao University（青岛大学）；Stony Brook University（石溪大学）
真正的人类注意是视觉系统与大脑之间的一种交互活动，它利用低层次的视觉刺激和高层次的语义信息。先前的图像显著性目标检测（SOD）工作以多任务方式进行其显著性预测，即，同时执行逐像素显著性回归和类分割显著性细化，这在揭示语义信息方面退化了它们的特征骨干。然而，给定一幅图像，我们倾向于更多地关注那些语义显著的区域，即使这些区域在第一眼看上去并不是最显著的。在本文中，我们将SOD问题分为两个连续的任务：1）我们提出了一个轻量级的，弱监督的深度网络，首先粗略定位这些语义显著区域; 2）然后，作为后处理过程，我们选择性地将多个现成的深度模型融合到这些语义显著区域上，作为逐像素的显著性细化。与主要利用感知线索学习“单幅图像”像素级显著性的SOTA方法形成鲜明对比，该方法研究了“多幅图像之间的对象级语义等级”，其方法更符合真实人类的注意力机制。我们的方法是简单而有效的，这是第一次尝试考虑显着的目标检测主要是作为一个对象级的语义重排序问题。
2020-08-10 cs.CV cs.LG
Cross-Shape Attention for Part Segmentation of 3D Point Clouds
University of Cyprus（塞浦路斯大学）；CYENS CoE（塞浦路斯卓越研究与创新中心）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出跨形状注意力机制，在形状集合中传播逐点特征并引入形状检索度量选择合适参考形状，在PartNet数据集上取得领先的三维点云部件分割效果。
2023-07-05 cs.CV cs.GR cs.LG
Quaternion Self-Attention with Shared Scores
Tokyo Woman's Christian University（东京女子基督教大学）
提出一种共享分数四元数自注意力机制，通过四元数内积计算单一实值分数并共享注意力分布，在保持性能的同时大幅降低计算成本。
2026-05-24 cs.AI cs.LG stat.ML
Stochastic Layer-wise Learning: Scalable and Efficient Alternative to Backpropagation
针对反向传播全局同步与高内存开销问题，提出SLL逐层训练算法，用随机投影、Bhattacharyya替代目标和局部更新实现全局表征对齐，并在多类网络与数据集上达到接近BP的性能。
2025-09-30 cs.AI cs.LG
TransICD: Transformer Based Code-wise Attention Model for Explainable ICD Coding
The Ohio State University（俄亥俄州立大学）
国际疾病分类（ICD）编码程序是指在医疗记录上标注诊断代码，已被证明是有效的，对医疗部门的计费系统至关重要。目前，ICD代码是手动分配给临床记录的，这可能会导致许多错误。此外，培训熟练的程序员也需要时间和人力资源。因此，自动化ICD代码确定过程是一项重要任务。随着人工智能理论和计算硬件的发展，机器学习方法已经成为一种合适的解决方案来自动化这个过程。在这个项目中，我们应用基于transformer的架构来捕获文档的令牌之间的相互依赖性，然后使用代码方面的注意力机制来学习整个文档的特定于代码的表示。最后，它们被馈送到单独的密集层，用于相应的代码预测。此外，为了处理临床数据集的代码频率的不平衡，我们采用标签分布感知边缘（LDAM）损失函数。MIMIC-III数据集上的实验结果表明，我们提出的模型明显优于其他基线。特别是，我们的最佳设置实现了0.923的微AUC得分，而双向递归神经网络的得分为0.868。我们还表明，通过使用代码明智的注意力机制，该模型可以提供更多的见解，其预测，因此它可以支持临床医生作出可靠的决定。我们的代码可在线获取（https：//github.com/biplob1ly/TransICD）
2021-03-28 cs.CL cs.LG
AReLU: Attention-based Rectified Linear Unit
National University of Defense Technology（国防科技大学）
逐元素激活函数通过影响表达能力和学习动力在深度神经网络中起着关键作用。基于学习的激活函数最近获得了越来越多的关注和成功。我们提出了一个新的视角，通过制定他们与元素明智的注意力机制可学习的激活函数。在每个网络层中，我们设计了一个注意力模块，该模块学习预激活特征图的基于元素、基于符号的注意力图。注意力地图基于元素的符号来缩放元素。将注意力模块与整流线性单元（ReLU）相结合，可以放大正元素，抑制负元素，两者都具有学习的数据自适应参数。我们硬币产生的激活函数基于注意力的整流线性单元（AReLU）。注意力模块本质上是学习输入的激活部分的元素残差，因为ReLU可以被视为一种身份转换。这使得网络训练更能抵抗梯度消失。学习的注意激活导致特征图的相关区域的集中激活。通过广泛的评估，我们表明，AReLU显着提高了大多数主流网络架构的性能，每层仅引入两个额外的可学习参数。值得注意的是，AReLU有助于在小学习率下进行快速网络训练，这使得它特别适合迁移学习和元学习的情况。我们的源代码已经发布（请参阅https：//github.com/densechen/AReLU）。
2020-10-02 cs.LG cs.NE stat.ML
Mixture of Weight-shared Heterogeneous Group Attention Experts for Dynamic Token-wise KV Optimization
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Macau（澳门大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
针对Transformer模型因果语言建模中KV缓存扩展性差的问题，提出mixSGA专家混合方法，通过逐Token路由、权重共享和辅助损失实现动态KV优化，在多模型上的效率和效果均优于静态基线。
2025-06-16 cs.CL cs.LG
Explainable Automated Coding of Clinical Notes using Hierarchical Label-wise Attention Networks and Label Embedding Initialisation
University of Edinburgh（爱丁堡大学）；Health Data Research UK（英国健康数据研究所）；University College London（伦敦大学学院）
临床记录的诊断或程序编码旨在获得患者疾病相关信息的编码摘要。这种编码通常在医院中手动完成，但可能会自动化，以提高医疗编码的效率和准确性。最近关于自动医疗编码的深度学习的研究取得了令人鼓舞的成绩。然而，这些模型的可解释性通常很差，这使得它们不能自信地用于支持临床实践。另一个局限性是，这些模型大多假设标签之间的独立性，忽略了医疗代码之间的复杂相关性，这可能被用来提高性能。我们提出了一个分层标签式注意力网络（HLAN），旨在通过量化与每个标签相关的单词和句子的重要性（作为注意力权重）来解释模型。其次，我们建议使用标签嵌入（LE）初始化方法来增强主要的深度学习模型，该方法学习密集的连续向量表示，然后将表示注入模型中的最终层和标签注意力层。我们使用MIMIC-III出院摘要的三种设置评估了这些方法：完整代码，前50名代码和英国NHS COVID-19屏蔽代码。进行实验以将HLAN和LE初始化与最先进的基于神经网络的方法进行比较。HLAN在前50名代码预测中实现了最佳的微观水平AUC和$F_1$，并在NHS COVID-19屏蔽代码预测中获得了与其他模型相当的结果。通过突出每个标签最突出的单词和句子，HLAN与其降级的基线和基于CNN的模型相比，显示出更有意义和更全面的模型解释。LE初始化始终提升了用于自动化医疗编码的大多数深度学习模型。
2021-07-16 cs.CL cs.LG
Multi-agent Deep Covering Skill Discovery
Purdue University（普渡大学）；George Washington University（乔治华盛顿大学）
本文提出多智能体深度覆盖选项发现方法，通过最小化联合状态空间期望覆盖时间构建协作选项，并利用注意力机制与分层算法 HA-MSAC 实现子组协调，在稀疏奖励多智能体任务中显著提升探索效率和任务奖励。
2023-09-21 cs.LG cs.MA
Attention Option-Critic
McGill University（麦吉尔大学）；Mila（米拉研究所）；Google Deepmind（谷歌DeepMind）
强化学习中的时间抽象是智能体学习和使用高级行为的能力，称为选项。option-critic架构提供了一种基于梯度的端到端学习方法来构建选项。我们提出了一个基于注意力的扩展这个框架，它使代理学习集中不同的选项在观察空间的不同方面。我们表明，这导致行为上的不同的选项，也能够状态抽象，并防止退化问题的选项统治和频繁的选项切换发生在选项批评，同时实现类似的样本复杂性。我们还证明了更有效的，可解释的，和可重用的性质相比，通过不同的迁移学习任务的选择的选择。实验结果在一个相对简单的四个房间的环境和更复杂的ALE（商场学习环境）展示了我们的方法的有效性。
2022-01-07 cs.AI cs.LG
Channel-Wise Attention-Based Network for Self-Supervised Monocular Depth Estimation
State Key Laboratory for Manufacturing System Engineering（机械制造系统工程国家重点实验室）；School of Mechanical Engineering, Xi’an Jiaotong University（西安交通大学机械工程学院）
自监督学习在单目深度估计中已经显示出非常有前途的结果。场景结构和局部细节都是高质量深度估计的重要线索。最近的作品缺乏明确的场景结构建模和正确的细节信息处理，这导致了性能瓶颈和预测结果中的模糊伪影。本文提出了一种基于场景注意力的深度估计网络（CADepth-Net），该网络具有两个有效的贡献：1）结构感知模块采用自注意力机制捕获长距离依赖关系，并在通道维度上聚合判别特征，显式增强场景结构的感知，获得更好的场景理解和丰富的特征表示。2)细节强调模块重新校准逐通道特征图并选择性地强调信息特征，旨在突出关键的局部细节信息并更有效地融合不同级别的特征，从而产生更精确和更锐利的深度预测。此外，大量的实验验证了我们的方法的有效性，并表明我们的模型达到了最先进的KITTI基准测试和Make 3D数据集的结果。
2021-12-24 cs.AI cs.CV cs.LG
LEA-Net: Layer-wise External Attention Network for Efficient Color Anomaly Detection
Kyushu Institute of Technology（九州工业大学）
利用异常的先验知识是异常检测的一个重要问题。最近，视觉注意力机制已经成为一种很有前途的方法来提高CNN的性能，用于一些计算机视觉任务。在本文中，我们提出了一种新的模型称为分层外部注意力网络（LEA-Net）的有效的图像异常检测。其核心思想依赖于通过视觉注意力机制集成无监督和监督异常检测器。我们的战略如下：（i）关于异常的先验知识被表示为通过正常实例的无监督学习生成的异常图，（ii）异常图被外部网络转换为注意力图，（iii）注意力图然后被并入异常检测网络的中间层。值得注意的是，这种逐层的外部注意力可以以端到端的训练方式应用于任何CNN模型。对于试点研究，我们验证LEA-Net的颜色异常检测任务。通过对PlantVillage，MVTec AD和Cloud数据集的广泛实验，我们证明了所提出的逐层视觉注意力机制始终提高了现有CNN模型的异常检测性能，即使在不平衡的数据集上也是如此。此外，我们表明，我们的注意力机制成功地提高了几个CNN模型的性能。
2021-09-12 cs.CV cs.LG
Progressive Class-Wise Attention (PCA) Approach for Diagnosing Skin Lesions
COMSATS University Islamabad（COMSATS伊斯兰堡大学）；UNSW（新南威尔士大学）
针对皮肤病变因类内差异大、类间相似性高导致分类难的问题，提出渐进式类别注意力方法，平等对待各类别并渐进融合多尺度判别特征，在HAM10000和ISIC 2019数据集上准确率分别达97.40%和94.9%，性能超15种前沿方法。
2023-06-11 cs.AI cs.CV cs.LG
Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
本文提出非对称注意力头（AAH）框架，通过分层分组头并分配不同因果局部窗口，在4096-token实验中实现比纯全注意力更低的验证损失，为Transformer注意力提供结构化上下文分配机制。
2026-08-21 cs.AI cs.CL cs.LG
MRI Reconstruction via Cascaded Channel-wise Attention Network
Rutgers University（罗格斯大学）
我们考虑一个MRI重建问题，输入的k空间数据在一个非常低的欠采样率。由于减少了MRI扫描的时间，这实际上可以使患者受益，但由于重建的质量可能会受到影响，因此也具有挑战性。目前，基于深度学习的方法在MRI重建中占主导地位，而不是传统的方法，如压缩感知，但它们很少在低欠采样k空间数据的情况下表现出令人满意的性能。一种解释是这些方法平等地对待通道特征，这导致神经网络的表示能力下降。为了解决这个问题，我们提出了一个新的模型，称为MRI级联逐行注意网络（MICCAN），由三个组件突出：（i）具有逐行注意（UCA）模块的U-网的变体，（ii）长跳跃连接和（iii）组合损失。我们的模型能够通过过滤不相关的特征来关注显着信息，并通过强制将低频信息旁路到最终输出来集中于高频信息。我们进行定量评估和定性分析，我们的方法对心脏数据集。实验表明，我们的方法取得了非常有前途的结果，在三个常见的指标对低欠采样k空间数据的MRI重建。
2019-04-09 cs.CV cs.LG
STAR: Stage-Wise Attention-Guided Token Reduction for Efficient Large Vision-Language Models Inference
De Artificial Intelligence Lab（人工智能实验室）
针对大视觉语言模型视觉token推理计算开销大、现有单阶段免训练剪枝高剪枝率下性能下降明显的问题，提出分两阶段注意力引导的即插即用免训练token缩减框架STAR，实现加速同时保持甚至提升性能。
2025-05-18 cs.CV cs.LG
VONet: Unsupervised Video Object Learning With Parallel U-Net Attention and Object-wise Sequential VAE
Horizon Robotics（地平线机器人）
提出 VONet，通过并行 U-Net 注意力、对象级序列 VAE 与 transformer 解码器实现无监督视频对象分解，并在五个 MOVI 数据集上取得领先性能。
2024-01-20 cs.CV cs.LG
Distance and Hop-wise Structures Encoding Enhanced Graph Attention Networks
Sci-Tech Academy of ZheJiang University（浙江大学科学技术研究院）；Research Center of Hundsun LTD.（恒生电子股份有限公司研发中心）；School of Finance, NanKai University（南开大学金融学院）
大量的工作已经证明，现有的邻域平均图神经网络不能有效地捕捉结构特征，许多工作表明，注入结构，距离，位置或空间特征可以显着提高GNN的性能，然而，注入整体结构和距离到GNN是一个直观的，但仍然没有触及的想法。在这项工作中，我们阐明了方向。该算法首先提取跳数结构信息和计算距离分布信息，将它们与节点的内在特征进行融合，嵌入到同一个向量空间中，然后相加。将得到的嵌入向量输入GAT（如GAT、AGDN），然后进行修正和平滑，实验表明DHSEGAT算法取得了较好的效果。该代码可在https://github.com/hzg0601/DHSEGATs上获得。
2021-12-06 cs.AI cs.LG
Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models
POSTECH（POSTECH大学）；HJ AILAB（HJ人工智能实验室）
研究揭示了语言模型对提示顺序的敏感性，通过系统分析发现因果注意力是核心机制，指出在多项选择问答中，上下文先于问题和选项的顺序能提升性能14%以上。
2026-04-21 cs.AI cs.CL cs.LG
Stereo Waterdrop Removal with Row-wise Dilated Attention
HKUST（香港科技大学）
现有的用于自动驾驶或机器人的视觉系统对粘附在窗户或相机镜头上的水滴敏感。大多数最近的水滴去除方法将单个图像作为输入，并且通常无法忠实地恢复水滴背后丢失的内容。因此，我们提出了一个基于学习的立体图像水滴去除模型。为了更好地检测和去除立体图像中的水滴，我们提出了一种新的逐行扩张注意模块，以扩大注意力的感受野，有效的信息传播之间的两个立体图像。此外，我们提出了一个注意力一致性损失之间的地面实况视差图和注意力分数，以提高立体图像的左右一致性。由于相关数据集的不可用性，我们收集了一个真实世界的数据集，其中包含有水滴和没有水滴的立体图像。在我们的数据集上进行的大量实验表明，我们的模型在定量和定性方面都优于最先进的方法。我们的源代码和立体水滴数据集可在\href{https://github.com/VivianSZF/Stereo-Waterdrop-Removal}{https://github.com/VivianSZF/Stereo-Waterdrop-Removal}上获得
2021-08-07 cs.CV cs.LG cs.RO
Attention-wise masked graph contrastive learning for predicting molecular property
Nanjing Tech University（南京工业大学）；Central South University（中南大学）
准确、高效地预测药物的分子性质是药物研究和开发的基本问题之一。表征学习的最新进展已被证明可以大大提高分子性质预测的性能。然而，由于有限的标记数据，基于监督学习的分子表示算法只能搜索有限的化学空间，导致泛化能力差。在这项工作中，我们提出了一个大规模的未标记分子的自监督表示学习框架。我们开发了一种新的分子图增强策略，称为attention-wise graph mask，以生成具有挑战性的阳性样本进行对比学习。我们采用图注意力网络（GAT）作为分子图编码器，并利用学习的注意力分数作为掩蔽指导来生成分子增强图。通过最小化原始图和掩码图之间的对比损失，我们的模型可以捕获重要的分子结构和高阶语义信息。大量的实验表明，我们的注意力图形掩码对比学习在几个下游分子性质预测任务中表现出最先进的性能。
2022-05-02 cs.LG q-bio.BM
Graph Representation Learning via Hard and Channel-Wise Attention Networks
Texas A&M University（德克萨斯农工大学）
注意力算子在计算机视觉、自然语言处理、网络嵌入学习等领域有着广泛的应用。图数据上的注意力操作符在聚合来自相邻节点的信息时启用可学习的权重。然而，图注意力算子（GAO）消耗过多的计算资源，阻碍了它们在大型图上的应用。此外，GAO属于软注意力家族，而不是硬注意力，这已被证明可以产生更好的性能。在这项工作中，我们提出了新的硬图注意力算子（hGAO）和通道式图注意力算子（cGAO）。hGAO通过仅关注重要节点来使用硬注意力机制。与GAO算法相比，hGAO算法只关注重要节点，提高了性能，节省了计算开销。为了进一步降低对计算资源的需求，我们提出了cGAO，它沿着通道执行注意力操作。cGAO避免了对邻接矩阵的依赖，从而大大减少了计算资源需求。实验结果表明，我们提出的深度模型与新的运营商实现了一贯更好的性能。比较结果还表明，hGAO在节点和图嵌入任务上的性能明显优于GAO。效率比较表明，我们的cGAO导致计算资源的显着节省，使其适用于大型图形。
2019-07-05 cs.LG stat.ML
LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks
Department of Computer Science University of Bari Aldo Moro（计算机科学系巴里大学Aldo Moro）
该研究提出LAYA分层注意力聚合器，通过动态聚合神经网络各层特征实现可解释深度感知，在图像分类任务中兼具竞争力性能与直观层贡献解释。
2026-08-04 cs.LG
TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention
University of Science and Technology of China（中国科学技术大学）
提出TabSwift，通过门控注意力稳定和可学习注册令牌增强轻量级行注意力骨干，实现高效表格上下文学习，在保持竞争力的同时降低推理成本。
2026-06-05 cs.LG
A 3D super-resolution of wind fields via physics-informed pixel-wise self-attention generative adversarial network
University of Chicago（芝加哥大学）；IBM Research（IBM研究院）
本文提出一种物理信息像素级自注意力生成对抗网络，通过9倍放大实现三维风场超分辨率，降低计算成本89.7倍。
2023-12-20 cs.AI cs.LG physics.ao-ph
ChampionKV: Head-Wise Adaptive Budget Allocation for KV Cache Compression
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）；Tongji University（同济大学）；Hong Kong University（香港大学）
ChampionKV是一种输入自适应头级KV缓存压缩预算分配器，可插入SnapKV、PyramidKV等压缩器，在长基准测试集上提升性能，70B模型改进显著，开销可忽略。
2026-10-14 cs.AI cs.LG
When and Why Grouping Attention Heads Accelerates Muon Optimization
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院）
本文研究了将注意力头分组对μ子优化的影响，通过比较全矩阵μ子与分组μ子的性能，提出Group Muon方法，通过调整分组大小和规则优化模型验证损失。
2026-05-09 cs.LG
LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models
University of California, Berkeley（加州大学伯克利分校）
LoSA通过局部意识稀疏注意力机制，针对块状扩散语言模型中的KV膨胀问题，优化注意力计算，提升效率和精度，实现更高的准确率和速度。
2026-04-13 cs.CL cs.LG
Node-wise Domain Adaptation Based on Transferable Attention for Recognizing Road Rage via EEG
Tianjin University（天津大学）；University of Electronic Science and Technology of China（电子科技大学）；Tianjin University of Traditional Chinese Medicine（天津中医药大学）
路怒症是一个值得关注的社会问题，但迄今为止研究甚少。本文基于多通道脑电信号的生物学拓扑结构，提出了一种结合可转移注意力（TA）和正则化图神经网络（RGNN）的脑电信号识别模型。首先，对EEG信号进行拓扑感知信息聚合，动态学习通道之间的复杂关系。然后，每个通道的可转移性被量化的基础上的结果的节点明智的域分类器，这是用来作为注意力得分。我们招募了10名受试者，并在模拟驾驶条件下收集了他们在愉悦和愤怒状态下的脑电信号。我们在这个数据集上验证了我们的方法的有效性，并与其他方法进行了比较。结果表明，该方法简单有效，跨学科实验的准确率为85.63%。它可以用来识别路怒症。我们的数据和代码是可用的。https://github.com/1CEc0ffee/dataAndCode.git
2022-11-06 cs.LG eess.SP
Towards Better Multi-head Attention via Channel-wise Sample Permutation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
本文提出通道级样本排列（CSP）算子，通过循环移位和排序隐式实现跨通道注意力图，构建参数更少、复杂度更低的线性结构化多头注意力，在多项任务中取得优异性能。
2024-10-14 cs.CL cs.CV cs.LG
Cluster-wise Graph Transformer with Dual-granularity Kernelized Attention
Shanghai Jiao Tong University（上海交通大学）；Paris Elite Institute of Technology（巴黎精英理工学院）
针对层次图方法因固定图粗化导致簇表示同质化及节点信息丢失的问题，提出簇级图Transformer架构，通过引入结合多核学习的节点到簇注意力机制，实现线性复杂度下的双粒度信息融合，在图级任务上表现卓越。
2024-12-24 cs.LG
Dual Attention GANs for Semantic Image Synthesis
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Huawei Research Ireland（华为爱尔兰研究院）
在本文中，我们专注于语义图像合成任务，旨在将语义标签映射到照片般逼真的图像。现有的方法缺乏有效的语义约束来保持语义信息，忽略了空间和通道维度上的结构相关性，导致不令人满意的模糊和伪影倾向的结果。为了解决这些局限性，我们提出了一种新的双注意力GAN（DAGAN），从输入布局中合成具有精细细节的照片般逼真和语义一致的图像，而无需施加额外的训练开销或修改现有方法的网络架构。我们还提出了两个新的模块，即，位置方面的空间注意力模块（SAM）和尺度方面的通道注意力模块（CAM），以分别捕获空间和通道维度中的语义结构注意力。具体地说，SAM选择性地相关的像素在每个位置的空间注意力地图，导致像素具有相同的语义标签是相互相关的，而不管它们的空间距离。同时，CAM选择性地强调在每个通道的尺度上的功能，通过通道注意力地图，它集成了所有通道地图之间的相关功能，而不管它们的规模。最后，我们总结SAM和CAM的输出，以进一步改善特征表示。在四个具有挑战性的数据集上进行的大量实验表明，DAGAN在使用更少的模型参数的同时，取得了比最先进的方法更好的结果。源代码和训练模型可在https://github.com/Ha0Tang/DAGAN上获得。
2020-08-29 cs.AI cs.CV cs.LG
Chunk-wise Attention Transducers for Fast and Accurate Streaming Speech-to-Text
NVIDIA Corporation（英伟达公司）
CHAT通过分块注意力机制提升流式语音处理效率与准确性，实现内存、训练和推断速度的显著提升，并在多语言任务中展现更优性能。
2026-02-27 cs.LG
CASA: CNN Autoencoder-based Score Attention for Efficient Multivariate Long-term Time-series Forecasting
Department of Mathematical Sciences（数学科学系）；Research Institute of Mathematics（数学研究所）；Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目）
本文提出CASA机制，通过CNN自编码器得分注意力降低内存占用，以模型无关方式改进Transformer，在多元长期时间序列预测中最多降低77.7%计算资源并取得最优性能。
2025-05-04 cs.AI cs.LG
SPION: Layer-Wise Sparse Training of Transformer via Convolutional Flood Filling
Sogang University（西江大学）
本文提出SPION方法，结合卷积滤波器和洪泛填充实现Transformer逐层稀疏注意力训练，在GPU上相比现有稀疏Transformer最高加速3.08倍且评估质量更优。
2023-09-22 cs.DC cs.LG
CTA-RNN: Channel and Temporal-wise Attention RNN Leveraging Pre-trained ASR Embeddings for Speech Emotion Recognition
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
先前的研究已经探讨了通过利用语音的声学和语言线索来提高语音情感识别（SER）的方法。然而，国家的最先进的ASR模型和SER任务之间的潜在关联还有待调查。在本文中，我们提出了一种新的通道和时间上的注意力RNN（CTA-RNN）架构的基础上，预训练的ASR模型的中间表示。具体来说，大规模预训练的端到端ASR编码器的嵌入包含声学和语言信息，以及概括到不同说话者的能力，使它们非常适合下游SER任务。为了进一步利用ASR编码器不同层的嵌入，我们提出了一种新的CTA-RNN架构来捕获信道和时间方向上嵌入的情感突出部分。我们评估我们的方法在两个流行的基准数据集，IEMOCAP和MSP-IMPROV，使用内语料库和跨语料库设置。实验结果表明，我们提出的方法可以实现良好的性能，在准确性和鲁棒性。
2022-03-31 cs.LG cs.SD eess.AS
HiGNN: Hierarchical Informative Graph Neural Networks for Molecular Property Prediction Equipped with Feature-Wise Attention
South China University of Technology（华南理工大学）；Shanghai Jiao Tong University School of Medicine（上海交通大学医学院）
阐明和准确预测分子的可药性和生物活性在药物设计和发现中起着关键作用，并且仍然是一个开放的挑战。近年来，图神经网络（GNN）在基于图的分子性质预测方面取得了显著的进展。然而，目前基于图的深度学习方法忽略了分子的层次信息和特征通道之间的关系。在这项研究中，我们提出了一个精心设计的分层信息图神经网络框架（称为HiGNN），通过利用分子图和化学合成的金砖碎片的共同表示学习来预测分子性质。此外，一个即插即用的功能明智的注意力块首先设计在HiGNN架构自适应地重新校准后的消息传递阶段的原子功能。大量实验表明，HiGNN在许多具有挑战性的药物发现相关基准数据集上实现了最先进的预测性能。此外，我们设计了一个分子片段相似性机制，以全面研究HiGNN模型在子图水平上的可解释性，表明HiGNN作为一个强大的深度学习工具，可以帮助化学家和药剂师识别分子的关键组成部分，以设计具有所需性质或功能的更好的分子。源代码可在https://github.com/idruglab/hignn上公开获得。
2022-08-30 cs.LG q-bio.QM
Channel Distillation: Channel-Wise Attention for Knowledge Distillation
University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）
知识蒸馏是将教师网络学到的数据中的知识转移到学生网络中，使学生具有参数少、计算量少的优势，准确度接近教师。本文提出了一种新的蒸馏方法，它包含两种转移蒸馏策略和一种损失衰减策略。第一种传输策略是基于通道注意力的，称为通道蒸馏（CD）。CD将频道信息从教师传输到学生。二是引导式知识蒸馏（GKD）。与知识蒸馏（KD）不同，它允许学生模仿教师的每个样本的预测分布，GKD只允许学生模仿教师的正确输出。早期衰退教师（Early Decay Teacher，EDT）在训练过程中，我们逐渐衰减蒸馏损失的重量。目的是让学生而不是老师逐渐控制优化。我们提出的方法在ImageNet和CIFAR 100上进行了评估。在ImageNet上，我们使用ResNet 18实现了27.68%的top-1错误，优于最先进的方法。在CIFAR 100上，我们取得了令人惊讶的结果，学生优于教师。代码可在https://github.com/zhouzaida/channel-distillation上获得。
2020-06-02 cs.LG stat.ML
Less is More: Hop-Wise Graph Attention for Scalable and Generalizable Learning on Circuits
Cornell University（康奈尔大学）；University of Maryland（马里兰大学）；Qualcomm Technologies, Inc.（高通技术公司）
针对图神经网络在电路EDA任务中可扩展性与泛化性不足的问题，提出跳数级图注意力模型HOGA，在两项EDA任务上精度更优且训练可分布式线性加速。
2024-04-10 cs.AR cs.LG
Model, sample, and epoch-wise descents: exact solution of gradient flow in the random feature model
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
最近的证据表明，深度学习模型的泛化误差存在所谓的双下降甚至三下降行为。这一重要现象通常出现在已实现的神经网络架构中，并且似乎也出现在训练过程中的逐时曲线中。最近的一系列研究强调，随机矩阵工具可以用来获得精确的分析渐近的随机特征模型的泛化（和训练）错误。在这篇文章中，我们分析了梯度流下随机特征模型的泛化和训练误差的整体时间行为。我们表明，在大系统尺寸的渐近极限的完整的时间演化路径的两个错误可以计算分析。这使我们能够观察双下降和三下降如何随着时间的推移而发展，如果以及何时提前停止是一种选择，并且还观察时间下降结构。我们的技术是基于柯西复杂的积分表示的错误连同最近的随机矩阵方法的基础上线性铅笔。
2021-10-22 cs.LG stat.ML
TRIM: Token-wise Attention-Derived Saliency for Data-Efficient Instruction Tuning
Electrical and Computer Engineering, Purdue University（普渡大学电子与计算机工程系）
TRIM通过令牌层面的注意力分析提升数据效率，利用少量高质量样本构建指令微调数据集，显著优于现有方法，在部分任务中甚至超越全数据微调。
2026-05-14 cs.CL cs.LG
Depth-Wise Attention (DWAtt): A Layer Fusion Method for Data-Efficient Classification
Microsoft Egypt（微软埃及分公司）；EPFL（洛桑联邦理工学院）；CMU（卡内基梅隆大学）
本文提出深度注意力（DWAtt）层融合方法，通过重新利用预训练模型中间层特征，在少样本和不同数据规模下显著提升分类效率与性能。
2024-05-07 cs.CL cs.LG
PagedEviction: Structured Block-wise KV Cache Pruning for Efficient Large Language Model Inference
针对大语言模型推理中KV缓存随序列长度增长的内存瓶颈问题，提出适配vLLM分页内存的PagedEviction分块KV缓存剪枝方法，无需修改注意力核即可提升长上下文任务的内存效率与准确率。
2025-09-04 cs.LG
Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations
New York University, New York, NY, USA（纽约大学）；Department of Neurosurgery, NYU Langone Health, New York, NY, USA（神经外科部门，NYU Langone健康）
Gateformer通过变量独立嵌入、跨时间与跨变量注意力及门控机制，在13个数据集上达到最优性能，并可集成到其他预测器中提升最高20.7%的效果。
2025-07-03 cs.LG
SAMformer: Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware Minimization and Channel-Wise Attention
Paris Descartes University（巴黎笛卡尔大学）；LIPADE
针对Transformer在多变量时间序列长期预测中逊于线性基线的问题，本文发现注意力机制导致泛化能力低下，提出使用锐度感知优化训练的浅层轻量级模型SAMformer，成功逃离不良局部极小值，在真实数据集上超越现有方法且参数显著少于大型基础模型MOIRAI。
2024-06-03 cs.LG stat.ML
Geometric Scattering Attention Networks
几何散射最近在图表示学习中得到了认可，最近的工作表明，在图卷积网络（GCN）中集成散射特征可以减轻节点表示学习中特征的典型过度平滑。然而，散射通常依赖于手工设计，需要通过级联小波变换仔细选择频带，以及有效的权重共享方案来组合低通和带通信息。在这里，我们引入了一种新的基于注意力的架构，通过隐式学习节点权重来结合网络中的多个散射和GCN通道，从而产生自适应任务驱动的节点表示。我们表明，由此产生的几何散射注意力网络（GSAN）在半监督节点分类方面优于以前的网络，同时还通过检查节点的注意力权重对提取的信息进行光谱研究。
2022-01-19 cs.LG stat.ML
Listening to the Wise Few: Query-Key Alignment Unlocks Latent Correct Answers in Large Language Models
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；AI Foundation and Algorithm Lab（人工智能基金会与算法实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Artificial Intelligence Research Institute (AIRI)（人工智能研究院）；CNRS（法国国家科学研究中心）；Université Paris Cité（巴黎西岱大学）
本文提出基于选择-复制注意力头的QK分数和注意力分数来改进多项选择问答中的知识提取，缓解LLM因格式限制而选错答案的问题，在多个MCQA基准上显著提升准确率。
2026-10-01 cs.CL cs.LG
