Channel Distillation: Channel-Wise Attention for Knowledge Distillation
University of Science and Technology of China（中国科学技术大学）；Sun Yat-sen University（中山大学）
知识蒸馏是将教师网络学到的数据中的知识转移到学生网络中，使学生具有参数少、计算量少的优势，准确度接近教师。本文提出了一种新的蒸馏方法，它包含两种转移蒸馏策略和一种损失衰减策略。第一种传输策略是基于通道注意力的，称为通道蒸馏（CD）。CD将频道信息从教师传输到学生。二是引导式知识蒸馏（GKD）。与知识蒸馏（KD）不同，它允许学生模仿教师的每个样本的预测分布，GKD只允许学生模仿教师的正确输出。早期衰退教师（Early Decay Teacher，EDT）在训练过程中，我们逐渐衰减蒸馏损失的重量。目的是让学生而不是老师逐渐控制优化。我们提出的方法在ImageNet和CIFAR 100上进行了评估。在ImageNet上，我们使用ResNet 18实现了27.68%的top-1错误，优于最先进的方法。在CIFAR 100上，我们取得了令人惊讶的结果，学生优于教师。代码可在https://github.com/zhouzaida/channel-distillation上获得。
2020-06-02 cs.LG stat.ML
LEA-Net: Layer-wise External Attention Network for Efficient Color Anomaly Detection
Kyushu Institute of Technology（九州工业大学）
利用异常的先验知识是异常检测的一个重要问题。最近，视觉注意力机制已经成为一种很有前途的方法来提高CNN的性能，用于一些计算机视觉任务。在本文中，我们提出了一种新的模型称为分层外部注意力网络（LEA-Net）的有效的图像异常检测。其核心思想依赖于通过视觉注意力机制集成无监督和监督异常检测器。我们的战略如下：（i）关于异常的先验知识被表示为通过正常实例的无监督学习生成的异常图，（ii）异常图被外部网络转换为注意力图，（iii）注意力图然后被并入异常检测网络的中间层。值得注意的是，这种逐层的外部注意力可以以端到端的训练方式应用于任何CNN模型。对于试点研究，我们验证LEA-Net的颜色异常检测任务。通过对PlantVillage，MVTec AD和Cloud数据集的广泛实验，我们证明了所提出的逐层视觉注意力机制始终提高了现有CNN模型的异常检测性能，即使在不平衡的数据集上也是如此。此外，我们表明，我们的注意力机制成功地提高了几个CNN模型的性能。
2021-09-12 cs.CV cs.LG
SAMformer: Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware Minimization and Channel-Wise Attention
Paris Descartes University（巴黎笛卡尔大学）；LIPADE
针对Transformer在多变量时间序列长期预测中逊于线性基线的问题，本文发现注意力机制导致泛化能力低下，提出使用锐度感知优化训练的浅层轻量级模型SAMformer，成功逃离不良局部极小值，在真实数据集上超越现有方法且参数显著少于大型基础模型MOIRAI。
2024-06-03 cs.LG stat.ML
Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
本文提出非对称注意力头（AAH）框架，通过分层分组头并分配不同因果局部窗口，在4096-token实验中实现比纯全注意力更低的验证损失，为Transformer注意力提供结构化上下文分配机制。
2026-08-21 cs.AI cs.CL cs.LG
LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks
Department of Computer Science University of Bari Aldo Moro（计算机科学系巴里大学Aldo Moro）
该研究提出LAYA分层注意力聚合器，通过动态聚合神经网络各层特征实现可解释深度感知，在图像分类任务中兼具竞争力性能与直观层贡献解释。
2026-08-04 cs.LG
TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention
University of Science and Technology of China（中国科学技术大学）
提出TabSwift，通过门控注意力稳定和可学习注册令牌增强轻量级行注意力骨干，实现高效表格上下文学习，在保持竞争力的同时降低推理成本。
2026-06-05 cs.LG
AReLU: Attention-based Rectified Linear Unit
National University of Defense Technology（国防科技大学）
逐元素激活函数通过影响表达能力和学习动力在深度神经网络中起着关键作用。基于学习的激活函数最近获得了越来越多的关注和成功。我们提出了一个新的视角，通过制定他们与元素明智的注意力机制可学习的激活函数。在每个网络层中，我们设计了一个注意力模块，该模块学习预激活特征图的基于元素、基于符号的注意力图。注意力地图基于元素的符号来缩放元素。将注意力模块与整流线性单元（ReLU）相结合，可以放大正元素，抑制负元素，两者都具有学习的数据自适应参数。我们硬币产生的激活函数基于注意力的整流线性单元（AReLU）。注意力模块本质上是学习输入的激活部分的元素残差，因为ReLU可以被视为一种身份转换。这使得网络训练更能抵抗梯度消失。学习的注意激活导致特征图的相关区域的集中激活。通过广泛的评估，我们表明，AReLU显着提高了大多数主流网络架构的性能，每层仅引入两个额外的可学习参数。值得注意的是，AReLU有助于在小学习率下进行快速网络训练，这使得它特别适合迁移学习和元学习的情况。我们的源代码已经发布（请参阅https：//github.com/densechen/AReLU）。
2020-10-02 cs.LG cs.NE stat.ML
When and Why Grouping Attention Heads Accelerates Muon Optimization
State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院）
本文研究了将注意力头分组对μ子优化的影响，通过比较全矩阵μ子与分组μ子的性能，提出Group Muon方法，通过调整分组大小和规则优化模型验证损失。
2026-05-09 cs.LG
Geometric Scattering Attention Networks
几何散射最近在图表示学习中得到了认可，最近的工作表明，在图卷积网络（GCN）中集成散射特征可以减轻节点表示学习中特征的典型过度平滑。然而，散射通常依赖于手工设计，需要通过级联小波变换仔细选择频带，以及有效的权重共享方案来组合低通和带通信息。在这里，我们引入了一种新的基于注意力的架构，通过隐式学习节点权重来结合网络中的多个散射和GCN通道，从而产生自适应任务驱动的节点表示。我们表明，由此产生的几何散射注意力网络（GSAN）在半监督节点分类方面优于以前的网络，同时还通过检查节点的注意力权重对提取的信息进行光谱研究。
2022-01-19 cs.LG stat.ML
ChWDTA: Channel-wise Wavelet-Domain Transformer Attention and Entropy Modeling for Learned Image Compression
Electrical and Computer Engineering Department, The University of British Columbia（英属哥伦比亚大学电气与计算机工程系）；School of Engineering Science, Simon Fraser University（西蒙弗雷泽大学工程科学学院）；School of Electronic Science and Technology, Eastern Institute of Technology（电子科学与技术学院，东部技术学院）；Google LLC（谷歌公司）
提出通道级小波域变换器注意力（ChWDTA）和通道级小波包分解，在混合CNN-Transformer图像压缩框架中提升率失真性能，在多个测试集上实现显著BD-rate降低。
2026-05-27 cs.CV cs.LG eess.IV
Element-wise Attention Is All You Need
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）
本文提出逐元素注意力机制，以平方欧氏距离和 Taylor 多项式替代点积相似度，在保持自注意力性能的同时显著降低长序列训练与推理复杂度。
2025-01-10 cs.AI cs.LG
Cluster-wise Graph Transformer with Dual-granularity Kernelized Attention
Shanghai Jiao Tong University（上海交通大学）；Paris Elite Institute of Technology（巴黎精英理工学院）
针对层次图方法因固定图粗化导致簇表示同质化及节点信息丢失的问题，提出簇级图Transformer架构，通过引入结合多核学习的节点到簇注意力机制，实现线性复杂度下的双粒度信息融合，在图级任务上表现卓越。
2024-12-24 cs.LG
LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models
University of California, Berkeley（加州大学伯克利分校）
LoSA通过局部意识稀疏注意力机制，针对块状扩散语言模型中的KV膨胀问题，优化注意力计算，提升效率和精度，实现更高的准确率和速度。
2026-04-13 cs.CL cs.LG
Chunk-wise Attention Transducers for Fast and Accurate Streaming Speech-to-Text
NVIDIA Corporation（英伟达公司）
CHAT通过分块注意力机制提升流式语音处理效率与准确性，实现内存、训练和推断速度的显著提升，并在多语言任务中展现更优性能。
2026-02-27 cs.LG
Node-wise Domain Adaptation Based on Transferable Attention for Recognizing Road Rage via EEG
Tianjin University（天津大学）；University of Electronic Science and Technology of China（电子科技大学）；Tianjin University of Traditional Chinese Medicine（天津中医药大学）
路怒症是一个值得关注的社会问题，但迄今为止研究甚少。本文基于多通道脑电信号的生物学拓扑结构，提出了一种结合可转移注意力（TA）和正则化图神经网络（RGNN）的脑电信号识别模型。首先，对EEG信号进行拓扑感知信息聚合，动态学习通道之间的复杂关系。然后，每个通道的可转移性被量化的基础上的结果的节点明智的域分类器，这是用来作为注意力得分。我们招募了10名受试者，并在模拟驾驶条件下收集了他们在愉悦和愤怒状态下的脑电信号。我们在这个数据集上验证了我们的方法的有效性，并与其他方法进行了比较。结果表明，该方法简单有效，跨学科实验的准确率为85.63%。它可以用来识别路怒症。我们的数据和代码是可用的。https://github.com/1CEc0ffee/dataAndCode.git
2022-11-06 cs.LG eess.SP
Stereo Waterdrop Removal with Row-wise Dilated Attention
HKUST（香港科技大学）
现有的用于自动驾驶或机器人的视觉系统对粘附在窗户或相机镜头上的水滴敏感。大多数最近的水滴去除方法将单个图像作为输入，并且通常无法忠实地恢复水滴背后丢失的内容。因此，我们提出了一个基于学习的立体图像水滴去除模型。为了更好地检测和去除立体图像中的水滴，我们提出了一种新的逐行扩张注意模块，以扩大注意力的感受野，有效的信息传播之间的两个立体图像。此外，我们提出了一个注意力一致性损失之间的地面实况视差图和注意力分数，以提高立体图像的左右一致性。由于相关数据集的不可用性，我们收集了一个真实世界的数据集，其中包含有水滴和没有水滴的立体图像。在我们的数据集上进行的大量实验表明，我们的模型在定量和定性方面都优于最先进的方法。我们的源代码和立体水滴数据集可在\href{https://github.com/VivianSZF/Stereo-Waterdrop-Removal}{https://github.com/VivianSZF/Stereo-Waterdrop-Removal}上获得
2021-08-07 cs.CV cs.LG cs.RO
MRI Reconstruction via Cascaded Channel-wise Attention Network
Rutgers University（罗格斯大学）
我们考虑一个MRI重建问题，输入的k空间数据在一个非常低的欠采样率。由于减少了MRI扫描的时间，这实际上可以使患者受益，但由于重建的质量可能会受到影响，因此也具有挑战性。目前，基于深度学习的方法在MRI重建中占主导地位，而不是传统的方法，如压缩感知，但它们很少在低欠采样k空间数据的情况下表现出令人满意的性能。一种解释是这些方法平等地对待通道特征，这导致神经网络的表示能力下降。为了解决这个问题，我们提出了一个新的模型，称为MRI级联逐行注意网络（MICCAN），由三个组件突出：（i）具有逐行注意（UCA）模块的U-网的变体，（ii）长跳跃连接和（iii）组合损失。我们的模型能够通过过滤不相关的特征来关注显着信息，并通过强制将低频信息旁路到最终输出来集中于高频信息。我们进行定量评估和定性分析，我们的方法对心脏数据集。实验表明，我们的方法取得了非常有前途的结果，在三个常见的指标对低欠采样k空间数据的MRI重建。
2019-04-09 cs.CV cs.LG
Hierarchical Label-wise Attention Transformer Model for Explainable ICD Coding
University of New South Wales（新南威尔士大学）；The Australian e-Health Research Centre, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；Australian Institute of Health and Welfare（澳大利亚卫生与福利研究所）
国际疾病分类（ICD）编码在发病率和死亡率数据的系统分类中发挥着重要作用。在这项研究中，我们提出了一个分层的标签式注意力Transformer模型（HiLAT）的ICD代码的解释性预测从临床文件。HiLAT首先微调预训练的Transformer模型以表示临床文档的标记。随后，我们采用了两个层次的标签明智的注意力机制，创建标签特定的文档表示。这些表示又被前馈神经网络用来预测特定ICD代码是否被分配给感兴趣的输入临床文档。我们使用来自MIMIC-III数据库的出院总结及其相应ICD-9代码评价HiLAT。为了研究不同类型的Transformer模型的性能，我们开发了ClinicalplusXLNet，它使用所有MIMIC-III临床笔记从XLNet-Base进行持续的预训练。实验结果表明，HiLAT+ClinicalplusXLNet的F1评分优于MIMIC-III中前50个最常见ICD-9代码的先前最先进模型。注意力权重的可视化提供了一个潜在的可解释性工具，用于检查ICD代码预测的表面有效性。
2022-09-30 cs.CL cs.LG
STAR: Stage-Wise Attention-Guided Token Reduction for Efficient Large Vision-Language Models Inference
De Artificial Intelligence Lab（人工智能实验室）
针对大视觉语言模型视觉token推理计算开销大、现有单阶段免训练剪枝高剪枝率下性能下降明显的问题，提出分两阶段注意力引导的即插即用免训练token缩减框架STAR，实现加速同时保持甚至提升性能。
2025-05-18 cs.CV cs.LG
VONet: Unsupervised Video Object Learning With Parallel U-Net Attention and Object-wise Sequential VAE
Horizon Robotics（地平线机器人）
提出 VONet，通过并行 U-Net 注意力、对象级序列 VAE 与 transformer 解码器实现无监督视频对象分解，并在五个 MOVI 数据集上取得领先性能。
2024-01-20 cs.CV cs.LG
Distance and Hop-wise Structures Encoding Enhanced Graph Attention Networks
Sci-Tech Academy of ZheJiang University（浙江大学科学技术研究院）；Research Center of Hundsun LTD.（恒生电子股份有限公司研发中心）；School of Finance, NanKai University（南开大学金融学院）
大量的工作已经证明，现有的邻域平均图神经网络不能有效地捕捉结构特征，许多工作表明，注入结构，距离，位置或空间特征可以显着提高GNN的性能，然而，注入整体结构和距离到GNN是一个直观的，但仍然没有触及的想法。在这项工作中，我们阐明了方向。该算法首先提取跳数结构信息和计算距离分布信息，将它们与节点的内在特征进行融合，嵌入到同一个向量空间中，然后相加。将得到的嵌入向量输入GAT（如GAT、AGDN），然后进行修正和平滑，实验表明DHSEGAT算法取得了较好的效果。该代码可在https://github.com/hzg0601/DHSEGATs上获得。
2021-12-06 cs.AI cs.LG
CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks
Institute for Integrated and Intelligent Systems（集成与智能系统研究所）；Griffith University（格里菲斯大学）
针对现有注意力机制无法同时利用特征图统计与空间关系的问题，提出受地理分析启发的CSA注意力机制，以极少开销提升性能，在多个视觉任务上优于同类先进模型。
2024-05-13 cs.AI cs.CV cs.LG
Quaternion Self-Attention with Shared Scores
Tokyo Woman's Christian University（东京女子基督教大学）
提出一种共享分数四元数自注意力机制，通过四元数内积计算单一实值分数并共享注意力分布，在保持性能的同时大幅降低计算成本。
2026-05-24 cs.AI cs.LG stat.ML
Discovering Dynamic Functional Brain Networks via Spatial and Channel-wise Attention
Shaanxi Normal University（陕西师范大学）；University of Georgia（佐治亚大学）；Northwestern Polytechnical University（西北工业大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
近年来，在功能磁共振成像（fMRI）中使用深度学习模型识别功能脑网络（FBN）引起了越来越多的关注。然而，大多数现有的工作集中在从整个fMRI信号中检测静态FBN，例如基于相关性的功能连接。滑动窗口是一种广泛使用的捕捉FBN动力学的策略，但它仍然局限于在每个时间步表示内在的功能交互动力学。而FBN的数量通常需要手动设置。此外，由于大脑中动态交互的复杂性，传统的线性和浅层模型不足以识别跨每个时间步的复杂和空间重叠的FBN。在本文中，我们提出了一种新的空间和逐行注意自动编码器（SCAAE）动态发现FBN。SCAAE的核心思想是将注意力机制应用于FBN的构建。具体来说，我们设计了两个注意模块：1）空间方向的注意（SA）模块，发现在空间域中的FBN和2）通道方向的注意（CA）模块，自动选择FBN的通道加权。在ADHD 200数据集上的实验结果表明，SCAAE方法可以有效地恢复FBN在每个fMRI时间步的动态变化，而不需要使用滑动窗口。更重要的是，我们提出的混合注意力模块（SA和CA）不像以前的方法那样强制线性和独立性的假设，从而提供了一种新的方法来更好地理解动态功能脑网络。
2022-05-31 cs.AI cs.CV cs.LG
Element-Wise Attention Layers: an option for optimization
Federal University of Paraná（巴拉那联邦大学）
自从基于transformer的模型普及以来，使用注意力层已经成为一种趋势，是近年来开发的许多最先进模型的关键要素。然而，实现这些架构以及深度学习领域的许多其他架构的最大障碍之一是它们拥有大量的优化参数，这使得其使用取决于强大硬件的可用性。本文提出了一种新的注意力机制方法，将矩阵乘法的点积注意力通过数组乘法变为元素级注意力。为了测试这种方法的有效性，使用Fashion MNIST和CIFAR10数据集在分类任务中训练了两个模型（一个具有类似VGG的架构，一个具有所提出的方法）。每个模型都在来自Google Colaboratory的单个Tesla T4 GPU中训练了10个epoch。结果表明，该机制允许在时尚MNIST数据集上的VGG类对应物的92%的准确性，同时减少了97%的参数数量。对于CIFAR 10，准确度仍相当于类似VGG的对应方的60%，但使用的参数减少了50%。
2023-02-10 cs.AI cs.CV cs.LG
TransICD: Transformer Based Code-wise Attention Model for Explainable ICD Coding
The Ohio State University（俄亥俄州立大学）
国际疾病分类（ICD）编码程序是指在医疗记录上标注诊断代码，已被证明是有效的，对医疗部门的计费系统至关重要。目前，ICD代码是手动分配给临床记录的，这可能会导致许多错误。此外，培训熟练的程序员也需要时间和人力资源。因此，自动化ICD代码确定过程是一项重要任务。随着人工智能理论和计算硬件的发展，机器学习方法已经成为一种合适的解决方案来自动化这个过程。在这个项目中，我们应用基于transformer的架构来捕获文档的令牌之间的相互依赖性，然后使用代码方面的注意力机制来学习整个文档的特定于代码的表示。最后，它们被馈送到单独的密集层，用于相应的代码预测。此外，为了处理临床数据集的代码频率的不平衡，我们采用标签分布感知边缘（LDAM）损失函数。MIMIC-III数据集上的实验结果表明，我们提出的模型明显优于其他基线。特别是，我们的最佳设置实现了0.923的微AUC得分，而双向递归神经网络的得分为0.868。我们还表明，通过使用代码明智的注意力机制，该模型可以提供更多的见解，其预测，因此它可以支持临床医生作出可靠的决定。我们的代码可在线获取（https：//github.com/biplob1ly/TransICD）
2021-03-28 cs.CL cs.LG
CMA-CLIP: Cross-Modality Attention CLIP for Image-Text Classification
Stony Brook University（石溪大学）；Amazon Inc.（亚马逊公司）
社交媒体和电子商务等现代Web系统包含以图像和文本表达的丰富内容。利用来自多模态的信息可以提高分类和推荐等机器学习任务的性能。在本文中，我们提出了跨模态注意力对比存储-图像预训练（CMA-CLIP），一个新的框架，它统一了两种类型的跨模态注意力，序列式注意力和模态式注意力，有效地融合信息的图像和文本对。序列式注意力使框架能够捕获图像块和文本标记之间的细粒度关系，而模态式注意力则通过其与下游任务的相关性来衡量每个模态。此外，通过添加任务特定的模态明智的注意力和多层感知器，我们提出的框架是能够执行多任务分类与多模态。我们在一个主要零售网站产品属性（MRWPA）数据集和两个公共数据集Food 101和Fashion-Gen上进行了实验，结果表明，CMA-CLIP在MRWPA数据集上进行多任务分类时，在相同的精度水平下，在召回率上平均优于预训练和微调的CLIP 11.9%。它的准确性也超过了Fashion-Gen数据集上最先进的方法5.5%，并在Food 101数据集上实现了竞争性性能。通过详细的消融研究，我们进一步证明了跨模态注意模块的有效性和我们的方法对图像和文本输入中的噪声的鲁棒性，这是实践中的一个共同挑战。
2021-12-09 cs.CL cs.CV cs.LG
Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach
Wayne State University（韦恩州立大学）
由于深度学习模型通常包含数百万个可训练权重，因此对具有减少的存储空间和提高的运行时效率的更高效的网络结构的需求不断增长。剪枝是最流行的网络压缩技术之一。在本文中，我们提出了一种新的非结构化修剪管道，基于注意力的同时稀疏结构和权重学习（ASWL）。与传统的通道式或权值式注意力机制不同，ASWL提出了一种有效的算法，通过对每一层进行逐层注意来计算剪枝率，并跟踪密集网络和稀疏网络的权值，从而从随机初始化的权值中同时学习剪枝后的结构。我们在MNIST，Cifar10和ImageNet上的实验表明，与最先进的网络剪枝方法相比，ASWL在准确性，剪枝率和运行效率方面取得了优异的剪枝结果。
2022-06-08 cs.CV cs.LG
SPION: Layer-Wise Sparse Training of Transformer via Convolutional Flood Filling
Sogang University（西江大学）
本文提出SPION方法，结合卷积滤波器和洪泛填充实现Transformer逐层稀疏注意力训练，在GPU上相比现有稀疏Transformer最高加速3.08倍且评估质量更优。
2023-09-22 cs.DC cs.LG
A 3D super-resolution of wind fields via physics-informed pixel-wise self-attention generative adversarial network
University of Chicago（芝加哥大学）；IBM Research（IBM研究院）
本文提出一种物理信息像素级自注意力生成对抗网络，通过9倍放大实现三维风场超分辨率，降低计算成本89.7倍。
2023-12-20 cs.AI cs.LG physics.ao-ph
Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization
School of Engineering Science, The University of Osaka（大阪大学工程科学学院）
研究Transformer不同模块偏好不同流形几何，提出为注意力层和MLP层分别分配Stiefel和DGram约束，在GPT-2预训练中取得最佳性能。
2026-06-12 cs.AI cs.LG
HiGNN: Hierarchical Informative Graph Neural Networks for Molecular Property Prediction Equipped with Feature-Wise Attention
South China University of Technology（华南理工大学）；Shanghai Jiao Tong University School of Medicine（上海交通大学医学院）
阐明和准确预测分子的可药性和生物活性在药物设计和发现中起着关键作用，并且仍然是一个开放的挑战。近年来，图神经网络（GNN）在基于图的分子性质预测方面取得了显著的进展。然而，目前基于图的深度学习方法忽略了分子的层次信息和特征通道之间的关系。在这项研究中，我们提出了一个精心设计的分层信息图神经网络框架（称为HiGNN），通过利用分子图和化学合成的金砖碎片的共同表示学习来预测分子性质。此外，一个即插即用的功能明智的注意力块首先设计在HiGNN架构自适应地重新校准后的消息传递阶段的原子功能。大量实验表明，HiGNN在许多具有挑战性的药物发现相关基准数据集上实现了最先进的预测性能。此外，我们设计了一个分子片段相似性机制，以全面研究HiGNN模型在子图水平上的可解释性，表明HiGNN作为一个强大的深度学习工具，可以帮助化学家和药剂师识别分子的关键组成部分，以设计具有所需性质或功能的更好的分子。源代码可在https://github.com/idruglab/hignn上公开获得。
2022-08-30 cs.LG q-bio.QM
Mixture of Weight-shared Heterogeneous Group Attention Experts for Dynamic Token-wise KV Optimization
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Macau（澳门大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
针对Transformer模型因果语言建模中KV缓存扩展性差的问题，提出mixSGA专家混合方法，通过逐Token路由、权重共享和辅助损失实现动态KV优化，在多模型上的效率和效果均优于静态基线。
2025-06-16 cs.CL cs.LG
CTA-RNN: Channel and Temporal-wise Attention RNN Leveraging Pre-trained ASR Embeddings for Speech Emotion Recognition
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
先前的研究已经探讨了通过利用语音的声学和语言线索来提高语音情感识别（SER）的方法。然而，国家的最先进的ASR模型和SER任务之间的潜在关联还有待调查。在本文中，我们提出了一种新的通道和时间上的注意力RNN（CTA-RNN）架构的基础上，预训练的ASR模型的中间表示。具体来说，大规模预训练的端到端ASR编码器的嵌入包含声学和语言信息，以及概括到不同说话者的能力，使它们非常适合下游SER任务。为了进一步利用ASR编码器不同层的嵌入，我们提出了一种新的CTA-RNN架构来捕获信道和时间方向上嵌入的情感突出部分。我们评估我们的方法在两个流行的基准数据集，IEMOCAP和MSP-IMPROV，使用内语料库和跨语料库设置。实验结果表明，我们提出的方法可以实现良好的性能，在准确性和鲁棒性。
2022-03-31 cs.LG cs.SD eess.AS
Less is More: Hop-Wise Graph Attention for Scalable and Generalizable Learning on Circuits
Cornell University（康奈尔大学）；University of Maryland（马里兰大学）；Qualcomm Technologies, Inc.（高通技术公司）
针对图神经网络在电路EDA任务中可扩展性与泛化性不足的问题，提出跳数级图注意力模型HOGA，在两项EDA任务上精度更优且训练可分布式线性加速。
2024-04-10 cs.AR cs.LG
Towards Better Multi-head Attention via Channel-wise Sample Permutation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
本文提出通道级样本排列（CSP）算子，通过循环移位和排序隐式实现跨通道注意力图，构建参数更少、复杂度更低的线性结构化多头注意力，在多项任务中取得优异性能。
2024-10-14 cs.CL cs.CV cs.LG
PagedEviction: Structured Block-wise KV Cache Pruning for Efficient Large Language Model Inference
针对大语言模型推理中KV缓存随序列长度增长的内存瓶颈问题，提出适配vLLM分页内存的PagedEviction分块KV缓存剪枝方法，无需修改注意力核即可提升长上下文任务的内存效率与准确率。
2025-09-04 cs.LG
ChampionKV: Head-Wise Adaptive Budget Allocation for KV Cache Compression
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）；Tongji University（同济大学）；Hong Kong University（香港大学）
ChampionKV是一种输入自适应头级KV缓存压缩预算分配器，可插入SnapKV、PyramidKV等压缩器，在长基准测试集上提升性能，70B模型改进显著，开销可忽略。
2026-10-14 cs.AI cs.LG
Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations
New York University, New York, NY, USA（纽约大学）；Department of Neurosurgery, NYU Langone Health, New York, NY, USA（神经外科部门，NYU Langone健康）
Gateformer通过变量独立嵌入、跨时间与跨变量注意力及门控机制，在13个数据集上达到最优性能，并可集成到其他预测器中提升最高20.7%的效果。
2025-07-03 cs.LG
Explainable Automated Coding of Clinical Notes using Hierarchical Label-wise Attention Networks and Label Embedding Initialisation
University of Edinburgh（爱丁堡大学）；Health Data Research UK（英国健康数据研究所）；University College London（伦敦大学学院）
临床记录的诊断或程序编码旨在获得患者疾病相关信息的编码摘要。这种编码通常在医院中手动完成，但可能会自动化，以提高医疗编码的效率和准确性。最近关于自动医疗编码的深度学习的研究取得了令人鼓舞的成绩。然而，这些模型的可解释性通常很差，这使得它们不能自信地用于支持临床实践。另一个局限性是，这些模型大多假设标签之间的独立性，忽略了医疗代码之间的复杂相关性，这可能被用来提高性能。我们提出了一个分层标签式注意力网络（HLAN），旨在通过量化与每个标签相关的单词和句子的重要性（作为注意力权重）来解释模型。其次，我们建议使用标签嵌入（LE）初始化方法来增强主要的深度学习模型，该方法学习密集的连续向量表示，然后将表示注入模型中的最终层和标签注意力层。我们使用MIMIC-III出院摘要的三种设置评估了这些方法：完整代码，前50名代码和英国NHS COVID-19屏蔽代码。进行实验以将HLAN和LE初始化与最先进的基于神经网络的方法进行比较。HLAN在前50名代码预测中实现了最佳的微观水平AUC和$F_1$，并在NHS COVID-19屏蔽代码预测中获得了与其他模型相当的结果。通过突出每个标签最突出的单词和句子，HLAN与其降级的基线和基于CNN的模型相比，显示出更有意义和更全面的模型解释。LE初始化始终提升了用于自动化医疗编码的大多数深度学习模型。
2021-07-16 cs.CL cs.LG
Cross-Shape Attention for Part Segmentation of 3D Point Clouds
University of Cyprus（塞浦路斯大学）；CYENS CoE（塞浦路斯卓越研究与创新中心）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出跨形状注意力机制，在形状集合中传播逐点特征并引入形状检索度量选择合适参考形状，在PartNet数据集上取得领先的三维点云部件分割效果。
2023-07-05 cs.CV cs.GR cs.LG
TRIM: Token-wise Attention-Derived Saliency for Data-Efficient Instruction Tuning
Electrical and Computer Engineering, Purdue University（普渡大学电子与计算机工程系）
TRIM通过令牌层面的注意力分析提升数据效率，利用少量高质量样本构建指令微调数据集，显著优于现有方法，在部分任务中甚至超越全数据微调。
2026-05-14 cs.CL cs.LG
Depth-Wise Attention (DWAtt): A Layer Fusion Method for Data-Efficient Classification
Microsoft Egypt（微软埃及分公司）；EPFL（洛桑联邦理工学院）；CMU（卡内基梅隆大学）
本文提出深度注意力（DWAtt）层融合方法，通过重新利用预训练模型中间层特征，在少样本和不同数据规模下显著提升分类效率与性能。
2024-05-07 cs.CL cs.LG
AttnLRP: Attention-Aware Layer-Wise Relevance Propagation for Transformers
Fraunhofer Heinrich-Hertz-Institute（弗劳恩霍夫海因茨·赫兹研究所）；Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））
本文提出AttnLRP方法，通过扩展逐层相关性传播以处理注意力层，首次实现对Transformer输入和潜在表示的高效忠实归因，并在多个模型上验证其优越性。
2024-06-10 cs.AI cs.CL cs.CV
Predicting Drivers' Route Trajectories in Last-Mile Delivery Using A Pair-wise Attention-based Pointer Neural Network
Department of Civil and Environmental Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139（土木与环境工程系，麻省理工学院，剑桥，马萨诸塞州，02139）；Center for Transportation and Logistics, Massachusetts Institute of Technology, Cambridge, MA 20139（交通运输与物流中心，麻省理工学院，剑桥，马萨诸塞州，20139）；Department of Urban Studies and Planning, Massachusetts Institute of Technology, Cambridge, MA 20139（城市研究与规划系，麻省理工学院，剑桥，马萨诸塞州，20139）
本文提出一种基于成对注意力的指针神经网络，利用驾驶员历史轨迹预测最后一公里配送的实际停靠点顺序，并通过迭代序列生成算法优化首站选择，在亚马逊真实数据上显著优于传统优化方法和LSTM等基线模型。
2025-07-07 cs.LG
CASA: CNN Autoencoder-based Score Attention for Efficient Multivariate Long-term Time-series Forecasting
Department of Mathematical Sciences（数学科学系）；Research Institute of Mathematics（数学研究所）；Interdisciplinary Program in Artificial Intelligence（人工智能跨学科项目）
本文提出CASA机制，通过CNN自编码器得分注意力降低内存占用，以模型无关方式改进Transformer，在多元长期时间序列预测中最多降低77.7%计算资源并取得最优性能。
2025-05-04 cs.AI cs.LG
Improving Knowledge Distillation in Transfer Learning with Layer-wise Learning Rates
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于雅可比/注意力/海森差异的逐层学习率调整方案，用于改进注意力图和导数类迁移学习，在多种数据集上提升性能与稳定性，且任务越难提升越显著。
2024-07-05 cs.CV cs.LG
Graph Attention Network for Lane-Wise and Topology-Invariant Intersection Traffic Simulation
University of Florida（佛罗里达大学）
本文提出基于图注意力网络的交叉口数字孪生模型，融合检测器波形、信号状态和转向流量等数据，实现车道级且拓扑不变的交通波形估计，性能可比微观仿真，主要用于信号优化。
2024-05-02 cs.AI cs.LG
Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis
研究通过可控数据集和激活分析，揭示Transformer模型中回忆与推理的分离电路，为模型泛化和安全部署提供依据。
2026-03-13 cs.AI cs.LG
Dual Attention GANs for Semantic Image Synthesis
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Huawei Research Ireland（华为爱尔兰研究院）
在本文中，我们专注于语义图像合成任务，旨在将语义标签映射到照片般逼真的图像。现有的方法缺乏有效的语义约束来保持语义信息，忽略了空间和通道维度上的结构相关性，导致不令人满意的模糊和伪影倾向的结果。为了解决这些局限性，我们提出了一种新的双注意力GAN（DAGAN），从输入布局中合成具有精细细节的照片般逼真和语义一致的图像，而无需施加额外的训练开销或修改现有方法的网络架构。我们还提出了两个新的模块，即，位置方面的空间注意力模块（SAM）和尺度方面的通道注意力模块（CAM），以分别捕获空间和通道维度中的语义结构注意力。具体地说，SAM选择性地相关的像素在每个位置的空间注意力地图，导致像素具有相同的语义标签是相互相关的，而不管它们的空间距离。同时，CAM选择性地强调在每个通道的尺度上的功能，通过通道注意力地图，它集成了所有通道地图之间的相关功能，而不管它们的规模。最后，我们总结SAM和CAM的输出，以进一步改善特征表示。在四个具有挑战性的数据集上进行的大量实验表明，DAGAN在使用更少的模型参数的同时，取得了比最先进的方法更好的结果。源代码和训练模型可在https://github.com/Ha0Tang/DAGAN上获得。
2020-08-29 cs.AI cs.CV cs.LG
Simulating Hard Attention Using Soft Attention
University of Notre Dame（诺丁汉大学）；Umeå University（乌梅大学）；Yale University（耶鲁大学）
研究软注意力 transformers 模拟硬注意力的条件，证明利用无界位置嵌入或温度缩放可计算线性时序逻辑公式，并使 softmax transformers 能模拟通用硬注意力 transformers。
2025-06-26 cs.CL cs.FL cs.LG
Concatenated Attention Neural Network for Image Restoration
University of Chinese Academy of Sciences（中国科学院大学）；Research Center on Fictitious Economy and Data Science, Chinese Academy of Sciences（中国科学院虚拟经济与数据科学研究中心）；Key Laboratory of Big Data Mining and Knowledge Management Chinese Academy of Sciences（中国科学院大数据挖掘与知识管理重点实验室）
在本文中，我们提出了一个通用的框架，低层次的视觉任务，包括图像压缩文物减少和图像去噪。在此框架下，一个新的级联注意神经网络（CANet）是专门为图像恢复设计的。本文的主要贡献如下：第一，采用简洁有效的拼接和特征选择机制，建立了一种新的连接机制，将模块堆叠网络中的不同模块连接起来。第二，在每个模块卷积层中同时使用像素级和通道级注意机制，这促进了图像中更重要信息的进一步提取。最后，我们证明了CANet取得了更好的结果比以前的国家的最先进的方法在压缩伪影去除和图像去噪充分的实验。
2020-06-19 cs.CV cs.LG eess.IV
