Depth-Staggered Fibonacci Spacing for Sparse Attention: Static Schedules Beat Learned Dilation and Extrapolate Where Dense Attention Fails
Independent Researcher（独立研究者）
研究稀疏自注意力中每层静态交错的斐波那契间距调度，在21个60M参数语言模型上证明其困惑度优于学习膨胀和固定间距，且能外推至4倍训练长度，而密集基线崩溃。
2026-06-26 cs.CL cs.LG
SALT-GNN: Handling Dense Neighborhoods in Anti-Money Laundering Graphs via Statistics-Aware Attention
研究反洗钱图中GNN处理密集邻域问题，提出SALT-GNN轻量级架构，在消息传递层融合度感知统计聚合与注意力。实验表明其在减少参数同时提升密集上下文F1分数，增益与注意力风格无关。
2026-07-14 cs.AI cs.LG
Is Attention All What You Need? -- An Empirical Investigation on Convolution-Based Active Memory and Self-Attention
The University of Newcastle（纽卡斯尔大学）
Transformer模型的关键是自注意力机制，它允许模型以计算高效的方式分析整个序列。最近的研究表明，RNN使用的一般注意力机制可能被主动记忆机制取代。在这项工作中，我们评估是否各种主动记忆机制可以取代自注意力力的Transformer。我们的实验表明，单独使用主动记忆可以达到与语言建模的自注意力机制相当的结果，但最佳结果大多是通过同时使用主动记忆和自注意力机制来实现的。我们还注意到，对于某些特定的算法任务，主动记忆机制单独优于自注意力和两者的组合。
2019-12-30 cs.CL cs.LG stat.ML
Dense Local Dependencies Induce Attention-Logit Explosion and Training Instability During Long-Sequence Transformer Training
Indian Institute of Technology Delhi（印度理工学院德里分校）
本研究揭示长序列Transformer训练中注意力对数爆炸的主因是密集局部依赖，经实验验证该增长由依赖密度驱动，提出显式建模密集局部依赖的长上下文Transformer设计原则。
2026-07-30 cs.LG
Image Super-Resolution Using Attention Based DenseNet with Residual Deconvolution
Beijing Technology and Business University（北京工商大学）
图像的超分辨率是一个具有挑战性的课题，已经引起了研究和工业界越来越多的关注。在本文中，我们提出了一种新的端到端的基于注意力的DenseNet与残留反卷积命名为ADRD。在我们的ADRD中，一个加权的密集块，其中当前层接收加权功能从所有以前的水平，提出了捕捉有价值的功能依赖于密集层自适应。提出了一种新的空间注意模块，用于生成一组注意图，以强调信息区域。此外，我们设计了一种创新的策略，通过反卷积层对残差信息进行上采样，从而可以准确地对高频细节进行上采样。在公开数据集上进行的大量实验表明，所提出的ADRD在定量和定性方面都具有良好的性能。
2019-07-03 cs.CV cs.LG eess.IV
Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers
本文提出用固定无参数的Walsh-Hadamard变换替代多头注意力的密集输出投影，减少参数并提升效率，通过实验验证结构化变换在不同复杂度下优于密集投影。
2026-03-30 cs.CL cs.LG
DIANet: Dense-and-Implicit Attention Network
New Oriental AI Research Academy（新东方AI研究院）；Northwestern University（西北大学）；National University of Singapore（新加坡国立大学）；Purdue University（普渡大学）
注意力网络已经成功地提高了各种视觉问题的表现。以往的工作侧重于设计一个新的注意模块，并将它们单独插入网络。我们提出了一个新颖而简单的框架，在不同的网络层中共享注意力模块，以鼓励分层信息的整合，这个参数共享模块被称为密集和隐含注意力（DIA）单元。在DIA单元中可以使用多种模块选择。由于长短期记忆（LSTM）具有捕获长距离依赖的能力，因此我们将重点放在DIA单元是修改后的LSTM（称为DIA-LSTM）的情况下。在基准数据集上的实验表明，DIA-LSTM单元能够强调逐层特征的相互关系，并显著提高图像分类的准确性。我们通过在整个残差网络中去除跳过连接或批量归一化的实验，进一步实证表明DIA-LSTM在稳定深度网络的训练方面具有很强的正则化能力。代码发布于https://github.com/gbup-group/DIANet。
2019-09-23 cs.AI cs.CV cs.LG
What Matters in Transformers? Not All Attention is Needed
University of Maryland, College Park（马里兰大学帕克分校）
本文研究Transformer中注意力层与MLP层的冗余问题，发现大量注意力层可被剪枝且性能损失极小，并提出联合丢弃注意力层和MLP层的方法，在保持性能的同时显著提升推理效率。
2024-10-17 cs.AI cs.CL cs.LG
Gene42: Long-Range Genomic Foundation Model With Dense Attention
Inception Institute of Artificial Intelligence（inception人工智能研究院）；Cerebras Systems（赛布拉斯系统公司）；M42
Gene42是一种新型基因组基础模型，采用密集注意力机制，支持长达192k碱基对的上下文，在多项基因组任务上达到最先进性能。
2025-03-20 cs.AI cs.CL cs.LG
Application of a Dense Fusion Attention Network in Fault Diagnosis of Centrifugal Fan
本文提出密集融合注意力网络，通过将分布式注意力模块嵌入密集连接以增强故障特征提取与抗噪能力，并在离心风机故障数据上验证了其优于先进模型的诊断性能。
2024-04-30 cs.LG
RAT+: Train Dense, Infer Sparse -- Recurrence Augmented Attention for Dilated Inference
CLAIRE lab at EPFL, Lausanne, Switzerland（EPFL 拉沃斯实验室）
提出RAT+架构，通过密集预训练和循环增强注意力，使模型在推理时可灵活切换为稀疏扩张注意力，大幅降低计算和缓存开销，同时保持高精度。
2026-05-28 cs.LG
The Binary Quantized Neural Network for Dense Prediction via Specially Designed Upsampling and Attention
University of Chinese Academy of Sciences（中国科学院大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出一种多分支并行升采样结构和高效注意力策略，将二值神经网络应用于稠密预测任务，在保持精度的同时将注意力计算复杂度降低百倍，并在三个数据集上验证了有效性。
2024-05-28 cs.LG
Hierarchical Shift Mixing -- Beyond Dense Attention in Transformers
Dept. of Electrical Engineering, Linköping University, Linköping, Sweden（电子工程系，林霍普大学）；RISE Research Institutes of Sweden, Linköping, Sweden（瑞典RISE研究机构）
层次化位移混合通过分布计算token交互，实现线性时间复杂度，同时在性能上接近或超越传统softmax注意力，且减少计算成本。
2026-01-30 cs.LG
Social Attention for Autonomous Decision-Making in Dense Traffic
INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧洲分所）；Renault Group（雷诺集团）；Centrale-Supélec（中央理工-高等电力学院）
我们研究了在密集的交通环境中的行为规划的学习架构的设计。这样的架构应该处理不同数量的附近车辆，对描述它们的顺序保持不变，同时保持准确和紧凑。我们观察到，在文献中最流行的两种表示不符合这些标准，并执行一个复杂的谈判任务。我们提出了一个基于注意力的架构，满足所有这些属性，并明确占现有的交通参与者之间的相互作用。我们表明，这种架构导致显着的性能增益，并能够捕获的互动模式，可以可视化和定性解释。视频和代码可在https://eleurent.github.io/social-attention/上获得。
2019-11-27 cs.LG stat.ML
Dense Text-to-Image Generation with Attention Modulation
NAVER AI Lab（NAVER人工智能实验室）；Carnegie Mellon University（卡内基梅隆大学）
针对现有文本到图像扩散模型难以处理密集区域描述的问题，提出无需训练的DenseDiffusion方法，通过注意力调制实现布局控制，在无需额外数据的情况下提升生成效果，媲美专门训练的布局条件模型。
2023-08-24 cs.CV cs.GR cs.LG
What Makes Position Zero Special? A Mechanistic Study of Position Zero Attention Sinks in LLMs
New York University（纽约大学）；Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；NYU Shanghai（上海纽约大学）
本研究从可解释性角度探讨了大语言模型中注意力汇流的形成机制，发现P0汇流回路能无需语义信息在两个transformer块内诱导注意力汇流，并揭示其在训练早期的出现及集中趋势。
2026-08-04 cs.CL cs.LG
DenseTRF: Texture-Aware Unsupervised Representation Adaptation for Surgical Scene Dense Prediction
GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）；PCASO Laboratory, Department of Surgery, University of Pennsylvania（宾夕法尼亚大学外科PCASO实验室）；Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系）
本文提出DenseTRF框架，通过基于纹理的关注机制学习纹理感知的表示，提升外科场景密集预测的跨分布泛化能力。
2026-09-14 cs.AI cs.CV cs.LG
CDAN: Convolutional dense attention-guided network for low-light image enhancement
Bu-Ali Sina University（布阿里·锡纳大学）
本文提出用于低光照图像增强的卷积密集注意力引导网络（CDAN），结合自编码器、卷积密集块与注意力机制，并辅以后期处理优化色彩与对比度，在基准数据集上表现优异，有效恢复纹理与色彩，提升了低光照条件下的目标检测与识别能力。
2024-10-11 cs.AI cs.CV cs.LG
Not All Attention Heads Are What You Need: Refining CLIP's Image Representation with Attention Ablation
Intellifusion Inc.（Intellifusion公司）；Northwest Polytechnical University（西北工业大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对CLIP图像编码器中部分注意力头损害表征质量的问题，本文提出低开销的注意力消融技术AAT，可在几乎无额外推理成本的前提下稳定提升跨领域下游任务性能。
2025-11-16 cs.AI cs.CV cs.LG
Graph Attention-Guided Search for Dense Multi-Agent Pathfinding
∗ , Keisuke Okumura 1,2∗ , Michael Amir 1 , Amanda Prorok 1（1、Okumura、Amir、Prorok）
本文提出LaGAT混合框架，将增强型图注意力神经策略MAGAT的学习启发式集成进LaCAM，并结合微调与死锁检测，在稠密MAPF场景中超越纯搜索和纯学习方法。
2025-10-20 cs.AI cs.LG cs.MA
Whats in a Video: Factorized Autoregressive Decoding for Online Dense Video Captioning
Google Deepmind（谷歌DeepMind）
本文提出一种基于分因式自回归解码的在线密集视频描述方法，无需未来帧即可输出频繁且时间对齐的局部字幕，并通过训练推理优化支持长视频，性能优于现有方法且计算量降低20%。
2024-11-22 cs.CL cs.CV cs.LG
Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
KAUST, AI Initiative（KAUST人工智能计划）；Stanford University（斯坦福大学）
针对自注意力二次方计算成本过高的问题，提出基于专家选择路由的稀疏注意力混合方法MoSA，通过动态选择token将复杂度降至O(k^2+T)，在相同预算下实现更高专业化，不仅超越稠密基线且显著降低资源消耗。
2025-05-01 cs.CL cs.LG
Attention Please: What Transformer Models Really Learn for Process Prediction
Institute for Computer Science, University of Bayreuth（拜罗伊特大学计算机科学学院）
本文研究Transformer下一活动预测模型的注意力分数能否解释决策，发现其可作为解释器并提出两种图基解释方法，为流程模型改进和事件日志挖掘提供启发。
2024-08-12 cs.AI cs.LG
Scratching Visual Transformer's Back with Uniform Attention
POSTECH（浦项科技大学）；NAVER AI Lab（NAVER AI实验室）；Tübingen University（蒂宾根大学）；Yonsei University（延世大学）
本文发现ViT偏好密集注意力交互，提出在各层插入均匀注意力的上下文广播（CB）方法，以极低成本提升模型容量和泛化能力。
2024-12-26 cs.AI cs.CV cs.LG
Budgeted Attention Allocation: Cost-Conditioned Compute Control for Efficient Transformers
Independent Researcher（独立研究者）
本文研究了预算注意力分配机制，通过条件注意力预算控制实现变换器的高效计算，展示了在不同预算下提升准确率和速度的可行性。
2026-05-07 cs.AI cs.LG
AttentionBoost: Learning What to Attend by Boosting Fully Convolutional Networks
Bilkent University（比尔肯特大学）；Hacettepe University（哈塞特佩大学）
密集预测模型广泛用于图像分割。一个重要的挑战是充分训练这些模型，以产生很好的概括难以学习的像素。一组典型的这种难以学习的像素是实例之间的边界。许多研究已经提出要特别注意学习的边界像素。它们包括设计具有边界预测的附加任务的多任务网络，以及增加损失函数中边界像素预测的权重。这种策略需要事先确定参加什么，并将这种确定的注意力纳入学习模型。然而，可能存在其他难以学习的像素组，并且手动定义和合并每个组的适当注意力可能是不可行的。为了提供一个更可实现和可扩展的解决方案，本文提出了AttentionBoost，这是一个新的多注意力学习模型的基础上自适应提升。AttentionBoost设计了一个多级网络，并为密集预测模型引入了一种新的损失调整机制，可以直接在图像数据上自适应地学习每个阶段要参加的内容，而无需事先定义要参加的内容。该机制通过相对于先前阶段在该像素上的准确度单独地调整每个像素预测的损失权重来调节每个阶段的注意力以校正先前阶段的错误。这种机制使AttentionBoost能够根据学习这些像素的难度在同一阶段学习不同像素的不同注意力，以及根据这些阶段对该像素预测的置信度在不同阶段学习相同像素的多个注意力。使用腺体分割作为一个展示应用程序，我们的实验表明，AttentionBoost改善了其同行的结果。
2019-08-06 cs.CV cs.LG
Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models
Texas A&M University（德克萨斯农工大学）
本文提出SparsePR算法，结合响应耦合划分与探针拟合残差重建，在四个视频生成和世界模型上实现注意力重建误差降低，22.0%-26.0%执行对密度下保持生成质量，获1.48-2.61倍端到端加速。
2026-09-29 cs.AI cs.CV cs.LG
COBS: Cumulant Order Block Sparse Attention
MatX
研究大语言模型中缓解KV缓存读取瓶颈的块稀疏注意力方法，以DeepSeek的NSA为代表分析其块选择问题。通过累积量展开指出现有方法局限，提出COBS方法，在32k RULER基准上提升了NSA基线分数，缩小与密集注意力差距，且减少了KV缓存读取流量。
2026-07-13 cs.LG
Channel-Attention Dense U-Net for Multichannel Speech Enhancement
Harvard University（哈佛大学）；Amazon Web Services（亚马逊云科技）；Massachusetts Institute of Technology（麻省理工学院）
最近，监督深度学习在语音增强方面获得了极大的关注。最先进的深度学习方法通过学习应用于时频域中的混合物以产生干净语音的比率/二进制掩码来执行任务。尽管在单声道设置中具有很好的性能，但是这些框架在多声道设置中的性能滞后，因为这些方法中的大多数a）未能充分利用可用的空间信息，并且b）仍然将深度架构视为可能不太适合多声道音频处理的黑盒。本文解决了这些缺点，a）通过利用复比掩蔽而不是对频谱图的幅度进行掩蔽，并且更重要的是，b）通过在深度架构内引入信道-注意力机制来模拟波束成形。我们提出了一种基于通道注意力的密集U网，在该网络中，我们在网络的每一层的特征图上递归地应用通道注意力单元，使网络能够执行非线性波束成形。我们在CHiME-3数据集上展示了网络对最先进方法的卓越性能。
2020-01-30 cs.LG cs.SD eess.AS
Normal Guidance is what Attention Needs
Department of Computer Science（计算机科学系）
提出Normal Guidance正则化技术，使基于注意力的多实例学习方法在3D医学图像切片级定位上超越现有方法，同时保持全扫描分类性能。
2026-05-26 cs.LG
Persistence pays off: Paying Attention to What the LSTM Gating Mechanism Persists
ADAPT Research Centre（ADAPT研究中心）；Dublin Institute of Technology（都柏林理工学院）
语言模型是自然语言处理系统的重要组成部分。由LSTM单元组成的递归神经网络LM，特别是那些用外部存储器增强的LSTM单元，已经取得了最先进的成果。然而，这些模型仍然很难处理长序列，这些序列更可能包含长距离的依赖关系，因为信息衰落和对最近信息的偏见。在本文中，我们展示了一种有效的机制，用于在记忆增强的LSTM LM中检索信息，该机制基于与LSTM门控机制保持信息的时间步数成比例的记忆中的信息。
2018-10-10 cs.LG stat.ML
What can linear attention learn from nonlinear teachers in-context?
Harvard University（哈佛大学）；Williams College（威廉姆斯学院）
该研究将线性注意力的渐近学习理论扩展到非线性单索引目标，确立非线性-噪声等价性，明确其局限性并为非线性上下文学习提供可处理的研究起点。
2026-10-09 cs.LG stat.ML
Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See
National School of Artificial Intelligence (ENSIA)（国家人工智能学院）；Cosys-Grettia, Univ Gustave Eiffel（古斯塔夫·埃菲尔大学Cosys-Grettia实验室）
研究奖励设计如何影响自动驾驶强化学习代理的内部注意力模式，发现奖励内容直接决定编码器优先关注的场景元素，且连续碰撞时间惩罚会形成学习性警觉先验。
2026-06-25 cs.AI cs.LG math.OC
What can computational models learn from human selective attention? A review from an audiovisual crossmodal perspective
University of Chinese Academy of Sciences（中国科学院大学）；University of Hamburg（汉堡大学）；Guangzhou University（广州大学）
选择性注意在环境信息的获取和利用过程中起着至关重要的作用。在过去的50年里，选择性注意的研究一直是认知科学的一个中心课题。与单峰研究相比，交叉模态研究更加复杂，但对于解决人体实验和计算建模中的现实挑战是必要的。虽然越来越多的跨模态选择性注意的发现揭示了人类的行为模式和神经基础，但仍然需要更好的理解才能为计算智能代理带来同样的好处。本文从心理学和认知神经科学的多学科视角综述了单通道视觉和听觉以及跨通道视听环境中的选择性注意研究，并评价了在计算模型和机器人学中模拟类似机制的不同方法。我们讨论了这些领域之间的差距，在这个跨学科的审查，并提供有关如何使用心理学的发现和理论在人工智能从不同的角度来看。
2019-09-05 cs.CV cs.LG
Learning what to look in chest X-rays with a recurrent visual attention model
King’s College London（伦敦国王学院）
X射线是通常进行的成像测试，使用少量的辐射来产生身体器官，组织和骨骼的图片。胸部X射线用于检测气道、血管、骨骼、心脏和肺部的异常或疾病。在这项工作中，我们提出了一个随机的注意力为基础的模型，能够学习胸部X射线扫描中的哪些区域应该进行视觉探索，以得出结论，扫描包含一个特定的放射性异常。所提出的模型是一个递归神经网络（RNN），它学习顺序地对整个X射线进行采样，并只关注可能包含相关信息的信息区域。我们报告的实验进行了超过$100,000$ X射线含有扩大的心脏或医疗器械。该模型已使用强化学习方法进行训练，以学习特定于任务的策略。
2017-01-23 cs.CV cs.LG stat.ML
Aligning where to see and what to tell: image caption with region-based attention and scene factorization
Tsinghua University（清华大学）
最近的进展自动生成的图像字幕表明，它是可能的描述最显着的信息传达的图像准确和有意义的句子。在本文中，我们提出了一个图像字幕系统，利用图像和句子之间的并行结构。在我们的模型中，生成下一个单词的过程，给定先前生成的单词，与视觉感知体验一致，其中视觉区域之间的注意力转移施加了视觉顺序的线索。这种对齐表征了“抽象意义”的流动，编码了视觉场景和文本描述在语义上共享的内容。我们的系统还通过引入场景特定的上下文来捕获编码在图像中的更高级别的语义信息，从而做出了另一种新颖的建模贡献。上下文使用于词生成的语言模型适应特定场景类型。我们对我们的系统进行了基准测试，并与几个流行数据集上发表的结果进行了对比。我们表明，使用基于区域的注意力或特定场景的背景下，改善系统没有这些组件。此外，结合这两个造型成分达到国家的最先进的性能。
2015-06-20 cs.CV cs.LG stat.ML
The Query Knows What to Forget: A Second Erase Direction for Linear Attention
该研究针对线性注意力长上下文下的存储项干扰问题，提出查询衍生擦除方向（QED），可提升检索性能并在S-NIAH-1上使可用上下文长度约翻倍。
2026-08-17 cs.LG
What Can Transformer Learn with Varying Depth? Case Studies on Sequence Learning Tasks
The University of Hong Kong（香港大学）
本文通过设计序列学习任务，系统研究了Transformer深度对其记忆、推理、泛化和上下文泛化能力的影响，发现不同能力所需的最小注意力层数不同，并指出复杂任务可由单层可执行的简单操作组合并通过堆叠多层注意力层解决。
2024-04-02 cs.LG
GRU-Net: Gaussian Attention Aided Dense Skip Connection Based MultiResUNet for Breast Histopathology Image Segmentation
本文提出GRU-Net，通过在MultiResU-Net中引入高斯文本特征引导注意力模块和受控密集残差块，提升乳腺组织病理图像分割精度，并在TNBC和MonuSeg数据集上验证了其优越性能。
2024-08-01 cs.CV cs.LG eess.IV
