MERIT: Maximum-normalized Element-wise Ratio for Language Model Large-batch Training
School of Computing, National University of Singapore, Singapore(新加坡国立大学计算机学院)
针对语言模型大批量训练中的注意力 logit 激增问题,本文提出 MERIT 优化器,利用最大范数和逐元素信任比率稳定更新,并在 GPT-2 上实现 6k 批量无性能下降。
2025-08-28 cs.AI cs.CL cs.LG
X-LogSMask: Expand Transformer for Graph-Structured Data
提出X-LogSMask,一种可解释的多头对数结构掩码,将对称归一化图拓扑直接注入注意力logits,使标准Transformer无需修改架构即可有效处理图数据,在20个基准测试中13个达到最优。
2026-07-03 cs.AI cs.LG
Query-by-Example Keyword Spotting system using Multi-head Attention and Softtriple Loss
LG Electronics(LG电子)
本文提出了一种神经网络架构,用于解决用户定义的关键字识别任务。在多层GRU的基础上增加了多头注意力模块以实现有效的特征提取,并提出了归一化的多头注意力模块以实现特征聚合.我们还采用了softtriple loss(三重损耗和softmax损耗的组合),并展示了其有效性。我们展示了我们的模型在不同语言的内部数据集和公共Hey-Snips数据集上的性能。我们将我们的模型的性能与基线系统进行比较,并进行消融研究,以显示我们架构中每个组件的优势。所提出的工作表现出坚实的性能,同时保持简单性。
2021-05-07 cs.CL cs.LG
Linear Complexity Randomized Self-attention Mechanism
The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
最近,随机特征注意力(RFAs)被提出来近似softmax注意力的线性时间和空间复杂度通过线性化的指数核。在本文中,我们首先提出了一个新的角度来理解这种近似的偏见,通过重新铸造RFAs作为自归一化的重要性采样器。这种观点进一步揭示了整个softmax注意力的\emph{unbiased}估计量,称为随机注意力(RA)。RA通过查询特定的分布构造正随机特征,并极大地提高了近似保真度,尽管表现出二次复杂性。通过结合RA的表达能力和RFA的效率,我们开发了一种新的线性复杂性自注意力机制,称为线性随机注意(LARA)。在各个领域的广泛实验表明,RA和LARA显着提高了RFA的性能,由一个相当大的利润。
2022-06-15 cs.CL cs.CV cs.LG
Softmax-Free Attention in Spiking Transformers as the Zero-Temperature Limit of Two-Level Systems
University of Calgary(卡尔加里大学);Hotchkiss Brain Institute, University of Calgary(卡尔加里大学霍奇基斯脑研究所);Ulster University(阿尔斯特大学);Intelligent Systems Research Center, Ulster University(阿尔斯特大学智能系统研究中心)
该研究将无Softmax脉冲注意力机制对应为两能级系统的零温度极限,恢复其热力学理论基础,解释优化困难并通过实验验证,统一了标准与神经形态注意力机制的热力学分析框架。
2026-10-14 cs.LG
Gated-SwinRMT: Unifying Swin Windowed Attention with Retentive Manhattan Decay via Input-Dependent Gating
Yogoda Satsanga Palpara Mahavidyalaya(尤高达·萨桑加·帕尔帕拉学院);Prabhat Kumar College(普拉巴特·库马尔学院)
本文提出Gated-SwinRMT,结合Swin Transformer的滑动窗口注意力与Retentive Networks的曼哈顿距离空间衰减,并通过输入依赖门控统一两者。核心方法将自注意力分解为连续的宽度和高度保留传递,利用指数衰减掩码提供二维局部性先验。
2026-04-10 cs.LG
Attention Sinks Are Provably Necessary in Softmax Transformers: Evidence from Trigger-Conditional Tasks
Tel Aviv University(特拉维夫大学)
研究证明softmax变换器中注意力汇在某些情况下是必要的,通过触发条件任务验证,并展示非归一化ReLU注意力可避免汇现象。
2026-04-17 cs.LG
Fast Gauss Sums via Flash Attention
Faculty of Mathematics(数学学院);Chemnitz University of Technology(开姆尼茨工业大学)
该研究提出通过两次输入增强,利用Flash Attention计算带任意符号权重的高斯核和,无需自定义GPU代码,在fp16、D>8时性能优于PyTorch与PyKeOps,内存扩展呈线性。
2026-11-20 cs.LG cs.NA math.NA
Continuum Attention
University of Luxembourg(卢森堡大学)
该研究提出连续注意力(CA),用连续积分替代离散键值查找,通过解析推导梯度实现并行GPU计算,实验显示其在负对数似然上优于softmax和焦点注意力,是有前景的注意力替代方案。
2026-10-27 cs.AI cs.LG
Clustered Attractor Manifolds and Dynamical Condensation in Self-Attention
Boston College(波士顿学院);Tsinghua University(清华大学)
该研究在最小归一化自注意力动力学中,以重叠间隙为核心量,揭示跨聚类注意力的指数抑制机制,发现注意力锐度超阈值时聚类态成核的动力学注意力凝聚相变。
2026-08-11 cond-mat.dis-nn cond-mat.stat-mech cs.LG
NS-ATTENTION: Newton-Schulz Transformations of Attention Outputs in Vision Transformers
University of Exeter(埃克塞特大学)
本文提出牛顿-舒尔茨注意力(NS-Attn.),一种无参数变换,通过降低注意力输出矩阵的谱集中度并增加有效秩,在ViT和Swin上于CIFAR-10/100的12个匹配种子比较中平均提升0.25-0.83个百分点准确率,但增加推理延迟。
2026-09-28 cs.LG
Sparse Attention as Compact Kernel Regression
Instituto Superior Técnico & Instituto de Telecomunicações, Universidade de Lisboa, Portugal(里斯本大学理工学院及电信研究所,葡萄牙);Champalimaud Research, Lisbon, Portugal(Champalimaud研究,葡萄牙里斯本);TransPerfect, Lisbon, Portugal(TransPerfect,葡萄牙里斯本);Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学,美国匹兹堡)
本文通过核理论将稀疏注意力与紧凑核回归联系起来,揭示了ReLU和sparsemax注意力与Epanechnikov核回归的关系,并展示了核方法在注意力设计中的应用。
2026-10-28 cs.LG
A Primal-Dual Framework for Transformers and Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Rice University(莱斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究提出Transformer与神经网络的原始-对偶理论框架,证明自注意力对应SVR的支持向量展开,推导两种新型注意力并验证其在多任务中降冗余、提精度与效率的优势。
2024-06-19 cs.AI cs.CL cs.CV
Sinkhorn doubly stochastic attention rank decay analysis
University of Bologna(博洛尼亚大学)
本文研究了网络深度下注意力秩的衰减问题,发现使用Sinkhorn算法归一化的双重随机注意力矩阵比标准Softmax行随机注意力更能保持秩。通过实验验证了这一现象,并推导了纯自注意力秩衰减的理论界限。
2026-10-07 cs.AI cs.LG math.OC
DINT Transformer
Tsinghua University(清华大学);Peking University School of Public Health(北京大学公共卫生学院)
DIFF Transformer通过引入差分注意力机制来增强局部注意力的鲁棒性,从而解决了不相关上下文干扰的问题。然而,它有两个关键的限制:缺乏全局上下文建模,这是必不可少的识别全局显着的令牌,和数值不稳定,由于缺乏严格的行规范化的注意矩阵。为了克服这些挑战,我们提出了DINT Transformer,它通过引入微分积分机制来扩展DIFF Transformer。通过计算全局重要性分数并将其集成到注意力矩阵中,DINT Transformer提高了捕获全局依赖关系的能力。此外,统一的参数设计强制执行行归一化的注意矩阵,提高数值稳定性。实验结果表明,DINT Transformer在长上下文语言建模和关键信息检索等实际应用中具有良好的准确性和鲁棒性。这些结果将DINT Transformer定位为高效且有前途的架构。
2025-01-29 cs.AI cs.CL cs.LG
What Dense Graph Do You Need for Self-Attention?
Fudan University(复旦大学);Peng Cheng Laboratory(鹏城实验室)
Transformers在各种任务中取得了进展,但受到二次计算和存储器复杂性的影响。最近的工作提出了稀疏Transformers与稀疏图的关注,以降低复杂性和保持强大的性能。虽然有效,但图需要多密集才能表现良好的关键部分尚未得到充分探索。在本文中,我们提出了归一化信息负载(NIP),图评分函数测量图上的信息传输,它提供了一个分析工具,性能和复杂性之间的权衡。在此理论分析的指导下,我们提出了超立方体Transformer,一个稀疏的Transformer模型令牌的相互作用在一个超立方体和香草Transformer,同时产生$O(N\log N)$的复杂性与序列长度$N$相比,表现出相当甚至更好的结果。在需要不同序列长度的任务上进行的实验验证了我们的图功能。
2022-10-12 cs.AI cs.CL cs.LG
ELSAA: Efficient Low-Rank and Sparse Attention Approximation for Training Transformers
研究旨在解决将Transformer扩展到更长输入长度的问题,提出ELSAA方法,通过近似注意力分数算子,结合稀疏与低秩分支及分母感知融合项,构建低秩稀疏注意力输出,实现更长上下文训练并保留交互与混合。
2026-07-23 cs.AI cs.LG
Theory, Analysis, and Best Practices for Sigmoid Self-Attention
Apple(苹果公司)
本文通过理论证明和实验分析,确立了 sigmoid 注意力作为 Transformer 中 softmax 直接替代品的最佳实践,并提出了硬件加速实现 FLASHSIGMOID,在多种任务上达到与 softmax 相当的性能。
2025-01-22 cs.LG
In-Context Learning for Attention Scheme: from Single Softmax Regression to Multiple Softmax Regression via a Tensor Trick
The University of Washington(华盛顿大学);Adobe Research(Adobe研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文研究注意力机制中softmax相关回归的上下文学习问题,通过向量化张量技巧将单一softmax回归扩展为多重softmax回归,并在完成Lipschitz分析后给出上下文学习的主要理论结果。
2023-07-05 cs.LG
First Attentions Last: Better Exploiting First Attentions for Efficient Transformer Training
Korea University(韩国大学);LIG Nex1 Co., Ltd.(LIG Nex1公司);KAIST AI(韩国科学技术院人工智能)
FAL通过重定向第一层注意力输出至后续层MLP输入,减少通信开销并提升训练效率,FAL+进一步优化模型质量。
2025-12-08 cs.LG
SamatNext v0.2-B: An Exploratory Study of RMS-Normalized Hybrid Decoders for Curriculum Retention in Small Code Models
提出SamatNext v0.2-B混合解码器,在课程微调中通过RMS归一化和输出缩放校准交替使用差分注意力层与简化线性状态混合器,在Python代码课程上相比Transformer基线显著提升保留率,但长期早期阶段保留仍较弱。
2026-06-23 cs.CL cs.LG
Entropy-Generated Attention Beyond Softmax and Entmax: Kaniadakis and Reciprocal-Symmetric Abe Operators
Department of Physics, Sejong University, Seoul 05006, Republic of Korea(物理系,世宗大学,首尔05006,大韩民国)
本文提出了一种基于拉格朗日方法的热力学视角,分析Transformer注意力动态,揭示了注意力机制与统计力学的关联。
2026-09-04 cond-mat.stat-mech cs.LG stat.ML
Krause Synchronization Transformers
Shanghai Qi Zhi Institute(上海启智研究院);College of AI, Tsinghua University(清华大学人工智能学院);Shanghai Jiao Tong University(上海交通大学);California Institute of Technology(加州理工学院);University of Amsterdam(阿姆斯特丹大学)
提出基于有界置信共识动力学的Krause注意力机制,通过局部化稀疏交互替代全局softmax归一化,缓解表示坍缩和注意力汇聚现象,实现线性复杂度并提升性能。
2026-05-25 cs.AI cs.LG
Interior interpretability with attention rollout: contraction and propagation profiles in Transformers
University of Deusto(德乌斯托大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Autónoma de Madrid(马德里自治大学)
研究Transformer内部可解释性,引入基于传播视角的内部可解释性,用注意力展开实现。通过收缩理论分析其传播概况,在代谢组年龄预测模型中有应用,还与其他方法比较,揭示了变量一致性情况,用作注意力介导传播诊断。
2026-07-27 cs.AI cs.LG
Choose a Transformer: Fourier or Galerkin
Washington University in St. Louis(圣路易斯华盛顿大学)
在本文中,我们首次将Attention Is All You Need中最先进的Transformer中的自注意力应用于与偏微分方程相关的数据驱动算子学习问题。努力放在一起解释的原理,并提高注意力机制的功效。利用Hilbert空间中的算子逼近理论,首次证明了在标度点积注意力中的softmax归一化是充分的,但不是必要的。在没有softmax的情况下,可以证明线性化的Transformer变体的近似能力与逐层的Petrov-Galerkin投影相当,并且估计与序列长度无关。提出了一种新的层归一化方案,该方案模仿Petrov-Galerkin投影,以允许缩放通过注意层传播,这有助于模型在具有未归一化数据的算子学习任务中实现显着的准确性。最后,我们提出了三个操作学习实验,包括粘性Burgers方程,界面达西流,和反界面系数识别问题。新提出的简单的基于注意力的算子学习器Galerkin Transformer,在训练成本和评估精度方面都比其softmax归一化的同类算法有了显着的改进。
2021-11-01 cs.LG cs.NA math.NA
Learning Advanced Self-Attention for Linear Transformers in the Singular Value Domain
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Yonsei University(延世大学)
本文提出 AGF,从有向图图信号处理视角在奇异值域学习图滤波器,以 O(nd^2) 线性复杂度增强自注意力,并在 Long Range Arena 与时间序列分类任务上达到 SOTA。
2025-05-13 cs.AI cs.LG
SOLAR: SVD-Optimized Lifelong Attention for Recommendation
SOLAR通过SVD-Attention优化低秩结构,提升推荐系统中长序列建模效率,实现0.68%的视频观看量增长。
2026-10-01 cs.CV cs.IR cs.LG
A Unified Perspective on the Dynamics of Deep Transformers
CNRS and Ecole Normale Supérieure PSL(CNRS和巴黎高等师范大学);Apple(苹果公司);Mathematical Institute, University of Oxford(牛津大学数学学院)
提出Transformer PDE作为注意力层迭代的均场极限,证明其适定性并分析高斯初始数据下的各向异性演化与聚类现象。
2026-06-19 cs.LG math.AP
SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers
University of South Dakota(南达科他大学);USD Artificial Intelligence Research Lab(南达科他大学人工智能研究实验室)
本研究提出 SAGE 机制,利用注意力熵估计的块级不确定性调整基于 Transformer 的脉冲神经网络的训练代理梯度斜率,在 CIFAR-10/100 上实现最高 1-2% 的稳定准确率提升,保留原始架构且部署成本不变。
2026-08-17 cs.AI cs.CV cs.LG