Softmax-Free Attention in Spiking Transformers as the Zero-Temperature Limit of Two-Level Systems
University of Calgary（卡尔加里大学）；Hotchkiss Brain Institute, University of Calgary（卡尔加里大学霍奇基斯脑研究所）；Ulster University（阿尔斯特大学）；Intelligent Systems Research Center, Ulster University（阿尔斯特大学智能系统研究中心）
该研究将无Softmax脉冲注意力机制对应为两能级系统的零温度极限，恢复其热力学理论基础，解释优化困难并通过实验验证，统一了标准与神经形态注意力机制的热力学分析框架。
2026-10-14 cs.LG
Softmax-free Linear Transformers
School of Data Science, Fudan University（复旦大学数据科学学院）；University of Surrey（萨里大学）
提出无Softmax的线性Transformer（SOFT），用高斯核替代点积相似性，通过低秩分解和牛顿-拉弗森逆估计实现线性复杂度，在多个视觉任务上提升效率与精度平衡。
2024-03-15 cs.AI cs.CV cs.LG
The Closeness of In-Context Learning and Weight Shifting for Softmax Regression
Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）；University of Michigan（密歇根大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文针对 Transformer 注意力机制建立 softmax 回归模型，证明单自注意力层诱导的数据变换与梯度下降更新的上界接近，从而解释上下文学习与权重偏移的内在等价性。
2023-04-26 cs.CL cs.LG
Cottention: Linear Transformers With Cosine Attention
Lyle School of Engineering（莱尔工程学院）；Southern Methodist University（南卫理公会大学）
Cottention通过引入余弦相似度替代softmax注意力，实现线性内存复杂性，从而更高效地处理长序列。
2024-09-27 cs.LG
Copy the Same, Distill the Difference: Initializing Linear Vision Transformers
Institute of Advanced Intelligence and Computing (IAIC), A*STAR（先进智能与计算研究所（IAIC），新加坡科技研究局）；Nanyang Technological University（南洋理工大学）；ST Engineering Geo-Insights（新科工程地理信息公司）；Sichuan University（四川大学）；Shanghai Jiao Tong University（上海交通大学）；University of Science and Technology of China（中国科学技术大学）
本文研究线性ViT的初始化，发现复制MLP权重并蒸馏注意力可有效迁移Softmax ViT预训练权重，使线性ViT性能匹敌甚至超越Softmax版本。
2026-09-29 cs.AI cs.CV cs.LG
Hierarchical Shift Mixing -- Beyond Dense Attention in Transformers
Dept. of Electrical Engineering, Linköping University, Linköping, Sweden（电子工程系，林霍普大学）；RISE Research Institutes of Sweden, Linköping, Sweden（瑞典RISE研究机构）
层次化位移混合通过分布计算token交互，实现线性时间复杂度，同时在性能上接近或超越传统softmax注意力，且减少计算成本。
2026-01-30 cs.LG
Softmax Optimizations for Intel Xeon Processor-based Platforms
Intel Corporation（英特尔公司）；Baidu（百度）
Softmax是机器学习中常用的归一化方法。像Transformer或BERT这样的深度学习解决方案大量使用softmax函数，因此值得对其性能进行优化。本文介绍了我们的优化方法及其应用于softmax的结果。通过介绍这种方法，我们希望增加对CPU深度学习优化的兴趣。我们相信，这里提出的优化过程可以转移到其他深度学习框架，如TensorFlow或PyTorch。
2019-05-27 cs.LG cs.MS
ZeroS: Zero-Sum Linear Attention for Efficient Transformers
Georgia Institute of Technology（佐治亚理工学院）；Amazon Web Services（亚马逊网络服务）
ZeroS通过去除零阶项并重新加权残差，改进了线性注意力机制，实现了更稳定的权重和对比操作，从而在保持O(N)复杂度的同时提升了序列建模性能。
2026-02-05 cs.AI cs.LG stat.ML
Gradient Flow Polarizes Softmax Outputs towards Low-Entropy Solutions
Theory of Machine Learning Lab, EPFL（机器学习理论实验室，苏黎世联邦理工学院）
本文研究了基于Softmax模型的梯度流动态，揭示其驱动优化向低熵解发展，并探讨了其在Transformer训练中的普遍性和实际影响。
2026-03-06 cs.LG math.OC stat.ML
Transformer Approximations from ReLUs
Center for Foundation Models and Generative AI, Northwestern University（基础模型与生成式人工智能中心，西北大学）；Department of Computer Science, Northwestern University（计算机科学系，西北大学）；Department of Physics, National Taiwan University（物理系，国立台湾大学）；Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学）
本文提出将 ReLU 近似结果转化为 softmax 注意力机制的系统方法，提供针对不同目标的资源界限，并展示在乘法、倒数和 min/max 原子上的应用。
2026-04-27 cs.AI cs.LG stat.ML
Selective Rotary Position Embedding
ELLIS Institute Tübingen（图宾根埃利斯研究所）；LIONS, EPFL（日内瓦理工学院LIONS实验室）；University of Freiburg（弗赖堡大学）；Max-Planck-Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Prior Labs（Prior实验室）
本文提出选择性RoPE，一种输入依赖的旋转嵌入机制，适用于线性和softmax变压器，通过任意角度旋转提升语言建模和复杂序列任务性能。
2026-06-24 cs.CL cs.LG
Data-Aware Random Feature Kernel for Transformers
Google DeepMind（谷歌DeepMind）
DARKFormer通过数据对齐的随机特征核提升变换器的注意力效率和稳定性，尤其在资源受限场景中表现优异。
2026-03-04 cs.AI cs.LG
Are Transformers with One Layer Self-Attention Using Low-Rank Weight Matrices Universal Approximators?
The University of Tokyo（东京大学）
现有的Transformer模型的表达能力的分析需要过深的数据存储层，导致与实际使用的Transformers不一致。这主要是由于将softmax函数解释为hardmax函数的近似。通过澄清softmax函数和玻尔兹曼算子之间的联系，我们证明了具有低秩权重矩阵的单层自注意力具有完美捕获整个输入序列的上下文的能力。因此，我们表明，一层和单头Transformers有记忆能力有限的样本，和Transformers组成的一个自注意力层与两个前馈神经网络是通用的逼近连续置换等变函数的紧域。
2024-01-29 cs.LG
TaylorShift: Shifting the Complexity of Self-Attention from Squared to Linear (and Back) using Taylor-Softmax
Department of Computer Science, RPTU Kaiserslautern-Landau（鲁尔大学科隆-莱茵河畔分校计算机科学系）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文提出TaylorShift，通过重构Taylor softmax在线性时空复杂度下实现完整token交互，在约800 token时提升内存效率、约1700 token时加速推理，且长序列分类任务中准确率不下降。
2024-07-17 cs.AI cs.LG
MetaLA: Unified Optimal Linear Approximation to Softmax Attention Map
The Hong Kong Polytechnic University（香港理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；UC Santa Cruz（加州大学圣克鲁兹分校）；Shanghai AI Lab（上海人工智能实验室）
针对现有线性复杂度模型无法同时满足动态记忆、静态近似和最少参数近似三个最优条件的问题，提出统一最优线性近似框架MetaLA，在多项任务上优于现有线性模型。
2024-11-16 cs.AI cs.LG
Efficient Softmax Approximation for Deep Neural Networks with Attention Mechanism
Samsung Advanced Institute of Technology（三星综合技术院）；Samsung Electronics（三星电子）
用于加速深度神经网络（DNN）的推理速度的定制硬件（HW）已经快速发展。以前，softmax层不是DNN加速HW的主要关注点，因为它在多层感知器或卷积神经网络中的部分相对较小。然而，随着注意力机制在各种现代DNN中的广泛使用，softmax层的成本效益实现变得非常重要。在本文中，我们提出了两种方法来近似softmax计算，这是基于查找表（LUT）的使用。LUT所需的大小非常小（约700 μ m），因为如果对输入应用归一化，softmax的分子和反式子的范围是稳定的。我们已经通过各种基准测试（COCO 17，WMT 14，WMT 17，GLUE）在不同的AI任务（目标检测，机器翻译，情感分析和语义等价）和DNN模型（DETR，Transformer，BERT）上验证了所提出的技术。我们表明，8位近似允许获得可接受的精度损失低于$1.0\%$。
2021-11-21 cs.AI cs.LG
In-Context Algorithm Emulation in Fixed-Weight Transformers
Center for Foundation Models and Generative AI, Northwestern University（西北大学基础模型与生成式人工智能中心）；Department of Computer Science, Northwestern University（西北大学计算机科学系）；Ensemble AI；Engineering Science, University of Toronto（多伦多大学工程科学系）；Department of Statistics and Data Science, Northwestern University（西北大学统计与数据科学系）
本文证明固定权重Transformer可通过上下文提示模拟广泛算法，提出任务特定与提示可编程两种模式，无需参数更新，实现算法普适性。
2025-09-26 cs.AI cs.LG stat.ML
One-Layer Transformer Provably Learns One-Nearest Neighbor In Context
Princeton University（普林斯顿大学）；The University of Hong Kong（香港大学）；Northwestern University（西北大学）
本文从理论上证明，使用梯度下降训练的单层Transformer能学会在上下文中实现最近邻分类器，揭示了其实现非参数机器学习算法的机制及softmax注意力的作用。
2024-11-16 cs.AI cs.LG math.OC
Choose a Transformer: Fourier or Galerkin
Washington University in St. Louis（圣路易斯华盛顿大学）
在本文中，我们首次将Attention Is All You Need中最先进的Transformer中的自注意力应用于与偏微分方程相关的数据驱动算子学习问题。努力放在一起解释的原理，并提高注意力机制的功效。利用Hilbert空间中的算子逼近理论，首次证明了在标度点积注意力中的softmax归一化是充分的，但不是必要的。在没有softmax的情况下，可以证明线性化的Transformer变体的近似能力与逐层的Petrov-Galerkin投影相当，并且估计与序列长度无关。提出了一种新的层归一化方案，该方案模仿Petrov-Galerkin投影，以允许缩放通过注意层传播，这有助于模型在具有未归一化数据的算子学习任务中实现显着的准确性。最后，我们提出了三个操作学习实验，包括粘性Burgers方程，界面达西流，和反界面系数识别问题。新提出的简单的基于注意力的算子学习器Galerkin Transformer，在训练成本和评估精度方面都比其softmax归一化的同类算法有了显着的改进。
2021-11-01 cs.LG cs.NA math.NA
Transformers Can Implement Preconditioned Richardson Iteration for In-Context Gaussian Kernel Regression
Department of Mathematics, University of California, Santa Barbara, CA（加州大学圣芭芭拉分校数学系）
本文研究了上下文核岭回归，证明标准softmax注意力transformer可通过预条件Richardson迭代近似高斯核回归预测器，展示了transformer架构中的功能分解。
2026-09-28 cs.AI cs.LG cs.NA
Rethinking Attention with Performers
Google（谷歌）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；DeepMind（深度思维）
我们介绍表演者，Transformer架构，可以估计定期（softmax）满秩注意力Transformers可证明的准确性，但只使用线性（而不是二次）的空间和时间复杂度，而不依赖于任何先验，如稀疏或低秩。为了近似softmax注意力内核，执行者使用一种新的快速注意力通过正正交随机特征方法（FAVOR+），这可能是可扩展内核方法的独立兴趣。FAVOR+还可以用于有效地建模softmax之外的可内核化注意力机制。这种代表性的能力对于在大规模任务中首次准确地将softmax与其他内核进行比较至关重要，超出了常规Transformers的范围，并研究最佳注意力内核。执行者是线性架构，与常规Transformers完全兼容，并具有强大的理论保证：无偏或接近无偏估计的注意矩阵，一致收敛和低估计方差。我们在一组丰富的任务上测试了Performers，从像素预测到文本模型再到蛋白质序列建模。我们展示了竞争力的结果与其他检查有效的稀疏和密集的注意力方法，展示了有效性的新的注意力学习范式的表演者利用。
2022-11-19 cs.CL cs.LG stat.ML
Integrated electro-optic attention nonlinearities for transformers
ETH Zurich（苏黎世联邦理工学院）；Politecnico di Milano（米兰理工大学）
本文提出利用电光非线性特性替代传统Softmax，提升变换器在视觉和语言任务中的效率与精度，同时降低计算延迟。
2026-10-28 cs.LG physics.optics
Higher Order Linear Transformer
Paris Saclay University（巴黎萨克雷大学）；Laboratory of Signal and System (L2S)（信号与系统实验室（L2S））
继Katharopoulos等人的文章中的线性Transformer部分之后，从Shen等人那里得到了这个想法，重新使用为注意力机制产生线性复杂度的技巧，并将其扩展到softmax归一化的二阶近似。
2020-10-28 cs.LG
Degrees of Freedom for Linear Attention: Distilling Softmax Attention with Optimal Feature Efficiency
The University of Tokyo（东京大学）；RIKEN AIP（日本科学技术研究所AIP）
本文提出利用统计自由度自动确定线性注意力各层特征维度，并设计逐层训练策略，在固定计算预算下提升蒸馏模型性能。
2025-07-04 cs.LG stat.ML
Theory, Analysis, and Best Practices for Sigmoid Self-Attention
Apple（苹果公司）
本文通过理论证明和实验分析，确立了 sigmoid 注意力作为 Transformer 中 softmax 直接替代品的最佳实践，并提出了硬件加速实现 FLASHSIGMOID，在多种任务上达到与 softmax 相当的性能。
2025-01-22 cs.LG
Selective Attention: Enhancing Transformer through Principled Context Control
University of Michigan（密歇根大学）；University of California, Riverside（加州大学河滨分校）
本文提出选择性自注意力（SSA）层，通过有原则的温度缩放策略控制注意力稀疏性，缓解注意力稀释并抑制噪声令牌，仅增加不到0.5%参数即可在语言建模基准上取得一致提升。
2024-11-19 cs.CL cs.LG
On the Expressiveness of Softmax Attention: A Recurrent Neural Network Perspective
Lyle School of Engineering（莱尔学院）；Southern Methodist University（南方 Methodist 大学）
从递归神经网络角度研究softmax注意力的表达性，揭示其与线性注意力的差异及优势
2025-07-31 cs.LG
Softmax Attention with Constant Cost per Token
Glassroom（格拉斯鲁姆公司）
提出对Transformer注意力机制的修改，用缩放点积的指数的对数替代传统点积量化相似度，通过指数核特征映射线性化注意力，实现每个token恒定时空复杂度，并验证其作为传统注意力替代方案的有效性。
2024-04-27 cs.CL cs.LG
Escaping the Gradient Vanishing: Periodic Alternatives of Softmax in Attention Mechanism
Beijing Jiaotong University（北京交通大学）；China University of Petroleum (East China)（中国石油大学（华东））
Softmax广泛用于神经网络的多类分类、门结构和注意力机制。输入是正态分布的统计假设支持Softmax的梯度稳定性。但是，当用于Transformers等注意力机制时，由于嵌入之间的相关性得分往往不是正态分布的，因此出现了梯度消失问题，我们通过实验确认证明了这一点。在这项工作中，我们建议用周期函数代替指数函数，并从值和梯度的角度深入研究了Softmax的一些潜在的周期替代方案。通过在参考LeViT的简单设计的演示上的实验，我们的方法被证明能够缓解梯度问题，并与Softmax及其变体相比产生实质性的改进。此外，我们通过数学和实验分析了预归一化对Softmax和我们的方法的影响。最后，我们增加了演示的深度，并证明了我们的方法在深部结构的适用性。
2021-08-16 cs.CV cs.LG
The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers under Fully Homomorphic Encryption on the Torus
该研究提出基于ReLU与加法的注意力机制替代传统点积Softmax注意力，提升量化Transformer效率，在四项基准任务上性能相当，且明文与加密场景下均显著节省计算量，有望支撑同态加密下的隐私保护AI应用。
2025-10-01 cs.LG
Exploring the Frontiers of Softmax: Provable Optimization, Applications in Diffusion Model, and Beyond
Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文研究softmax函数的优化与泛化性质，揭示其在扩散模型中学习分数函数的可证明精度，并探讨其在自然语言处理及其他领域中的潜力。
2026-01-25 cs.AI cs.LG
Learning to Focus: Focal Attention for Selective and Scalable Transformers
AWS AI Labs（AWS人工智能实验室）
本文提出 Focal Attention，通过控制 softmax 温度锐化注意力分布，使 Transformer 更聚焦于相关 token，在减少 42% 参数或 33% 训练数据的情况下保持同等准确率，并在长上下文任务上取得 17% 至 82% 的相对提升。
2025-11-10 cs.CL cs.LG
On the Convergence of Encoder-only Shallow Transformers
EPFL（洛桑联邦理工学院）；University of Warwick（华威大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对有限宽度仅编码器浅层 Transformer，本文分析 softmax、缩放与 He/LeCun 初始化，证明二次超参数化足以实现全局收敛，并辅以 NTK 比较。
2023-11-02 cs.LG
Understanding Transformer from the Perspective of Associative Memory
ByteDance Seed（字节跳动种子）
本文从联想记忆视角剖析Transformer，通过检索信噪比和核方法揭示Softmax注意力机制的有效性，并统一理解记忆更新框架，探讨其表达局限与无限上下文的智能潜力。
2025-05-26 cs.AI cs.LG
Specialization of softmax attention heads: insights from the high-dimensional single-location model
Statistical physics of computation laboratory, École Polytechnique Fédérale de Lausanne, Switzerland（计算物理学实验室，瑞士联邦理工学院拉沃斯纳分校）
本文研究了多头注意力机制中注意力头的专门化现象，提出了一种理论模型，分析了SGD下多头softmax注意力的训练动态，并引入了Bayes-softmax注意力以优化预测性能。
2026-06-04 cond-mat.dis-nn cs.LG
The Shaped Transformer: Attention Models in the Infinite Depth-and-Width Limit
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）
本文提出 shaped Transformer，通过 Softmax 中心化、温度缩放和残差连接，在深宽同比例无限极限下用稳定 SDE 刻画协方差演化并避免秩退化。
2023-12-09 cs.LG stat.ML
On the Expressive Power of Transformers for Contextual Relations
Instituto de Cálculo（计算研究所）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
本文提出一种测度理论框架，将上下文关系建模为概率对象，揭示了softmax注意力与熵正则化最优传输的联系，并证明Transformer能近似任意上下文关系规则。
2026-09-28 cs.LG stat.ML
Sigmoid Self-Attention has Lower Sample Complexity than Softmax Self-Attention: A Mixture-of-Experts Perspective
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文从混合专家视角理论证明，sigmoid 自注意力比 softmax 自注意力具有更低的样本复杂度，即达到相同近似误差所需数据更少，从而更高效。
2025-05-24 cs.AI cs.LG
Transformers versus the EM Algorithm in Multi-class Clustering
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The University of Hong Kong（香港大学）
针对Transformer在无监督学习问题理解有限的现状，本研究构建Transformer与EM算法在高斯混合聚类中的理论联系，提供逼近界并证明其在充足预训练样本下可达到极小极大最优率，揭示LLMs的强推理能力。
2025-02-09 cs.LG stat.ML
When LRP Diverges from Leave-One-Out in Transformers
University of Pennsylvania（宾夕法尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Okinawa Institute of Science and Technology（冲绳科学技术大学院）
该研究针对LRP在Transformer中近似留一法特征重要性的偏差问题，证明AttnLRP的双线性传播规则违反实现不变性公理，发现绕过softmax仅经值矩阵传播可提升与LOO的一致性，指出两类因素共同导致偏差。
2025-10-21 cs.LG
Query-Key Normalization for Transformers
Cyndx Technologies（Cyndx Technologies（Cyndx科技公司））
低资源语言翻译是一项具有挑战性但具有社会价值的NLP任务。在最近的工作适应Transformer的规范化到这种设置的基础上，我们提出了QKNorm，一种规范化技术，修改了注意力机制，使softmax函数不太容易任意饱和，而不牺牲表现力。具体来说，我们在将它们相乘之前沿着每个查询和键矩阵的头部维度应用$\ell_2$归一化，然后通过可学习的参数而不是除以嵌入维度的平方根来扩大规模。对于来自TED Talks语料库和IWITAL '15的5个低资源翻译对，我们显示了平均0.928 BLEU的改进。
2020-10-08 cs.AI cs.CL cs.LG
Softmax as Linear Attention in the Large-Prompt Regime: a Measure-based Perspective
Université Paris-Saclay, CNRS, Inria, Laboratoire de mathématiques d'Orsay（巴黎萨克雷大学、国家科学研究中心、法国国家信息与自动化研究所、奥赛数学实验室）
提出基于测度的框架，证明在无限提示词极限下softmax注意力收敛到线性算子，并给出有限提示词下的非渐近浓度界，从而将线性注意力的优化分析迁移到大提示词下的softmax注意力。
2026-06-17 cs.LG stat.ML
FLASH-D: FlashAttention with Hidden Softmax Division
Integrated Circuits Lab, Electrical and Computer Engineering, Democritus University of Thrace（集成电路实验室，电气与计算机工程系，德米特里乌斯特拉契大学）
本研究提出数学等价且更简化的FLASH-D注意力公式，隐藏softmax除法、实现指数稳定计算并降低成本，在28nm硬件下相比最优并行架构减少22.8%面积和20.3%功耗且无性能损失。
2025-05-20 cs.AI cs.AR cs.LG
A Quantum Roadmap for Softmax Attention: Exact Born-Rule Analogs for Softmax Attention on the Probability Simplex
University of Alabama（阿拉巴马大学）
该研究提出了概率单纯形上Softmax注意力的量子实现方案，将其各组件映射为量子操作，且其代数核心经Lean 4机器验证。
2026-10-19 cs.LG quant-ph
In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention
Yale University（耶鲁大学）；Nanjing University（南京大学）
本文通过实验与理论分析揭示了多头 softmax 注意力在执行上下文线性回归时涌现的注意力模式，证明其能近似实现去偏梯度下降并接近贝叶斯最优，且在协方差各向异性和多任务场景下展现出预条件梯度下降及叠加现象等高效机制。
2025-05-27 cs.LG stat.ML
Linear Attention for Efficient Bidirectional Sequence Modeling
针对线性Transformer缺乏双向序列建模统一框架的问题，提出LION框架将三类核心表示扩展到双向场景，证明其理论等价性，通过多衰减类型变体验证其性能可匹配或超越softmax Transformer，且训练推理效率优于现有状态空间模型。
2025-09-30 cs.AI cs.LG
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
University of Copenhagen（哥本哈根大学）
提出NAtS-L框架，在同一层内对不同令牌自适应选择线性注意力或softmax注意力，以平衡效率与表达能力。
2026-06-02 cs.CL cs.LG
Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；RIKEN AIP（理化学研究所人工智能项目）；University of Tokyo（东京大学）
本文首次从良性过拟合视角研究视觉Transformer，通过分析自注意力加全连接层在梯度下降下的训练动态，基于信噪比建立了区分小测试误差与大测试误差的清晰条件，并给出泛化性理论保证。
2024-11-22 cs.CV cs.LG stat.ML
Strassen Attention, Split VC Dimension and Compositionality in Transformers
University of Chile（智利大学）；CENIA；IPPT PAN（波兰国家物理与天文学研究所）；IMC UC（UC大学医学中心）
本研究证明单层softmax Transformer在三个高级推理任务上的理论局限性，并提出Strassen注意力机制以亚立方复杂度解决这些任务，实验显示其显著优于标准注意力。
2025-09-25 cs.AI cs.LG
Gated Linear Attention Transformers with Hardware-Efficient Training
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出硬件高效的线性注意力算法 FLASHLINEARATTENTION 及其门控变体 GLA Transformer，在中等规模语言建模中性能媲美 LLaMA、RetNet 和 Mamba，且在长度泛化和训练吞吐量上表现优异。
2024-08-27 cs.CL cs.LG
Quantum Doubly Stochastic Transformers
IBM Research（IBM研究院）
本文提出QDSFormer，用变分量子电路替代自注意力中的softmax以生成双随机注意力矩阵，在小规模物体识别任务上优于标准ViT及其他双随机Transformer，并改善了训练稳定性。
2025-11-07 cs.AI cs.CE cs.CV
Custom Algorithm-based Fault Tolerance for Attention Layers in Transformers
Integrated Circuits Lab, Electrical；Computer Engineering, Democritus University of Thrace, Xanthi, Greece
本文提出Flash-ABFT方法，通过单次校验覆盖注意力层中查询、键、值三矩阵乘积及softmax运算的在线校验和，在仅5.3%硬件面积和不到1.9%能耗开销下实现高效故障检测。
2025-07-22 cs.AR cs.LG
Minimalist Softmax Attention Provably Learns Constrained Boolean Functions
Center for Foundation Models and Generative AI & Department of Computer Science, Northwestern University, USA（基础模型与生成人工智能中心及计算机科学系，西北大学，美国）；School of Mathematical Sciences, Fudan University（复旦大学数学科学学院）；University of California, Berkeley, USA（加州大学伯克利分校，美国）；Center for Foundation Models and Generative AI & Department of Computer Science & Department of Statistics and Data Science, Northwestern University, USA（基础模型与生成人工智能中心及计算机科学系与统计与数据科学系，西北大学，美国）
研究极简单头softmax注意力学习k位布尔函数的极限，证明仅注意力无法解决AND/OR，但教师强制下可解，且一次梯度更新即可替代多步思维链，揭示理想监督与标准训练的差距。
2025-05-26 cs.AI cs.LG stat.ML
On Expert Estimation in Hierarchical Mixture of Experts: Beyond Softmax Gating Functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Johns Hopkins University（约翰霍普金斯大学）
本文研究了层次混合专家（HMoE）模型，提出在模型两层结构中采用Laplace门控函数替代传统Softmax门控，以消除不良参数交互，从而加速专家收敛并增强专家专精化，实验验证了其在大规模多模态等任务上的显著性能提升。
2025-03-06 cs.LG stat.ML
