PairConnect: A Compute-Efficient MLP Alternative to Attention
Rice University(莱斯大学)
Transformer模型在自然语言处理方面表现出了优越的性能。Transformer中的点积自我注意力使我们能够对单词之间的交互进行建模。然而,这种建模伴随着显著的计算开销。在这项工作中,我们重新审视了与Transformer相关的内存-计算权衡,特别是多头注意力,并显示了一个内存繁重但计算效率更高的替代方案Transformer。我们的建议,表示为PairConnect,多层感知器(MLP),模型的两两之间的相互作用,明确的两两词嵌入。因此,PairConnect用一个简单的嵌入查找代替了自点积。我们在数学上表明,尽管是一个MLP,我们的计算效率PairConnect严格比Transformer更有表现力。我们在语言建模任务上的实验表明,PairConnect可以实现与Transformer相当的结果,同时显著降低与推理相关的计算成本。
2021-06-15 cs.CL cs.LG
Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究院,阿德莱德大学)
本文质疑softmax在transformer中的高性能是否源于对输入的概率分布,提出softmax的有效性在于其对注意力矩阵Frobenius范数的隐式正则化。通过探索多项式替代方案,理论分析显示某些多项式可有效替代softmax,保持强性能。
2026-03-13 cs.CV cs.LG stat.ML
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich(苏黎世联邦理工学院)
本研究探讨用浅层前馈网络替代Transformer注意力层,通过知识蒸馏训练,在IWSLT2017上验证其性能媲美原架构,并通过消融实验证明该方法可行,为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers under Fully Homomorphic Encryption on the Torus
该研究提出基于ReLU与加法的注意力机制替代传统点积Softmax注意力,提升量化Transformer效率,在四项基准任务上性能相当,且明文与加密场景下均显著节省计算量,有望支撑同态加密下的隐私保护AI应用。
2025-10-01 cs.LG
Alternatives to the Scaled Dot Product for Attention in the Transformer Neural Network Architecture
University of Puget Sound(普吉特海湾大学)
针对 Transformer 注意力中缩放点积导致梯度消失的问题,提出除以键长度之和的替代缩放,模拟实验表明其更有效。
2023-11-15 cs.CL cs.LG cs.NE
Alternative Loss Function in Evaluation of Transformer Models
Triple Sun, University of Warsaw / Dep. of Quantitative Finance and Machine Learning / QFRG(三日阳光,华沙大学 / 量化金融与机器学习系 / QFRG)
针对量化金融预测模型的损失函数选择问题,本文在股票与加密货币资产上实证采用MADL,并比较Transformer与LSTM,证明Transformer几乎均显著更优。
2025-07-24 cs.LG q-fin.CP q-fin.TR
Fundamental Limitations on Subquadratic Alternatives to Transformers
Columbia University(哥伦比亚大学)
本文证明,在细粒度复杂性理论猜想下,任何亚二次时间的Transformer替代方案(如Mamba)都无法执行文档相似性任务,而Transformer可完成该任务,其二次时间不可避免。
2025-05-23 cs.CC cs.CL cs.LG
HyperMixer: An MLP-based Low Cost Alternative to Transformers
EPFL(洛桑联邦理工学院);Idiap Research Institute(伊迪亚普研究所);University of Geneva(日内瓦大学)
本文提出HyperMixer,一种基于MLP的低成本Transformer替代方案,通过超网络动态生成令牌混合MLP,在自然语言理解任务上性能与Transformer相当,但显著降低了处理时间、训练数据和调参成本。
2023-11-13 cs.AI cs.CL cs.LG
Wide Attention Is The Way Forward For Transformers?
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);University of Oxford(牛津大学)
Transformer是一个非常强大和突出的深度学习架构。在这项工作中,我们挑战了深度学习中普遍持有的信念,即更深入更好,并展示了一种替代设计方法,可以构建更广泛的关注Transformers。我们证明了宽的单层Transformer模型可以在各种自然语言处理(NLP)任务中与更深的模型竞争或优于更深的模型,当两者都是从头开始训练时。然后系统地研究了改变模型长宽比对Transformers的影响。这个比率平衡了层数和每层的注意力头数,同时保持注意力头总数和所有其他超参数不变。平均而言,在4个NLP任务和10种注意力类型中,单层宽模型的性能比深度模型高出0.3%。我们展示了一个深入的评估,并展示了宽模型需要更小的内存占用,可以在商品硬件上运行得更快,此外,这些更宽的模型也更容易解释。例如,IMDb字节级文本分类上的单层Transformer在CPU上的推理延迟比同等精度的更深层次对应物快3.1倍,并且大小是其一半。因此,我们提出了更广泛和更浅的模型,作为NLP任务上小模型的可行和理想的替代方案,并作为超越这一领域的重要研究领域。
2022-11-08 cs.LG
Learnable Multi-Scale Wavelet Transformer: A Novel Alternative to Self-Attention
UC Berkeley School of Information(加州大学伯克利分校信息学院)
针对自注意力二次方复杂度问题,提出可学习多尺度小波Transformer(LMWT),用可学习Haar小波模块替代自注意力,在WMT16 En-De基准上实现竞争力性能与线性复杂度,为高效序列建模提供新方案。
2025-04-08 cs.CL cs.LG
Fine-Tuning Pre-trained Transformers into Decaying Fast Weights
Jenni
自回归Transformers是强语言模型,但由于自注意机制,在每个令牌生成期间会产生O(T)复杂度。最近的工作提出了基于核的方法来近似因果自我注意,通过使用具有各种更新规则和特征映射的递归公式来替换它,以实现O(1)的时间和内存复杂度。我们探索了这些方法,发现它们不必要地复杂,并提出了一个简单的替代方案-衰减快速权重-在GPU上运行速度快,优于以前的方法,并保留了GPT-2的99%的注意力性能。我们还显示了对WikiText-103对更复杂的注意力替代品的竞争力表现。
2022-10-09 cs.LG
On the Universality of Transformer Architectures; How Much Attention Is Enough?
Department of Computer Science and Information Technology(计算机科学与信息技术系);Institute for Advanced Studies in Basic Sciences (IASBS)(基础科学高级研究所)
本文探讨Transformer架构的通用性问题,分析其表达能力及未来研究方向。
2025-12-20 cs.LG
N-Best ASR Transformer: Enhancing SLU Performance using Multiple ASR Hypotheses
口语语言理解(SLU)系统将语音解析成语义结构,如对话行为和槽。这涉及到使用自动语音识别器(ASR)将语音转录为多个文本替代(假设)。ASR中常见的转录错误会对下游SLU性能产生负面影响。减轻这种错误的方法涉及使用来自ASR的更丰富的信息,无论是以N-最佳假设还是词格的形式。我们假设,Transformer模型使用N个最佳ASR替代品的串联,使用更简单的话语表示来学习得更好,其中每个替代品由特殊的分隔符[SEP]分隔。在我们的工作中,我们测试我们的假设,通过使用级联的N-最好的ASR替代品作为输入到Transformer编码器模型,即BERT和XLM-RoBERTa,并实现性能相当于现有的国家的最先进的模型在DSTC 2数据集。我们还表明,我们的方法显着优于现有的最先进的低数据制度时。此外,该方法可供不提供词格信息的第三方ASR API的用户访问。
2021-06-11 cs.CL cs.LG cs.SD
Grad-SAM: Explaining Transformers via Gradient Self-Attention Maps
The Open University(开放大学);IDC Herzeliya(赫兹利亚跨学科研究中心);Bar-Ilan University(巴伊兰大学);Microsoft(微软);Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
基于transformer的语言模型在许多语言任务中显著地推进了最先进的技术。随着这场革命的继续,解释模型预测的能力已经成为NLP社区感兴趣的主要领域。在这项工作中,我们提出了梯度自注意力地图(Grad-SAM)-一种新的基于梯度的方法,分析自注意力单位,并确定输入元素,解释模型的预测最好的。对各种基准的广泛评估表明,Grad-SAM比最先进的替代品有了显着的改进。
2022-04-23 cs.LG
Generalizable autoregressive modeling of time series through functional narratives
Georgia Tech(佐治亚理工学院);Apple(苹果公司)
提出NoTS方法,将时间序列重新解释为时间函数,通过退化算子构建增强变体并训练自回归transformer逐步恢复原样本,在多任务和数据集上显著优于其他预训练方法。
2024-10-10 cs.LG
Learning Novel Transformer Architecture for Time-series Forecasting
Nanyang Technological University(南洋理工大学);University of Hong Kong(香港大学);University of Virginia(弗吉尼亚大学)
本文提出 AutoFormer-TS 框架,通过 AB-DARTS 可微神经架构搜索为时间序列预测自动探索新型 Transformer 结构,并在多个基准上超越现有方法。
2025-02-19 cs.CL cs.LG
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research(谷歌研究院)
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制,但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此,我们研究了注意力/Transformer网络的训练问题,并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地,我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后,我们将重新表述为一个凸优化问题,这是可解释的,更容易优化。此外,作为凸分析的副产品,我们揭示了一种隐式正则化机制,它可以促进令牌之间的稀疏性。因此,我们不仅改进了注意力/Transformer网络的优化,而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性,通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
Data Efficient Any Transformer-to-Mamba Distillation via Attention Bridge
National University of Singapore(新加坡国立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出CAB框架,通过注意力桥接实现Transformer到Mamba的跨架构蒸馏,支持令牌级中间监督,在有限监督下提升图像分类和语言建模性能。
2026-09-17 cs.LG
Sampled Transformer for Point Sets
Australian National University(澳大利亚国立大学);Google Brain(谷歌大脑)
稀疏Transformer可以将自注意层的计算复杂性降低到$O(n)$,同时仍然是连续序列到序列函数的通用近似器。然而,这种置换变体操作不适合直接应用于集合。在本文中,我们提出了一个$O(n)$复杂度采样Transformer,可以直接处理点集元素没有任何额外的电感偏置。我们的采样Transformer引入了随机元素采样,它随机地将点集分成子集,然后对每个子集应用共享的Hamilton自注意机制。整个注意力机制可以看作是完全注意图中的一个哈密尔顿圈,点集元素的排列等价于随机抽样哈密尔顿圈。该机制实现了$O(n^2)$密集注意力连接的Monte Carlo模拟。我们证明了它是连续集到集函数的一个通用逼近器。点云上的实验结果显示出相当或更好的准确性,显着降低计算复杂性相比,密集的Transformer或替代稀疏注意力计划。
2023-02-28 cs.LG
Transformer Choice Net: A Transformer Neural Network for Choice Prediction
Imperial College London(帝国理工学院);Imperial College Business School(帝国理工商学院)
本文提出Transformer Choice Net,一种基于Transformer的神经网络架构,用于预测顾客的多物品选择,在基准数据集上显著优于现有离散选择模型,且无需针对每个实例定制。
2023-10-12 cs.AI cs.LG
Kinematics Transformer: Solving The Inverse Modeling Problem of Soft Robots using Transformers
Bahcesehir University(巴耶塞特大学)
软机器人操纵器在脆弱的环境如海洋环境中提供了许多优于传统刚性操纵器的优点。然而,发展必要的形状,运动和力控制的机器人的解析逆模型仍然是一个具有挑战性的问题。作为分析模型的替代方案,可以使用强大的机器学习方法来学习数值模型。在本文中,Kinetics Transformer提出了发展准确和精确的逆运动学模型的软机器人肢体。该方法将机器人逆运动学问题转化为序列预测问题,并基于Transformer结构。数值仿真结果表明,该方法可以有效地用于控制软肢体。基准研究也表明,与基线前馈神经网络相比,该方法具有更好的准确性和精度
2022-11-12 cs.LG cs.RO
Greedy-Gnorm: A Gradient Matrix Norm-Based Alternative to Attention Entropy for Head Pruning
SWUFE-UD Institute of Data Science(西南财经大学-UD数据科学学院);School of Mathematical and Computational Sciences(数学与计算科学学院)
Greedy-Gnorm通过动态梯度范数评分替代注意力熵,提升Transformer模型压缩效率与准确性。
2026-02-04 cs.LG
DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers
Huawei(华为)
针对Transformer自注意力二次方计算成本高的问题,提出DTRNet动态令牌路由架构,让多数令牌仅做线性更新、仅约10%令牌走注意力,在同等FLOPs下准确率和内存表现优于MoD等方法,长序列效率提升更显著。
2025-08-31 cs.CL cs.LG
Unraveling Attention via Convex Duality: Analysis and Interpretations of Vision Transformers
Stanford University(斯坦福大学);NVIDIA Corporation(英伟达公司)
视觉Transformer使用自我注意或其提出的替代品已被证明在许多图像相关的任务有前途的结果。然而,注意力的基础归纳偏差并没有得到很好的理解。针对这一问题,本文从凸对偶的角度对注意力进行了分析。对于非线性点积自注意,和替代机制,如MLP混合器和傅立叶神经算子(FNO),我们推导出等价的有限维凸问题,是可解释的,可解的全局最优性。凸规划导致{ \it块核范数正则化},其促进潜在特征和令牌维度中的低秩。特别是,我们展示了自我注意力网络如何根据它们的潜在相似性隐式地对令牌进行聚类。我们进行实验,通过微调各种凸注意力头来转移预先训练的Transformer骨干用于CIFAR-100分类。结果表明,与现有的MLP或线性头相比,由注意引起的偏见的优点。
2022-05-20 cs.CV cs.LG math.OC
Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence
Microsoft(微软);TU Wien(维也纳工业大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
Transformer-Kernel(TK)模型在TREC深度学习基准测试中表现出了强大的重新排序性能,可以被认为是一种高效的(但效果稍差)替代其他基于Transformer的架构,这些架构采用(i)大规模预训练(高培训成本),(ii)查询和文档的联合编码(高推理成本),以及(iii)更大数量的Transformer层(高训练和高推理成本)。从那时起,TK模型的一个变体--称为TKL --被开发出来,它结合了局部自注意力,在文档排序的上下文中有效地处理较长的输入序列。在这项工作中,我们提出了一种新的构象层作为一种替代方法来扩展TK更长的输入序列。此外,我们将查询词的独立性和显式的长期匹配扩展到完整的检索设置的模型。我们在TREC 2020深度学习赛道的严格盲评估设置下对我们的模型进行了基准测试,发现我们提出的架构更改导致了TKL检索质量的提高。我们的最佳模型在NDCG@10上的性能也优于所有非神经运行(“trad”)和三分之二的基于transformer的预训练运行(“nnlm”)。
2021-04-19 cs.AI cs.IR cs.LG
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
School of Mathematical Sciences, Peking University(北京大学数学科学学院);AI for Science Institute Beijing(北京AI for Science研究院)
该研究系统分析Transformer序列建模的逼近性质,明确各组件及层数、头数等参数对表达能力的影响机制,通过显式逼近速率验证组合效应,理论结论经实验验证并为架构设计提供参考。
2024-10-30 cs.LG stat.ML
A Transformer approach for Electricity Price Forecasting
Ericsson Cognitive Labs(爱立信认知实验室);Institute for Research in Technology (IIT)(技术研究 institute);Comillas Pontifical University(科米拉斯天主教大学)
本文提出纯Transformer模型用于电价预测,无需循环网络,经公平比较验证其优于传统方法,提升可重复性,助力可靠电力系统运行。
2025-09-10 cs.AI cs.LG
Do Efficient Transformers Really Save Computation?
School of EECS, Peking University(北京大学信息与工程科学学院(电子工程与计算机科学学院));ETH Zürich(苏黎世联邦理工学院);National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学通用人工智能重点实验室、智能科学与技术学院);New York University(纽约大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心)
本文通过将高效Transformer(Sparse和Linear)建模为动态规划问题,研究其推理能力,发现其虽能解决一般DP任务但模型规模需随问题规模扩展,并识别了一类可更高效的问题,实验验证了理论结果。
2024-11-09 cs.AI cs.CL cs.LG
H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences
Google Research(谷歌研究院)
我们描述了一个有效的分层方法来计算注意力的Transformer架构。所提出的注意力机制利用类似于由数值分析团体开发的分层矩阵(H-Matrix)的矩阵结构,并且具有线性的运行时间和存储复杂度。我们进行了大量的实验,以表明我们的分层注意体现的归纳偏见是有效的捕捉典型的自然语言和视觉任务的序列中的层次结构。我们的方法优于其他次二次建议,在长距离竞技场基准上平均超过+6点。它还在10亿字数据集上设置了一个新的SOTA测试困惑度,模型参数比以前最好的基于transformer的模型少5倍。
2021-07-25 cs.CL cs.LG
Are Transformers universal approximators of sequence-to-sequence functions?
MIT(麻省理工学院);Google Research(谷歌研究院)
尽管Transformer模型被广泛用于NLP任务,但这些模型的表达能力还没有得到很好的理解。在本文中,我们建立了Transformer模型是具有紧支撑的连续置换等变序列到序列函数的通用逼近器,这是相当令人惊讶的,因为这些模型中的共享参数的数量。此外,使用位置编码,我们绕过了置换等方差的限制,并表明,Transformer模型可以普遍逼近任意连续序列到序列的功能上的一个紧凑的区域。有趣的是,我们的证明技术清楚地突出了自我注意和前馈层在Transformers中的不同角色。特别地,我们证明了固定宽度的自注意层可以计算输入序列的上下文映射,在Transformers的通用近似性质中起着关键作用。基于我们的分析,我们考虑了自我注意层的其他更简单的替代方案,并对其进行了实证评估。
2020-02-25 cs.LG stat.ML
CNCast: Leveraging 3D Swin Transformer and DiT for Enhanced Regional Weather Forecasting
ColorfulClouds Technology Co.,Ltd(彩云科技有限公司)
本文提出CNCast区域预报模型,基于SwinTransformer 3D与DiT,融合NWP增强边界条件并生成约5公里分辨率逐小时降水,1小时至5天预报总体优于Pangu。
2025-03-16 cs.AI cs.LG
Learning to Estimate Shapley Values with Vision Transformers
University of Washington(华盛顿大学)
Transformers已经成为计算机视觉中的默认架构,但了解是什么驱动了它们的预测仍然是一个具有挑战性的问题。目前的解释方法依赖于注意力值或输入梯度,但这些提供了一个有限的视图模型的依赖关系。Shapley值提供了一个理论上合理的替代方案,但其计算成本使其对于大型高维模型不切实际。在这项工作中,我们的目标是使Shapley值实用的视觉Transformer(ViTs)。要做到这一点,我们首先利用注意力掩蔽方法来评估部分信息的ViTs,然后我们开发了一个程序,通过一个单独的,学习的解释模型生成Shapley值解释。我们的实验将Shapley值与许多基线方法(例如,注意推出,GradCAM,LRP),我们发现我们的方法提供了更准确的解释比现有的方法为ViTs。
2023-03-01 cs.CV cs.LG
Benchmarking the Computational and Representational Efficiency of State Space Models against Transformers on Long-Context Dyadic Sessions
Western Illinois University(西部伊利诺伊大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文通过双人会话测试案例,对比了状态空间模型与变换器在长上下文中的计算与表征效率,揭示了SSMs在特定条件下的优势。
2026-01-03 cs.AI cs.LG
InhibiDistilbert: Knowledge Distillation for a ReLU and Addition-based Transformer
本研究提出结合模型压缩与抑制注意力的优化方法,改进基于ReLU和加法的Transformer训练效率,经知识蒸馏在DistilBERT架构上验证,在GLUE等NLP基准上取得有竞争力的性能。
2025-03-20 cs.AI cs.CL cs.LG
Mamba-360: Survey of State Space Models as Transformer Alternative for Long Sequence Modelling: Methods, Applications, and Challenges
Microsoft(微软)
本综述全面回顾了状态空间模型(SSMs)作为长序列建模中Transformer替代方案的发展,将其分为门控、结构化和循环三种架构范式,并总结了SSMs在视觉、语言、医疗等多领域的应用及其在多个基准数据集上的性能表现。
2024-04-24 cs.AI cs.CV cs.LG
Analyzing the Structure of Attention in a Transformer Language Model
Palo Alto Research Center(帕洛阿尔托研究中心)
Transformer是一种完全基于注意力的递归网络替代方案,在一系列NLP任务中取得了最先进的结果。在本文中,我们分析了Transformer语言模型,GPT-2小型预训练模型的注意力结构。我们可视化的个别实例的注意力,并在一个大型语料库中分析注意力和语法之间的相互作用。我们发现,注意力针对模型中不同层深度的不同部分,并且注意力与中间层中最强烈的依赖关系保持一致。我们还发现,模型的最深层捕捉了最遥远的关系。最后,我们提取的例句,揭示了高度具体的模式,针对特定的注意头。
2019-06-18 cs.CL cs.LG stat.ML
Parallelizing Linear Transformers with the Delta Rule over Sequence Length
Massachusetts Institute of Technology(麻省理工学院);Soochow University(苏州大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
具有线性注意力的Transformers(即,线性Transformers)和状态空间模型最近被建议作为具有softmax关注的Transformers的可行线性时间替代。然而,这些模型仍然不如transformer,特别是在需要上下文检索的任务上。虽然已经发现用增量规则(DeltaNet)替换线性Transformers中的加法更新的线性Transformers的更有表现力的变体在关联召回方面更有效,但是用于训练这种模型的现有算法在序列长度上不并行化,因此在现代硬件上训练效率低下。这项工作描述了一个硬件高效的算法,用于训练线性Transformers的delta规则,它利用了一个内存高效的表示计算产品的Householder矩阵。该算法允许我们将DeltaNet扩展到标准语言建模设置。我们训练了一个1.3B模型,用于100 B令牌,发现它在下游任务的困惑和zero-shot性能方面优于最近的线性时间基线,如Mamba和GLA。我们还对两个混合模型进行了实验,这些模型将DeltaNet层与(1)每隔一层的滑动窗口注意力层或(2)两个全局注意力层相结合,并发现这些混合模型的性能优于强Transformer基线。
2025-01-15 cs.CL cs.LG
Shatter: An Efficient Transformer Encoder with Single-Headed Self-Attention and Relative Sequence Partitioning
Google Research Language(谷歌研究院语言部门)
基于自我注意力的高度流行的Transformer架构是大型预训练模型(如BERT)的基础,这些模型已成为NLP中持久的范式。虽然功能强大,但预训练此类模型所需的计算资源和时间可能令人望而却步。在这项工作中,我们提出了一种替代的自我注意力架构,破碎,更有效地编码序列信息,通过软分区的相对位置的空间和应用不同的值矩阵的序列的不同部分。这种机制进一步允许我们将Transformer中的多头注意简化为单头注意。我们进行了大量的实验,表明Shatter比BERT实现了更好的性能,预训练每步更快(TPU上为15%),收敛步骤更少,并节省了大量内存(>50%)。总之,Shatter可以在7天内在8个V100 GPU上进行预训练,并与BERT_Base的性能相匹配-使预训练的成本更加实惠。
2021-08-30 cs.CL cs.LG
Fast Transformer Decoding: One Write-Head is All You Need
Google(谷歌)
在Transformer神经序列模型中使用的多头注意力层是RNN的一个强大的替代方案,用于在序列之间移动信息。虽然训练这些层通常是快速和简单的,由于跨序列长度的并行化,增量推理(这种并行化是不可能的)通常是缓慢的,由于重复加载大的“键”和“值”张量的内存带宽成本。我们提出了一种称为多查询注意力的变体,其中键和值在所有不同的注意力“头”之间共享,大大减少了这些张量的大小,从而减少了增量解码的内存带宽要求。我们通过实验验证,由此产生的模型确实可以更快地解码,并且只会导致基线的轻微质量下降。
2019-11-06 cs.CL cs.LG cs.NE
State Space Model for New-Generation Network Alternative to Transformers: A Survey
School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);School of Artificial Intelligence, Anhui University(安徽大学人工智能学院);Peng Cheng Laboratory(鹏城实验室);Harbin Institute of Technology (HITSZ)(哈尔滨工业大学(深圳));School of Computer Science, Peking University(北京大学计算机学院);School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University(北京大学深圳研究生院电子与计算机工程学院)
该综述首次全面梳理作为Transformer替代方案的状态空间模型(SSM),阐述其原理、多领域应用,开展实验与统计对比分析,并提出未来研究方向,助力SSM理论与应用发展。
2024-04-15 cs.AI cs.CL cs.CV
Converting Transformers into DGNNs Form
National Central University(国立中央大学)
本研究提出基于有向图傅里叶变换的合成酉有向图卷积,构建模型 Converter 将 Transformer 转换为有向图神经网络形式,在多项基准测试中展现出更优性能与计算效率。
2025-03-03 cs.CL cs.LG
Associative Recurrent Memory Transformer
MIPT(莫斯科物理技术学院);AIRI(人工智能研究机构);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本文提出 ARMT 架构,结合局部自注意力与段级循环记忆,实现恒定时间长序列处理,并在联想检索及 BABILong 超 5000 万 token 任务上取得最优结果。
2025-02-13 cs.AI cs.CL cs.LG
On the Turing Completeness of Modern Neural Network Architectures
Department of Computer Science, Universidad de Chile(智利大学计算机科学系);IMFD Chile(智利IMFD(此处IMFD为机构缩写,按原文保留));Universidad de Chile(智利大学)
循环神经网络的替代方案,特别是基于注意力或卷积的架构,已经获得了处理输入序列的动力。尽管它们的相关性,这些替代品的计算性能尚未得到充分探讨。我们研究了两种最典型的架构的计算能力,这两种架构举例说明了这些机制:Transformer(Vaswani等人,2017)和神经GPU(Kaiser & Sutskever,2016)。我们证明了这两种模型是图灵完全完全的,完全基于它们计算和访问数据的内部密集表示的能力。特别是,Transformer和Neural GPU都不需要访问外部存储器来实现图灵完备。我们的研究还揭示了一些最小的元素集需要获得这些完整性的结果。
2019-01-10 cs.FL cs.LG stat.ML