Pre-RMSNorm and Pre-CRMSNorm Transformers: Equivalent and Efficient Pre-LN Transformers
Google(谷歌);Arizona State University(亚利桑那州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过移除Pre-LN Transformer主分支中的冗余均值信息,将LayerNorm简化为RMSNorm,并提出压缩RMSNorm及Pre-CRMSNorm架构,证明其与Pre-LN在训练和推理中等价,可在保持功能不变的同时降低1%-10%的训练与推理时间。
2023-10-26 cs.AI cs.LG cs.NE
Expanding Expressivity in Transformer Models with MöbiusAttention
本文提出MöbiusAttention,将Möbius变换融入注意力机制,增强Transformer模型捕捉复杂几何关系的能力,并在GLUE基准上优于基线模型。
2024-09-08 cs.AI cs.LG
Closing the Curvature Gap: Full Transformer Hessians
Yandex;BRAIn Lab;Moscow State University(莫斯科国立大学)
本研究推导了任意二阶可微损失函数下完整Transformer块的精确闭式海森矩阵,明确了各架构组件的曲率贡献,经验验证了公式精确性并提升了雅可比评估速度,填补了Transformer优化景观的理论空白。
2026-08-25 cs.LG
Parity, Sensitivity, and Transformers
CENIA;IPPT PAN;Queen Mary University of London(伦敦大学Queen Mary)
本文研究了变换器计算奇偶性任务的最小层数,证明单层变换器无法解决该任务,而两层变换器可实现,并提出改进的构造方法去除不切实际的假设。
2026-09-09 cs.AI cs.LG
Transformers are Expressive, But Are They Expressive Enough for Regression?
IIT Bombay(印度理工学院孟买分校)
本文通过理论证明和实验分析揭示 Transformer 难以逼近光滑函数、只能依赖分段常数近似,从而质疑其作为通用函数逼近器的能力,并呼吁更精细地理解其表达力。
2024-08-30 cs.LG stat.ML
Expressivity-Efficiency Tradeoffs for Hybrid Sequence Models
本文研究了混合序列模型在表达性与效率之间的权衡,证明了非混合模型的限制,并展示了混合模型在解决选择性复制和联想回忆任务中的优势。
2026-03-09 cs.LG
Counting with Attention and LayerNorm: Norm Scaling and Representation Geometry
New York University Abu Dhabi(纽约大学阿布扎比分校)
该研究针对Transformer长序列计数失败问题,分析单注意力层计数的参数成本,推导不同归一化与读出方式的计数速率,通过实验验证后归一化模型的两种读出差异。
2026-10-14 cs.LG
TR-PTQ: High-Accuracy Integer-Only Transformer Post Training Quantization via Taylor Region Reformulation
Bar-Ilan University(巴伊兰大学)
提出TR-PTQ,通过泰勒区域重构和整数算术实现Transformer训练后量化,消除浮点硬件需求,在视觉和语言基准上精度损失小于1.5%。
2026-10-08 cs.LG
Impact of Layer Norm on Memorization and Generalization in Transformers
本文针对Pre/Post-LayerNorm两类Transformer,探究LayerNorm对模型记忆与学习能力的影响,明确不同位置LayerNorm的作用差异,通过多数据集多模型实验验证结论,为理解LayerNorm的作用提供新视角。
2025-11-13 cs.AI cs.CL cs.CV
Transformers Don't Need LayerNorm at Inference Time: Scaling LayerNorm Removal to GPT-2 XL and the Implications for Mechanistic Interpretability
本文证明GPT-2系列模型可在推理时完全移除LayerNorm层且性能损失极小,并发布无LN模型以提升机制可解释性研究的精确性。
2025-07-03 cs.LG
Plain Transformers Can be Powerful Graph Learners
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所);Huawei Noah’s Ark Lab, Montreal(华为诺亚实验室,蒙特利尔);University of Oxford(牛津大学)
本研究证明原始变换器可通过简单修改成为强大图学习者,提出PPGT架构在图学习任务中表现优异。
2026-08-28 cs.CL cs.LG
Implicit Language Models are RNNs: Balancing Parallelization and Expressivity
Chair of Highly-Parallel VLSI Systems and Neuro-Microelectronics , TUD Dresden University of Technology, Dresden, Germany(德累斯顿技术大学神经微电子学系);Microsoft Research, Cambridge, United Kingdom(微软研究院)
该研究提出隐式SSMs,通过迭代变换至近似不动点实现RNN的非线性状态转移,设计兼顾并行性的可扩展训练课程,在正则语言任务上超越Transformer和SSMs,还成功扩展至1.3B参数的大模型预训练,性能优于显式模型。
2025-06-12 cs.AI cs.LG
On the Existence of Universal Simulators of Attention
Indian Statistical Institute West Bengal(印度统计研究所西孟加拉)
本文研究了Transformer编码器能否模拟通用注意力机制,通过构建由Transformer编码器组成的通用模拟器U,利用RASP框架提出算法解决方案,证明了数据无关的算法可实现解的存在。
2026-04-22 cs.AI cs.LG
Why are Sensitive Functions Hard for Transformers?
Saarland Informatics Campus(萨尔兰信息学园区);Saarland University(萨尔兰大学)
本研究证明Transformer的损失景观受输入空间敏感性约束,敏感函数导致参数空间孤立点,从而产生低敏感性泛化偏差,统一解释了其学习困难,强调需结合损失景观理解归纳偏差。
2024-05-27 cs.LG
Model selection in hybrid quantum neural networks with applications to quantum transformer architectures
Quantum Lab, Fujitsu Research of India(Fujitsu印度研究量子实验室)
本文提出QBET工具箱,通过简洁指标评估量子、经典和混合变换器架构,实现高效模型筛选,提升量子自注意力在分类和生成任务中的性能。
2026-03-23 cs.LG quant-ph
On the Role of Attention Masks and LayerNorm in Transformers
MIT LIDS(麻省理工学院信息与决策系统实验室);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);TU Munich(慕尼黑工业大学)
该研究分析Transformer中注意力掩码与LayerNorm对自注意力秩坍缩的影响,发现稀疏/局部掩码可减缓坍缩,合适值矩阵下带LayerNorm的自注意力不会坍缩至秩1子空间,推翻了LayerNorm无作用的假设,揭示其更强的表达能力。
2024-11-01 cs.LG stat.ML
Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models
Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院);University of Electronic Science and Technology of China(电子科技大学);Peking University(北京大学)
Transformer体系结构已成为广泛使用的自然语言处理~(NLP)模型的基本元素。随着大型NLP模型的发展趋势,不断增加的内存和计算成本阻碍了它们在资源有限的设备上的有效部署。因此,Transformer量子化引起了广泛的研究兴趣。最近的工作认识到,结构化离群值是量化性能的关键瓶颈。然而,他们提出的方法增加了计算开销,仍然留下了离群值。为了从根本上解决这一问题,本文深入探讨了异常值的内在诱因和重要性。我们发现LayerNorm(LN)中的$\boldsymbol γ$充当离群值的罪恶放大器,并且离群值的重要性变化很大,其中一些标记提供的离群值覆盖了很大的区域,但可以在没有负面影响的情况下被急剧剪切。基于这些发现,我们提出了一个离群值抑制框架,包括两个组件:Gamma迁移和令牌裁剪。Gamma Migration将离群值放大器迁移到等效转换中的后续模块,从而在没有任何额外负担的情况下为更量化友好的模型做出贡献。Token-Wise Clipping利用了令牌范围的大方差,并设计了一个令牌级的粗到精流水线,以有效的方式获得具有最小最终量化损失的裁剪范围。该框架有效地抑制了异常值,并且可以在即插即用模式中使用。大量的实验证明,我们的框架超越了现有的工作,并首次将6位后训练BERT量化到全精度(FP)水平。我们的代码可在https://github.com/wimh966/outlie…
2023-02-21 cs.LG
RadixMLP -- Intra-batch Deduplication for Causal Transformers
RadixMLP通过利用MLP的位位置性质,减少因果变换器中重复计算的冗余,提升推理效率。
2026-01-21 cs.DC cs.LG
FlashNorm: Fast Normalization for Transformers
OpenMachine
FlashNorm通过消除归一化权重和并行执行RMS规范化,提升Transformer模型的计算效率,减少延迟并简化实现。
2026-10-30 cs.LG
Fixed-Point RNNs: Interpolating from Diagonal to Dense
ELLIS Institute Tuebingen(图宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Department of Mathematics, Imperial College London(伦敦帝国学院数学系)
本文提出将稠密线性RNN参数化为可并行对角线性RNN的固定点,在固定参数下权衡表达与效率,在A5和S5基准上达到最优,并匹配复制等任务性能。
2025-10-24 cs.LG
Understanding Differential Transformer Unchains Pretrained Self-Attentions
TwelveLabs;Seoul National University(首尔国立大学)
本研究揭示差分Transformer成功的三大关键因素,提出DEX方法通过复用softmax分数、添加轻量差分操作,以极少适配数据将差分注意力优势高效整合进预训练LLM,实现多基准性能显著提升。
2025-10-21 cs.LG
Why Depth Matters in Parallelizable Sequence Models: A Lie Algebraic View
Howard Hughes Medical Institute, Department of Neurobiology, Harvard Medical School(霍华德·休斯医学研究所,哈佛医学院神经生物学系);Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(自然与人工智能研究学院,哈佛大学);Department of Psychology and Center for Brain Science, Harvard University(心理学系和脑科学中心,哈佛大学)
从李代数控制视角,研究可并行化序列模型(如Transformer变体和状态空间模型)的表达能力与深度关系,证明误差随深度增加呈指数下降。
2026-06-11 cs.LG
Tempo: Accelerating Transformer-Based Model Training through Memory Footprint Reduction
University of Toronto(多伦多大学);Shanghai Jiao Tong University(上海交通大学);Vector Institute(向量研究所)
训练深度学习模型在计算上可能是昂贵的。先前的工作已经表明,增加批量大小可能会导致更好的整体吞吐量。然而,由于为训练反向传递存储的激活/特征图,批量大小经常受到加速器存储器容量的限制,因为较大的批量大小需要存储较大的特征图。基于transformer的模型,由于其良好的性能和对各种任务的适用性,最近受到了广泛的欢迎,也有类似的问题。为了解决这个问题,我们提出了Tempo,一种有效使用加速器的新方法(例如,GPU)内存资源,用于训练基于transformer的模型。我们的方法为GELU,LayerNorm和Attention层提供了直接替代品,减少了内存使用,最终实现了更有效的训练。我们实现了Tempo并评估了BERT Large预训练任务的吞吐量、内存使用和准确性/损失。我们证明了Tempo能够在最先进的基线上实现高达2倍的批量大小和16%的训练吞吐量。我们还在GPT 2和RoBERTa模型上评估了Tempo,分别比基线加速了19%和26%。
2023-01-24 cs.LG cs.PF
Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers
Cerebras Systems(瑟雷布拉斯系统公司)
本研究提出低运算量的逐样本梯度范数计算方法,发现Transformer模型总梯度噪声尺度可由归一化层的GNS预测,据此开发无开销的定制内核并优化批量调度,将Chinchilla最优语言模型训练时间缩短18%。
2024-11-01 cs.LG stat.ML
Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale
IIIT, Hyderabad(海得拉巴国际信息技术学院)
本文发现 LayerNorm 的逆尺度方向是后最终归一化中心激活协方差矩阵的精确代数核,可仅从参数中读取死方向,无需前向或后向传播,并在 14 个预训练模型上验证了其有效性。
2026-06-19 cs.LG stat.ML
SOLE: Hardware-Software Co-design of Softmax and LayerNorm for Efficient Transformer Inference
Department of Electronic Engineering, Tsinghua University, Beijing, China(电子工程系,清华大学,北京,中国)
针对 Transformer 中 Softmax 与 LayerNorm 的推理瓶颈,提出 SOLE 软硬件协同设计,以低精度计算和存储在无需重训下保持精度,并显著提升速度、能效和面积效率。
2025-10-20 cs.AR cs.LG
Edge-Efficient Transformer for End-to-End RF Spectrum Monitoring
Sorbonne Université, CNRS, LIP6(索邦大学、法国国家科学研究中心、巴黎第六大学信息与自动化实验室)
提出用于端到端射频频谱监测的E-SpecFormer,引入LiTAN注意力机制,有四种可扩展变体。在相关数据集测试中,Nano变体参数少、速度快,准确率高,以低成本超越现有边缘模型,是物联网设备实时频谱智能的高效解决方案。
2026-07-22 cs.AI cs.LG
Exploiting Layer Normalization Fine-tuning in Visual Transformer Foundation Models for Classification
Shanghai Academy of Artificial Intelligence for Science(上海人工智能科学研究院);Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);University of Liverpool(利物浦大学);AI 3 Fudan University(复旦大学);Duke Kunshan University(杜克-昆山大学);BII, A ∗ STAR;Zhejiang University(浙江大学)
本文研究ViT中LayerNorm微调动态,提出FSR量化目标域代表性并设计标量λ重缩放机制与循环框架,有效解决数据稀缺与领域偏移下的微调问题。
2025-08-11 cs.CV cs.LG
Spectral Margins and Memory Routing in Looped Transformers
Faculty of Business and Economics, The University of Hong Kong(香港大学经管学院)
研究预层归一化循环变压器中层归一化作用,指出其为隐式增益控制,分析稳定性预算及进位约束,通过六个任务实验表明线性进位非深度记忆机制,刻画该说法边界,结果经解析得出并在CPU规模实现中验证。
2026-11-03 cs.LG cs.NE
Hypformer: Exploring Efficient Transformer Fully in Hyperbolic Space
Yale University(耶鲁大学);Birla Institute of Technology(比拉理工学院);The Chinese University of Hong Kong(香港中文大学)
针对双曲空间中Transformer适配研究有限的问题,提出基于Lorentz模型的Hypformer,通过定义双曲空间核心模块及线性自注意力机制,首次实现十亿规模图数据和长序列处理,验证了其有效性与可扩展性。
2025-08-24 cs.AI cs.LG
Gated Normalization Removal and Scale Anchoring in Pre-Norm Transformers
Department of Electrical Engineering(电气工程系);Department of Computer Science(计算机科学系);Stanford University(斯坦福大学)
本文研究了预归一化变换器中归一化层的必要性,提出了一种门控归一化移除方法,通过TaperNorm逐步将归一化操作转为样本无关的线性或仿射映射,并揭示了最终归一化层对预logit表示尺度的锚定作用。
2026-05-19 cs.CL cs.LG
Be Wary of Your Time Series Preprocessing
King AI Labs, Microsoft Gaming(微软游戏部门人工智能实验室)
本文首次分析了不同归一化策略对基于Transformer的时间序列模型表达能力的影响,揭示了归一化选择对模型性能的关键作用。
2026-02-19 cs.AI cs.LG
The Topos of Transformer Networks
本文以 topos 理论分析 transformer 表达能力,指出常见网络位于分段线性函数的 pretopos,而 transformer 处于其 topos 完备化,从而对应高阶逻辑推理。
2024-05-05 cs.LG math.CT
On the Expressive Power of Transformers for Maxout Networks and Continuous Piecewise Linear Functions
School of Mathematics, Sun Yat-sen University(中山大学数学学院);School of Information Science, Guangdong University of Finance and Economics(广东财经大学信息学院)
本文研究了Transformer在Maxout网络和连续分段线性函数中的表达能力,通过分析线性区域数量揭示了Transformer的理论表达性。
2026-03-03 cs.AI cs.LG
GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures
Graphcore Research(Graphcore研究院);New College of the Humanities(新人文学院)
基于注意力的语言模型已经成为最先进的自然语言处理系统中的关键组件。然而,这些模型具有显著的计算要求,由于长的训练时间,密集的操作和大的参数计数。在这项工作中,我们展示了一组修改的Transformer层的结构,产生一个更有效的架构。首先,我们添加了一个卷积模块来补充自我注意力模块,将局部和全局交互的学习解耦。其次,我们依靠分组变换来降低密集前馈层和卷积的计算成本,同时保持模型的表达能力。我们将由此产生的架构语言表示学习,并证明其优越的性能相比,不同尺度的BERT模型。我们进一步强调其提高的效率,无论是在浮点运算(FLOPs)和时间到训练。
2021-06-10 cs.CL cs.LG
Query-Key Normalization for Transformers
Cyndx Technologies(Cyndx Technologies(Cyndx科技公司))
低资源语言翻译是一项具有挑战性但具有社会价值的NLP任务。在最近的工作适应Transformer的规范化到这种设置的基础上,我们提出了QKNorm,一种规范化技术,修改了注意力机制,使softmax函数不太容易任意饱和,而不牺牲表现力。具体来说,我们在将它们相乘之前沿着每个查询和键矩阵的头部维度应用$\ell_2$归一化,然后通过可学习的参数而不是除以嵌入维度的平方根来扩大规模。对于来自TED Talks语料库和IWITAL '15的5个低资源翻译对,我们显示了平均0.928 BLEU的改进。
2020-10-08 cs.AI cs.CL cs.LG
Stronger Normalization-Free Transformers
Princeton University(普林斯顿大学);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出Derf函数,通过大规模搜索找到更有效的归一化替代方案,其在视觉识别、语音表示和DNA序列建模中均优于LayerNorm、RMSNorm和DyT。
2026-03-31 cs.AI cs.CL cs.CV
Approximation Theory for Lipschitz Continuous Transformers
Faculty of Life and Medical Sciences, Department of Biomedical Engineering, Doshisha University, RIKEN AIP(生命与医学科学学院,生物医学工程系,大原大学,RIKEN AIP);Department of Applied Mathematics and Theoretical Physics, University of Cambridge(应用数学与理论物理系,剑桥大学)
本文提出了一类梯度下降型的上下文变换器,通过构造保证Lipschitz连续性,并在Lipschitz约束函数空间内证明了通用近似定理,为设计鲁棒的变换器架构提供了理论支持。
2026-02-17 cs.LG stat.ML
AdaptiveLoad: Towards Efficient Video Diffusion Transformer Training
Tsinghua University(清华大学);Peking University(北京大学);Tianjin University(天津大学)
本文提出AdaptiveLoad框架,通过双约束自适应负载平衡系统和融合LayerNorm-Modulate CUDA内核,解决视频生成模型中大规模视频扩散变换器(如DiT和MMDiT)训练中的计算不平衡问题,实验显示其在Wan 2.1世界模型上提升了计算效率和训练吞吐量。
2026-05-18 cs.AI cs.DC cs.LG
Foundation Transformers
Microsoft(微软)
跨语言、视觉、语音和多模态的模型架构的大融合正在出现。但是,在相同的名称“Transformers”下,上述区域使用不同的实现以获得更好的性能,例如,BERT的Post-LayerNorm,GPT和视觉Transformer的Pre-LayerNorm。我们呼吁为真正的通用建模开发Foundation Transformer,它可以作为各种任务和模式的首选架构,并保证培训稳定性。在这项工作中,我们介绍了一个Transformer的变种,名为Magneto,以实现这一目标。具体来说,我们提出了Sub-LayerNorm以获得良好的表达能力,以及理论上从DeepNet获得的初始化策略以实现稳定的扩展。大量的实验证明了其优越的性能和更好的稳定性比事实上的Transformer变体设计的各种应用程序,包括语言建模(即,BERT和GPT)、机器翻译、视觉预训练(即,BEiT)、语音识别和多模式预训练(即,BEiT-3)。
2022-10-19 cs.CL cs.CV cs.LG
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
Transformer体系结构在自然语言处理领域取得成功后,现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置:最佳深度与宽度比已被证明在数据类型之间变化很大(例如,$10$ x在图像上大于在语言上)。我们从理论上预测存在嵌入秩瓶颈,限制了自注意力宽度对Transformer表达的贡献。因此,我们直接将输入词汇的大小和等级与最佳的深宽比联系起来,因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响,将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处,我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型(如ALBERT和T5)中的大小冗余。
2021-06-09 cs.CL cs.LG
Rational Neural Networks have Expressivity Advantages
Center for Applied Mathematics, Cornell University, United States(应用数学中心,康奈尔大学,美国);Department of Mathematics, Cornell University, United States(数学系,康奈尔大学,美国)
本文证明可训练低次有理激活函数网络在表达性和参数效率上优于常见固定激活函数,理论上有指数级参数节省,实验验证其与标准架构兼容。
2026-06-25 cs.AI cs.LG cs.NA
Towards Verifiable Transformers: Solver-Checkable Circuit Explanations
Independent Researcher(独立研究者)
提出Verifiable Transformers框架,通过将任务局部Transformer电路转化为有界、求解器可检查的声明,实现电路属性的形式化验证。
2026-07-30 cs.LG cs.LO
Transformer Based Linear Attention with Optimized GPU Kernel Implementation
Department of Computer Science, Umiacs University of Maryland College Park, MD(计算机科学系,乌米亚茨大学马里兰大学学院公园分校)
针对线性注意力实际效率低于理论的问题,提出优化的前向/反向传播及CUDA内核,实现3.3倍加速和3.6倍内存缩减,并在14亿参数模型上验证了与常规注意力相当的性能。
2025-10-24 cs.CL cs.LG
Dynamic Short Convolutions Improve Transformers
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文提出动态短卷积作为新的神经网络原语,通过输入依赖的滤波器增强Transformer,在语言建模中相比标准Transformer和静态短卷积变体持续提升性能,并带来计算优势。
2026-10-27 cs.CL cs.LG
LipsFormer: Introducing Lipschitz Continuity to Vision Transformers
International Digital Economy Academy (IDEA)(国际数字经济研究院(IDEA))
本文提出 Lipschitz 连续的 LipsFormer,通过替换归一化、初始化、注意力和残差连接实现无预热的稳定深度 Transformer 训练,并在 ImageNet-1K 上取得更高精度。
2023-04-19 cs.AI cs.CV cs.LG
A Unified Framework for Vision Transformers Equivariant to Discrete Subgroups of $\mathrm{O}(2)$
Independent Researcher(独立研究员);University of Amsterdam(阿姆斯特丹大学)
提出一个统一框架,使视觉Transformer对O(2)的任意离散子群等变,推广了现有翻转和D4等变架构,并通过理论保证和六重对称性实验验证了等变性可提升识别精度。
2026-06-29 cs.CV cs.LG
Go Wider Instead of Deeper
National University of Singapore(新加坡国立大学)
最近,更多带有剩余连接的Transformer模块在各种任务中取得了令人印象深刻的结果。为了用更少的可训练参数实现更好的性能,最近的方法被提出通过参数共享或随着深度压缩模型来进行更浅的处理。然而,弱建模能力限制了它们的性能。相反,通过引入更多的可训练矩阵和参数来扩展将产生需要高级并行训练和推理的巨大模型。在本文中,我们提出了一个参数有效的框架,更广泛而不是更深入。特别地,在现有工作的基础上,我们采用了参数共享来进行深度压缩。但是,这样的部署将限制性能。为了最大限度地提高建模能力,我们沿着模型的宽度,取代前馈网络(FFN)与混合专家(MoE)。跨Transformer块,而不是共享规范化层,我们建议使用单独的layernorms转换各种语义表示在一个更参数有效的方式。为了评估我们的即插即用框架,我们设计了WideNet,并对流行的计算机视觉和自然语言处理基准进行了全面的实验。在ImageNet-1 K上,我们的最佳模型通过具有$0.72 \times$可训练参数的$1.5\%$优于视觉Transformer(ViT)。使用$0.46 \times$和$0.13 \times$参数,我们的WideNet仍然可以分别通过$0.8\%$和$2.1\%$超过ViT和ViT-MoE。在四个自然语言处理数据集上,WideNet的平均性能优于$1.8\%$的ALBERT,并优于$0.8\%$使用因…
2021-09-07 cs.AI cs.CV cs.LG
Lambda-Skip Connections: the architectural component that prevents Rank Collapse
ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学)
本文针对Transformer和状态空间模型SSMs的秩崩溃问题,提出参数化Lambda-跳跃连接组件及通用充分条件,通过理论与实验证明其可有效防止秩崩溃,为两类模型提供了新的架构优化方向。
2025-02-13 cs.LG stat.ML
Is Random Attention Sufficient for Sequence Modeling? Disentangling Trainable Components in the Transformer
Princeton University(普林斯顿大学);ETH Zurich(苏黎世联邦理工学院)
该研究通过冻结Transformer的注意力或MLP权重、设计全随机注意力的MixiT架构,探究各组件对模型性能的贡献,发现Transformer内置形成专用回路的归纳偏置。
2025-09-03 cs.CL cs.LG
SecFormer: Fast and Accurate Privacy-Preserving Inference for Transformer Models via SMPC
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory, Shenzhen, China(鹏城实验室)
本文提出 SecFormer 框架,通过消除高成本指数与最大值操作并设计高效 SMPC 协议,实现 Transformer 快速准确的隐私保护推理,性能与速度均优于现有方法。
2025-06-09 cs.CL cs.CR cs.LG
Pool Me Wisely: On the Effect of Pooling in Transformer-Based Models
King AI Labs, Microsoft Gaming(King AI实验室,微软游戏);NXAI GmbH(NXAI有限公司);Kreditz AB(Kreditz公司);Amazon(亚马逊)
该研究针对Transformer模型中池化作用研究不足的问题,提出理论框架刻画常用池化方法的表达性界,并跨三大模态实证验证,为池化机制的选择设计提供指导,完善了Transformer架构设计的理论基础。
2025-10-02 cs.AI cs.LG
Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling
The School of Computer Science, China University of Geosciences, 388 Lumo Road, Wuhan, 430074, Hubei, China(中国地质大学(北京)计算机科学学院)
Nexusformer通过非线性映射解决传统Transformer扩展中的线性瓶颈,实现无损结构扩展,实验表明其在语言模型和推理任务中以更低的计算成本达到与Tokenformer相当的性能。
2026-04-21 cs.AI cs.LG
Erwin: A Tree-based Hierarchical Transformer for Large-scale Physical Systems
University of Amsterdam(阿姆斯特丹大学);CuspAI
针对不规则网格大规模物理系统的可扩展性挑战,提出分层Transformer模型Erwin,结合球树划分与跨球交互机制实现线性时间注意力,在多领域准确性与效率上均优于基线。
2025-06-02 cs.AI cs.CV cs.LG