Do Transformers Use their Depth Adaptively? Evidence from a Relational Reasoning Task
Microsoft Research Cambridge(微软研究院剑桥分部)
本文通过控制多跳关系推理任务研究Transformer是否自适应使用深度,发现预训练模型在简单任务中使用较少层,而微调模型在更复杂的任务中更一致地自适应调整深度。
2026-04-14 cs.CL cs.LG
DenseFormer: Enhancing Information Flow in Transformers via Depth Weighted Averaging
EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
本文提出 DenseFormer 架构,通过在每个 transformer 块后引入 Depth-Weighted-Average (DWA) 操作计算当前与过去表示的加权平均,在不显著增加参数量的前提下提升了模型困惑度、数据效率及推理性能。
2024-03-21 cs.CL cs.LG
Adaptive Transformers for Learning Multimodal Representations
Transformers的使用已经从学习语言语义发展到形成有意义的语言表征。这些架构通常过于参数化,需要大量的计算。在这项工作中,我们扩展了自适应方法,以了解更多关于模型的可解释性和计算效率。具体来说,我们研究注意广度,稀疏和结构化的辍学方法,以帮助了解他们的注意力机制如何扩展视觉和语言任务。我们进一步表明,这些方法可以帮助我们更多地了解网络如何感知输入序列的复杂性,不同模态的稀疏性偏好以及其他相关现象。
2020-07-08 cs.CL cs.LG
Continuous-Depth Transformers with Learned Control Dynamics
本文提出一种连续深度变换器,通过学习控制信号实现对语言生成属性的可控调整,展示了在稳定性、语义控制和效率方面的优势。
2026-01-15 cs.CL cs.LG
Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
The Ohio State University(俄亥俄州立大学)
本文研究了隐式推理能力,探讨了递归深度变换器在系统泛化和深度扩展中的作用,发现其能有效提升多跳推理能力,但过度递归会导致泛化能力下降。
2026-08-12 cs.AI cs.CL cs.LG
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo(开罗德国大学);Technical University of Munich(慕尼黑工业大学);Cerebras Systems Inc.(赛布拉斯系统公司)
本文提出RecurrentGPT,通过循环调制解决Transformer语言模型表达性与内存效率的矛盾,在多约束下优于基线模型,实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
Hyperloop Transformers
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种改进语言模型参数效率的超环变压器架构,通过循环Transformer和超连接技术,在较少参数下优于基线模型。
2026-07-03 cs.CL cs.LG
LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
Seoul National University(首尔大学);KAIST(韩国科学技术院)
针对循环Transformer解码延迟高的问题,提出免训练的自推测解码框架LoopSpec,通过流水线重叠草稿生成与验证,并引入选择性第二提议,实现高达6.83倍推理加速。
2026-09-16 cs.CL cs.LG
Length-Adaptive Transformer: Train Once with Length Drop, Use Anytime with Search
Clova AI, NAVER Corp.(NAVER公司Clova AI);New York University(纽约大学)
尽管Transformers具有令人印象深刻的精度,但其计算成本通常在有限的计算资源下无法使用。大多数以前的方法,以提高推理效率需要一个单独的模型,为每一个可能的计算预算。在本文中,我们扩展了POWER-BERT(Goyal等人,2020),并提出了长度自适应Transformer,可用于各种推理场景后,一次性训练。我们用LengthDrop(dropout的一种结构变体)训练一个Transformer,它随机确定每一层的序列长度。然后,我们进行多目标的进化搜索,找到一个长度配置,最大限度地提高精度,并在任何给定的计算预算的效率指标最小化。此外,我们显着扩展的POWER-BERT的适用性超出序列级分类到标记级分类与丢弃和恢复过程,暂时丢弃字向量在中间层和恢复在最后一层,如果必要的。我们实证验证所提出的方法的效用,通过展示优越的准确性和效率的权衡下,各种设置,包括跨度为基础的问答和文本分类。代码可在https://github.com/clovaai/length-adaptive-transformer上获得。
2021-06-11 cs.CL cs.LG
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
Transformer体系结构在自然语言处理领域取得成功后,现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置:最佳深度与宽度比已被证明在数据类型之间变化很大(例如,$10$ x在图像上大于在语言上)。我们从理论上预测存在嵌入秩瓶颈,限制了自注意力宽度对Transformer表达的贡献。因此,我们直接将输入词汇的大小和等级与最佳的深宽比联系起来,因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响,将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处,我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型(如ALBERT和T5)中的大小冗余。
2021-06-09 cs.CL cs.LG
Mobius Learning: Cyclic Depth Folding in Transformers
Zhejiang University(浙江大学)
研究挑战Transformer中块作用与位置绑定的传统观点,提出基于循环深度折叠的莫比乌斯学习,同一组块在不同数据流中有不同应用时机,实现深度角色叠加,实验表明其在分布式训练中有优势,开辟新设计空间。
2026-07-21 cs.CL cs.DC cs.LG
Rewiring the Transformer with Depth-Wise LSTMs
Zhengzhou University(郑州大学);DFKI(德国人工智能研究中心);Saarland University(萨尔大学);China Mobile Online Services(中国移动在线服务公司);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本文提出用深度级 LSTM 连接并聚合 Transformer 层与子层,以替代残差路径的信息传递,显著提升机器翻译 BLEU 并改善深层模型收敛。
2024-04-04 cs.CL
On Optimal Transformer Depth for Low-Resource Language Translation
InstaDeep Ltd(InstaDeep公司);Stellenbosch University(斯泰伦博斯大学);Heidelberg University(海德堡大学)
Transformers作为低资源语言的神经机器翻译(NMT)方法已经显示出很大的前景。然而,与此同时,Transformer模型仍然难以优化,需要仔细调整超参数才能在此设置中使用。许多NMT工具包都带有一组默认的超参数,研究人员和实践者经常为了方便和避免调优而采用这些参数。然而,这些配置已经针对大规模机器翻译数据集进行了优化,这些数据集包含数百万个欧洲语言(如英语和法语)的并行句子。在这项工作中,我们发现该领域目前使用非常大的模型的趋势对低资源语言是有害的,因为它使训练更加困难,并损害了整体性能,证实了以前的观察结果。我们认为我们的工作是对Masakhane项目的补充(“Masakhane”在祖鲁语中的意思是“我们一起建设”)。本着这种精神,最需要资源的社区正在建造低资源的NMT系统。然而,社区中的许多人仍然只能获得非常有限的计算资源,而这些资源是构建工业研究所推动的超大型模型所需的。因此,通过展示Transformer模型在低到中等深度下表现良好(通常是最好的),我们希望说服研究人员在开发这些系统时投入更少的计算资源和时间来探索过大的模型。
2020-04-14 cs.CL cs.LG
Statistical Depth for Ranking and Characterizing Transformer-Based Text Embeddings
Dartmouth College(达特茅斯学院)
本文提出基于Transformer的文本嵌入(TTE)统计深度,用于排序文本中心性并衡量分布,通过秩和检验比较语料库,在上下文学习提示选择任务中提升性能,并揭示了合成数据增强引起的分布偏移。
2023-10-23 cs.CL
Knee-Deep in C-RASP: A Transformer Depth Hierarchy
University of Notre Dame(诺特大学);DePaul University(德保罗大学)
本文通过理论证明和实证研究,展示了变换器深度与表达能力的关系,证明更深层的变换器在特定条件下更具表达能力。
2026-01-19 cs.CL cs.FL
Faster Depth-Adaptive Transformers
Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信人工智能模式识别中心)
深度自适应神经网络可以根据输入词的难易程度动态调整深度,从而提高效率。主要的挑战是如何测量这种硬度并决定所需的深度(即,层)进行。以前的工作一般建立一个暂停单元,以决定是否计算应该继续或停止在每一层。由于没有对深度选择的具体监督,因此停止单元可能是欠优化的和不准确的,这导致在建模句子时的次优和不稳定的性能。在本文中,我们摆脱了停顿单元,并提前估计所需的深度,这产生了一个更快的深度自适应模型。具体地,提出了两种方法来显式地测量输入词的硬度并估计相应的自适应深度,即1)基于互信息(MI)的估计和2)基于重构损失的估计。我们对文本分类任务进行了实验,使用了24个不同大小和领域的数据集。结果证实,我们的方法可以加快香草Transformer(高达7倍),同时保持高精度。此外,效率和鲁棒性显着提高时,与其他深度自适应方法相比。
2020-12-16 cs.CL
Reducing Transformer Depth on Demand with Structured Dropout
Facebook AI Research(Facebook人工智能研究(FAIR));LORIA(洛林研究所(法国国家信息与自动化研究所洛林分部))
过参数化的Transformer网络已经在各种自然语言处理任务(例如机器翻译、语言建模和问答)中获得了现有技术水平的结果。这些模型包含数以亿计的参数,需要大量的计算,并使它们易于过拟合。在这项工作中,我们探索了LayerDrop,这是一种结构化dropout,它在训练过程中具有正则化效果,并允许在推理时进行有效的修剪。特别是,我们表明,它是可能的,从一个大型网络中选择任何深度的子网络,而不必微调它们,对性能的影响有限。我们证明了我们的方法的有效性,通过提高最先进的机器翻译,语言建模,摘要,问答和语言理解基准。此外,我们表明,与从头开始训练或使用蒸馏相比,我们的方法可以产生更高质量的小型BERT模型。
2019-09-25 cs.CL cs.LG stat.ML
Thinking Deeper, Not Longer: Memory-Efficient Test-Time Reasoning with Depth-Recurrent Transformers for Compositional Generalization
Computer Science and Information Engineering National Central University(计算机科学与信息工程国家中央大学)
本文提出深度递归变压器,通过在潜在空间中迭代应用共享权重的Transformer块,使模型在推理时能通过增加推理步骤来实现更深层次的推理。在三个组合推理领域中,该方法展示了计算前沿和不同泛化行为。
2026-09-16 cs.AI cs.CL cs.LG
Consistent Accelerated Inference via Confident Adaptive Transformers
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
我们开发了一种新的方法,自信地加速推理的大型和昂贵的多层Transformers,现在无处不在的自然语言处理(NLP)。摊销或近似计算方法提高了效率,但可能带来不可预测的性能成本。在这项工作中,我们提出了CAT-自信的自适应Transformers -在其中,我们同时提高计算效率,同时保证与原始模型的一致性与高置信度的指定程度。我们的方法在中间层之上训练额外的预测头,并使用Meta一致性分类器动态决定何时停止向每个输入分配计算工作。为了校准我们的早期预测停止规则,我们制定了一个独特的扩展共形预测。我们证明了这种方法在四个分类和回归任务的有效性。
2021-09-09 cs.AI cs.CL cs.LG
Sparse Growing Transformer: Training-Time Sparse Depth Allocation via Progressive Attention Looping
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);Baidu Inc.(百度公司)
本文提出稀疏增长变换器,通过渐进式注意力循环实现训练时的稀疏深度分配,减少计算冗余并提升性能。
2026-04-16 cs.CL
Depth-Width tradeoffs in Algorithmic Reasoning of Graph Tasks with Transformers
Courant Institute of Mathematical Sciences, New York University(纽约大学应用数学科学研究所);Google Research(谷歌研究);Meta AI;Bar-Ilan University(巴伊兰大学);Department of Bio-Medical Engineering, Edmond J. Safra Center for Bioinformatics, Tel-Aviv University(生物医学工程系,埃德蒙·J·萨法中心,特拉维夫大学);Tel Aviv University(特拉维夫大学)
研究Transformer在图算法任务中深度与宽度的权衡,发现线性宽度下常数深度足以解决许多图问题,而某些问题需要二次宽度,实验验证了宽模型在保持精度的同时训练和推理更快。
2026-06-18 cs.AI cs.CL cs.LG
I3D: Transformer architectures with input-dependent dynamic depth for speech recognition
Carnegie Mellon University(卡内基梅隆大学);NAVER Corporation(NAVER公司)
基于transformer的端到端语音识别已经取得了巨大的成功。然而,庞大的内存占用和计算开销使得这些模型很难在一些实际应用中部署。模型压缩技术可以减小模型大小并加速推理,但是压缩的模型具有可能是次优的固定结构。我们提出了一种新的Transformer编码器与输入相关的动态深度(I3D),以实现强大的性能效率的权衡。在推理时具有相似数量的层的情况下,基于I3D的模型优于普通Transformer和通过迭代层修剪的静态修剪模型。我们还对门概率和输入依赖性进行了有趣的分析,这有助于我们更好地理解深度编码器。
2023-03-14 cs.CL cs.SD eess.AS
Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching
Technical University of Munich (TUM)(慕尼黑工业大学(TUM));Imperial College London(帝国理工学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);University of Potsdam(波茨坦大学);Hasso Plattner Institute for Digital Engineering(哈索·普拉特纳数字工程研究所)
本文针对循环语言模型深度自适应推理中标准批处理失效的问题,提出连续深度批处理(CDB)方案,在两个模型上实现了接近理论上限的加速比,显著提升了吞吐量并降低了延迟。
2026-09-28 cs.CL cs.DC cs.LG
Improving Deep Transformer with Depth-Scaled Initialization and Merged Attention
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
NLP的总趋势是通过更深的神经网络来增加模型容量和性能。然而,简单地堆叠用于机器翻译的流行的Transformer架构的更多层会导致差的收敛和高的计算开销。我们的经验分析表明,收敛性差,由于梯度消失所造成的残留连接和层归一化之间的相互作用。我们提出了深度缩放初始化(DS-Init),它减少了初始化阶段的参数方差,并减少了残差连接的输出方差,从而简化了通过归一化层的梯度反向传播。为了解决计算成本,我们提出了一个合并的注意力子层(MAtt),它结合了一个简化的平均为基础的自我注意力子层和encoderdecoder注意力子层的解码器侧。具有五个翻译方向的WMT和IWITR翻译任务的结果表明,具有DS-Init和MAtt的深度Transformers在BLEU方面可以大大超过其基础对应物(12层模型平均+1.1 BLEU),同时由于MAtt的效率提高,与基线模型的解码速度相匹配。
2019-08-29 cs.CL
The Impact of Depth on Compositional Generalization in Transformer Language Models
New York University(纽约大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本研究通过控制总参数量构建不同深度的Transformer模型,验证深度对组合泛化的影响,发现更深模型泛化能力更强但收益递减,且该增益不完全来自语言建模性能提升,建议给定参数预算下可采用更浅架构。
2024-04-10 cs.CL
Barriers to Discrete Reasoning with Transformers: A Survey Across Depth, Exactness, and Bandwidth
Oracle AI
本文综述了Transformer在离散推理任务中的理论限制,从电路复杂度、近似理论和通信复杂度三个角度分析了深度、精确性和带宽等障碍,并探讨了模型设计的改进方向。
2026-01-19 cs.CL
Transformers on Markov Data: Constant Depth Suffices
UC Berkeley(加州大学伯克利分校);EPFL(洛桑联邦理工学院)
研究Transformer在k阶马尔可夫数据上的行为,发现固定深度单头模型即可实现低测试损失,并证明三层Transformer能表示上下文条件经验分布,揭示了其捕获上下文的机制。
2024-07-25 cs.CL cs.IT cs.LG
Augmented Transformers with Adaptive n-grams Embedding for Multilingual Scene Text Recognition
Guangdong University of Foreign Studies(广东外语外贸大学);Bielefeld University(比勒费尔德大学);East China University of Science and Technology(华东理工大学)
虽然视觉Transformer已经非常成功地提高了基于图像的任务中的性能,没有太多的工作已经报道了应用Transformers的多语言场景文本识别由于在视觉外观的复杂性,多语言文本。为了填补这一空白,本文提出了一个增强的Transformer架构与n-gram嵌入和跨语言校正(TANGER)。TANGER由一个主Transformer和一个辅助Transformer组成,前者具有视觉图像的单块嵌入,后者具有自适应n-gram嵌入,旨在灵活地探索相邻视觉块之间的潜在相关性,这对于从多语言场景文本中提取特征提取至关重要。跨语言校正是通过一个损失函数来实现的,该函数同时考虑了语言识别和上下文连贯性评分。广泛的比较研究进行了四个广泛使用的基准数据集,以及一个新的多语言场景文本数据集,包含印尼语,英语和中文收集的旅游场景在印尼。我们的实验结果表明,TANGER是相当好的相比,国家的最先进的,特别是在处理复杂的多语言场景文本。
2023-02-28 cs.CL
CoMem: Reusing Transformer Depth across Queries with Persistent Intermediate Residuals
Tsinghua University(清华大学);Tencent(腾讯)
该研究提出CoMem方法,利用大语言模型的深度分工构建无界上下文记忆,在RULER、LoCoMo等基准上性能优于全上下文KV-Direct,内存占用低、预填充速度快,证明长上下文记忆可沿层轴组织。
2026-10-08 cs.CL
Semantic Communication with Adaptive Universal Transformer
随着深度学习(DL)的发展,自然语言处理(NLP)使我们能够分析和理解大量的语言文本。因此,我们可以实现语义通信的联合语义源和信道编码在噪声信道的帮助下。然而,现有的实现这一目标的方法是使用NLP的固定Transformer,而忽略了每个句子所包含的语义信息的差异。针对这一问题,提出了一种基于通用Transformer的语义通信系统。与传统的Transformer相比,通用Transformer引入了自适应循环机制。通过引入循环机制,新的语义通信系统可以更灵活地传输不同语义信息的句子,在各种信道条件下实现更好的端到端性能。
2021-11-29 cs.CL eess.SP
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
University of Toronto(多伦多大学);Vector Institute(向量研究所);University Health Network(大学健康网络)
LoopFormer通过弹性深度循环变换器实现基于快捷键调制的潜在推理,具备适应不同计算预算的鲁棒性与扩展性。
2026-02-11 cs.CL
Efficient Adaptive Transformer: An Empirical Study and Reproducible Framework
OPSWAT
EAT框架统一三种自适应效率技术,提供开源可复现基准测试流水线,实证显示在SST-2上准确率略高于DistilBERT,主要贡献是开放框架供社区研究。
2025-10-14 cs.AI cs.CL
Adaptively Sparse Transformers
Instituto de Telecomunicações(电信研究所);Unbabel
注意力机制在NLP中已经变得无处不在。最近的架构,特别是Transformer,通过分层的、多头的注意力来学习强大的上下文感知单词表示。多个头学习不同类型的单词关系。然而,使用标准softmax attention,所有attention heads都是密集的,为所有上下文单词分配非零权重。在这项工作中,我们引入了自适应稀疏Transformer,其中注意头具有灵活的,上下文相关的稀疏模式。这种稀疏性是通过将softmax替换为$α$ -entmax来实现的:softmax的可微分推广,允许低得分单词精确地接收零权重。此外,我们推导出一种自动学习$α$参数的方法-该参数控制$α$ -entmax的形状和稀疏性-允许注意力头在集中或分散行为之间进行选择。与机器翻译数据集上的softmax Transformers相比,我们的自适应稀疏Transformer提高了可解释性和头部多样性。我们的方法的定量和定性分析的结果包括,头部在不同的层学习不同的稀疏偏好,往往是更多样化的注意力分布比softmax Transformers。此外,在不损失准确性的情况下,注意力头部的稀疏性有助于揭示不同的头部专业化。
2019-09-06 cs.CL stat.ML
Dynamic Reasoning Chains through Depth-Specialized Mixture-of-Experts in Transformer Architectures
School of Computer Science University of Petroleum
提出DS-MoE框架,通过深度专业化专家模块和动态路由,按输入复杂度组装推理链,实现计算节省16%、推理提速35%、复杂推理准确率提升2.8%,兼顾效率与可解释性。
2025-09-24 cs.AI cs.CL cs.IR