Barriers to Discrete Reasoning with Transformers: A Survey Across Depth, Exactness, and Bandwidth
Oracle AI
本文综述了Transformer在离散推理任务中的理论限制，从电路复杂度、近似理论和通信复杂度三个角度分析了深度、精确性和带宽等障碍，并探讨了模型设计的改进方向。
2026-01-19 cs.CL
N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations
Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）；University of Waterloo（滑铁卢大学）
我们使用神经常微分方程制定的Transformer，这是深度自适应的意义上说，一个依赖于输入的时间步数的常微分方程求解器的一个变种。我们提出的N-ODE Transformer的目标是研究其深度自适应性是否有助于克服Transformer在处理非局部效应方面的一些特定的已知理论限制。具体来说，我们考虑的简单问题，确定奇偶校验的二进制序列，标准的Transformer具有已知的限制，只能通过使用足够大的层数或注意头克服。然而，我们发现，深度自适应的N-ODE Transformer不提供一个补救措施的奇偶校验问题的固有的非本地性质，并提供解释为什么会这样。接下来，我们通过惩罚ODE轨迹的弧长来实现N-ODE Transformer的正则化，但发现这无法提高N-ODE Transformer在具有挑战性的奇偶性问题上的精度或效率。我们建议未来的研究途径的修改和扩展的N-ODE Transformer，可能会导致提高精度和效率的序列建模任务，如神经机器翻译。
2020-10-22 cs.CL cs.LG
CoMem: Reusing Transformer Depth across Queries with Persistent Intermediate Residuals
Tsinghua University（清华大学）；Tencent（腾讯）
该研究提出CoMem方法，利用大语言模型的深度分工构建无界上下文记忆，在RULER、LoCoMo等基准上性能优于全上下文KV-Direct，内存占用低、预填充速度快，证明长上下文记忆可沿层轴组织。
2026-10-08 cs.CL
Knee-Deep in C-RASP: A Transformer Depth Hierarchy
University of Notre Dame（诺特大学）；DePaul University（德保罗大学）
本文通过理论证明和实证研究，展示了变换器深度与表达能力的关系，证明更深层的变换器在特定条件下更具表达能力。
2026-01-19 cs.CL cs.FL
LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University Health Network（大学健康网络）
LoopFormer通过弹性深度循环变换器实现基于快捷键调制的潜在推理，具备适应不同计算预算的鲁棒性与扩展性。
2026-02-11 cs.CL
Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Baidu Inc.（百度公司）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
提出内在思考Transformer（ITT），通过动态深度缩放和隐式思考路径优化，在减少参数和训练数据的同时提升关键词元推理性能。
2025-02-23 cs.CL
Saturated Transformers are Constant-Depth Threshold Circuits
Allen Institute for AI（艾伦人工智能研究所）；New York University（纽约大学）；University of Washington（华盛顿大学）
Transformers已经成为许多NLP问题的标准神经网络架构，激发了对它们在形式语言方面的能力的理论分析。最近的研究表明，具有硬注意力的Transformers在功率方面非常有限（Hahn，2020），因为它们可以通过恒定深度的AND/OR电路来模拟（Hao等人，2021）。然而，硬注意是一个强有力的假设，这可能会使这些结果在实践中的相关性复杂化。在这项工作中，我们分析了Transformers的电路复杂性饱和的注意力：硬注意力的概括，更紧密地捕捉到在实际Transformers中学习的注意力模式。我们首先表明，饱和Transformers超越已知的限制硬注意力Transformers。然后，我们证明了饱和Transformers的浮点值可以模拟的恒定深度的阈值电路，给类$\mathsf{TC}^0$作为上界的形式语言，他们承认。
2022-04-11 cs.CC cs.CL cs.LG
CoLT5: Faster Long-Range Transformers with Conditional Computation
Google Research（谷歌研究院）
提出CoLT5模型，通过条件计算为重要token分配更多前馈和注意力资源，在SCROLLS基准上以更快训练推理速度达到SOTA，并有效支持高达64k的极长输入。
2023-10-24 cs.CL cs.LG
Accelerating Transformer Decoding via a Hybrid of Self-attention and Recurrent Neural Network
Nankai University（南开大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
由于高度并行化的架构，Transformer比基于RNN的模型更快地进行训练，并广泛用于机器翻译任务。然而，在推理时，每个输出单词需要先前生成的单词的所有隐藏状态，这限制了并行化能力，并且使其比基于RNN的算法慢得多。在本文中，我们系统地分析了Transformer和基于RNN的模型的不同组件的时间成本。在此基础上，我们提出了一种自注意和RNN结构的混合网络，其中，高度并行的自注意被用作编码器，简单的RNN结构被用作解码器。我们的混合网络解码速度比Transformer快4倍。此外，在知识蒸馏的帮助下，我们的混合网络实现了与原始Transformer相当的翻译质量。
2019-09-05 cs.CL
Deep Transformers with Latent Depth
Facebook AI；University of Edinburgh（爱丁堡大学）
在许多序列建模任务中，Transformer模型已经达到了最先进的性能。然而，如何利用具有大或可变深度的模型容量仍然是一个开放的挑战。我们提出了一个概率框架，通过学习层选择的后验分布来自动学习要使用的层。作为该框架的扩展，我们提出了一种新的方法来训练一个共享的Transformer网络的多语言机器翻译与不同的层选择后验的每一个语言对。所提出的方法消除了消失梯度问题，并且实现了深度Transformers（例如，100层）的稳定训练。我们评估WMT英语-德语机器翻译和掩蔽语言建模任务，其中我们的方法优于现有的方法，用于训练更深的Transformers。在多语言机器翻译上的实验表明，该方法可以有效地利用模型容量的增加，并为不同语言对的多对一和一对多翻译带来普遍的改进。
2020-10-16 cs.CL cs.LG
Average-Hard Attention Transformers are Constant-Depth Uniform Threshold Circuits
Umeå University（于默奥大学）；Department of Computing Science（计算机科学系）
该研究拓展了平均硬注意力Transformer与常数深度阈值电路的关联结论，证明其对应的电路结果也可扩展为均匀电路，完善了Transformer的计算复杂度理论分析。
2023-08-21 cs.CC cs.CL cs.LG
Pause Tokens Strictly Increase the Expressivity of Constant-Depth Transformers
Department of Computer Science University of Oxford（计算机科学系牛津大学）
本文首次从理论上证明，向常数深度且对数宽度的Transformer中添加pause tokens能严格增加其计算表达能力，并在有界和对数精度下分别达到表达$\mathsf{AC}^0$和$\mathsf{TC}^0$的能力，且实验证实其能使两层Transformer学会奇偶性。
2025-05-27 cs.CL cs.LG
An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars
University of Sydney（悉尼大学）；San Francisco State University（旧金山州立大学）；IIT Madras（印度理工学院马德拉斯分校）
通过有界深度上下文无关文法，证明深度Transformer的深度随文法深度线性增长，神经元数随派生树形状和产生式规则数量缩放，支持线性表示假说。
2026-07-20 cs.CL cs.LG
Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
The Ohio State University（俄亥俄州立大学）
本文研究了隐式推理能力，探讨了递归深度变换器在系统泛化和深度扩展中的作用，发现其能有效提升多跳推理能力，但过度递归会导致泛化能力下降。
2026-08-12 cs.AI cs.CL cs.LG
Depth-Adaptive Transformer
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Facebook AI Research（Facebook人工智能研究）
用于大规模任务的现有技术的序列到序列模型对每个输入序列执行固定数量的计算，而不管它是容易还是难以处理。在本文中，我们训练Transformer模型，它可以在网络的不同阶段进行输出预测，我们研究了不同的方法来预测一个特定的序列需要多少计算。与Universal Transformers中迭代应用同一组层的动态计算不同，我们在每一步应用不同的层来调整计算量和模型容量。在IWITOS德语-英语翻译上，我们的方法与调好的基线Transformer的准确性相匹配，同时使用不到四分之一的解码器层。
2020-02-14 cs.CL cs.LG
I3D: Transformer architectures with input-dependent dynamic depth for speech recognition
Carnegie Mellon University（卡内基梅隆大学）；NAVER Corporation（NAVER公司）
基于transformer的端到端语音识别已经取得了巨大的成功。然而，庞大的内存占用和计算开销使得这些模型很难在一些实际应用中部署。模型压缩技术可以减小模型大小并加速推理，但是压缩的模型具有可能是次优的固定结构。我们提出了一种新的Transformer编码器与输入相关的动态深度（I3D），以实现强大的性能效率的权衡。在推理时具有相似数量的层的情况下，基于I3D的模型优于普通Transformer和通过迭代层修剪的静态修剪模型。我们还对门概率和输入依赖性进行了有趣的分析，这有助于我们更好地理解深度编码器。
2023-03-14 cs.CL cs.SD eess.AS
GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features
Tohoku University（东北大学）；RIKEN Center for AIP（理化学研究所先进智能项目中心）
当前最先进的图像描述方法采用基于区域的特征，因为它们提供了描述图像内容所必需的对象级信息;它们通常由诸如Faster R-CNN之类的对象检测器提取。然而，它们有几个问题，如缺乏上下文信息，不准确检测的风险，以及高计算成本。前两个可以通过额外使用基于网格的特征来解决。然而，如何提取和融合这两种类型的功能是未知的。本文提出了一种仅基于Transformer的神经架构，称为GRIT（Grid- and Region-based图像描述Transformer），它有效地利用了这两个视觉特征来生成更好的字幕。GRIT用基于DETR的检测器取代了以前方法中使用的基于CNN的检测器，使其计算速度更快。此外，它的单片设计仅由Transformers组成，可以实现模型的端到端训练。这种创新的设计和双重视觉功能的整合带来了显着的性能改善。在多个图像描述基准上的实验结果表明，GRIT在推理精度和速度上都优于以往的方法。
2022-07-20 cs.AI cs.CL cs.CV
Mobius Learning: Cyclic Depth Folding in Transformers
Zhejiang University（浙江大学）
研究挑战Transformer中块作用与位置绑定的传统观点，提出基于循环深度折叠的莫比乌斯学习，同一组块在不同数据流中有不同应用时机，实现深度角色叠加，实验表明其在分布式训练中有优势，开辟新设计空间。
2026-07-21 cs.CL cs.DC cs.LG
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG（Xayn公司）
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源，并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术，可以减少这种模型的资源需求，其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗，我们提出了两个扩展的流行的存储器变压器蒸馏过程：生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型，其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
Block Pruning For Faster Transformers
Hugging Face
预训练提高了分类和生成任务的模型准确性，但代价是引入了更大更慢的模型。修剪方法已被证明是减少模型大小的有效方法，而蒸馏方法被证明可以加速推理。我们介绍了一个块修剪的方法，针对小型和快速的模型。我们的方法通过考虑任何大小的块扩展结构化方法，并将此结构集成到运动修剪范式中进行微调。我们发现，这种方法学会了修剪掉底层模型的完整组件，例如注意力头。实验考虑了分类和生成任务，产生了一个修剪模型，它比SQuAD v1快2.4倍，BERT小74%，比F1小1%，在速度和大小上都与蒸馏模型竞争。
2021-09-10 cs.CL cs.LG
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
Dynamic Depth Decoding: Faster Speculative Decoding for LLMs
ML Research Labs（ML研究实验室）；Australian National University（澳大利亚国立大学）
本文提出动态深度解码（DDD），通过动态深度优化 EAGLE-2 的草稿树生成，将平均加速比提升至 3.16 倍，比 EAGLE-2 对 EAGLE 的加速再提高 44%。
2024-08-30 cs.AI cs.CL
Do Transformers Use their Depth Adaptively? Evidence from a Relational Reasoning Task
Microsoft Research Cambridge（微软研究院剑桥分部）
本文通过控制多跳关系推理任务研究Transformer是否自适应使用深度，发现预训练模型在简单任务中使用较少层，而微调模型在更复杂的任务中更一致地自适应调整深度。
2026-04-14 cs.CL cs.LG
DenseFormer: Enhancing Information Flow in Transformers via Depth Weighted Averaging
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
本文提出 DenseFormer 架构，通过在每个 transformer 块后引入 Depth-Weighted-Average (DWA) 操作计算当前与过去表示的加权平均，在不显著增加参数量的前提下提升了模型困惑度、数据效率及推理性能。
2024-03-21 cs.CL cs.LG
Faster Transformer Decoding: N-gram Masked Self-Attention
Google, Inc.（谷歌公司）
针对Transformer解码加速问题，提出基于N-gram假设截断目标侧自注意力窗口的方法，在WMT数据集上几乎不损失BLEU分数。
2024-12-18 cs.CL cs.LG stat.ML
Continuous-Depth Transformers with Learned Control Dynamics
本文提出一种连续深度变换器，通过学习控制信号实现对语言生成属性的可控调整，展示了在稳定性、语义控制和效率方面的优势。
2026-01-15 cs.CL cs.LG
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo（开罗德国大学）；Technical University of Munich（慕尼黑工业大学）；Cerebras Systems Inc.（赛布拉斯系统公司）
本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
Hyperloop Transformers
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种改进语言模型参数效率的超环变压器架构，通过循环Transformer和超连接技术，在较少参数下优于基线模型。
2026-07-03 cs.CL cs.LG
DeFormer: Decomposing Pre-trained Transformers for Faster Question Answering
Stony Brook University（石溪大学）
基于transformer的QA模型在所有层都使用输入范围内的自我注意力-即在问题和输入段落中-导致它们缓慢且内存密集。事实证明，我们可以在所有层都没有输入范围的自我注意，特别是在较低的层。我们引入了DeFormer，一个分解的Transformer，它在较低层中用问题范围和问题范围的自注意力代替完全的自注意力。这允许对输入文本表示进行与问题无关的处理，这反过来又使预计算段落表示能够大幅减少运行时计算。此外，由于DeFormer与原始模型非常相似，因此我们可以使用标准Transformer的预训练权重初始化DeFormer，并直接在目标QA数据集上进行微调。我们展示了DeFormer版本的BERT和XLNet可用于将QA速度提高4.3倍以上，并且在简单的基于蒸馏的损失下，它们的准确性仅下降1%。我们在https://github.com/StonyBrookNLP/deformer上开源代码。
2020-05-02 cs.AI cs.CL cs.LG
LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
Seoul National University（首尔大学）；KAIST（韩国科学技术院）
针对循环Transformer解码延迟高的问题，提出免训练的自推测解码框架LoopSpec，通过流水线重叠草稿生成与验证，并引入选择性第二提议，实现高达6.83倍推理加速。
2026-09-16 cs.CL cs.LG
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
Transformer体系结构在自然语言处理领域取得成功后，现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置：最佳深度与宽度比已被证明在数据类型之间变化很大（例如，$10$ x在图像上大于在语言上）。我们从理论上预测存在嵌入秩瓶颈，限制了自注意力宽度对Transformer表达的贡献。因此，我们直接将输入词汇的大小和等级与最佳的深宽比联系起来，因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响，将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处，我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型（如ALBERT和T5）中的大小冗余。
2021-06-09 cs.CL cs.LG
Striped Attention: Faster Ring Attention for Causal Transformers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MosaicML（MosaicML公司）；MIT EECS（麻省理工学院电气工程与计算机科学系）
针对因果Transformer中环形注意力因三角结构导致的工作负载不均衡，提出条纹注意力，通过均匀分布token子集实现更均衡负载，在A100和TPUv4上分别获得最高1.45倍和1.65倍的吞吐量提升。
2023-11-15 cs.CL cs.LG
On Optimal Transformer Depth for Low-Resource Language Translation
InstaDeep Ltd（InstaDeep公司）；Stellenbosch University（斯泰伦博斯大学）；Heidelberg University（海德堡大学）
Transformers作为低资源语言的神经机器翻译（NMT）方法已经显示出很大的前景。然而，与此同时，Transformer模型仍然难以优化，需要仔细调整超参数才能在此设置中使用。许多NMT工具包都带有一组默认的超参数，研究人员和实践者经常为了方便和避免调优而采用这些参数。然而，这些配置已经针对大规模机器翻译数据集进行了优化，这些数据集包含数百万个欧洲语言（如英语和法语）的并行句子。在这项工作中，我们发现该领域目前使用非常大的模型的趋势对低资源语言是有害的，因为它使训练更加困难，并损害了整体性能，证实了以前的观察结果。我们认为我们的工作是对Masakhane项目的补充（“Masakhane”在祖鲁语中的意思是“我们一起建设”）。本着这种精神，最需要资源的社区正在建造低资源的NMT系统。然而，社区中的许多人仍然只能获得非常有限的计算资源，而这些资源是构建工业研究所推动的超大型模型所需的。因此，通过展示Transformer模型在低到中等深度下表现良好（通常是最好的），我们希望说服研究人员在开发这些系统时投入更少的计算资源和时间来探索过大的模型。
2020-04-14 cs.CL cs.LG
Reducing Transformer Depth on Demand with Structured Dropout
Facebook AI Research（Facebook人工智能研究（FAIR））；LORIA（洛林研究所（法国国家信息与自动化研究所洛林分部））
过参数化的Transformer网络已经在各种自然语言处理任务（例如机器翻译、语言建模和问答）中获得了现有技术水平的结果。这些模型包含数以亿计的参数，需要大量的计算，并使它们易于过拟合。在这项工作中，我们探索了LayerDrop，这是一种结构化dropout，它在训练过程中具有正则化效果，并允许在推理时进行有效的修剪。特别是，我们表明，它是可能的，从一个大型网络中选择任何深度的子网络，而不必微调它们，对性能的影响有限。我们证明了我们的方法的有效性，通过提高最先进的机器翻译，语言建模，摘要，问答和语言理解基准。此外，我们表明，与从头开始训练或使用蒸馏相比，我们的方法可以产生更高质量的小型BERT模型。
2019-09-25 cs.CL cs.LG stat.ML
Transformer-VQ: Linear-Time Transformers via Vector Quantization
本文提出Transformer-VQ，通过向量量化键和新颖缓存机制实现线性时间稠密自注意力，在多个基准上取得有竞争力的质量，并在长序列上显著快于二次时间Transformer。
2024-02-25 cs.CL cs.CV cs.LG
Thinking Deeper, Not Longer: Memory-Efficient Test-Time Reasoning with Depth-Recurrent Transformers for Compositional Generalization
Computer Science and Information Engineering National Central University（计算机科学与信息工程国家中央大学）
本文提出深度递归变压器，通过在潜在空间中迭代应用共享权重的Transformer块，使模型在推理时能通过增加推理步骤来实现更深层次的推理。在三个组合推理领域中，该方法展示了计算前沿和不同泛化行为。
2026-09-16 cs.AI cs.CL cs.LG
Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers
ShanghaiTech University（上海科技大学）；BIGAI（北京智源人工智能研究院）
针对自回归Transformer长序列处理的计算与内存瓶颈，提出结合评分网络与可微SPARSEK算子的稀疏注意力机制，实现生成阶段线性复杂度与恒定内存，性能与速度优于现有方法且易集成到预训练LLMs。
2024-06-24 cs.CL cs.LG
Depth-Width tradeoffs in Algorithmic Reasoning of Graph Tasks with Transformers
Courant Institute of Mathematical Sciences, New York University（纽约大学应用数学科学研究所）；Google Research（谷歌研究）；Meta AI；Bar-Ilan University（巴伊兰大学）；Department of Bio-Medical Engineering, Edmond J. Safra Center for Bioinformatics, Tel-Aviv University（生物医学工程系，埃德蒙·J·萨法中心，特拉维夫大学）；Tel Aviv University（特拉维夫大学）
研究Transformer在图算法任务中深度与宽度的权衡，发现线性宽度下常数深度足以解决许多图问题，而某些问题需要二次宽度，实验验证了宽模型在保持精度的同时训练和推理更快。
2026-06-18 cs.AI cs.CL cs.LG
Dynamic Reasoning Chains through Depth-Specialized Mixture-of-Experts in Transformer Architectures
School of Computer Science University of Petroleum
提出DS-MoE框架，通过深度专业化专家模块和动态路由，按输入复杂度组装推理链，实现计算节省16%、推理提速35%、复杂推理准确率提升2.8%，兼顾效率与可解释性。
2025-09-24 cs.AI cs.CL cs.IR
Sparsifying Transformer Models with Trainable Representation Pooling
Jagiellonian University（雅盖隆大学）；Poznan University of Technology（波兹南理工大学）
我们提出了一种新的方法来稀疏注意力的Transformer模型，学习选择最信息的令牌表示在训练过程中，从而专注于特定于任务的输入部分。由于采用了一个鲁棒的可训练top- $k$算子，算法的时间和内存复杂度都降低到了次线性.我们在一个具有挑战性的长文档摘要任务上的实验表明，即使是我们简单的基线也可以达到当前的SOTA，并且通过可训练的池化，我们可以保持其最高质量，同时在训练过程中$1.8\times$更快，在推理过程中$4.5\times$更快，在解码器中$13\times$的计算效率更高。
2022-03-07 cs.CL cs.LG
Log-Depth Recurrent Language Modeling
Imperial College London（帝国理工学院）
本研究提出将平衡树递归算子扩展至自回归预测，实现对数深度和线性运行时间的语言建模，实验表明其长度外推稳健且性能接近ALiBi Transformer。
2026-09-24 cs.CL cs.LG
Recurrent multiple shared layers in Depth for Neural Machine Translation
KingSoft AI Lab（金山AI实验室）；University of Groningen（格罗宁根大学）
学习更深层次的模型通常是提高模型性能的一种简单有效的方法，但是更深层次的模型具有更大的模型参数，并且更难以训练。为了获得更深层次的模型，简单地堆叠更多的模型层似乎可以很好地工作，但以前的工作声称它不能使模型受益。我们提出用递归机制来训练更深的模型，该机制在深度方向上循环Transformer的编码器和解码器块。为了解决模型参数的增加，我们选择在不同的递归时刻共享参数。我们在WMT 16英语到德语和WMT 14英语到法语翻译任务上进行了实验，我们的模型比浅的Transformer-Base/Big基线高出0.35，1.45 BLEU点，是Transformer-Big模型参数的27.23%。与深度Transformer（20层编码器，6层解码器）相比，我们的模型具有相似的模型性能和推理速度，但我们的模型参数是前者的54.72%。
2021-08-26 cs.CL cs.LG
Transformers on Markov Data: Constant Depth Suffices
UC Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
研究Transformer在k阶马尔可夫数据上的行为，发现固定深度单头模型即可实现低测试损失，并证明三层Transformer能表示上下文条件经验分布，揭示了其捕获上下文的机制。
2024-07-25 cs.CL cs.IT cs.LG
RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise
Monash University（莫纳什大学）
语音翻译（ST）中的预先训练的语音Transformers已经促进了最先进的（SotA）结果;然而，使用这样的编码器在计算上是昂贵的。为了改善这一点，我们提出了一种新的Reducer Adaptor块，RedApt，它可以无缝集成在任何基于transformer的语音编码架构中。将预训练的wav 2 vec 2语音编码器与RedApt集成，可带来41%的加速，33%的内存减少，推理时的FLOP减少24%。令我们惊讶的是，我们的ST模型与RedApt在Must-C的8个语言对上的平均BLEU得分超过了SotA架构。
2022-10-16 cs.AI cs.CL
Is Smaller Always Faster? Tradeoffs in Compressing Self-Supervised Speech Transformers
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所）；University of California, Los Angeles, United States（美国加州大学洛杉矶分校）；University of Washington, United States（美国华盛顿大学）；University of Edinburgh, United Kingdom（英国爱丁堡大学）
本文研究了压缩自监督语音Transformer的权衡，评估了四种压缩方法并比较了几种最新技术，为实际部署提供指导。
2025-08-17 cs.CL cs.LG cs.SD
Attention-based transformer models for image captioning across languages: An in-depth survey and evaluation
The University of Jordan（约旦大学）；Princess Sumaya University for Technology（苏曼亚公主科技大学）
本文系统综述了基于注意力机制的跨语言图像描述Transformer模型，分类梳理方法、数据集与评估指标，指出多语言场景下的关键挑战，并提出多模态学习与实时应用等未来方向。
2025-06-03 cs.AI cs.CL cs.CV
Enhancing image captioning with depth information using a Transformer-based framework
Faculty of Computers and Information（计算机与信息学院）；Assiut University（艾斯尤特大学）
本文提出基于Transformer的编码器-解码器框架，通过融合RGB图像与深度信息生成3D场景多句描述，并清理NYU-v2数据集以提升深度信息利用效果。
2023-07-24 cs.AI cs.CL cs.CV
