Most Activation Functions Can Win the Lottery Without Excessive Depth
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
强彩票假说强调了通过修剪来训练深度神经网络的潜力，这激发了对神经网络如何表示函数的有趣的实践和理论见解。对于具有ReLU激活函数的网络，已经证明，具有深度$L$的目标网络可以由随机初始化的神经网络的子网络近似，该神经网络具有目标深度的两倍$2L$并且通过对数因子更宽。我们表明，深度$L+1$网络是足够的。这一结果表明，我们可以期望找到彩票在现实中，常用的深度，而只需要对数过参数化。我们的新构造方法适用于一大类激活函数，并且不限于ReLU。
2023-01-08 cs.AI cs.LG
Adaptive Computation Depth via Learned Token Routing in Transformers
Independent Researcher（独立研究者）
本文提出Token-Selective Attention，通过学习的标记门控机制，在Transformer中动态调整计算深度，减少计算量并提升效率。
2026-04-18 cs.AI cs.LG
Transforming ECG Diagnosis:An In-depth Review of Transformer-based DeepLearning Models in Cardiovascular Disease Detection
Hong Kong University of Science and Technology（香港科技大学）
本文综述基于 Transformer 的深度学习模型在 ECG 分类与心血管疾病检测中的应用，梳理其捕捉复杂时序关系的优势、挑战及未来改进方向。
2023-06-02 cs.LG eess.SP
Leaner Transformers: More Heads, Less Depth
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）；Idiap Research Institute（Idiap研究机构）
本文挑战“越大越好”观念，发现多头注意力可改善条件数，据此增加头数并减少深度，在多种视觉与语言任务上以30-50%参数削减保持准确率。
2025-05-27 cs.CV cs.LG
AdaPerceiver: Transformers with Adaptive Width, Depth, and Tokens
Purdue University West Lafayette, IN, USA（普渡大学西拉法叶分校）；Loyola University Chicago（洛约拉大学芝加哥分校）
AdaPerceiver是一种具有自适应宽度、深度和令牌的变换器架构，通过高效的联合训练制度实现了在不同配置下的性能保持，并在图像分类和密集预测任务中展示了更高的准确率和吞吐量。
2025-11-22 cs.CV cs.LG
The Depth Delusion: Why Transformers Should Be Wider, Not Deeper
Data Science Research Lab, Department of Statistics, University of Rajshahi, Rajshahi-6205, Bangladesh.（数据科学研究实验室，统计学系，拉贾沙希大学，拉贾沙希-6205，孟加拉国）
该研究发现Transformer模型应更宽而非更深，通过分析不同架构的缩放定律，揭示了增加层数反而会增加损失的现象，展示了宽度增长对模型性能的积极影响。
2026-01-28 cs.AI cs.LG
The Shaped Transformer: Attention Models in the Infinite Depth-and-Width Limit
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）
本文提出 shaped Transformer，通过 Softmax 中心化、温度缩放和残差连接，在深宽同比例无限极限下用稳定 SDE 刻画协方差演化并避免秩退化。
2023-12-09 cs.LG stat.ML
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
Transformer体系结构在自然语言处理领域取得成功后，现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置：最佳深度与宽度比已被证明在数据类型之间变化很大（例如，$10$ x在图像上大于在语言上）。我们从理论上预测存在嵌入秩瓶颈，限制了自注意力宽度对Transformer表达的贡献。因此，我们直接将输入词汇的大小和等级与最佳的深宽比联系起来，因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响，将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处，我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型（如ALBERT和T5）中的大小冗余。
2021-06-09 cs.CL cs.LG
A Transformer-based Prediction Method for Depth of Anesthesia During Target-controlled Infusion of Propofol and Remifentanil
Guangdong University of Technology（广东工业大学）；Zhejiang Hospital of Integrated Traditional Chinese and Western Medicine（浙江省中西医结合医院）
提出一种基于Transformer的方法，结合LSTM、GRN和注意力机制预测丙泊酚和瑞芬太尼靶控输注时的麻醉深度，有效解决了BIS突变预测和数据不平衡问题，优于传统PK-PD和深度学习方法。
2023-08-02 cs.AI cs.LG
Lift-Attend-Splat: Bird's-eye-view camera-lidar fusion using transformers
FiveAI
针对自动驾驶相机-激光雷达融合中单目深度估计可能是不必要瓶颈的问题，提出Lift-Attend-Splat方法，通过注意力机制在鸟瞰视角融合多传感器特征，在nuScenes数据集上的3D检测效果优于依赖单目深度的基线。
2024-05-21 cs.CV cs.LG
The Topological Trouble With Transformers
Google DeepMind（谷歌DeepMind）
本文探讨了Transformer在处理序列结构时的拓扑问题，指出其纯前馈架构限制了动态状态跟踪，提出应通过递归架构转向隐含激活动态，并介绍了连续思维Transformer架构的分类方法及未来研究方向。
2026-09-02 cs.AI cs.LG
Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures
Nyun AI；Transmute AI Lab（Transmute AI实验室）
本文提出一种利用二阶损失景观信息的自动化缩放方法，在视觉Transformer中引入深度异质性，无需额外训练迭代即可联合缩放与训练，在DeiT-S上实现2.5%准确率提升和10%参数效率改进。
2024-02-19 cs.AI cs.LG cs.NE
Algorithmic Separation between Constant-Depth and Logarithmic-Depth Neural Networks
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
研究常数深度和对数深度神经网络的算法分离，识别出一类布尔函数，对数深度网络能用逐层坐标下降法通过重构谱高效学习，还展示了一个子类，常数深度网络在此子类上有常数\(L^2\)逼近误差。
2026-07-29 cs.LG stat.ML
Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers
IBM Research（IBM研究院）
该研究提出一种仅需280个参数的通用Transformer，将算法任务建模为电路模型，结合特定位置编码与自主终止准则，在布尔运算、模运算等基准测试上实现了完美长度泛化。
2026-09-01 cs.LG
Learning to Extrapolate in Depth with Looped Transformers
University of California, Los Angeles（加州大学洛杉矶分校）；Princeton University（普林斯顿大学）
该研究针对循环Transformer的深度外推问题，以全对图连通性为对象，推导了外推窗口的端点，证明可通过训练分布选测试深度实现更难图的恢复，实验验证了相关结论。
2026-10-14 cs.LG
Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers
Idiap Research Institute（Idiap研究 institute）；EPFL（瑞士联邦理工学院）；BUT（布拉格技术大学）；Novartis Institute of Biomedical Research（诺华生物医学研究 institute）
提出LARM模型，通过深度条件循环Transformer将循环编码器深度变为可控的测试时计算轴，结合稀疏CTC检查点、监督时钟嵌入、FiLM深度条件和延迟软后验反馈，在LibriSpeech上随推理循环次数增加提升WER，实现测试时计算缩放从自回归语言模型推理扩展到连续非自回归语音识别。
2026-06-16 cs.LG
The Recurrent Transformer: Greater Effective Depth and Efficient Decoding
Harvard University（哈佛大学）
递归变换器通过层间递归记忆机制，在保持标准自回归解码成本的同时，提升了有效深度并减少了内存占用，实现了比传统变换器更高效的解码性能。
2026-04-23 cs.LG
A Little Depth Goes a Long Way: The Expressive Power of Log-Depth Transformers
Allen Institute for AI（阿伦人工智能研究所）；New York University（纽约大学）
本文从理论和实验两方面证明，深度为 Θ(log n) 的 Transformer 即可表达正则语言识别和图连通性等固定深度模型无法表达的顺序推理问题，并揭示了深度扩展比宽度或思维链扩展更高效，为实际深度选择提供了指导。
2025-11-05 cs.CC cs.LG
Logarithmic Time Online Multiclass prediction
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Microsoft Research（微软研究院）
我们研究的问题，多类分类与一个非常大的类数（k），以获得训练和测试时间复杂度对数的类数的目标。我们开发了自顶向下的树构建方法来构建对数深度树。在理论方面，我们制定了一个新的目标函数，它在树的每个节点上进行了优化，并创建了纯（就类标签而言）和平衡的数据的动态分区。我们证明，在有利的条件下，我们可以构建对数深度树，具有低标签熵的叶子。然而，节点处的目标函数在计算上优化是具有挑战性的。我们解决的经验问题，一个新的在线决策树建设过程。实验表明，这种在线算法快速实现改善测试错误相比，更常见的对数训练时间的方法，这使得它在计算受限的大k应用的一个合理的方法。
2015-11-14 cs.LG
Two-Scale Latent Dynamics for Recurrent-Depth Transformers
Sapienza University of Rome（罗马萨皮恩扎大学）；PSTP Technoscience（PSTP科技公司）
该研究分析循环深度Transformer迭代的几何特性，提出双尺度潜在动力学图景，基于此设计步长二阶差早退机制，在性能、稳定性和时间效率上优于现有方法。
2025-11-13 cs.LG
N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations
Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）；University of Waterloo（滑铁卢大学）
我们使用神经常微分方程制定的Transformer，这是深度自适应的意义上说，一个依赖于输入的时间步数的常微分方程求解器的一个变种。我们提出的N-ODE Transformer的目标是研究其深度自适应性是否有助于克服Transformer在处理非局部效应方面的一些特定的已知理论限制。具体来说，我们考虑的简单问题，确定奇偶校验的二进制序列，标准的Transformer具有已知的限制，只能通过使用足够大的层数或注意头克服。然而，我们发现，深度自适应的N-ODE Transformer不提供一个补救措施的奇偶校验问题的固有的非本地性质，并提供解释为什么会这样。接下来，我们通过惩罚ODE轨迹的弧长来实现N-ODE Transformer的正则化，但发现这无法提高N-ODE Transformer在具有挑战性的奇偶性问题上的精度或效率。我们建议未来的研究途径的修改和扩展的N-ODE Transformer，可能会导致提高精度和效率的序列建模任务，如神经机器翻译。
2020-10-22 cs.CL cs.LG
Saturated Transformers are Constant-Depth Threshold Circuits
Allen Institute for AI（艾伦人工智能研究所）；New York University（纽约大学）；University of Washington（华盛顿大学）
Transformers已经成为许多NLP问题的标准神经网络架构，激发了对它们在形式语言方面的能力的理论分析。最近的研究表明，具有硬注意力的Transformers在功率方面非常有限（Hahn，2020），因为它们可以通过恒定深度的AND/OR电路来模拟（Hao等人，2021）。然而，硬注意是一个强有力的假设，这可能会使这些结果在实践中的相关性复杂化。在这项工作中，我们分析了Transformers的电路复杂性饱和的注意力：硬注意力的概括，更紧密地捕捉到在实际Transformers中学习的注意力模式。我们首先表明，饱和Transformers超越已知的限制硬注意力Transformers。然后，我们证明了饱和Transformers的浮点值可以模拟的恒定深度的阈值电路，给类$\mathsf{TC}^0$作为上界的形式语言，他们承认。
2022-04-11 cs.CC cs.CL cs.LG
Depth Estimation with Simplified Transformer
NVIDIA（英伟达）
Transformer及其变体最近在许多视觉任务中显示了最先进的结果，范围从图像分类到密集预测。尽管他们取得了成功，但在提高模型效率以部署在延迟关键型应用（如自动驾驶和机器人导航）方面的工作有限。在本文中，我们旨在改善现有的Transformers在视觉，并提出了一种自监督的单目深度估计方法与简化的Transformer（DEST），这是有效的，特别适合于部署在基于GPU的平台。通过战略性的设计选择，我们的模型导致模型大小，复杂性以及推理延迟的显着降低，同时与最先进的技术相比，实现了更高的准确性。我们还表明，我们的设计可以很好地推广到其他密集的预测任务，而无需花里胡哨。
2022-05-27 cs.CV cs.LG
Deep Transformers with Latent Depth
Facebook AI；University of Edinburgh（爱丁堡大学）
在许多序列建模任务中，Transformer模型已经达到了最先进的性能。然而，如何利用具有大或可变深度的模型容量仍然是一个开放的挑战。我们提出了一个概率框架，通过学习层选择的后验分布来自动学习要使用的层。作为该框架的扩展，我们提出了一种新的方法来训练一个共享的Transformer网络的多语言机器翻译与不同的层选择后验的每一个语言对。所提出的方法消除了消失梯度问题，并且实现了深度Transformers（例如，100层）的稳定训练。我们评估WMT英语-德语机器翻译和掩蔽语言建模任务，其中我们的方法优于现有的方法，用于训练更深的Transformers。在多语言机器翻译上的实验表明，该方法可以有效地利用模型容量的增加，并为不同语言对的多对一和一对多翻译带来普遍的改进。
2020-10-16 cs.CL cs.LG
In-Context Learning of Linear Dynamical Systems with Transformers: Approximation Bounds and Depth-Separation
School of Mathematics University of Minnesota, Twin Cities（数学系 明尼苏达大学 Twin Cities分校）
本文从近似理论角度分析 transformer 对含噪线性动力系统的上下文学习，证明对数深度多层模型可逼近最小二乘估计，而单层线性 transformer 存在非衰减误差下界并体现深度分离及 IID/非 IID 差异。
2025-10-21 cs.LG stat.ML
Average-Hard Attention Transformers are Constant-Depth Uniform Threshold Circuits
Umeå University（于默奥大学）；Department of Computing Science（计算机科学系）
该研究拓展了平均硬注意力Transformer与常数深度阈值电路的关联结论，证明其对应的电路结果也可扩展为均匀电路，完善了Transformer的计算复杂度理论分析。
2023-08-21 cs.CC cs.CL cs.LG
Pause Tokens Strictly Increase the Expressivity of Constant-Depth Transformers
Department of Computer Science University of Oxford（计算机科学系牛津大学）
本文首次从理论上证明，向常数深度且对数宽度的Transformer中添加pause tokens能严格增加其计算表达能力，并在有界和对数精度下分别达到表达$\mathsf{AC}^0$和$\mathsf{TC}^0$的能力，且实验证实其能使两层Transformer学会奇偶性。
2025-05-27 cs.CL cs.LG
Semi-Supervised Semantic Depth Estimation using Symbiotic Transformer and NearFarMix Augmentation
BUET（孟加拉国工程技术大学）
针对深度估计中语义数据稀缺、卷积方法感受野受限的问题，提出基于共生Transformer的深度语义共生模块与NearFarMix增强策略，半监督框架在室内外数据集上均取得更优效果。
2023-08-28 cs.CV cs.LG
DeepLoop: Depth Scaling for Looped Transformers
Princeton University（普林斯顿大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
研究循环变换器中深度缩放问题，提出DeepLoop方法，通过控制访问对齐系数形式化绑定深度效应，保持特定架构并设置参数，在不同规模GPT风格模型上实验，结果显示稳定循环深度需考虑参数访问的残差缩放规则。
2026-08-10 cs.AI cs.LG
An expressivity analysis of hierarchical modelling in deep transformers via bounded-depth grammars
University of Sydney（悉尼大学）；San Francisco State University（旧金山州立大学）；IIT Madras（印度理工学院马德拉斯分校）
通过有界深度上下文无关文法，证明深度Transformer的深度随文法深度线性增长，神经元数随派生树形状和产生式规则数量缩放，支持线性表示假说。
2026-07-20 cs.CL cs.LG
Provable optimal transport with transformers: The essence of depth and prompt engineering
Department of Computer Science（计算机科学系）；University of Virginia（弗吉尼亚大学）
本文通过理论分析揭示变换器模型在机器翻译中通过最优传输近似实现令牌对齐的机制，并证明变换器深度影响近似精度。
2025-12-17 cs.LG math.OC stat.ML
Depth-Adaptive Transformer
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Facebook AI Research（Facebook人工智能研究）
用于大规模任务的现有技术的序列到序列模型对每个输入序列执行固定数量的计算，而不管它是容易还是难以处理。在本文中，我们训练Transformer模型，它可以在网络的不同阶段进行输出预测，我们研究了不同的方法来预测一个特定的序列需要多少计算。与Universal Transformers中迭代应用同一组层的动态计算不同，我们在每一步应用不同的层来调整计算量和模型容量。在IWITOS德语-英语翻译上，我们的方法与调好的基线Transformer的准确性相匹配，同时使用不到四分之一的解码器层。
2020-02-14 cs.CL cs.LG
Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers
The Ohio State University（俄亥俄州立大学）
本文研究了隐式推理能力，探讨了递归深度变换器在系统泛化和深度扩展中的作用，发现其能有效提升多跳推理能力，但过度递归会导致泛化能力下降。
2026-08-12 cs.AI cs.CL cs.LG
Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers
Tsinghua University（清华大学）；Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）；Peking University（北京大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
针对循环Transformer解码昂贵问题，提出深度异步自推测（DAS），利用值成熟性异步读取前缀，实现4-7倍吞吐提升。
2026-09-29 cs.AI cs.LG
An Analysis of Residual-Stream Geometry Across Transformer Depth
ProRata AI（ProRata人工智能公司）
研究跨Transformer深度的残差流几何规律，提出以转换为中心的分析方法，通过相对位移等测量揭示规律，如相对位移与层有关、旋转幅度恒定等，构建了测量框架，表明深度曲线依赖模型且条件稳定。
2026-07-22 cs.AI cs.LG
SiaTrans: Siamese Transformer Network for RGB-D Salient Object Detection with Depth Image Classification
Shandong University of Science and Technology（山东科技大学）
RGB-D SOD使用深度信息来处理具有挑战性的场景并获得高质量的显着性图。现有的最先进的RGB-D显著性检测方法压倒性地依赖于直接融合深度信息的策略。虽然这些方法通过各种跨模态融合策略提高了显著性预测的准确性，但一些质量较差的深度图像提供的错误信息会影响显著性预测结果。为了解决这个问题，本文提出了一种新的RGB-D显著目标检测模型（SiaTrans），它允许在训练SOD的同时训练深度图像质量分类。鉴于RGB和深度图像之间关于显著对象的共同信息，SiaTrans使用具有共享权重参数的Siamese Transformer网络作为编码器，并提取在批次维度上级联的RGB和深度特征，从而在不影响性能的情况下节省空间资源。SiaTrans在骨干网络（T2 T-ViT）中使用Class令牌来对深度图像的质量进行分类，而不会阻止令牌序列继续执行显著性检测任务。基于变换器的跨模态融合模块（CMF）可以有效地融合RGB和深度信息。在测试过程中，CMF可以根据深度图像的质量分类信号选择融合跨模态信息或增强RGB信息。我们设计的CMF和解码器的最大好处是保持了RGB和RGB-D信息解码的一致性：SiaTrans在测试时根据分类信号在相同的模型参数下解码RGB-D或RGB信息。在9个RGB-D SOD基准数据集上的综合实验表明，与现有方法相比，SiaTrans具有最好的整体性能和最少的计算量。
2022-07-09 cs.CV cs.LG
Mobius Learning: Cyclic Depth Folding in Transformers
Zhejiang University（浙江大学）
研究挑战Transformer中块作用与位置绑定的传统观点，提出基于循环深度折叠的莫比乌斯学习，同一组块在不同数据流中有不同应用时机，实现深度角色叠加，实验表明其在分布式训练中有优势，开辟新设计空间。
2026-07-21 cs.CL cs.DC cs.LG
Do Transformers Use their Depth Adaptively? Evidence from a Relational Reasoning Task
Microsoft Research Cambridge（微软研究院剑桥分部）
本文通过控制多跳关系推理任务研究Transformer是否自适应使用深度，发现预训练模型在简单任务中使用较少层，而微调模型在更复杂的任务中更一致地自适应调整深度。
2026-04-14 cs.CL cs.LG
When Does Depth Matter For In-Context Learning? Adaptive Inference in Deep Transformers
Joseph Henry Laboratories of Physics, Princeton University（普林斯顿大学约瑟夫·亨利物理实验室）
提出深度变换器作为平均场交互系统实现分布式推理的理论，利用函数向量逐层推断潜在上下文变量，在上下文回归任务中预测非高斯分层结构与深度的关系，并通过约束线性注意力变换器验证。
2026-09-29 cs.AI cs.LG physics.app-ph
Lightweight Monocular Depth Estimation via Token-Sharing Transformer
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；MOBIS（摩比斯）
针对Transformer参数大、计算成本高难以部署在嵌入式设备的问题，提出面向嵌入式设备优化的Token-Sharing Transformer轻量化单目深度估计架构，通过全局令牌共享实现高吞吐量高精度预测，在NYU Depth v2数据集上性能与速度优于现有方法。
2023-06-09 cs.AI cs.CV cs.LG
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo（开罗德国大学）；Technical University of Munich（慕尼黑工业大学）；Cerebras Systems Inc.（赛布拉斯系统公司）
本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
SwinDepth: Unsupervised Depth Estimation using Monocular Sequences via Swin Transformer and Densely Cascaded Network
Seoul National University（首尔国立大学）
单目深度估计在各种计算机视觉和机器人应用中起着关键作用，例如定位、映射和3D目标检测。最近，基于学习的算法通过以监督的方式训练具有大量数据的模型，在深度估计方面取得了巨大的成功。然而，这是具有挑战性的，以获得密集的地面真值深度标签的监督训练，和无监督的深度估计使用单目序列出现作为一个有前途的替代。不幸的是，大多数关于无监督深度估计的研究探索损失函数或遮挡掩模，并且模型架构几乎没有变化，因为基于ConvNet的编码器-解码器结构成为深度估计的事实标准。在本文中，我们采用了一个无卷积的Swin Transformer作为图像特征提取器，使网络可以捕获局部几何特征和全局语义特征的深度估计。此外，我们提出了一个密集级联多尺度网络（DCMNet），它通过自上而下的级联路径将每个特征图直接与不同尺度的另一个特征图连接起来。这种密集级联连接加强了解码层之间的互连，并产生高质量的多尺度深度输出。在KITTI和Make 3D两个不同数据集上的实验表明，我们提出的方法优于现有的最先进的无监督算法。
2023-01-17 cs.CV cs.LG cs.RO
Hyperloop Transformers
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种改进语言模型参数效率的超环变压器架构，通过循环Transformer和超连接技术，在较少参数下优于基线模型。
2026-07-03 cs.CL cs.LG
Geometric Flood Depth Estimation: Fusing Transformer-Based Segmentation with Digital Elevation Models
Lehigh University（莱维大学）
本文提出几何'水面高程'方法，通过融合基于变换器的分割模型与数字高程模型，从单目航空影像估计洪水深度，提升洪水范围和体积评估能力。
2026-05-08 cs.CV cs.LG
LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers
Seoul National University（首尔大学）；KAIST（韩国科学技术院）
针对循环Transformer解码延迟高的问题，提出免训练的自推测解码框架LoopSpec，通过流水线重叠草稿生成与验证，并引入选择性第二提议，实现高达6.83倍推理加速。
2026-09-16 cs.CL cs.LG
From Edges to Depth: Probing the Spatial Hierarchy in Vision Transformers
Northeastern University（东北大学）
研究探讨了视觉变换器中空间层次的编码机制，通过分析局部边缘和深度信息揭示了层次结构，发现边界结构在第5-6层可线性解码，而深度信息在第8层达到峰值，证明了分类训练的ViT能主动维护空间层次。
2026-04-25 cs.CV cs.LG
PINN-Cast: Exploring the Role of Continuous-Depth NODE in Transformers and Physics Informed Loss as Soft Physical Constraints in Short-term Weather Forecasting
University of New South Wales（新南威尔士大学）
本文提出连续深度Transformer编码器，结合Neural ODE动态和物理信息损失，提升短期天气预报的准确性与物理一致性。
2026-04-30 cs.CV cs.LG
On Optimal Transformer Depth for Low-Resource Language Translation
InstaDeep Ltd（InstaDeep公司）；Stellenbosch University（斯泰伦博斯大学）；Heidelberg University（海德堡大学）
Transformers作为低资源语言的神经机器翻译（NMT）方法已经显示出很大的前景。然而，与此同时，Transformer模型仍然难以优化，需要仔细调整超参数才能在此设置中使用。许多NMT工具包都带有一组默认的超参数，研究人员和实践者经常为了方便和避免调优而采用这些参数。然而，这些配置已经针对大规模机器翻译数据集进行了优化，这些数据集包含数百万个欧洲语言（如英语和法语）的并行句子。在这项工作中，我们发现该领域目前使用非常大的模型的趋势对低资源语言是有害的，因为它使训练更加困难，并损害了整体性能，证实了以前的观察结果。我们认为我们的工作是对Masakhane项目的补充（“Masakhane”在祖鲁语中的意思是“我们一起建设”）。本着这种精神，最需要资源的社区正在建造低资源的NMT系统。然而，社区中的许多人仍然只能获得非常有限的计算资源，而这些资源是构建工业研究所推动的超大型模型所需的。因此，通过展示Transformer模型在低到中等深度下表现良好（通常是最好的），我们希望说服研究人员在开发这些系统时投入更少的计算资源和时间来探索过大的模型。
2020-04-14 cs.CL cs.LG
Reducing Transformer Depth on Demand with Structured Dropout
Facebook AI Research（Facebook人工智能研究（FAIR））；LORIA（洛林研究所（法国国家信息与自动化研究所洛林分部））
过参数化的Transformer网络已经在各种自然语言处理任务（例如机器翻译、语言建模和问答）中获得了现有技术水平的结果。这些模型包含数以亿计的参数，需要大量的计算，并使它们易于过拟合。在这项工作中，我们探索了LayerDrop，这是一种结构化dropout，它在训练过程中具有正则化效果，并允许在推理时进行有效的修剪。特别是，我们表明，它是可能的，从一个大型网络中选择任何深度的子网络，而不必微调它们，对性能的影响有限。我们证明了我们的方法的有效性，通过提高最先进的机器翻译，语言建模，摘要，问答和语言理解基准。此外，我们表明，与从头开始训练或使用蒸馏相比，我们的方法可以产生更高质量的小型BERT模型。
2019-09-25 cs.CL cs.LG stat.ML
Thinking Deeper, Not Longer: Memory-Efficient Test-Time Reasoning with Depth-Recurrent Transformers for Compositional Generalization
Computer Science and Information Engineering National Central University（计算机科学与信息工程国家中央大学）
本文提出深度递归变压器，通过在潜在空间中迭代应用共享权重的Transformer块，使模型在推理时能通过增加推理步骤来实现更深层次的推理。在三个组合推理领域中，该方法展示了计算前沿和不同泛化行为。
2026-09-16 cs.AI cs.CL cs.LG
Depth-Width tradeoffs in Algorithmic Reasoning of Graph Tasks with Transformers
Courant Institute of Mathematical Sciences, New York University（纽约大学应用数学科学研究所）；Google Research（谷歌研究）；Meta AI；Bar-Ilan University（巴伊兰大学）；Department of Bio-Medical Engineering, Edmond J. Safra Center for Bioinformatics, Tel-Aviv University（生物医学工程系，埃德蒙·J·萨法中心，特拉维夫大学）；Tel Aviv University（特拉维夫大学）
研究Transformer在图算法任务中深度与宽度的权衡，发现线性宽度下常数深度足以解决许多图问题，而某些问题需要二次宽度，实验验证了宽模型在保持精度的同时训练和推理更快。
2026-06-18 cs.AI cs.CL cs.LG
The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth
Independent Researcher（独立研究者）
提出概念分配区（CAZ）框架，通过层间度量（分离度、概念一致性、概念速度）检测概念在残差流中逐渐形成的深度区间，并在34个模型上验证了分离曲线的多模态性及温和CAZ的因果活性。
2026-08-21 cs.AI cs.LG
Layer-Parallel Inference Reduces Encrypted Nonlinear Depth in Transformers
MBZUAI IFM（穆罕默德·本·扎耶德人工智能大学智能未来研究院）；Red Hat AI Innovation（红帽人工智能创新实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Core AI, IBM（IBM核心人工智能部门）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
研究结构化牛顿层并行性（SNLP）能否使Transformer层间组合更适合全同态加密（FHE），通过基于切比雪夫多项式近似的模拟框架测量误差积累，结果表明SNLP可减少推理步骤并降低误差放大。
2026-07-14 cs.CR cs.LG
Log-Depth Recurrent Language Modeling
Imperial College London（帝国理工学院）
本研究提出将平衡树递归算子扩展至自回归预测，实现对数深度和线性运行时间的语言建模，实验表明其长度外推稳健且性能接近ALiBi Transformer。
2026-09-24 cs.CL cs.LG
