Understanding In-Context Learning of Linear Models in Transformers Through an Adversarial Lens
University of Cambridge（剑桥大学）；Google, Paradigms of Intelligence Team（谷歌，Paradigms of Intelligence团队）；Google DeepMind（谷歌DeepMind）；Mila & Université de Montréal（Mila与蒙特利尔大学）；UC Davis（加州大学戴维斯分校）
本研究通过对抗攻击视角，发现Transformer对劫持攻击脆弱但可经对抗训练增强，并揭示不同种子训练的Transformer及与传统算法间攻击迁移性差，表明其可能实现不同的情景学习算法。
2025-08-05 cs.CR cs.LG
Predicting Chess Puzzle Difficulty with Transformers
Institute of Applied Computer Science（应用计算机科学学院）；Lodz University of Technology（罗兹工业大学）
本文提出GlickFormer，一种基于Transformer的模型，通过近似Glicko-2等级分系统并融合空间棋子布局与着法序列的时空特征，在超400万谜题数据集上超越ChessFormer基线，并在IEEE BigData 2024竞赛中获第11名。
2024-12-30 cs.LG
Difficulty in chirality recognition for Transformer architectures learning chemical structures from string
The University of Tokyo（东京大学）
本研究使用Transformer模型探究NLP模型对SMILES化学结构的学习机制，发现其学习整体结构和手性较慢且易误解对映体，为化学领域的NLP模型提供了新理解。
2024-01-14 cs.CL cs.LG physics.chem-ph
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research（谷歌研究院）
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制，但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此，我们研究了注意力/Transformer网络的训练问题，并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地，我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后，我们将重新表述为一个凸优化问题，这是可解释的，更容易优化。此外，作为凸分析的副产品，我们揭示了一种隐式正则化机制，它可以促进令牌之间的稀疏性。因此，我们不仅改进了注意力/Transformer网络的优化，而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性，通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding
Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对现有课程学习方法依赖人工难度指标的问题，提出基于预训练语言模型自身预测难度分数的自适应课程学习范式，通过不同样本排序策略在四个NLU数据集上实现更快收敛与更优性能。
2025-07-13 cs.CL cs.LG
Same but Different: Distant Supervision for Predicting and Understanding Entity Linking Difficulty
L3S Research Center, Leibniz University of Hannover（莱布尼茨汉诺威大学L3S研究中心）；GESIS - Leibniz Institute for the Social Sciences（GESIS——莱布尼茨社会科学研究所）
实体链接（Entity Linking，EL）是自动识别文本中提到的实体并将其解析为维基百科等参考知识库中的相应实体的任务。有大量的EL工具可用于不同类型的文档和领域，但EL仍然是一项具有挑战性的任务，其中缺乏精确度，特别是模糊的提及往往会破坏自动消歧结果在实际应用中的有用性。先验近似的困难，以链接一个特定的实体提到可以促进标记的关键情况下，作为半自动EL系统的一部分，而检测潜在的因素，影响EL性能，如语料库特定的功能，可以提供关于如何改进系统的基础上的特殊特性的基础语料库的见解。在本文中，我们首先介绍了一种基于共识的方法来生成难度标签的实体提到任意语料库。然后，利用难度标签作为训练数据的监督分类任务，能够预测实体提到使用各种功能的EL难度。在新闻文章语料库上的实验表明，EL难度可以估计具有较高的准确性，也揭示了潜在的功能，影响EL性能。最后，评估结果表明，所提出的方法，以通知半自动EL管道的有效性。
2018-12-13 cs.CL cs.IR cs.LG
Do Transformers Use their Depth Adaptively? Evidence from a Relational Reasoning Task
Microsoft Research Cambridge（微软研究院剑桥分部）
本文通过控制多跳关系推理任务研究Transformer是否自适应使用深度，发现预训练模型在简单任务中使用较少层，而微调模型在更复杂的任务中更一致地自适应调整深度。
2026-04-14 cs.CL cs.LG
Why are Sensitive Functions Hard for Transformers?
Saarland Informatics Campus（萨尔兰信息学园区）；Saarland University（萨尔兰大学）
本研究证明Transformer的损失景观受输入空间敏感性约束，敏感函数导致参数空间孤立点，从而产生低敏感性泛化偏差，统一解释了其学习困难，强调需结合损失景观理解归纳偏差。
2024-05-27 cs.LG
Understanding Dynamic Compute Allocation in Recurrent Transformers
Pennsylvania State University（宾夕法尼亚州立大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本研究提出ANIRA框架，通过受控复杂度评估范式，分析令牌级自适应计算在对齐复杂性、泛化和决策时间方面的表现，发现计算分配与任务复杂性一致并不等同于算法泛化。
2026-02-09 cs.AI cs.CL cs.LG
Syntax-Infused Transformer and BERT models for Machine Translation and Natural Language Understanding
Duke University（杜克大学）
基于注意力的模型在几个NLP任务中显示出比传统算法的显着改进。例如，Transformer是基于输入到编码器的令牌与序列中的所有令牌的关系来生成令牌的抽象表示的说明性示例。最近的研究表明，尽管这些模型能够纯粹通过查看示例来学习句法特征，但将这些信息显式地提供给深度学习模型可以显着提高其性能。利用句法信息（如词性（POS））在复杂模型（如Transformer）的有限训练数据设置中可能特别有益。我们表明，具有多个特征的语法注入的Transformer在完整的WMT 14英语到德语翻译数据集上训练时实现了0.7 BLEU的改进，并且在一小部分数据集上训练时最大提高了1.99 BLEU点。此外，我们发现，语法纳入BERT微调优于基线上的一些下游任务的GLUE基准。
2019-11-10 cs.CL cs.LG stat.ML
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
该研究结合数学分析与Wikipedia、LDA合成数据实验，揭示Transformer的嵌入层与自注意力层通过同主题词高内积、高注意力值编码主题结构，为其语义学习机制提供细粒度机制性理解。
2023-07-24 cs.CL cs.LG stat.ML
Evolutionary Data Measures: Understanding the Difficulty of Text Classification Tasks
Wluper Ltd.（Wluper有限公司）
分类任务通常通过新的模型架构或超参数优化进行分析和改进，但数据集的基本属性是在错误发生时临时发现的。然而，了解数据的属性对于完善模型至关重要。在本文中，我们准确地分析了数据集的哪些特征最能决定数据集对于文本分类任务的难度。然后，我们提出了一个直观的衡量文本分类数据集的难度，这是简单和快速计算。我们通过将其与最先进的数据集和结果进行比较，证明了这种方法可以推广到看不见的数据。这种方法可以用来分析数据集中错误的精确来源，并允许快速估计数据集学习的难度。我们通过在78个真实世界的数据集上训练12个基于经典和神经网络的模型来寻找这个度量，然后使用遗传算法来发现最佳的难度度量。我们的困难计算代码（https://github.com/Wluper/edm）和数据集（http://data.wluper.com）是公开的。
2018-12-07 cs.AI cs.CL cs.LG
MixUp Training Leads to Reduced Overfitting and Improved Calibration for the Transformer Architecture
MixUp是一种计算机视觉数据增强技术，它使用输入数据及其标签的凸插值来增强训练期间的模型泛化。然而，MixUp在自然语言理解（NLU）领域的应用受到了限制，因为很难直接在输入空间中插入文本。在这项研究中，我们提出了混合方法在输入，流形，句子嵌入水平的Transformer架构，并应用它们来微调BERT模型的一组不同的NLU任务。我们发现MixUp可以提高模型性能，并将测试损失和模型校准误差降低高达50%。
2021-02-22 cs.CL cs.LG
Transformer Dissection: A Unified Understanding of Transformer's Attention via the Lens of Kernel
Carnegie Mellon University（卡内基梅隆大学）；Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）
Transformer是一个功能强大的架构，可以在各种序列学习任务上实现卓越的性能，包括神经机器翻译、语言理解和序列预测。Transformer的核心是注意力机制，它同时处理流中的所有输入。在本文中，我们提出了一个新的配方的注意通过镜头的内核。更准确地说，我们意识到注意力可以被看作是对输入应用内核平滑器，内核得分是输入之间的相似性。这个新的公式为我们提供了一个更好的方法来理解Transformer注意力的各个组成部分，例如整合位置嵌入的更好方法。我们基于内核的公式化的另一个重要优点是，它为Transformer的注意力组成的更大空间铺平了道路。作为一个例子，我们提出了一个新的变形Transformer的注意力模型的输入作为一个产品的对称内核。这种方法实现了竞争力的性能，以更少的计算量的最先进的模型的当前状态。在我们的实验中，我们实证研究了两个广泛使用的任务：神经机器翻译和序列预测不同的内核构建策略。
2019-11-11 cs.LG stat.ML
Understanding Dataset Difficulty with $\mathcal{V}$-Usable Information
Stanford University（斯坦福大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
提出用 $\mathcal{V}$-可用信息和逐点 $\mathcal{V}$-信息衡量数据集及实例难度，支持跨数据集比较与输入属性可解释性，并发现 NLP 基准中的标注伪影。
2025-04-27 cs.AI cs.CL cs.LG
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；AI for Science Institute Beijing（北京AI for Science研究院）
该研究系统分析Transformer序列建模的逼近性质，明确各组件及层数、头数等参数对表达能力的影响机制，通过显式逼近速率验证组合效应，理论结论经实验验证并为架构设计提供参考。
2024-10-30 cs.LG stat.ML
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo（滑铁卢大学）；Peking University（北京大学）
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是，它仅通过标记位置索引来区分连续标记。我们假设，更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点，我们提出了一个段感知的Transformer（Segatron），通过替换原来的令牌位置编码与段落，句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL，这是一种流行的基于transformer的语言模型，具有内存扩展和相对位置编码。我们发现，我们的方法可以进一步改善Transformer-XL基础模型和大模型，在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明，使用Segatron（SegaBERT）预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT，在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Understanding Cross-Domain Few-Shot Learning Based on Domain Similarity and Few-Shot Difficulty
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）；SNU AIIS（首尔大学人工智能研究所）
跨域少样本学习（CD-FSL）在处理源域和目标域之间的巨大差异方面引起了越来越多的关注-这是现实世界场景中的一个重要问题。为了克服这些巨大的差异，最近的工作已经考虑在预训练阶段利用来自目标域的小规模未标记数据。除了在源域上进行有监督的预训练之外，这些数据还可以在目标域上进行自我监督的预训练。在本文中，我们经验性地研究了基于领域相似性和目标领域的Few-Shot难度的预训练。我们发现，当目标域与源域不相似或目标域本身具有低Few-Shot难度时，自监督预训练的性能增益比监督预训练大。我们进一步设计了两个预训练方案，混合监督和两阶段学习，提高性能。在这种情况下，我们提出了六个研究结果的CD-FSL，这是支持广泛的实验和分析的三个源和八个目标基准数据集不同程度的域相似性和Few-Shot的难度。我们的代码可在https://github.com/sungnyun/understanding-cdfsl上获得。
2022-10-12 cs.LG
DeepNet: Scaling Transformers to 1,000 Layers
Microsoft Research（微软研究院）
在本文中，我们提出了一个简单而有效的方法来稳定极深的Transformers。具体来说，我们引入了一个新的规范化函数（DeepNorm）来修改Transformer中的剩余连接，并伴随着理论推导的初始化。深入的理论分析表明，模型更新可以以稳定的方式有界。所提出的方法结合了两个世界中最好的，即，Post-LN的良好性能和Pre-LN的稳定训练，使DeepNorm成为首选。我们成功地将Transformers扩展到1,000层（即，2,500个注意力和前馈网络子层），这比之前的深度Transformers要深一个数量级。值得注意的是，在一个具有7，482个翻译方向的多语言基准测试中，我们的200层模型（3.2B参数）的性能明显优于48层最先进的模型（12 B参数）5个BLEU点，这表明了一个有希望的缩放方向。
2022-03-01 cs.CL cs.LG
Going Full-TILT Boogie on Document Understanding with Text-Image-Layout Transformer
Poznan University of Technology（波兹南理工大学）；Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；Jagiellonian University（雅盖隆大学）
我们通过引入TILT神经网络架构来解决纯文本文档之外的自然语言理解的挑战性问题，该架构同时学习布局信息，视觉特征和文本语义。与以前的方法相反，我们依赖于一个解码器，能够统一涉及自然语言的各种问题。布局被表示为注意力偏差，并补充了上下文视觉信息，而我们模型的核心是一个预先训练的编码器-解码器Transformer。我们的新方法在从文档中提取信息和回答需要布局理解的问题（DocVQA，CORD，SROIE）方面取得了最先进的结果。与此同时，我们通过采用端到端模型简化了流程。
2021-07-12 cs.CL cs.LG
Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs
d-Matrix
本研究揭示大语言模型低精度训练后量化效果逊于量化感知微调的原因是局部与全局目标函数优化错位，强调极低精度场景下直接量化感知微调的重要性。
2025-04-17 cs.LG
Bottleneck Low-rank Transformers for Low-resource Spoken Language Understanding
KU Leuven（鲁汶大学）
端到端口语语言理解（SLU）系统受益于大型语料库的预训练，然后对特定于应用程序的数据进行微调。生成的模型对于边缘应用程序来说太大了。例如，基于BERT的系统包含超过1.1亿个参数。观察模型是过参数化，我们提出精益Transformer结构的注意力机制的维度自动减少使用组稀疏。我们提出了一个变体，其中学习到的注意力子空间被转移到注意力瓶颈层。在低资源设置和没有预训练的情况下，由此产生的紧凑SLU模型实现了与预训练的大型模型竞争的精度。
2022-06-28 cs.CL cs.LG eess.AS
Temporal Embeddings and Transformer Models for Narrative Text Understanding
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所）
我们提出了两种深度学习方法来理解叙事文本，以进行角色关系建模。这些关系的时间演化由动态词嵌入描述，其被设计为随着时间学习语义变化。相应的字符轨迹的实证分析表明，这种方法是有效的描绘动态演变。一个监督学习方法的基础上，国家的最先进的Transformer模型BERT，而不是用来检测字符之间的静态关系。经验验证表明，这些事件（例如，属于同一家族的两个字符）可以以良好的准确度被发现，即使在使用自动注释的数据时也是如此。这提供了一个更深入的了解叙事情节的基础上确定的关键事实。标准的聚类技术最终用于字符去混叠，这是两种方法的必要预处理步骤。总的来说，深度学习模型似乎适合叙事文本理解，同时也为一般自然语言理解提供了一个具有挑战性且尚未开发的基准。
2020-03-19 cs.CL cs.LG
The Role of Logic and Automata in Understanding Transformers
Max-Planck Institute for Software Systems, Kaiserslautern, Germany University of Kaiserslautern-Landau, Kaiserslautern, Germany Institute for Mathematical
本文综述逻辑、自动机及电路复杂性在分析 Transformer 表达能力方面的作用，并指出其与验证交叉领域的开放问题。
2025-09-28 cs.CL cs.FL cs.LG
Adaptive Computation Depth via Learned Token Routing in Transformers
Independent Researcher（独立研究者）
本文提出Token-Selective Attention，通过学习的标记门控机制，在Transformer中动态调整计算深度，减少计算量并提升效率。
2026-04-18 cs.AI cs.LG
Deep Learning Through the Lens of Example Difficulty
Google Research（谷歌研究院）
现有的理解深度学习的工作通常采用将所有数据相关信息压缩为几个数字的方法。在这项工作中，我们采用了一种基于个别例子的作用的观点。我们引入了一个衡量对给定输入进行预测的计算难度的指标：（有效）预测深度。我们的广泛调查揭示了给定输入的预测深度与模型的不确定性，置信度，准确性和该数据点的学习速度之间令人惊讶而简单的关系。我们进一步将困难的例子分类为三个可解释的组，展示这些组在深度模型中如何以不同的方式处理，并展示这种理解如何使我们提高预测准确性。从我们的研究中获得的见解导致了文献中一些单独报告的现象的连贯性：早期层概括，而后期层记忆;早期层收敛速度更快，网络首先学习简单的数据和简单的函数。
2021-06-18 cs.LG stat.ML
Understanding Curriculum Learning in Large Language Models via Cross-Difficulty Optimization Dynamics
Fudan University（复旦大学）
本文通过分析不同课程调度的优化动力学，提出衡量跨难度知识迁移的Relative Transfer指标，据此推导TDCS方法，经多推理基准实验证明其性能优于代表性调度策略，为课程学习提供统一优化解释。
2026-08-19 cs.AI cs.LG
Understanding Transformers for Bot Detection in Twitter
Expert.ai Research Lab（Expert.ai研究实验室）
在本文中，我们阐明了微调对社交媒体数据在神经语言模型内部表示中的影响。我们专注于Twitter中的机器人检测，这是减轻和抵消社交媒体中虚假信息和偏见自动传播的一项关键任务。我们研究了使用预先训练的语言模型来解决检测由机器人或人类帐户完全基于其内容生成的推文。与GLUE等基准测试的一般趋势不同，BERT在常规文本的大多数分类任务中通常优于GPT和GPT-2等生成Transformers，我们观察到，在机器人检测任务中微调生成Transformers会产生更高的准确性。我们分析了每个Transformer的架构组件，并研究了微调对它们的隐藏状态和输出表示的影响。在我们的研究结果中，我们表明，BERT在预训练过程中捕获的部分语法信息和分布特性在微调时丢失，而生成式预训练方法设法保留这些特性。
2021-04-13 cs.CL cs.LG
Learning Deep Transformer Models for Machine Translation
Northeastern University（东北大学）；NiuTrans Co., Ltd.（牛转有限公司）；University of Macau（澳门大学）；Kingsoft AI Lab（金山人工智能实验室）
Transformer是最近机器翻译评估中最先进的模型。有两种研究有望改进这类模型：第一种是使用广泛的网络（也称为“网络”）。Transformer-Big）并已成为Transformer系统开发的事实上的标准，另一种使用更深层次的语言表示，但面临着学习深度网络带来的困难。在这里，我们继续对后者的研究路线。我们声称，一个真正深入的Transformer模型可以通过以下方式超越Transformer-Big模型：1）正确使用层归一化; 2）将前一层的组合传递到下一层的新方法。在WMT'16英语-德语，NIST OpenMT'12中文-英语和更大的WMT'18中文-英语任务中，我们的深层系统（30/25层编码器）比浅层Transformer-Big/Base基线（6层编码器）高出0.4-2.4 BLEU点。作为另一个好处，深度模型的尺寸比Transformer-Big小1.6倍，训练速度快3倍。
2019-06-05 cs.CL cs.LG
From Compass and Ruler to Convolution and Nonlinearity: On the Surprising Difficulty of Understanding a Simple CNN Solving a Simple Geometric Estimation Task
Technion Israel Institute of Technology（以色列理工学院）
神经网络无处不在，但仍然知之甚少。它们日益增加的复杂性和在关键系统中的使用对完全可解释性提出了重要挑战。我们建议解决一个简单的适定学习问题：估计一个中心脉冲的半径在一维信号或一个中心盘在二维图像中使用一个简单的卷积神经网络。令人惊讶的是，理解经过训练的网络学到了什么是困难的，在某种程度上是违反直觉的。然而，在一维的情况下，深入的理论分析，使我们能够理解的约束，由于所选择的架构，每个过滤器和非线性激活函数的作用，以及每个单一的值所采取的权重的模型。神经网络的两个基本概念出现：不变性和非线性激活函数的形状的重要性。
2023-03-12 cs.AI cs.LG
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey（萨里大学）
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而，由于自我注意的二次复杂性和缺乏感应偏差，Transformers是资源密集型的，并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题，使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络（STAN），它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类，具有数据效率，并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
DART: Input-Difficulty-AwaRe Adaptive Threshold for Early-Exit DNNs
Brandenburg Technical University（勃兰登堡技术大学）；Tallinn University of Technology（塔林理工大学）；Leibniz Institute for High Performance Microelectronics（莱比锡高性能微电子研究所）
DART通过引入输入难度估计模块、联合退出策略优化算法和自适应系数管理系统，提升边缘AI在资源受限环境下的推理效率与能效，实验表明其在多个DNN基准上实现显著加速和能耗降低。
2026-02-17 cs.AI cs.AR cs.LG
TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding
Amazon AWS AI（亚马逊AWS人工智能）
来自Transformers的双向编码器表示（BERT）最近在广泛的NLP任务上实现了最先进的性能，包括句子分类，机器翻译和问答。BERT模型架构主要源自Transformer。在Transformer时代之前，双向长短期记忆（BLSTM）一直是神经机器翻译和问答的主要建模架构。在本文中，我们将研究如何将这两种建模技术相结合，以创建一个更强大的模型架构。我们提出了一个新的架构表示为Transformer与BLSTM（TranSmart. tag_BLSTM），其中有一个BLSTM层集成到每个Transformer块，导致一个联合建模框架Transformer和BLSTM。我们表明，在GLUE和SQuAD 1.1实验中，与BERT基线相比，TRANS-BLSTM模型始终导致准确性的提高。我们的TRANS-BLSTM模型在SQuAD 1.1开发数据集上获得了94.01%的F1分数，这与最先进的结果相当。
2020-03-16 cs.CL cs.LG cs.SD
Understanding Transformers via N-gram Statistics
Google DeepMind（谷歌DeepMind）
本文通过N-gram统计规则集近似Transformer预测，提出检测过拟合、量化学习进展的方法，并发现TinyStories和Wikipedia上79%和68%的top-1预测与规则集一致。
2024-11-05 cs.AI cs.CL cs.LG
Curriculum Learning as Transport: Understanding Curricula with Wasserstein Geodesics
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Harvard University（哈佛大学）
提出基于Wasserstein测地线的传输框架解耦课程学习因素，在合成套件上发现课程效应依赖上下文，从易到难排序提升困难层级表现。
2026-09-09 cs.LG
What Happens During the Loss Plateau? Understanding Abrupt Learning in Transformers
University of Michigan（密歇根大学）
本研究揭示Transformer在算法任务训练中损失平台期伴随重复偏差和表示坍缩，瓶颈在于注意力图缓慢学习，且该现象在大型语言模型早期预训练中同样存在。
2025-10-22 cs.LG stat.ML
Towards a Mathematical Understanding of the Difficulty in Learning with Feedforward Neural Networks
fortiss – Landesforschungsinstitut des Freistaats Bayern（巴伐利亚州 fortiss 州立研究所）
训练深度神经网络来解决机器学习问题是该领域的一个巨大挑战，主要是由于其相关的优化问题是高度非凸的。最近的发展表明，许多训练算法在某些情况下不会遭受不希望的局部极小值，因此导致了对这种观察的数学解释的巨大努力。这项工作提供了一个替代的数学理解的挑战，从平滑优化的角度。通过假设有限样本的精确学习，通过临界点分析确定充分条件，以确保任何局部最小值也是全局最小值。此外，一个国家的最先进的算法，被称为广义高斯-牛顿（GGN）算法，严格重新作为一个近似牛顿算法，它的股票的属性是局部二次收敛到一个全局最小值的条件下的精确学习。
2017-11-21 cs.AI cs.LG cs.NE
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
多头注意力在最近Transformer模型的成功中起着至关重要的作用，这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是，这种有效性源于共同参加多个职位的能力。在本文中，我们首先证明，共同出席多个位置是不是一个独特的特点，多头注意力，作为多层次的单头注意也出席多个位置，更有效。然后，我们认为多头注意力的主要优点是训练的稳定性，因为它具有较少的层数比单头注意，当出席相同数量的位置。例如，24层16头Transformer（BERT-large）和384层单头Transformer的总关注头数相同，模型尺寸大致相同，而多头的要明显浅一些。同时，我们表明，随着深度学习的最新进展，我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈，因此更深的单头Transformer实现了一致的性能改进，而无需调整超参数。
2021-06-17 cs.CL cs.LG
Towards Understanding Inductive Bias in Transformers: A View From Infinity
Racah Institute of Physics, Hebrew University of Jerusalem（希伯来大学拉卡物理研究所）；Augment Computing
本研究在无限过参数化极限下分析Transformer的归纳偏置，发现其偏向置换对称函数，并利用对称群表示论提供定量预测及缩放律，验证WikiText数据集的置换对称性。
2024-05-28 cond-mat.dis-nn cs.LG stat.ML
Understanding Factual Recall in Transformers via Associative Memories
Princeton University（普林斯顿大学）；Flatiron Institute（弗拉蒂伦研究所）
本研究证明浅层Transformer可结合联想记忆实现接近最优的事实存储容量，验证了存储容量与参数量的线性关系，并发现模型存在序列学习行为。
2024-12-09 cs.CL cs.IT cs.LG
Understanding Addition in Transformers
Apart Research（阿帕特研究所）；University of Oxford（牛津大学）
本文全面分析了执行n位整数加法的一层Transformer模型，发现其将任务分解为针对不同数位位置的并行算法流，并解释了高损失罕见场景，为模型可解释性提供了新见解。
2024-04-23 cs.AI cs.LG
Rethinking Transformer-based Set Prediction for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
DETR是最近提出的一种基于transformer的方法，它将目标检测视为一个集合预测问题，并实现了最先进的性能，但需要额外的训练时间来收敛。在本文中，我们调查的原因，优化困难的训练DETR。我们的研究揭示了导致DETR收敛缓慢的几个因素，主要是匈牙利损失和Transformer交叉注意力机制的问题。为了克服这些问题，我们提出了两种解决方案，即TSP-FCOS（基于变换的集合预测与FCOS）和TSP-RCNN（基于变换的集合预测与RCNN）。实验结果表明，该方法不仅收敛速度比原来的DETR，但也显着优于DETR和其他基线的检测精度。
2021-10-12 cs.CV cs.LG
Understanding and Overcoming the Challenges of Efficient Transformer Quantization
Qualcomm AI Research（高通人工智能研究（Qualcomm AI Research））；Qualcomm Technologies, Inc.（高通公司（Qualcomm Technologies, Inc.））
基于transformer的架构已经成为广泛的自然语言处理任务的事实标准模型。然而，它们的内存占用和高延迟对于在资源有限的设备上的高效部署和推理是禁止的。在这项工作中，我们探讨Transformers的量化。我们表明，Transformers具有独特的量化挑战-即，高动态激活范围，难以用低位定点格式表示。我们确定，这些激活在剩余连接中包含结构化的离群值，这些离群值鼓励特定的注意模式，例如注意特殊的分隔符标记。为了应对这些挑战，我们提出了三种基于训练后量化和量化感知训练的解决方案，每种解决方案都对准确性、模型大小和易用性做出了不同的妥协。特别是，我们引入了一种新的量化方案-每嵌入组量化。我们使用BERT在GLUE基准测试上证明了我们的方法的有效性，为训练后量化建立了最先进的结果。最后，我们表明，Transformer权重和嵌入可以量化到超低位宽，从而以最小的精度损失节省大量内存。我们的源代码可以在~ \url{https://github.com/qualcomm-ai-research/transformer-quantization}上找到。
2021-09-27 cs.AI cs.CL cs.LG
Understanding Code Semantics: An Evaluation of Transformer Models in Summarization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过改名、死代码和注释代码等对抗实验，评估Transformer模型在代码摘要中是否真正理解代码语义，旨在揭示模型内部机制并提升软件开发效率。
2023-10-27 cs.LG
Achieving and Understanding Out-of-Distribution Generalization in Systematic Reasoning in Small-Scale Transformers
Stanford University（斯坦福大学）
分布外泛化（OODG）是神经网络长期面临的挑战。这种挑战在具有明确定义的变量和规则的任务中非常明显，其中明确使用规则可以独立于变量的特定值来解决问题，但网络往往与其训练数据中采样的值范围相关联。基于transformer的大型语言模型已经突破了神经网络解决以前看不见的问题的能力，但是它们的复杂性和训练数据中相关内容的不清晰性模糊了它们如何实现这种鲁棒性。作为理解基于transformer的系统如何泛化的一步，我们探索了用已知分布的例子训练的小规模Transformers中的OODG问题。使用推理任务的基础上的难题数独，我们表明，OODG可以发生在一个复杂的问题，如果训练集包括从整个分布的简单组件任务的样本。成功的推广依赖于仔细管理位置对齐时，使用绝对位置编码，但我们发现，抑制绝对位置的敏感性克服了这一限制。总之，我们的研究结果代表了一小步，了解和促进系统化的Transformers。
2022-12-13 cs.LG
Understanding Transformer Reasoning Capabilities via Graph Algorithms
Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文通过引入表示层级，从深度、宽度和额外标记维度分析Transformer在9个算法推理问题上的能力，证明了对数深度和小嵌入单层的适用性，并在GraphQA基准上验证其优于图神经网络。
2024-05-28 cs.AI cs.LG
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法，应用于Detection Transformer和Vision Transformer等大规模模型，通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
Understanding Transformer from the Perspective of Associative Memory
ByteDance Seed（字节跳动种子）
本文从联想记忆视角剖析Transformer，通过检索信噪比和核方法揭示Softmax注意力机制的有效性，并统一理解记忆更新框架，探讨其表达局限与无限上下文的智能潜力。
2025-05-26 cs.AI cs.LG
BayesFormer: Transformer with Uncertainty Estimation
Meta AI
Transformer由于其在各种NLP和图像处理任务中的主导性能而变得无处不在。然而，它缺乏对如何为Transformer架构生成数学基础的不确定性估计的理解。配备有这种不确定性估计的模型通常可以提高预测性能，使网络鲁棒，避免过拟合，并用作主动学习中的获取函数。本文介绍了一种基于贝叶斯理论设计的带漏失的Transformer模型BayesFormer。我们提出了一个新的理论框架，以扩展的近似变分推理为基础的辍学，以transformer为基础的架构。通过大量的实验，我们验证了所提出的架构在四个范例，并显示全面的改进：语言建模和分类，长序列的理解，机器翻译和采集功能的主动学习。
2022-06-02 cs.AI cs.CL cs.LG
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示，分析稀疏性对模型性能的影响，并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
Understanding the Failure Modes of Transformers through the Lens of Graph Neural Networks
Department of Computer Science（计算机科学系）；Southern Methodist University（南方 Methodist 大学）
本文通过图神经网络视角分析Transformer的失效模式，揭示信息传播瓶颈及改进方向。
2025-12-09 cs.LG
Mind the Long Tail: Understanding the Difficulty of Delay Detection in Business Processes
University of Mannheim（曼海姆大学）；SAP Signavio（思爱普 Signavio）
本文针对业务流程延迟检测的内在难度，分析14个事件日志后发现高延迟案例识别困难源于分布偏斜与不确定性，提出利用相关性的改进方法，为PPM研究提供新方向。
2026-08-17 cs.AI cs.LG
Understanding Rate-Distortion Performance in Distributed Transformer Inference
Simon Fraser University（西蒙弗雷泽大学）
本文提出基于率-失真原理的压缩框架，通过学习紧凑编码在准确率与比特率间进行权衡，实验证明其在语言基准测试中能显著提升压缩效率。
2026-08-04 cs.IT cs.LG math.IT
A Formal Framework for Understanding Length Generalization in Transformers
Saarland University（萨尔大学）；University of Notre Dame（圣母大学）；University of Oxford（牛津大学）；Apple（苹果公司）
本文引入了一个严格的理论框架，分析具有可学习绝对位置编码的因果 Transformer 的长度泛化问题，刻画了可识别函数并证明了其泛化可能性，且通过实验验证了该理论能有效预测长度泛化的成功与失败。
2025-04-30 cs.LG
