ULTra: Unveiling Latent Token Interpretability in Transformer-Based Understanding and Segmentation
Sharif University of Technology（谢里夫理工大学）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
ULTra通过自监督学习提升无监督语义分割性能，并揭示变换器中潜在令牌的语义模式。
2026-01-05 cs.AI cs.CV cs.LG
Bottleneck Low-rank Transformers for Low-resource Spoken Language Understanding
KU Leuven（鲁汶大学）
端到端口语语言理解（SLU）系统受益于大型语料库的预训练，然后对特定于应用程序的数据进行微调。生成的模型对于边缘应用程序来说太大了。例如，基于BERT的系统包含超过1.1亿个参数。观察模型是过参数化，我们提出精益Transformer结构的注意力机制的维度自动减少使用组稀疏。我们提出了一个变体，其中学习到的注意力子空间被转移到注意力瓶颈层。在低资源设置和没有预训练的情况下，由此产生的紧凑SLU模型实现了与预训练的大型模型竞争的精度。
2022-06-28 cs.CL cs.LG eess.AS
BayesFormer: Transformer with Uncertainty Estimation
Meta AI
Transformer由于其在各种NLP和图像处理任务中的主导性能而变得无处不在。然而，它缺乏对如何为Transformer架构生成数学基础的不确定性估计的理解。配备有这种不确定性估计的模型通常可以提高预测性能，使网络鲁棒，避免过拟合，并用作主动学习中的获取函数。本文介绍了一种基于贝叶斯理论设计的带漏失的Transformer模型BayesFormer。我们提出了一个新的理论框架，以扩展的近似变分推理为基础的辍学，以transformer为基础的架构。通过大量的实验，我们验证了所提出的架构在四个范例，并显示全面的改进：语言建模和分类，长序列的理解，机器翻译和采集功能的主动学习。
2022-06-02 cs.AI cs.CL cs.LG
AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation
Aleph Alpha（阿列夫阿尔法）；Technical University Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森州人工智能中心）；German Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；LAION
本文提出模态无关的 AtMan 解释方法，通过注意力扰动和嵌入空间余弦邻域的 token 搜索生成相关性图，在低额外内存与计算成本下优于梯度方法。
2025-01-07 cs.AI cs.LG
Introduction to Sequence Modeling with Transformers
Tampere University（坦佩雷大学）
本文面向机器学习工程师，通过逐一添加分词、嵌入、掩码、位置编码和填充等组件，逐步剖析Transformer架构中除注意力外的关键组件，并利用0/1序列阐明其工作机制。
2025-02-26 cs.LG
Attention is All You Need? Good Embeddings with Statistics are enough:Large Scale Audio Understanding without Transformers/ Convolutions/ BERTs/ Mixers/ Attention/ RNNs or ....
Stanford University（斯坦福大学）
本文提出了一种在没有传统的最先进的神经架构的情况下进行大规模音频理解的方法。自从在过去十年中引入深度学习来理解音频信号以来，卷积架构已经能够实现超越传统手工制作功能的最先进结果。最近，从传统的卷积和递归神经网络向纯粹的端到端Transformer架构进行了类似的转变。我们，在这项工作中，探索一种方法，基于词袋模型。我们的方法没有任何卷积，递归，注意力，变压器或其他方法，如BERT。我们利用微观和宏观层次的聚类香草嵌入，并使用MLP头分类。我们只使用前馈编码器-解码器模型，以获得频谱的瓶颈，频谱补丁和切片以及多分辨率频谱。分类头（前馈层），类似于Simplified中的方法，是在学习的表示上训练的。使用在潜在表示上学习的简单代码，我们展示了我们如何超越传统的卷积神经网络架构，并惊人地接近于超越强大的Transformer架构。这项工作有望为表示学习领域的令人兴奋的进步铺平道路，而无需大规模的端到端神经架构。
2022-01-30 cs.AI cs.IR cs.LG
Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory
Central Research Institute, 2012 Laboratories（2012实验室中央研究院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
针对Transformer规模增大未必提升性能且与训练样本记忆相关的问题，提出基于Hopfield网络的联想记忆理论框架，解释注意力机制并构建全局能量函数，揭示模型与数据集规模的依赖关系及损失下界。
2024-11-28 cs.LG
Understanding Transfer Learning for Chest Radiograph Clinical Report Generation with Modified Transformer Architectures
Stanford University（斯坦福大学）；Stanford Medicine（斯坦福医学院）
图像字幕任务在医学人工智能应用中越来越普遍。一个重要的应用是从胸部射线照片生成临床报告。非结构化报告的临床写作是耗时且容易出错的。自动化系统将提高标准化，减少错误，节省时间和医疗服务。在本文中，我们证明了特定领域的预训练的重要性，并提出了一个修改后的Transformer架构的医学图像字幕任务。为了实现这一点，我们训练了一系列经过修改的Transformers，以从胸部射线照片图像输入生成临床报告。这些修改的Transformers包括：具有使用ImageNet预训练权重的视觉提取器的网状存储器增强的Transformer架构，具有使用CheXpert预训练权重的视觉提取器的网状存储器增强的Transformer架构，以及网状存储器增强的Transformer，其编码器通过使用ImageNet预训练权重和CheXpert预训练权重的级联嵌入。我们使用BLEU（1-4）、ROUGE-L、CIDER和临床CheXbert F1评分来验证我们的模型，并展示与最先进模型的竞争性评分。我们提供的证据表明，ImageNet预训练不适合医学图像字幕任务，特别是对于不太常见的情况（例如：扩大的心内膜，肺部病变，气胸）。此外，我们证明了双特征模型可以提高特定医疗条件（水肿，实变，气胸，支持设备）和整体CheXbert F1评分的性能，并应在未来的工作中进一步开发。这样的双特征模型，包括ImageNe…
2022-05-05 cs.AI cs.CV cs.LG
Understanding Transformer Architecture through Continuous Dynamics: A Partial Differential Equation Perspective
The Chinese University of Hong Kong（香港中文大学）；Fudan University（复旦大学）
本文提出主 PDE 连续动力学框架，将 Transformer 组件映射为数学算子，并通过对比实验论证残差连接与层归一化是必要稳定机制。
2025-09-27 cs.AI cs.IT cs.LG
Understanding Generalization in Transformers: Error Bounds and Training Dynamics Under Benign and Harmful Overfitting
Zhongtai Securities Institute for Financial Studies, Shandong University（山东大学中泰证券金融研究院）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
本文研究带标签翻转噪声的两层 Transformer，在不同 SNR 下刻画良性与有害过拟合的三阶段训练动态及泛化误差界，并通过实验验证理论预测。
2025-02-18 cs.LG
Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
Tsinghua University（清华大学）
该研究通过三维任务框架实证探究Transformer上下文学习的泛化能力，发现其缺乏问题间泛化但任务内、问题内泛化优异，混合多样训练任务可显著提升泛化效果，为训练数据设计提供指导。
2025-03-19 cs.LG
Understanding Differential Transformer Unchains Pretrained Self-Attentions
TwelveLabs；Seoul National University（首尔国立大学）
本研究揭示差分Transformer成功的三大关键因素，提出DEX方法通过复用softmax分数、添加轻量差分操作，以极少适配数据将差分注意力优势高效整合进预训练LLM，实现多基准性能显著提升。
2025-10-21 cs.LG
LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers
Tsinghua University（清华大学）；Sudo Privacy（Sudo隐私公司）
针对大语言模型隐私推理框架开销过高的问题，本文提出用隐私计算友好的近似算子替换Transformer中密集型算子，相比Iron实现5倍计算加速与80%通信开销降低，且准确率几乎不变。
2023-12-15 cs.CL cs.CR cs.LG
Interpretation of the Transformer and Improvement of the Extractor
School of Computer Science and Engineering（计算机科学与工程学院）；Northeastern University（东北大学）
本文全面解释了Transformer架构及Extractor系列，并提出一种无需额外可训练参数即可优于自注意力的Extractor改进方法，实验证明其性能更佳，为改进Transformer架构提供了新途径。
2023-11-21 cs.LG
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
该研究结合数学分析与Wikipedia、LDA合成数据实验，揭示Transformer的嵌入层与自注意力层通过同主题词高内积、高注意力值编码主题结构，为其语义学习机制提供细粒度机制性理解。
2023-07-24 cs.CL cs.LG stat.ML
Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View
Peking University（北京大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
Transformer体系结构广泛用于自然语言处理。尽管取得了成功，但Transformer的设计原理仍然难以捉摸。在本文中，我们提供了一个新的角度来理解的架构：我们表明，Transformer可以在数学上解释为一个数值常微分方程（ODE）求解器的对流扩散方程在多粒子动力系统。特别是，如何在一个句子中的单词被抽象到上下文通过通过层的Transformer可以被解释为近似多个粒子的运动在空间中使用Lie-Trotter分裂方案和欧拉的方法。鉴于这种ODE的观点，丰富的文献的数值分析可以引导我们在设计有效的结构以外的Transformer。作为一个例子，我们建议取代李-特罗特分裂计划的Strang-Marchuk分裂计划，一个计划，更常用的和低得多的局部截断误差。Strang-Marchuk分裂方案表明，自注意和位置前馈网络（FFN）子层不应该被同等对待。相反，在每一层中，应使用两个按位置FFN子层，并且自注意子层被放置在其间。这导致了一个全新的架构。这样的FFN-attention-FFN层是“马卡龙式的”，因此我们将具有这种新架构的网络称为马卡龙网。通过大量的实验，我们表明，Macaron网络是优于Transformer的监督和无监督学习任务。可重复的代码和预训练模型可以在https://github.com/zhuohan123/macaron-net上找到
2019-06-06 cs.CL cs.LG stat.ML
Theoretical Understanding of In-Context Learning in Shallow Transformers with Unstructured Data
Michigan State University（密歇根州立大学）；University of California Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
本文针对现有ICL理论仅适用于结构化数据的局限，通过浅层Transformer与线性回归任务的理论分析，揭示了双层注意力与位置编码在非结构化数据ICL中的关键作用。
2024-06-18 cs.CL cs.LG stat.ML
AutoNorm: Understanding Adaptive Normalization in Transformers through Differentiable Gating
KIIT（卡林加工业技术学院）
研究Transformer中归一化策略选择问题，通过实验发现不同任务中静态与自适应归一化的表现差异，提出AutoNorm-S训练策略，通过门控冻结计划减轻优化不稳定性，在多基准测试中取得良好性能。
2026-07-14 cs.LG
Understanding Factual Recall in Transformers via Associative Memories
Princeton University（普林斯顿大学）；Flatiron Institute（弗拉蒂伦研究所）
本研究证明浅层Transformer可结合联想记忆实现接近最优的事实存储容量，验证了存储容量与参数量的线性关系，并发现模型存在序列学习行为。
2024-12-09 cs.CL cs.IT cs.LG
BinBert: Binary Code Understanding with a Fine-tunable and Execution-aware Transformer
Sapienza University of Rome（罗马第一大学）
二进制代码分析的最近趋势促进了基于指令嵌入模型的神经解决方案的使用。指令嵌入模型是将汇编指令序列转换为嵌入向量的神经网络。如果嵌入网络经过训练，使得从代码到向量的转换部分地保留了语义，则网络有效地表示汇编代码模型。在本文中，我们提出了BinBert，一种新的汇编代码模型。BinBert构建在一个Transformer上，该transformer在一个包含汇编指令序列和符号执行信息的巨大数据集上进行了预训练。BinBert可以应用于汇编指令序列，并且它是可微调的，即它可以作为任务特定数据的神经架构的一部分进行重新训练。通过微调，BinBert学习如何将预训练获得的一般知识应用于特定任务。我们在一个多任务基准上评估了BinBert，该基准是我们专门设计来测试对汇编代码的理解的。基准测试由几个任务组成，其中一些来自文献，还有一些我们设计的新任务，以及内在和下游任务的混合。我们的研究结果表明，BinBert优于最先进的二进制指令嵌入模型，提高了二进制代码理解的标准。
2022-08-13 cs.CR cs.LG
FlashKAT: Understanding and Addressing Performance Bottlenecks in the Kolmogorov-Arnold Transformer
FlashKAT通过优化内存访问和梯度计算，显著提升了KAT的训练速度，解决了其性能瓶颈问题。
2026-02-08 cs.CV cs.LG
Difficulty in chirality recognition for Transformer architectures learning chemical structures from string
The University of Tokyo（东京大学）
本研究使用Transformer模型探究NLP模型对SMILES化学结构的学习机制，发现其学习整体结构和手性较慢且易误解对映体，为化学领域的NLP模型提供了新理解。
2024-01-14 cs.CL cs.LG physics.chem-ph
Understanding Addition in Transformers
Apart Research（阿帕特研究所）；University of Oxford（牛津大学）
本文全面分析了执行n位整数加法的一层Transformer模型，发现其将任务分解为针对不同数位位置的并行算法流，并解释了高损失罕见场景，为模型可解释性提供了新见解。
2024-04-23 cs.AI cs.LG
Understanding Transformer Reasoning Capabilities via Graph Algorithms
Google Research（谷歌研究院）；Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文通过引入表示层级，从深度、宽度和额外标记维度分析Transformer在9个算法推理问题上的能力，证明了对数深度和小嵌入单层的适用性，并在GraphQA基准上验证其优于图神经网络。
2024-05-28 cs.AI cs.LG
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法，应用于Detection Transformer和Vision Transformer等大规模模型，通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；University of Hong Kong（香港大学）；Fudan University（复旦大学）
本文提出统一理论框架，通过分析加法、乘法及模运算，揭示平移不变性与相对位置编码对长度泛化的作用，并经GPT系列实验验证，强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
Towards Theoretical Understanding of Transformer Test-Time Computing: Investigation on In-Context Linear Regression
Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家）；School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
本文通过引入随机性与采样，在上下文线性回归框架下模拟语言模型解码，为测试时计算技术提供理论分析，旨在弥合实际推理与理论Transformer研究之间的差距。
2025-08-19 cs.AI cs.LG
Understanding Code Semantics: An Evaluation of Transformer Models in Summarization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过改名、死代码和注释代码等对抗实验，评估Transformer模型在代码摘要中是否真正理解代码语义，旨在揭示模型内部机制并提升软件开发效率。
2023-10-27 cs.LG
OCR-free Document Understanding Transformer
NAVER CLOVA；NAVER Search（NAVER搜索）；NAVER AI Lab（NAVER人工智能实验室）；Upstage；Tmax；Google（谷歌）；LBox
理解文档图像（例如，发票）是一项核心但具有挑战性的任务，因为它需要复杂的功能，如阅读文本和对文件的全面理解。当前的视觉文档理解（VDU）方法将读取文本的任务外包给现成的光学字符识别（OCR）引擎，并且专注于利用OCR输出的理解任务。虽然这种基于OCR的方法已经显示出有前途的性能，但它们遭受1）使用OCR的高计算成本; 2）OCR模型对语言或文档类型的可验证性; 3）OCR错误传播到后续过程。为了解决这些问题，在本文中，我们介绍了一种新的OCR自由VDU模型命名为甜甜圈，这代表文档理解Transformer。作为无OCR VDU研究的第一步，我们提出了一种简单的体系结构（即，Transformer）与预训练目标（即，交叉熵损失）。甜甜圈概念简单但有效。通过大量的实验和分析，我们展示了一个简单的无OCR VDU模型，甜甜圈，实现了各种VDU任务的速度和准确性方面的最先进的性能。此外，我们还提供了一个合成数据生成器，帮助模型预训练在各种语言和领域中保持灵活。代码、训练模型和合成数据可在https://github.com/clovaai/donut上获得。
2022-10-06 cs.AI cs.LG
Understanding Transformers via N-gram Statistics
Google DeepMind（谷歌DeepMind）
本文通过N-gram统计规则集近似Transformer预测，提出检测过拟合、量化学习进展的方法，并发现TinyStories和Wikipedia上79%和68%的top-1预测与规则集一致。
2024-11-05 cs.AI cs.CL cs.LG
The Role of Logic and Automata in Understanding Transformers
Max-Planck Institute for Software Systems, Kaiserslautern, Germany University of Kaiserslautern-Landau, Kaiserslautern, Germany Institute for Mathematical
本文综述逻辑、自动机及电路复杂性在分析 Transformer 表达能力方面的作用，并指出其与验证交叉领域的开放问题。
2025-09-28 cs.CL cs.FL cs.LG
Understanding and Overcoming the Challenges of Efficient Transformer Quantization
Qualcomm AI Research（高通人工智能研究（Qualcomm AI Research））；Qualcomm Technologies, Inc.（高通公司（Qualcomm Technologies, Inc.））
基于transformer的架构已经成为广泛的自然语言处理任务的事实标准模型。然而，它们的内存占用和高延迟对于在资源有限的设备上的高效部署和推理是禁止的。在这项工作中，我们探讨Transformers的量化。我们表明，Transformers具有独特的量化挑战-即，高动态激活范围，难以用低位定点格式表示。我们确定，这些激活在剩余连接中包含结构化的离群值，这些离群值鼓励特定的注意模式，例如注意特殊的分隔符标记。为了应对这些挑战，我们提出了三种基于训练后量化和量化感知训练的解决方案，每种解决方案都对准确性、模型大小和易用性做出了不同的妥协。特别是，我们引入了一种新的量化方案-每嵌入组量化。我们使用BERT在GLUE基准测试上证明了我们的方法的有效性，为训练后量化建立了最先进的结果。最后，我们表明，Transformer权重和嵌入可以量化到超低位宽，从而以最小的精度损失节省大量内存。我们的源代码可以在~ \url{https://github.com/qualcomm-ai-research/transformer-quantization}上找到。
2021-09-27 cs.AI cs.CL cs.LG
Achieving and Understanding Out-of-Distribution Generalization in Systematic Reasoning in Small-Scale Transformers
Stanford University（斯坦福大学）
分布外泛化（OODG）是神经网络长期面临的挑战。这种挑战在具有明确定义的变量和规则的任务中非常明显，其中明确使用规则可以独立于变量的特定值来解决问题，但网络往往与其训练数据中采样的值范围相关联。基于transformer的大型语言模型已经突破了神经网络解决以前看不见的问题的能力，但是它们的复杂性和训练数据中相关内容的不清晰性模糊了它们如何实现这种鲁棒性。作为理解基于transformer的系统如何泛化的一步，我们探索了用已知分布的例子训练的小规模Transformers中的OODG问题。使用推理任务的基础上的难题数独，我们表明，OODG可以发生在一个复杂的问题，如果训练集包括从整个分布的简单组件任务的样本。成功的推广依赖于仔细管理位置对齐时，使用绝对位置编码，但我们发现，抑制绝对位置的敏感性克服了这一限制。总之，我们的研究结果代表了一小步，了解和促进系统化的Transformers。
2022-12-13 cs.LG
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；AI for Science Institute Beijing（北京AI for Science研究院）
该研究系统分析Transformer序列建模的逼近性质，明确各组件及层数、头数等参数对表达能力的影响机制，通过显式逼近速率验证组合效应，理论结论经实验验证并为架构设计提供参考。
2024-10-30 cs.LG stat.ML
PENTATRON: PErsonalized coNText-Aware Transformer for Retrieval-based cOnversational uNderstanding
Amazon（亚马逊）
会话理解是现代智能设备的组成部分。在来自使用智能数字助理的客户的大部分全球流量中，对话中的摩擦可能归因于对客户查询中的实体的不正确理解，这是由于包括模糊提及、发音错误、背景噪声和设备上错误的信号处理等因素造成的。这种错误由于智能设备的两个常见缺陷而变得复杂，即（1）设备不是针对个人客户定制的，以及（2）设备响应不知道对话会话中的上下文。通过基于检索的搜索引擎的镜头查看这个问题，我们建立和评估一个可扩展的实体校正系统，PENTATRON。该系统利用基于参数转换器的语言模型来从会话中客户-设备交互中学习模式，该会话中客户-设备交互与非参数个性化实体索引相耦合以计算正确的查询，这有助于下游组件推理最佳响应。除了建立基线和展示个性化和上下文感知系统的价值外，我们还使用多任务处理来学习正确实体的域。我们还研究了语言模型提示的效用。通过大量的实验，我们显示了一个显着的向上移动的关键指标（精确匹配）高达500.97%（相对于基线）。
2022-10-22 cs.AI cs.LG
Explaining the Explainer: Understanding the Inner Workings of Transformer-based Symbolic Regression Models
University of Amsterdam（阿姆斯特丹大学）
本文提出PATCHES算法用于发现符号回归模型中的电路，通过因果评估验证了其有效性，并展示了机理可解释性在SR中的应用潜力。
2026-02-03 cs.AI cs.LG
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America（美国三星研究院）
Transformer模型的引入使序列建模，特别是文本领域的建模取得了巨大的进步。然而，使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中，我们引入了门控对抗Transformer（GAT），以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外，GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析，以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Understanding Multi-View Transformers
TUM（慕尼黑技术大学）；Claude Bernard University Lyon 1（里昂第一大学）；University of Cambridge（剑桥大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对多视图Transformer内部机制不明的问题，提出从残差连接探测可视化3D表征的方法，揭示DUSt3R变体的隐状态演化、层作用及与显式位姿方法的差异，证实其可优化对应关系，为模型改进提供支撑。
2025-10-28 cs.AI cs.CV cs.LG
Do Transformers Understand Ancient Roman Coin Motifs Better than CNNs?
School of Computer Science University of St Andrews（计算机科学学院苏格兰大学）
本文首次将Transformer应用于古代硬币语义元素识别，发现其在准确性上优于CNN模型。
2026-01-14 cs.AI cs.CV cs.LG
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示，分析稀疏性对模型性能的影响，并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
On the validity of pre-trained transformers for natural language processing in the software engineering domain
University of Goettingen（哥廷根大学）；TU Clausthal（克劳斯塔尔工业大学）
Transformers是当前许多领域中最先进的自然语言处理技术，并且也在软件工程研究中发挥着牵引作用。这些模型是在大量数据上预先训练的，通常来自一般领域。然而，我们对Transformers在软件工程领域内的有效性只有有限的理解，即，这些模型在理解软件工程上下文中的单词和句子方面有多好，以及这如何提高了最先进的水平。在本文中，我们将阐明这个复杂但关键的问题。我们比较了用软件工程数据训练的BERT Transformer模型和基于一般领域数据的Transformers模型在多个维度上的表现：它们的词汇量，它们理解哪些单词缺失的能力，以及它们在分类任务中的表现。我们的研究结果表明，对于需要理解软件工程上下文的任务，使用软件工程数据进行预训练是有价值的，而一般的领域模型对于一般的语言理解是足够的，也在软件工程领域内。
2022-05-12 cs.LG cs.SE
Understanding the Failure Modes of Transformers through the Lens of Graph Neural Networks
Department of Computer Science（计算机科学系）；Southern Methodist University（南方 Methodist 大学）
本文通过图神经网络视角分析Transformer的失效模式，揭示信息传播瓶颈及改进方向。
2025-12-09 cs.LG
Understanding Rate-Distortion Performance in Distributed Transformer Inference
Simon Fraser University（西蒙弗雷泽大学）
本文提出基于率-失真原理的压缩框架，通过学习紧凑编码在准确率与比特率间进行权衡，实验证明其在语言基准测试中能显著提升压缩效率。
2026-08-04 cs.IT cs.LG math.IT
Understanding Scaling Laws with Statistical and Approximation Theory for Transformer Neural Networks on Intrinsically Low-dimensional Data
Georgia Institute of Technology（佐治亚理工学院）
针对Transformer缩放定律缺乏严格理论解释的问题，本文基于低维流形假设建立统计估计与逼近理论，证明了泛化误差遵循由数据内在维度决定的幂律，并在浅层架构下得到实验验证。
2024-11-11 cs.AI cs.CL cs.LG
TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding
Amazon AWS AI（亚马逊AWS人工智能）
来自Transformers的双向编码器表示（BERT）最近在广泛的NLP任务上实现了最先进的性能，包括句子分类，机器翻译和问答。BERT模型架构主要源自Transformer。在Transformer时代之前，双向长短期记忆（BLSTM）一直是神经机器翻译和问答的主要建模架构。在本文中，我们将研究如何将这两种建模技术相结合，以创建一个更强大的模型架构。我们提出了一个新的架构表示为Transformer与BLSTM（TranSmart. tag_BLSTM），其中有一个BLSTM层集成到每个Transformer块，导致一个联合建模框架Transformer和BLSTM。我们表明，在GLUE和SQuAD 1.1实验中，与BERT基线相比，TRANS-BLSTM模型始终导致准确性的提高。我们的TRANS-BLSTM模型在SQuAD 1.1开发数据集上获得了94.01%的F1分数，这与最先进的结果相当。
2020-03-16 cs.CL cs.LG cs.SD
A Formal Framework for Understanding Length Generalization in Transformers
Saarland University（萨尔大学）；University of Notre Dame（圣母大学）；University of Oxford（牛津大学）；Apple（苹果公司）
本文引入了一个严格的理论框架，分析具有可学习绝对位置编码的因果 Transformer 的长度泛化问题，刻画了可识别函数并证明了其泛化可能性，且通过实验验证了该理论能有效预测长度泛化的成功与失败。
2025-04-30 cs.LG
Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions
Machine Learning, ICML（机器学习，ICML）
针对Transformer无法学习某些简单布尔函数（如奇偶函数）的问题，通过分析参数空间几何，证明敏感函数在参数空间中占据极小区域，随机初始化几乎必然错过，从而解释了可表达但不可学习的现象。
2026-06-07 cs.LG
At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization
Mila - Quebec AI Institute（魁北克AI研究所）；Meta AI；Sapient manifold-informed selection of samples for improved Intelligence
通过稀疏自编码器分析内部概念，发现OOD输入（如拼写错误和越狱提示）会激活更多错误概念，并据此提出一种基于机制的微调策略来增强LLM鲁棒性。
2026-06-26 cs.LG
Understanding In-Context Learning of Linear Models in Transformers Through an Adversarial Lens
University of Cambridge（剑桥大学）；Google, Paradigms of Intelligence Team（谷歌，Paradigms of Intelligence团队）；Google DeepMind（谷歌DeepMind）；Mila & Université de Montréal（Mila与蒙特利尔大学）；UC Davis（加州大学戴维斯分校）
本研究通过对抗攻击视角，发现Transformer对劫持攻击脆弱但可经对抗训练增强，并揭示不同种子训练的Transformer及与传统算法间攻击迁移性差，表明其可能实现不同的情景学习算法。
2025-08-05 cs.CR cs.LG
Understanding Video Transformers via Universal Concept Discovery
York University（约克大学）；Samsung AI Centre Toronto（三星多伦多人工智能中心）；Toyota Research Institute（丰田研究所）；Vector Institute（矢量研究所）
针对视频Transformer可解释性研究不足的问题，提出首个VTCD算法以无监督发现时空概念并排序其重要性，揭示了视频Transformer的通用推理机制，还可应用于细粒度动作识别等任务。
2024-04-10 cs.AI cs.CV cs.LG
Going Full-TILT Boogie on Document Understanding with Text-Image-Layout Transformer
Poznan University of Technology（波兹南理工大学）；Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；Jagiellonian University（雅盖隆大学）
我们通过引入TILT神经网络架构来解决纯文本文档之外的自然语言理解的挑战性问题，该架构同时学习布局信息，视觉特征和文本语义。与以前的方法相反，我们依赖于一个解码器，能够统一涉及自然语言的各种问题。布局被表示为注意力偏差，并补充了上下文视觉信息，而我们模型的核心是一个预先训练的编码器-解码器Transformer。我们的新方法在从文档中提取信息和回答需要布局理解的问题（DocVQA，CORD，SROIE）方面取得了最先进的结果。与此同时，我们通过采用端到端模型简化了流程。
2021-07-12 cs.CL cs.LG
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
基于转换器的模型广泛用于自然语言理解（NLU）任务，多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功，同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后，所提出的XDBERT（跨模态蒸馏BERT）在一般语言理解评估（GLUE），对抗生成（SWAG）基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能，以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
Error Detection in Large-Scale Natural Language Understanding Systems Using Transformer Models
Amazon Alexa AI（亚马逊 Alexa AI）
Alexa、Siri、Cortana和Google Assistant等大规模对话助理使用多个模型来处理每一句话，以进行域、意图和命名实体识别。鉴于模型开发和大流量的解耦性质，识别由这样的系统错误处理的话语是极其困难的。我们解决这个挑战，检测域分类错误使用离线Transformer模型。我们结合从RoberTa模型的Nbest假设产生的生产系统的话语编码。然后，我们微调端到端的多任务设置使用一个小的数据集的人类注释的话语与域分类错误。我们测试了我们的方法，用于检测来自一个领域的错误分类，该领域占大规模对话AI系统中流量的0.5%。我们的方法实现了30%的F1分数，比bi-LSTM基线高出16.9%，比独立的RoBERTa模型高出4.8%。通过集成多个模型，我们将其进一步提高了2.2%至32.2%。
2021-09-04 cs.AI cs.CL cs.LG
Temporal Embeddings and Transformer Models for Narrative Text Understanding
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所）
我们提出了两种深度学习方法来理解叙事文本，以进行角色关系建模。这些关系的时间演化由动态词嵌入描述，其被设计为随着时间学习语义变化。相应的字符轨迹的实证分析表明，这种方法是有效的描绘动态演变。一个监督学习方法的基础上，国家的最先进的Transformer模型BERT，而不是用来检测字符之间的静态关系。经验验证表明，这些事件（例如，属于同一家族的两个字符）可以以良好的准确度被发现，即使在使用自动注释的数据时也是如此。这提供了一个更深入的了解叙事情节的基础上确定的关键事实。标准的聚类技术最终用于字符去混叠，这是两种方法的必要预处理步骤。总的来说，深度学习模型似乎适合叙事文本理解，同时也为一般自然语言理解提供了一个具有挑战性且尚未开发的基准。
2020-03-19 cs.CL cs.LG
