Transformer Dissection: A Unified Understanding of Transformer's Attention via the Lens of Kernel
Carnegie Mellon University(卡内基梅隆大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
Transformer是一个功能强大的架构,可以在各种序列学习任务上实现卓越的性能,包括神经机器翻译、语言理解和序列预测。Transformer的核心是注意力机制,它同时处理流中的所有输入。在本文中,我们提出了一个新的配方的注意通过镜头的内核。更准确地说,我们意识到注意力可以被看作是对输入应用内核平滑器,内核得分是输入之间的相似性。这个新的公式为我们提供了一个更好的方法来理解Transformer注意力的各个组成部分,例如整合位置嵌入的更好方法。我们基于内核的公式化的另一个重要优点是,它为Transformer的注意力组成的更大空间铺平了道路。作为一个例子,我们提出了一个新的变形Transformer的注意力模型的输入作为一个产品的对称内核。这种方法实现了竞争力的性能,以更少的计算量的最先进的模型的当前状态。在我们的实验中,我们实证研究了两个广泛使用的任务:神经机器翻译和序列预测不同的内核构建策略。
2019-11-11 cs.LG stat.ML
From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers
Zhejiang University(浙江大学);Alibaba Cloud(阿里云)
研究从算子视角理解自注意力,将令牌序列视为向量场,证明单头和多头注意力的性质及相关条件,通过实验发现不同规模和结构的训练Transformer呈现与理论一致的几何结构,提供连接自注意力与几何算子的形式及分析工具。
2026-07-14 cs.CL cs.LG
Tokenphormer: Structure-aware Multi-token Graph Transformer for Node Classification
University of Macau(澳门大学);The Hong Kong Polytechnic University(香港理工大学);Guangdong Institute of Intelligent Science and Technology(广东省智能科学技术研究院)
本文提出结构感知多令牌图Transformer(Tokenphormer),通过混合游走令牌、自监督预训练令牌和跳数令牌协同捕获局部与全局图结构信息,在节点分类任务上取得最先进性能。
2025-04-11 cs.LG
Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling
School of Mathematical Sciences, Peking University(北京大学数学科学学院);AI for Science Institute Beijing(北京AI for Science研究院)
该研究系统分析Transformer序列建模的逼近性质,明确各组件及层数、头数等参数对表达能力的影响机制,通过显式逼近速率验证组合效应,理论结论经实验验证并为架构设计提供参考。
2024-10-30 cs.LG stat.ML
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research(谷歌研究院)
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制,但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此,我们研究了注意力/Transformer网络的训练问题,并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地,我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后,我们将重新表述为一个凸优化问题,这是可解释的,更容易优化。此外,作为凸分析的副产品,我们揭示了一种隐式正则化机制,它可以促进令牌之间的稀疏性。因此,我们不仅改进了注意力/Transformer网络的优化,而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性,通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
What Happens During the Loss Plateau? Understanding Abrupt Learning in Transformers
University of Michigan(密歇根大学)
本研究揭示Transformer在算法任务训练中损失平台期伴随重复偏差和表示坍缩,瓶颈在于注意力图缓慢学习,且该现象在大型语言模型早期预训练中同样存在。
2025-10-22 cs.LG stat.ML
Learning Long Range Dependencies on Graphs via Random Walks
Max Planck Institute of Biochemistry(马克斯·普朗克生物化学研究所)
针对消息传递GNN长程依赖捕捉弱、图Transformer易简化图结构的问题,提出结合随机游走长程信息与局部消息传递的NeuralWalker框架,在19个基准数据集上实现显著性能提升。
2024-10-07 cs.LG stat.ML
Towards Understanding Inductive Bias in Transformers: A View From Infinity
Racah Institute of Physics, Hebrew University of Jerusalem(希伯来大学拉卡物理研究所);Augment Computing
本研究在无限过参数化极限下分析Transformer的归纳偏置,发现其偏向置换对称函数,并利用对称群表示论提供定量预测及缩放律,验证WikiText数据集的置换对称性。
2024-05-28 cond-mat.dis-nn cs.LG stat.ML
MeshWalker: Deep Mesh Understanding by Random Walks
Technion – Israel Institute of Technology(以色列理工学院)
大多数为深度学习表示3D形状的尝试都集中在体积网格、多视图图像和点云上。在本文中,我们研究了计算机图形学中最流行的3D形状表示-三角形网格-并询问如何在深度学习中使用它。回答这个问题的少数尝试提出调整卷积和池化以适应卷积神经网络(CNN)。本文提出了一种非常不同的方法,称为MeshWalker,直接从给定的网格中学习形状。其关键思想是通过沿表面的随机行走来表示网格,这将“探索”网格的几何和拓扑。每次行走都被组织为顶点列表,这以某种方式对网格施加规则性。步行被输入到一个递归神经网络(RNN)中,该网络“记住”步行的历史。我们表明,我们的方法实现了两个基本的形状分析任务的最先进的结果:形状分类和语义分割。此外,即使是非常少量的例子也足以用于学习。这是非常重要的,因为很难获得大的网格数据集。
2020-12-10 cs.CG cs.CV cs.LG
Two-Stream Transformer Architecture for Long Video Understanding
The University of Surrey(萨里大学)
纯视觉Transformer架构对于短视频分类和动作识别任务非常有效。然而,由于自我注意的二次复杂性和缺乏感应偏差,Transformers是资源密集型的,并且遭受数据效率低下。长格式视频理解任务放大了Transformers中的数据和存储器效率问题,使得当前方法在数据或存储器受限域上实现是不可行的。本文介绍了一种有效的时空注意力网络(STAN),它使用两个流的Transformer架构模型之间的依赖关系的静态图像功能和时间上下文功能。我们提出的方法可以在单个GPU上对长达两分钟的视频进行分类,具有数据效率,并在几个长视频理解任务上实现SOTA性能。
2022-08-02 cs.CV cs.LG cs.MM
Syntax-Infused Transformer and BERT models for Machine Translation and Natural Language Understanding
Duke University(杜克大学)
基于注意力的模型在几个NLP任务中显示出比传统算法的显着改进。例如,Transformer是基于输入到编码器的令牌与序列中的所有令牌的关系来生成令牌的抽象表示的说明性示例。最近的研究表明,尽管这些模型能够纯粹通过查看示例来学习句法特征,但将这些信息显式地提供给深度学习模型可以显着提高其性能。利用句法信息(如词性(POS))在复杂模型(如Transformer)的有限训练数据设置中可能特别有益。我们表明,具有多个特征的语法注入的Transformer在完整的WMT 14英语到德语翻译数据集上训练时实现了0.7 BLEU的改进,并且在一小部分数据集上训练时最大提高了1.99 BLEU点。此外,我们发现,语法纳入BERT微调优于基线上的一些下游任务的GLUE基准。
2019-11-10 cs.CL cs.LG stat.ML
Understanding Code Semantics: An Evaluation of Transformer Models in Summarization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过改名、死代码和注释代码等对抗实验,评估Transformer模型在代码摘要中是否真正理解代码语义,旨在揭示模型内部机制并提升软件开发效率。
2023-10-27 cs.LG
Achieving and Understanding Out-of-Distribution Generalization in Systematic Reasoning in Small-Scale Transformers
Stanford University(斯坦福大学)
分布外泛化(OODG)是神经网络长期面临的挑战。这种挑战在具有明确定义的变量和规则的任务中非常明显,其中明确使用规则可以独立于变量的特定值来解决问题,但网络往往与其训练数据中采样的值范围相关联。基于transformer的大型语言模型已经突破了神经网络解决以前看不见的问题的能力,但是它们的复杂性和训练数据中相关内容的不清晰性模糊了它们如何实现这种鲁棒性。作为理解基于transformer的系统如何泛化的一步,我们探索了用已知分布的例子训练的小规模Transformers中的OODG问题。使用推理任务的基础上的难题数独,我们表明,OODG可以发生在一个复杂的问题,如果训练集包括从整个分布的简单组件任务的样本。成功的推广依赖于仔细管理位置对齐时,使用绝对位置编码,但我们发现,抑制绝对位置的敏感性克服了这一限制。总之,我们的研究结果代表了一小步,了解和促进系统化的Transformers。
2022-12-13 cs.LG
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
该研究结合数学分析与Wikipedia、LDA合成数据实验,揭示Transformer的嵌入层与自注意力层通过同主题词高内积、高注意力值编码主题结构,为其语义学习机制提供细粒度机制性理解。
2023-07-24 cs.CL cs.LG stat.ML
Understanding Addition in Transformers
Apart Research(阿帕特研究所);University of Oxford(牛津大学)
本文全面分析了执行n位整数加法的一层Transformer模型,发现其将任务分解为针对不同数位位置的并行算法流,并解释了高损失罕见场景,为模型可解释性提供了新见解。
2024-04-23 cs.AI cs.LG
Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View
Peking University(北京大学);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
Transformer体系结构广泛用于自然语言处理。尽管取得了成功,但Transformer的设计原理仍然难以捉摸。在本文中,我们提供了一个新的角度来理解的架构:我们表明,Transformer可以在数学上解释为一个数值常微分方程(ODE)求解器的对流扩散方程在多粒子动力系统。特别是,如何在一个句子中的单词被抽象到上下文通过通过层的Transformer可以被解释为近似多个粒子的运动在空间中使用Lie-Trotter分裂方案和欧拉的方法。鉴于这种ODE的观点,丰富的文献的数值分析可以引导我们在设计有效的结构以外的Transformer。作为一个例子,我们建议取代李-特罗特分裂计划的Strang-Marchuk分裂计划,一个计划,更常用的和低得多的局部截断误差。Strang-Marchuk分裂方案表明,自注意和位置前馈网络(FFN)子层不应该被同等对待。相反,在每一层中,应使用两个按位置FFN子层,并且自注意子层被放置在其间。这导致了一个全新的架构。这样的FFN-attention-FFN层是“马卡龙式的”,因此我们将具有这种新架构的网络称为马卡龙网。通过大量的实验,我们表明,Macaron网络是优于Transformer的监督和无监督学习任务。可重复的代码和预训练模型可以在https://github.com/zhuohan123/macaron-net上找到
2019-06-06 cs.CL cs.LG stat.ML
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院)
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示,分析稀疏性对模型性能的影响,并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
Understanding Transformer Reasoning Capabilities via Graph Algorithms
Google Research(谷歌研究院);Columbia University(哥伦比亚大学);Google DeepMind(谷歌DeepMind)
本文通过引入表示层级,从深度、宽度和额外标记维度分析Transformer在9个算法推理问题上的能力,证明了对数深度和小嵌入单层的适用性,并在GraphQA基准上验证其优于图神经网络。
2024-05-28 cs.AI cs.LG
Understanding the Failure Modes of Transformers through the Lens of Graph Neural Networks
Department of Computer Science(计算机科学系);Southern Methodist University(南方 Methodist 大学)
本文通过图神经网络视角分析Transformer的失效模式,揭示信息传播瓶颈及改进方向。
2025-12-09 cs.LG
A Formal Framework for Understanding Length Generalization in Transformers
Saarland University(萨尔大学);University of Notre Dame(圣母大学);University of Oxford(牛津大学);Apple(苹果公司)
本文引入了一个严格的理论框架,分析具有可学习绝对位置编码的因果 Transformer 的长度泛化问题,刻画了可识别函数并证明了其泛化可能性,且通过实验验证了该理论能有效预测长度泛化的成功与失败。
2025-04-30 cs.LG
Theoretical Understanding of In-Context Learning in Shallow Transformers with Unstructured Data
Michigan State University(密歇根州立大学);University of California Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
本文针对现有ICL理论仅适用于结构化数据的局限,通过浅层Transformer与线性回归任务的理论分析,揭示了双层注意力与位置编码在非结构化数据ICL中的关键作用。
2024-06-18 cs.CL cs.LG stat.ML
Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions
Machine Learning, ICML(机器学习,ICML)
针对Transformer无法学习某些简单布尔函数(如奇偶函数)的问题,通过分析参数空间几何,证明敏感函数在参数空间中占据极小区域,随机初始化几乎必然错过,从而解释了可表达但不可学习的现象。
2026-06-07 cs.LG
Introduction to Sequence Modeling with Transformers
Tampere University(坦佩雷大学)
本文面向机器学习工程师,通过逐一添加分词、嵌入、掩码、位置编码和填充等组件,逐步剖析Transformer架构中除注意力外的关键组件,并利用0/1序列阐明其工作机制。
2025-02-26 cs.LG
Understanding Transformer from the Perspective of Associative Memory
ByteDance Seed(字节跳动种子)
本文从联想记忆视角剖析Transformer,通过检索信噪比和核方法揭示Softmax注意力机制的有效性,并统一理解记忆更新框架,探讨其表达局限与无限上下文的智能潜力。
2025-05-26 cs.AI cs.LG
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo(滑铁卢大学);Peking University(北京大学)
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是,它仅通过标记位置索引来区分连续标记。我们假设,更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点,我们提出了一个段感知的Transformer(Segatron),通过替换原来的令牌位置编码与段落,句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL,这是一种流行的基于transformer的语言模型,具有内存扩展和相对位置编码。我们发现,我们的方法可以进一步改善Transformer-XL基础模型和大模型,在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明,使用Segatron(SegaBERT)预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT,在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
The Role of Logic and Automata in Understanding Transformers
Max-Planck Institute for Software Systems, Kaiserslautern, Germany University of Kaiserslautern-Landau, Kaiserslautern, Germany Institute for Mathematical
本文综述逻辑、自动机及电路复杂性在分析 Transformer 表达能力方面的作用,并指出其与验证交叉领域的开放问题。
2025-09-28 cs.CL cs.FL cs.LG
Walk fast but be careful: Understanding Parallel Sampling in Masked Diffusion
UT Austin SDS(德克萨斯大学奥斯汀分校统计与数据科学系);UT Austin CS(德克萨斯大学奥斯汀分校计算机科学系);UT Austin ECE(德克萨斯大学奥斯汀分校电气与计算机工程系)
提出以图上随机游走为可验证沙盒,研究掩码扩散模型中的并行采样策略,理论上证明最低熵等并行采样并非普遍优于随机采样,并开发了二分采样器,实验表明不同图适用不同采样器。
2026-10-08 cs.AI cs.CL cs.LG
Understanding Transformer-Based Vision Models via Modular Feature Inversion
本文提出一种高效的模块化特征反演方法,应用于Detection Transformer和Vision Transformer等大规模模型,通过定性和定量分析揭示了这些模型编码上下文形状、图像细节、层间相关性及对颜色扰动鲁棒性的内部机制。
2026-10-12 cs.AI cs.CV cs.LG
Bottleneck Low-rank Transformers for Low-resource Spoken Language Understanding
KU Leuven(鲁汶大学)
端到端口语语言理解(SLU)系统受益于大型语料库的预训练,然后对特定于应用程序的数据进行微调。生成的模型对于边缘应用程序来说太大了。例如,基于BERT的系统包含超过1.1亿个参数。观察模型是过参数化,我们提出精益Transformer结构的注意力机制的维度自动减少使用组稀疏。我们提出了一个变体,其中学习到的注意力子空间被转移到注意力瓶颈层。在低资源设置和没有预训练的情况下,由此产生的紧凑SLU模型实现了与预训练的大型模型竞争的精度。
2022-06-28 cs.CL cs.LG eess.AS
Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory
Central Research Institute, 2012 Laboratories(2012实验室中央研究院);Huawei Technologies Co., Ltd.(华为技术有限公司)
针对Transformer规模增大未必提升性能且与训练样本记忆相关的问题,提出基于Hopfield网络的联想记忆理论框架,解释注意力机制并构建全局能量函数,揭示模型与数据集规模的依赖关系及损失下界。
2024-11-28 cs.LG
Towards Fundamental Limits of Multi-armed Bandits with Random Walk Feedback
在本文中,我们考虑了一个新的多臂强盗(MAB)问题,其中武器是一个未知的和可能变化的图中的节点,和代理(i)通过拉动武器在图上发起随机行走,(ii)观察随机行走轨迹,(iii)获得等于行走长度的奖励。我们提供了一个全面的了解这个问题,通过研究随机和对抗设置。我们表明,这个问题是不容易比一个标准的MAB在信息理论意义上,虽然额外的信息是通过随机游走轨迹。研究了该问题的强盗算法的行为。
2022-06-25 cs.LG
Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
Tsinghua University(清华大学)
该研究通过三维任务框架实证探究Transformer上下文学习的泛化能力,发现其缺乏问题间泛化但任务内、问题内泛化优异,混合多样训练任务可显著提升泛化效果,为训练数据设计提供指导。
2025-03-19 cs.LG
Understanding Generalization in Transformers: Error Bounds and Training Dynamics Under Benign and Harmful Overfitting
Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文研究带标签翻转噪声的两层 Transformer,在不同 SNR 下刻画良性与有害过拟合的三阶段训练动态及泛化误差界,并通过实验验证理论预测。
2025-02-18 cs.LG
Understanding Rate-Distortion Performance in Distributed Transformer Inference
Simon Fraser University(西蒙弗雷泽大学)
本文提出基于率-失真原理的压缩框架,通过学习紧凑编码在准确率与比特率间进行权衡,实验证明其在语言基准测试中能显著提升压缩效率。
2026-08-04 cs.IT cs.LG math.IT
Going Full-TILT Boogie on Document Understanding with Text-Image-Layout Transformer
Poznan University of Technology(波兹南理工大学);Adam Mickiewicz University in Poznań(波兹南亚当·密茨凯维奇大学);Jagiellonian University(雅盖隆大学)
我们通过引入TILT神经网络架构来解决纯文本文档之外的自然语言理解的挑战性问题,该架构同时学习布局信息,视觉特征和文本语义。与以前的方法相反,我们依赖于一个解码器,能够统一涉及自然语言的各种问题。布局被表示为注意力偏差,并补充了上下文视觉信息,而我们模型的核心是一个预先训练的编码器-解码器Transformer。我们的新方法在从文档中提取信息和回答需要布局理解的问题(DocVQA,CORD,SROIE)方面取得了最先进的结果。与此同时,我们通过采用端到端模型简化了流程。
2021-07-12 cs.CL cs.LG
At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization
Mila - Quebec AI Institute(魁北克AI研究所);Meta AI;Sapient manifold-informed selection of samples for improved Intelligence
通过稀疏自编码器分析内部概念,发现OOD输入(如拼写错误和越狱提示)会激活更多错误概念,并据此提出一种基于机制的微调策略来增强LLM鲁棒性。
2026-06-26 cs.LG
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America(美国三星研究院)
Transformer模型的引入使序列建模,特别是文本领域的建模取得了巨大的进步。然而,使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中,我们引入了门控对抗Transformer(GAT),以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外,GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析,以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Understanding Differential Transformer Unchains Pretrained Self-Attentions
TwelveLabs;Seoul National University(首尔国立大学)
本研究揭示差分Transformer成功的三大关键因素,提出DEX方法通过复用softmax分数、添加轻量差分操作,以极少适配数据将差分注意力优势高效整合进预训练LLM,实现多基准性能显著提升。
2025-10-21 cs.LG
Physics-Aware Random Walk Fingerprints for Scalable Power Grid Graph Classification
Deakin University(迪肯大学);School of Information Technology(信息技术学院);Deakin Cyber Research & Innovation Hub(迪肯网络研究与创新中心)
本文提出多通道物理感知随机游走指纹(MC-PA-RWF),将物理边状态引入随机游走传播,在PowerGraph基准系统上较仅拓扑的RWF显著改进,且性能优于多数GNN基线,实现高平衡精度与故障类F1提升。
2026-09-07 cs.LG cs.SY eess.SY
Temporal Embeddings and Transformer Models for Narrative Text Understanding
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达莱莫勒人工智能研究所)
我们提出了两种深度学习方法来理解叙事文本,以进行角色关系建模。这些关系的时间演化由动态词嵌入描述,其被设计为随着时间学习语义变化。相应的字符轨迹的实证分析表明,这种方法是有效的描绘动态演变。一个监督学习方法的基础上,国家的最先进的Transformer模型BERT,而不是用来检测字符之间的静态关系。经验验证表明,这些事件(例如,属于同一家族的两个字符)可以以良好的准确度被发现,即使在使用自动注释的数据时也是如此。这提供了一个更深入的了解叙事情节的基础上确定的关键事实。标准的聚类技术最终用于字符去混叠,这是两种方法的必要预处理步骤。总的来说,深度学习模型似乎适合叙事文本理解,同时也为一般自然语言理解提供了一个具有挑战性且尚未开发的基准。
2020-03-19 cs.CL cs.LG
Long-range Brain Graph Transformer
Dalian University of Technology(大连理工大学);Zhejiang Institute of Optoelectronics(浙江光电研究院);Zhejiang Normal University(浙江师范大学);RMIT University(皇家墨尔本理工大学)
本文提出 ALTER 脑图 Transformer,利用有偏随机游走显式建模脑区间长程依赖并融合短程依赖,在 ABIDE 和 ADNI 的疾病诊断中优于多种图学习方法。
2025-01-09 cs.LG
TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding
Amazon AWS AI(亚马逊AWS人工智能)
来自Transformers的双向编码器表示(BERT)最近在广泛的NLP任务上实现了最先进的性能,包括句子分类,机器翻译和问答。BERT模型架构主要源自Transformer。在Transformer时代之前,双向长短期记忆(BLSTM)一直是神经机器翻译和问答的主要建模架构。在本文中,我们将研究如何将这两种建模技术相结合,以创建一个更强大的模型架构。我们提出了一个新的架构表示为Transformer与BLSTM(TranSmart. tag_BLSTM),其中有一个BLSTM层集成到每个Transformer块,导致一个联合建模框架Transformer和BLSTM。我们表明,在GLUE和SQuAD 1.1实验中,与BERT基线相比,TRANS-BLSTM模型始终导致准确性的提高。我们的TRANS-BLSTM模型在SQuAD 1.1开发数据集上获得了94.01%的F1分数,这与最先进的结果相当。
2020-03-16 cs.CL cs.LG cs.SD
On the validity of pre-trained transformers for natural language processing in the software engineering domain
University of Goettingen(哥廷根大学);TU Clausthal(克劳斯塔尔工业大学)
Transformers是当前许多领域中最先进的自然语言处理技术,并且也在软件工程研究中发挥着牵引作用。这些模型是在大量数据上预先训练的,通常来自一般领域。然而,我们对Transformers在软件工程领域内的有效性只有有限的理解,即,这些模型在理解软件工程上下文中的单词和句子方面有多好,以及这如何提高了最先进的水平。在本文中,我们将阐明这个复杂但关键的问题。我们比较了用软件工程数据训练的BERT Transformer模型和基于一般领域数据的Transformers模型在多个维度上的表现:它们的词汇量,它们理解哪些单词缺失的能力,以及它们在分类任务中的表现。我们的研究结果表明,对于需要理解软件工程上下文的任务,使用软件工程数据进行预训练是有价值的,而一般的领域模型对于一般的语言理解是足够的,也在软件工程领域内。
2022-05-12 cs.LG cs.SE
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ShanghaiTech University(上海科技大学);University of Hong Kong(香港大学);Fudan University(复旦大学)
本文提出统一理论框架,通过分析加法、乘法及模运算,揭示平移不变性与相对位置编码对长度泛化的作用,并经GPT系列实验验证,强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
Understanding Factual Recall in Transformers via Associative Memories
Princeton University(普林斯顿大学);Flatiron Institute(弗拉蒂伦研究所)
本研究证明浅层Transformer可结合联想记忆实现接近最优的事实存储容量,验证了存储容量与参数量的线性关系,并发现模型存在序列学习行为。
2024-12-09 cs.CL cs.IT cs.LG
Understanding Transformers for Bot Detection in Twitter
Expert.ai Research Lab(Expert.ai研究实验室)
在本文中,我们阐明了微调对社交媒体数据在神经语言模型内部表示中的影响。我们专注于Twitter中的机器人检测,这是减轻和抵消社交媒体中虚假信息和偏见自动传播的一项关键任务。我们研究了使用预先训练的语言模型来解决检测由机器人或人类帐户完全基于其内容生成的推文。与GLUE等基准测试的一般趋势不同,BERT在常规文本的大多数分类任务中通常优于GPT和GPT-2等生成Transformers,我们观察到,在机器人检测任务中微调生成Transformers会产生更高的准确性。我们分析了每个Transformer的架构组件,并研究了微调对它们的隐藏状态和输出表示的影响。在我们的研究结果中,我们表明,BERT在预训练过程中捕获的部分语法信息和分布特性在微调时丢失,而生成式预训练方法设法保留这些特性。
2021-04-13 cs.CL cs.LG
Towards Theoretical Understanding of Transformer Test-Time Computing: Investigation on In-Context Linear Regression
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
本文通过引入随机性与采样,在上下文线性回归框架下模拟语言模型解码,为测试时计算技术提供理论分析,旨在弥合实际推理与理论Transformer研究之间的差距。
2025-08-19 cs.AI cs.LG
Understanding Transformers via N-gram Statistics
Google DeepMind(谷歌DeepMind)
本文通过N-gram统计规则集近似Transformer预测,提出检测过拟合、量化学习进展的方法,并发现TinyStories和Wikipedia上79%和68%的top-1预测与规则集一致。
2024-11-05 cs.AI cs.CL cs.LG
Understanding Robustness of Transformers for Image Classification
Google Research(谷歌研究院)
深度卷积神经网络(CNN)长期以来一直是计算机视觉任务的首选架构。最近,像视觉Transformer(ViT)这样基于Transformer的架构已经在图像分类方面与ResNets相匹配,甚至超过了ResNets。然而,Transformer体系结构的细节--比如使用非重叠补丁--让人怀疑这些网络是否同样健壮。在本文中,我们对ViT模型鲁棒性的各种不同度量进行了广泛的研究,并将研究结果与ResNet基线进行了比较。我们调查的鲁棒性输入扰动以及模型扰动的鲁棒性。我们发现,当用足够多的数据进行预训练时,ViT模型在广泛的扰动下至少与ResNet模型一样鲁棒。我们还发现,Transformers是强大的删除几乎任何单一的层,虽然从后面的层激活是高度相关的彼此,他们仍然发挥了重要作用的分类。
2021-10-08 cs.AI cs.CV cs.LG
OCR-free Document Understanding Transformer
NAVER CLOVA;NAVER Search(NAVER搜索);NAVER AI Lab(NAVER人工智能实验室);Upstage;Tmax;Google(谷歌);LBox
理解文档图像(例如,发票)是一项核心但具有挑战性的任务,因为它需要复杂的功能,如阅读文本和对文件的全面理解。当前的视觉文档理解(VDU)方法将读取文本的任务外包给现成的光学字符识别(OCR)引擎,并且专注于利用OCR输出的理解任务。虽然这种基于OCR的方法已经显示出有前途的性能,但它们遭受1)使用OCR的高计算成本; 2)OCR模型对语言或文档类型的可验证性; 3)OCR错误传播到后续过程。为了解决这些问题,在本文中,我们介绍了一种新的OCR自由VDU模型命名为甜甜圈,这代表文档理解Transformer。作为无OCR VDU研究的第一步,我们提出了一种简单的体系结构(即,Transformer)与预训练目标(即,交叉熵损失)。甜甜圈概念简单但有效。通过大量的实验和分析,我们展示了一个简单的无OCR VDU模型,甜甜圈,实现了各种VDU任务的速度和准确性方面的最先进的性能。此外,我们还提供了一个合成数据生成器,帮助模型预训练在各种语言和领域中保持灵活。代码、训练模型和合成数据可在https://github.com/clovaai/donut上获得。
2022-10-06 cs.AI cs.LG
Can't Fool Me: Adversarially Robust Transformer for Video Understanding
Samsung Research America(三星美国研究院)
深度神经网络已经被证明在对抗性示例上表现不佳。为了解决这个问题,已经提出了几种技术来增加用于图像分类任务的模型的鲁棒性。然而,在视频理解任务中,开发对抗鲁棒模型仍然是未探索的。在本文中,我们的目标是弥合这一差距。我们首先表明,基于图像的对抗性鲁棒模型的简单扩展稍微改善了最坏情况下的性能。此外,我们在Transformer中提出了一种时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们使用大规模视频数据集YouTube-8 M说明,最终模型(A-ART)在其对抗性示例集上实现了接近非对抗性的性能。我们在对抗性示例上实现了91%的差距,而基线Transformer和简单对抗性扩展分别实现了72.9%和82%,这表明鲁棒性比最新技术水平有显着提高。
2021-10-26 cs.CR cs.CV cs.LG
Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Carnegie Mellon University(卡内基梅隆大学);University of Waterloo(滑铁卢大学)
该研究从推理路径聚合视角解释语言模型的推理涌现机制,将推理路径形式化为图上随机游走路径,验证了该视角的有效性并提出路径扩充方法以提升多步推理性能。
2024-06-20 cs.AI cs.CL cs.LG
Understanding and Overcoming the Challenges of Efficient Transformer Quantization
Qualcomm AI Research(高通人工智能研究(Qualcomm AI Research));Qualcomm Technologies, Inc.(高通公司(Qualcomm Technologies, Inc.))
基于transformer的架构已经成为广泛的自然语言处理任务的事实标准模型。然而,它们的内存占用和高延迟对于在资源有限的设备上的高效部署和推理是禁止的。在这项工作中,我们探讨Transformers的量化。我们表明,Transformers具有独特的量化挑战-即,高动态激活范围,难以用低位定点格式表示。我们确定,这些激活在剩余连接中包含结构化的离群值,这些离群值鼓励特定的注意模式,例如注意特殊的分隔符标记。为了应对这些挑战,我们提出了三种基于训练后量化和量化感知训练的解决方案,每种解决方案都对准确性、模型大小和易用性做出了不同的妥协。特别是,我们引入了一种新的量化方案-每嵌入组量化。我们使用BERT在GLUE基准测试上证明了我们的方法的有效性,为训练后量化建立了最先进的结果。最后,我们表明,Transformer权重和嵌入可以量化到超低位宽,从而以最小的精度损失节省大量内存。我们的源代码可以在~ \url{https://github.com/qualcomm-ai-research/transformer-quantization}上找到。
2021-09-27 cs.AI cs.CL cs.LG
An Information-Theoretic Approach to Understanding Transformers' In-Context Learning of Variable-Order Markov Chains
Amazon AGI(亚马逊AGI);ECE Dept. Texas A&M University(德州农工大学电气与计算机工程系);EE Dept. UCLA(加州大学洛杉矶分校电气工程系)
本文研究Transformer对可变长度马尔可夫链的上下文学习,探讨样本量增加时的有限样本精度。通过贝叶斯方法,发现上下文树加权算法能最优解决该问题,且多层Transformer在学习可变阶马尔可夫链上表现更佳。
2026-03-31 cs.IT cs.LG math.IT