BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Google AI Language（谷歌 AI 语言部门）
我们介绍了一种新的语言表示模型称为BERT，它代表双向编码器表示从Transformers。与最近的语言表示模型不同，BERT旨在通过联合调节所有层中的左上下文和右上下文，从未标记文本中预训练深度双向表示。因此，预训练的BERT模型只需一个额外的输出层即可进行微调，从而为各种任务（如问答和语言推理）创建最先进的模型，而无需对特定于任务的架构进行实质性修改。BERT在概念上很简单，但在经验上很强大。它在11个自然语言处理任务上获得了新的最先进的结果，包括将GLUE得分提高到80.5%（绝对提高7.7%），MultiNLI准确率达到86.7%（绝对改善4.6%），SQuAD v1.1问答测试F1为93.2（绝对改善1.5分），SQuAD v2.0测试F1为83.1（绝对改善5.1分）。
2019-05-24 cs.CL
StrucTexT: Structured Text Understanding with Multi-Modal Transformers
Baidu Inc.（百度公司）；Beijing University of Posts and Telecommunications（北京邮电大学）；Taikang Insurance Group（泰康保险集团）
视觉丰富文档（VRD）上的结构化文本理解是文档智能的重要组成部分。由于虚拟现实中内容和布局的复杂性，结构化文本的理解一直是一个具有挑战性的任务。大多数现有的研究将这个问题分解为两个子任务：实体标记和实体链接，这需要在令牌和段级别上对文档的上下文有全面的理解。然而，很少有工作一直关注的解决方案，有效地从不同层次的结构化数据提取。本文提出了一个统一的框架名为StructTexT，这是灵活和有效的处理这两个子任务。具体地说，在Transformer的基础上，我们引入了一个分段标记对齐的编码器来处理不同粒度级别的实体标记和实体链接任务。此外，我们设计了一种新的预训练策略，具有三个自监督任务，以学习更丰富的表示。StructTexT使用现有的掩蔽视觉语言建模任务和新的句子长度预测和成对框方向任务来整合跨文本、图像和布局的多模态信息。我们评估了我们的方法在段级和标记级的结构化文本理解，并显示它优于最先进的同行，在FUNSD，SROIE和EPHOIE数据集上具有显着优越的性能。
2021-11-08 cs.CL cs.CV
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut（贝鲁特美国大学）
阿拉伯语是一种形态丰富的语言，与英语相比，资源相对较少，语法探索较少。考虑到这些限制，阿拉伯语自然语言处理（NLP）任务，如情感分析（SA）、命名实体识别（NER）和问答（QA），已经被证明是非常具有挑战性的。最近，随着基于Transformers的模型的激增，基于语言特定的BERT的模型已经被证明在语言理解方面非常有效，只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中，我们专门针对阿拉伯语预先训练了BERT，以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明，新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开，希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
Convexifying Transformers: Improving optimization and understanding of transformer networks
Google Research（谷歌研究院）
理解Transformer网络成功背后的基本机制在深度学习文献中仍然是一个悬而未决的问题。虽然他们的显着表现主要归因于自我注意机制，但文献仍然缺乏对这些网络的坚实分析和对它们所学到的功能的解释。为此，我们研究了注意力/Transformer网络的训练问题，并引入了一种新的凸分析方法来提高对这些网络的理解和优化。特别地，我们首先引入了一个凸的替代自我注意机制和重新制定的正则化训练问题的Transformer网络与我们的替代凸注意。然后，我们将重新表述为一个凸优化问题，这是可解释的，更容易优化。此外，作为凸分析的副产品，我们揭示了一种隐式正则化机制，它可以促进令牌之间的稀疏性。因此，我们不仅改进了注意力/Transformer网络的优化，而且还提供了对它们所学习的函数的坚实的理论理解。我们还证明了我们的理论的有效性，通过几个数值实验。
2022-11-20 cs.AI cs.CL cs.LG
Understanding Transformers via N-gram Statistics
Google DeepMind（谷歌DeepMind）
本文通过N-gram统计规则集近似Transformer预测，提出检测过拟合、量化学习进展的方法，并发现TinyStories和Wikipedia上79%和68%的top-1预测与规则集一致。
2024-11-05 cs.AI cs.CL cs.LG
Adapting Pretrained Transformer to Lattices for Spoken Language Understanding
National Taiwan University（国立台湾大学）
格是对多个假设进行编码的紧凑表示，例如语音识别结果或不同的分词。结果表明，与自动语音识别器（ASR）产生的1-最佳结果相比，编码格提高了口语语言理解（SLU）的性能。近年来，基于Transformer结构的预训练语言模型在自然语言理解方面取得了令人瞩目的成果，但其对格的编码能力尚未得到充分的研究。因此，本文旨在将预训练的Transformers适应于格输入，以便执行专门针对口语的理解任务。我们在基准ATIS数据集上的实验表明，使用lattice输入微调预训练的Transformers比使用1-best结果进行微调有明显的改善。进一步的评估表明，我们的方法在不同的声学条件下的有效性。我们的代码可在https://github.com/MiuLab/Lattice-SLU上获得
2020-11-02 cs.AI cs.CL
Understanding and Overcoming the Challenges of Efficient Transformer Quantization
Qualcomm AI Research（高通人工智能研究（Qualcomm AI Research））；Qualcomm Technologies, Inc.（高通公司（Qualcomm Technologies, Inc.））
基于transformer的架构已经成为广泛的自然语言处理任务的事实标准模型。然而，它们的内存占用和高延迟对于在资源有限的设备上的高效部署和推理是禁止的。在这项工作中，我们探讨Transformers的量化。我们表明，Transformers具有独特的量化挑战-即，高动态激活范围，难以用低位定点格式表示。我们确定，这些激活在剩余连接中包含结构化的离群值，这些离群值鼓励特定的注意模式，例如注意特殊的分隔符标记。为了应对这些挑战，我们提出了三种基于训练后量化和量化感知训练的解决方案，每种解决方案都对准确性、模型大小和易用性做出了不同的妥协。特别是，我们引入了一种新的量化方案-每嵌入组量化。我们使用BERT在GLUE基准测试上证明了我们的方法的有效性，为训练后量化建立了最先进的结果。最后，我们表明，Transformer权重和嵌入可以量化到超低位宽，从而以最小的精度损失节省大量内存。我们的源代码可以在~ \url{https://github.com/qualcomm-ai-research/transformer-quantization}上找到。
2021-09-27 cs.AI cs.CL cs.LG
BayesFormer: Transformer with Uncertainty Estimation
Meta AI
Transformer由于其在各种NLP和图像处理任务中的主导性能而变得无处不在。然而，它缺乏对如何为Transformer架构生成数学基础的不确定性估计的理解。配备有这种不确定性估计的模型通常可以提高预测性能，使网络鲁棒，避免过拟合，并用作主动学习中的获取函数。本文介绍了一种基于贝叶斯理论设计的带漏失的Transformer模型BayesFormer。我们提出了一个新的理论框架，以扩展的近似变分推理为基础的辍学，以transformer为基础的架构。通过大量的实验，我们验证了所提出的架构在四个范例，并显示全面的改进：语言建模和分类，长序列的理解，机器翻译和采集功能的主动学习。
2022-06-02 cs.AI cs.CL cs.LG
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo（滑铁卢大学）；Peking University（北京大学）
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是，它仅通过标记位置索引来区分连续标记。我们假设，更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点，我们提出了一个段感知的Transformer（Segatron），通过替换原来的令牌位置编码与段落，句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL，这是一种流行的基于transformer的语言模型，具有内存扩展和相对位置编码。我们发现，我们的方法可以进一步改善Transformer-XL基础模型和大模型，在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明，使用Segatron（SegaBERT）预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT，在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Quantization-Aware and Tensor-Compressed Training of Transformers for Natural Language Understanding
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本文提出量化感知的张量压缩训练方法，将Transformer嵌入层和线性层压缩为低秩张量核心并结合可学习尺度因子的量化训练，在自然语言理解任务中实现最高63倍压缩率且精度损失极小。
2023-07-08 cs.AI cs.CL
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
基于转换器的模型广泛用于自然语言理解（NLU）任务，多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功，同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后，所提出的XDBERT（跨模态蒸馏BERT）在一般语言理解评估（GLUE），对抗生成（SWAG）基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能，以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
Enhanced Transformer Architecture for Natural Language Processing
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Cho Chun Shik Graduate School of Mobility（赵春植移动性研究生院）
本文提出一种增强型Transformer架构，通过全层归一化、加权残差连接、强化学习位置编码和零掩码自注意力，在Multi30k数据集上BLEU分数较原始Transformer提高202.96%。
2023-10-17 cs.AI cs.CL
Natural Language to Code Using Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Dept. of Computer Science（计算机科学系）
我们解决了使用CoNaLa数据集从自然语言描述生成代码片段的问题。我们使用的自注意力的Transformer架构，并表明它比经常性的注意力为基础的编码器解码器的性能更好。此外，我们开发了一种修改后的形式的反向翻译和使用周期一致的损失，训练的模型在一个端到端的方式。我们实现了16.99的BLEU评分，击败了之前报道的CoNaLa挑战基线。
2022-02-01 cs.CL cs.LG
Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet
Middle East Technical University（中东技术大学）；Marmara University（马尔马拉大学）；Koç University（科奇大学）
近年来，注意力机制的激增和自然语言生成（NLG）中Transformers的兴起。以前，最先进的NLG架构（如RNN和LSTM）遇到了消失梯度问题;随着句子变大，位置之间的距离保持线性，顺序计算阻碍了并行化，因为句子是逐词处理的。Transformers开创了一个新时代。在本文中，我们探讨了三个主要的基于transformer的模型，即GPT，BERT和XLNet，进行重大影响的领域。NLG是一个新兴的领域，现在得到了注意力机制快速发展的支持。从诗歌生成到摘要，文本生成得益于基于transformer的语言模型取得的突破性成果。
2021-02-16 cs.CL cs.LG
Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities
SingularityNET Foundation（奇点网基金会）；The Hong Kong Polytechnic University（香港理工大学）
提出了一种基于Transformer神经网络语言模型分配给句子（以及可能更长的单词序列）的概率来指导聚类和规则归纳等符号学习过程的自然语言句法规则自动学习的新方法。这种方法利用Transformers学习的语言知识，没有任何参考他们的内部表示，因此，该技术很容易适应更强大的语言模型的连续出现。我们展示了我们所提出的技术的概念验证示例，使用它来指导从我们先前的研究中得出的无监督符号链接语法归纳方法。
2020-05-26 cs.AI cs.CL
Benchmarking Transformers-based models on French Spoken Language Understanding tasks
CNRS（法国国家科学研究中心）；LISN（跨学科数字科学实验室）；QWANT（QWANT公司）
在过去的五年中，基于自注意力transformer的架构的兴起导致了许多自然语言任务的最先进性能。虽然这些方法越来越受欢迎，但它们需要大量的数据和计算资源。在数据稀缺的应用条件下，仍然非常需要对资源不足的语言进行基准测试。大多数预先训练的语言模型都是使用英语进行大规模研究的，只有少数是用法语进行评估的。在本文中，我们提出了一个统一的基准，侧重于评估模型的质量和生态影响两个著名的法语口语语言理解任务。特别是，我们基准十三个完善的基于变压器的模型上的两个可用的口语语言理解任务的法语：媒体和ATIS-FR。在这个框架内，我们表明，紧凑的模型可以达到可比的结果，而他们的生态影响是相当低的。然而，这种假设是微妙的，并取决于所考虑的压缩方法。
2022-07-19 cs.AI cs.CL
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited（香港应用科技研究院有限公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
基于Transformer的神经网络由于其固有的基于结构的优势，在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构，但很少关注位置编码模块。在本文中，我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外，我们提出了一种增强的Transformer架构，该架构编码有额外的语言知识，例如词性（POS）标记，以提高某些自然语言生成任务的性能，例如，自动翻译和摘要任务。实验表明，该架构达到不断优于香草相比，Transformer的结果。
2019-10-30 cs.CL cs.LG
Can Transformers Reason in Fragments of Natural Language?
ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））；University of Manchester（曼彻斯特大学）；Instytut Informatyki Uniwersytet Opolski（奥波莱大学信息学研究所）
最先进的基于深度学习的自然语言处理（NLP）方法被认为具有涉及自然语言文本推理的各种能力。在本文中，我们进行了一个大规模的实证研究调查的检测正式有效的推理控制片段的自然语言的可满足性问题变得越来越复杂。我们发现，虽然基于transformer的语言模型在这些场景中表现得令人惊讶，但更深入的分析表明，它们似乎过拟合数据中的表面模式，而不是获得控制这些片段中推理的逻辑原则。
2022-11-10 cs.AI cs.CL
Going Full-TILT Boogie on Document Understanding with Text-Image-Layout Transformer
Poznan University of Technology（波兹南理工大学）；Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；Jagiellonian University（雅盖隆大学）
我们通过引入TILT神经网络架构来解决纯文本文档之外的自然语言理解的挑战性问题，该架构同时学习布局信息，视觉特征和文本语义。与以前的方法相反，我们依赖于一个解码器，能够统一涉及自然语言的各种问题。布局被表示为注意力偏差，并补充了上下文视觉信息，而我们模型的核心是一个预先训练的编码器-解码器Transformer。我们的新方法在从文档中提取信息和回答需要布局理解的问题（DocVQA，CORD，SROIE）方面取得了最先进的结果。与此同时，我们通过采用端到端模型简化了流程。
2021-07-12 cs.CL cs.LG
Bottleneck Low-rank Transformers for Low-resource Spoken Language Understanding
KU Leuven（鲁汶大学）
端到端口语语言理解（SLU）系统受益于大型语料库的预训练，然后对特定于应用程序的数据进行微调。生成的模型对于边缘应用程序来说太大了。例如，基于BERT的系统包含超过1.1亿个参数。观察模型是过参数化，我们提出精益Transformer结构的注意力机制的维度自动减少使用组稀疏。我们提出了一个变体，其中学习到的注意力子空间被转移到注意力瓶颈层。在低资源设置和没有预训练的情况下，由此产生的紧凑SLU模型实现了与预训练的大型模型竞争的精度。
2022-06-28 cs.CL cs.LG eess.AS
Combining Transformers with Natural Language Explanations
Department of Computer Science and Engineering（计算机科学与工程系）；Department of Sciences and Methods for Engineering（工程科学与方法系）
针对 transformers 可解释性不足的问题，本文提出利用外部记忆存储自然语言解释以说明分类结果，并在法律文本分析和论证挖掘中验证其解释有效性与性能增益。
2024-04-03 cs.AI cs.CL
The Role of Logic and Automata in Understanding Transformers
Max-Planck Institute for Software Systems, Kaiserslautern, Germany University of Kaiserslautern-Landau, Kaiserslautern, Germany Institute for Mathematical
本文综述逻辑、自动机及电路复杂性在分析 Transformer 表达能力方面的作用，并指出其与验证交叉领域的开放问题。
2025-09-28 cs.CL cs.FL cs.LG
A Survey of Transformers
Fudan University（复旦大学）
Transformers在很多人工智能领域都取得了巨大的成功，比如自然语言处理、计算机视觉、音频处理等。因此，很自然地吸引了学术界和行业研究人员的大量兴趣。到目前为止，各种各样的Transformer变体（也称为X型），然而，这些Transformer变体的系统和全面的文献综述仍然缺失。在这次调查中，我们提供了各种X型的全面审查。我们首先简要介绍了香草Transformer，然后提出了一个新的分类X-former。接下来，我们从三个角度介绍各种X-former：架构修改，预训练和应用程序。最后，我们概述了未来研究的一些潜在方向。
2021-06-15 cs.AI cs.CL cs.LG
Understanding Scaling Laws with Statistical and Approximation Theory for Transformer Neural Networks on Intrinsically Low-dimensional Data
Georgia Institute of Technology（佐治亚理工学院）
针对Transformer缩放定律缺乏严格理论解释的问题，本文基于低维流形假设建立统计估计与逼近理论，证明了泛化误差遵循由数据内在维度决定的幂律，并在浅层架构下得到实验验证。
2024-11-11 cs.AI cs.CL cs.LG
Temporal Embeddings and Transformer Models for Narrative Text Understanding
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所）
我们提出了两种深度学习方法来理解叙事文本，以进行角色关系建模。这些关系的时间演化由动态词嵌入描述，其被设计为随着时间学习语义变化。相应的字符轨迹的实证分析表明，这种方法是有效的描绘动态演变。一个监督学习方法的基础上，国家的最先进的Transformer模型BERT，而不是用来检测字符之间的静态关系。经验验证表明，这些事件（例如，属于同一家族的两个字符）可以以良好的准确度被发现，即使在使用自动注释的数据时也是如此。这提供了一个更深入的了解叙事情节的基础上确定的关键事实。标准的聚类技术最终用于字符去混叠，这是两种方法的必要预处理步骤。总的来说，深度学习模型似乎适合叙事文本理解，同时也为一般自然语言理解提供了一个具有挑战性且尚未开发的基准。
2020-03-19 cs.CL cs.LG
Understanding In-Context Learning Beyond Transformers: An Investigation of State Space and Hybrid Architectures
The University of British Columbia（不列颠哥伦比亚大学）
本文通过行为探测和干预方法，探讨了不同架构在ICL任务中的表现差异，发现FVs主要位于自注意力和Mamba层，并揭示了Mamba2的ICL机制与FVs的不同。
2026-02-26 cs.AI cs.CL
Understanding and Improving Knowledge Distillation for Quantization-Aware Training of Large Transformer Encoders
Hanyang University（汉阳大学）
知识蒸馏（KD）是模型压缩的一种常用方法，它利用教师传授的知识来增强轻量级模型的能力。特别地，KD已被用于Transformer编码器（如BERT）的量化感知训练（QAT）中，以利用降低精度的权重参数来提高学生模型的准确性。然而，很少有人知道哪种KD方法最适合Transformers的QAT。在这项工作中，我们提供了一个深入的分析机制KD的注意力恢复的量化大Transformers。特别是，我们发现，以前采用的MSE损失的注意力分数是不够的恢复自我注意力的信息。因此，我们提出了两种KD方法：注意力地图和注意力输出损失。此外，我们探讨了这两种损失的统一，以解决注意力地图和输出损失之间的任务依赖性偏好。在各种Transformer编码器模型上的实验结果表明，所提出的KD方法实现了最先进的精度与子2位权重量化的QAT。
2022-11-20 cs.AI cs.CL
Understanding Transformers for Bot Detection in Twitter
Expert.ai Research Lab（Expert.ai研究实验室）
在本文中，我们阐明了微调对社交媒体数据在神经语言模型内部表示中的影响。我们专注于Twitter中的机器人检测，这是减轻和抵消社交媒体中虚假信息和偏见自动传播的一项关键任务。我们研究了使用预先训练的语言模型来解决检测由机器人或人类帐户完全基于其内容生成的推文。与GLUE等基准测试的一般趋势不同，BERT在常规文本的大多数分类任务中通常优于GPT和GPT-2等生成Transformers，我们观察到，在机器人检测任务中微调生成Transformers会产生更高的准确性。我们分析了每个Transformer的架构组件，并研究了微调对它们的隐藏状态和输出表示的影响。在我们的研究结果中，我们表明，BERT在预训练过程中捕获的部分语法信息和分布特性在微调时丢失，而生成式预训练方法设法保留这些特性。
2021-04-13 cs.CL cs.LG
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen（圣加仑大学）
在本文中，我们将探讨基于transformer的预训练语言模型（PLM）所使用的浅层语法，这些模型针对自然语言推理（NLI）进行了微调。为此，我们基于三段论构建或拥有数据集，并在我们的数据集上评估许多模型的性能。我们发现的证据表明，该模型严重依赖于某些浅的物理学，拿起对称性和不对称性之间的前提和假设。我们认为，在我们的研究中，这正在成为一个活跃的辩论在该领域的话题，缺乏概括性，这意味着PLM目前没有学习NLI，而是虚假的语法。
2022-01-19 cs.CL cs.LG
Compressing Pre-trained Transformers via Low-Bit NxM Sparsity for Natural Language Understanding
Colorado School of Mines（科罗拉多矿业学院）；Microsoft（微软）
近年来，大型预训练的Transformer网络在许多自然语言理解任务中表现出显着的改进。然而，由于延迟和成本限制，这些模型的巨大规模为其微调和在线部署带来了重大挑战。支持N：M半结构化稀疏性和低精度整数计算的新硬件是提高DNN模型服务效率的一种有前途的解决方案。然而，很少有研究系统地研究预训练的Transformer网络在多大程度上受益于这些技术的组合，以及如何最好地压缩Transformer的每个组件。我们提出了一个灵活的压缩框架NxMiFormer，使用ADMM和基于ST的QAT同时进行稀疏化和量化。此外，我们还提出了廉价的启发式搜索算法，该算法可以识别满足压缩比约束的有前途的异构压缩配置。当在NLU基准测试的GLUE套件中进行评估时，我们的方法可以实现BERT模型编码器的高达93%的压缩，同时保留98.2%的原始模型精度并充分利用硬件的功能。通过搜索启发式找到的异构配置保持了99.5%的基线准确度，同时仍然将模型压缩了87.5%。
2022-06-30 cs.AI cs.CL
Partial Tensorized Transformers for Natural Language Processing
Mercer Island High School（默瑟岛高中）；University of California Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出部分张量化神经网络（PTNN）方法，通过张量列分解压缩BERT和ViT的嵌入层及部分结构，无需训练后调整即可将模型准确率提升最高5%。
2023-10-30 cs.CL cs.LG
Understanding Self-Attention of Self-Supervised Audio Transformers
National Taiwan University（台湾大学）
自监督音频Transformers（SAT）在许多下游语音应用（如ASR）中取得了巨大成功，但它们的工作原理尚未得到广泛探讨。在这项工作中，我们提出了多种策略的注意力机制在SAT的分析。我们将注意力分为可解释的类别，我们发现每个类别都有自己独特的功能。我们提供了一个可视化的工具，了解多头自我注意，重要性排名策略，识别关键的注意力，注意力细化技术，以提高模型的性能。
2020-08-10 cs.CL
TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding
Amazon AWS AI（亚马逊AWS人工智能）
来自Transformers的双向编码器表示（BERT）最近在广泛的NLP任务上实现了最先进的性能，包括句子分类，机器翻译和问答。BERT模型架构主要源自Transformer。在Transformer时代之前，双向长短期记忆（BLSTM）一直是神经机器翻译和问答的主要建模架构。在本文中，我们将研究如何将这两种建模技术相结合，以创建一个更强大的模型架构。我们提出了一个新的架构表示为Transformer与BLSTM（TranSmart. tag_BLSTM），其中有一个BLSTM层集成到每个Transformer块，导致一个联合建模框架Transformer和BLSTM。我们表明，在GLUE和SQuAD 1.1实验中，与BERT基线相比，TRANS-BLSTM模型始终导致准确性的提高。我们的TRANS-BLSTM模型在SQuAD 1.1开发数据集上获得了94.01%的F1分数，这与最先进的结果相当。
2020-03-16 cs.CL cs.LG cs.SD
Multiplicative Position-aware Transformer Models for Language Understanding
AWS AI（亚马逊网络服务人工智能研究院）
Transformer模型利用了自注意力等架构改进，在自然语言处理（NLP）任务上表现非常出色。自我注意力机制是位置不可知的。为了捕获位置排序信息，已经提出了各种风格的绝对和相对位置嵌入。然而，没有系统的分析，这些方法的贡献和全面的比较是在文献中失踪。在本文中，我们回顾了现有的主要位置嵌入方法，并使用我们自己的实现比较了它们在下游NLP任务上的准确性。我们还提出了一种新的乘法嵌入方法，导致优越的精度相比，现有的方法。最后，我们证明了我们提出的嵌入方法，作为默认绝对位置嵌入的直接替代，可以改进SQuAD1.1和SQuAD2.0数据集上的RoBERTa-base和RoBERTa-large模型。
2021-09-27 cs.AI cs.CL
Text Understanding and Generation Using Transformer Models for Intelligent E-commerce Recommendations
Northeastern University（东北大学）；University of Southern California（南加州大学）；Northern Arizona University（北亚利桑那大学）；Virginia Tech University（弗吉尼亚理工大学）；Miami University（迈阿密大学）
本文综述了Transformer预训练模型在电商文本理解与推荐生成中的核心应用，分析其理解用户意图和提升推荐质量的优势，并探讨泛化能力、大规模数据处理与隐私保护等未来挑战。
2024-02-25 cs.AI cs.CL
Language Modelling for Source Code with Transformer-XL
University of Newcastle（纽卡斯尔大学）
已经发现，软件，如自然语言文本，表现出“自然性”，这可以通过统计语言模型来捕获。近年来，已经提出了神经语言模型，以通过深度学习来表示软件的自然性。在本文中，我们进行了实验评估的国家的最先进的神经语言模型的源代码，包括基于RNN的模型和基于Transformer-XL的模型。通过在大规模Python代码语料库上的实验，我们发现Transformer-XL模型在捕捉软件自然性方面优于基于RNN的模型（包括LSTM和GRU模型），并且计算成本要低得多。
2020-07-31 cs.CL cs.LG cs.SE
Teach me how to Label: Labeling Functions from Natural Language with Text-to-text Transformers
注释数据已成为训练准确机器学习模型的最重要瓶颈，特别是对于需要领域专业知识的领域。处理上述问题的最新方法提出使用自然语言解释而不是标记各个数据点，从而提高了人类注释者的效率并大大降低了成本。本文的重点是将这些自然语言描述转换为Python标签函数，通过使用预训练的文本到文本Transformers进行语义解析的新方法。在一系列的实验中，我们的方法在语义解析基准测试CoNaLa上达到了一个新的水平，超过了以前的最佳方法3.7个BLEU点。此外，在手动构造的自然语言标注-标记函数对的数据集上，我们实现了0.39的BLEU。我们的方法可以被看作是一个垫脚石模型，教导如何标记在自然语言，而不是提供特定的标记样本。我们的代码，构造的数据集和模型可在https://github.com/ypapanik/t5-for-code-generation上获得。
2021-01-18 cs.CL cs.LG
Subgroups of $U(d)$ Induce Natural RNN and Transformer Architectures
Cognitive Science Program & Department of Informatics（认知科学项目与信息学系）
本文通过$U(d)$子群的选择，推导出自然的RNN和Transformer架构，并在正交状态模型上实现了参数匹配的实验验证。
2026-02-20 cs.CL cs.LG
Field-testing items using artificial intelligence: Natural language processing with transformers
Smarter Balanced（智能平衡组织）
本研究通过让RoBERTa模型的5000个变体完成29道多选题的英语读写考试，测试了项目的心理测量学属性，发现其与人类考生数据具有一定一致性。
2023-10-18 cs.CL
Automata Extraction from Transformers
Peking University（北京大学）
本文提出一种面向Transformer的自动机提取算法，通过跟踪其内部潜在表示变换并用L*算法将其解释为DFA，揭示了Transformer处理形式语言的机制，提升了模型可解释性。
2024-06-08 cs.AI cs.CL cs.FL
Chart-to-Text: Generating Natural Language Descriptions for Charts by Adapting the Transformer Model
York University（约克大学）
信息可视化（如条形图和折线图）在探索数据和传达见解方面非常受欢迎。对某些人来说，解释和理解这种可视化可能具有挑战性，例如那些视力受损或视觉素养低的人。在这项工作中，我们引入了一个新的数据集，并提出了一个神经模型自动生成图表的自然语言摘要。生成的摘要提供了对图表的解释，并传达了在该图表中发现的关键见解。我们的神经模型是通过扩展数据到文本生成任务的最先进模型开发的，该模型利用了基于transformer的编码器-解码器架构。我们发现，我们的方法在内容选择指标上远远优于基础模型（55.42% vs. 8.49%），并生成了更多信息，简洁和连贯的摘要。
2020-11-29 cs.AI cs.CL
From Silent Signals to Natural Language: A Dual-Stage Transformer-LLM Approach
针对静默语音接口合成语音存在歧义与噪声、识别及下游处理研究不足的问题，提出结合transformer声学模型与LLM后处理的增强型自动语音识别框架，显著降低词错率，提升语音可懂度。
2025-09-02 cs.AI cs.CL
Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）；Allen Institute for AI（艾伦人工智能研究所）
本文通过合成数据集、训练目标对比、剪枝实验和贝叶斯分析，揭示语言建模目标促使 Transformer 形成层级句法泛化偏置。
2025-03-16 cs.CL cs.LG
Probing Image-Language Transformers for Verb Understanding
DeepMind（深度思维）
多模态图像语言Transformers在依赖于微调的各种任务上取得了令人印象深刻的结果（例如，视觉问答和图像检索）。我们感兴趣的是揭示其预训练表示的质量-特别是，如果这些模型可以区分不同类型的动词，或者如果它们只依赖于给定句子中的名词。为此，我们收集了一个图像-句子对（英语）数据集，其中包括421个动词，这些动词要么是视觉动词，要么是预训练数据中常见的动词（即，Conceptual Captions数据集）。我们使用这个数据集来评估预训练的图像语言Transformers，发现与其他词性相比，它们在需要动词理解的情况下失败得更多。我们还调查了哪些类别的动词特别具有挑战性。
2021-06-16 cs.CL cs.CV
Advancements in Natural Language Processing: Exploring Transformer-Based Architectures for Text Understanding
OceanAI（海洋人工智能公司）
本文探讨Transformer架构（如BERT和GPT）在文本理解中的进展，通过统计分析和2024年研究，展示其在GLUE和SQuAD上F1超90%的领先性能，并指出计算成本挑战及未来优化方向。
2025-03-26 cs.AI cs.CL
Syntax-Infused Transformer and BERT models for Machine Translation and Natural Language Understanding
Duke University（杜克大学）
基于注意力的模型在几个NLP任务中显示出比传统算法的显着改进。例如，Transformer是基于输入到编码器的令牌与序列中的所有令牌的关系来生成令牌的抽象表示的说明性示例。最近的研究表明，尽管这些模型能够纯粹通过查看示例来学习句法特征，但将这些信息显式地提供给深度学习模型可以显着提高其性能。利用句法信息（如词性（POS））在复杂模型（如Transformer）的有限训练数据设置中可能特别有益。我们表明，具有多个特征的语法注入的Transformer在完整的WMT 14英语到德语翻译数据集上训练时实现了0.7 BLEU的改进，并且在一小部分数据集上训练时最大提高了1.99 BLEU点。此外，我们发现，语法纳入BERT微调优于基线上的一些下游任务的GLUE基准。
2019-11-10 cs.CL cs.LG stat.ML
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
该研究结合数学分析与Wikipedia、LDA合成数据实验，揭示Transformer的嵌入层与自注意力层通过同主题词高内积、高注意力值编码主题结构，为其语义学习机制提供细粒度机制性理解。
2023-07-24 cs.CL cs.LG stat.ML
TimeViper: A Hybrid Mamba-Transformer Vision-Language Model for Efficient Long Video Understanding
AIM3 Lab, Renmin University of China（中国人民大学人工智能实验室）；MiLM Plus, Xiaomi Inc.（小米公司）
TimeViper是一种混合Mamba-Transformer模型，通过TransV模块实现高效长视频理解，提升多模态处理能力。
2025-11-26 cs.AI cs.CL cs.CV
CTRAN: CNN-Transformer-based Network for Natural Language Understanding
University of Kashan（卡尚大学）
提出CTRAN，一种用于意图检测和槽位填充的CNN-Transformer编码器-解码器架构，通过引入窗口特征序列和对齐Transformer解码器，在ATIS和SNIPS数据集上超越当前最优水平。
2023-03-19 cs.CL
Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View
Peking University（北京大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
Transformer体系结构广泛用于自然语言处理。尽管取得了成功，但Transformer的设计原理仍然难以捉摸。在本文中，我们提供了一个新的角度来理解的架构：我们表明，Transformer可以在数学上解释为一个数值常微分方程（ODE）求解器的对流扩散方程在多粒子动力系统。特别是，如何在一个句子中的单词被抽象到上下文通过通过层的Transformer可以被解释为近似多个粒子的运动在空间中使用Lie-Trotter分裂方案和欧拉的方法。鉴于这种ODE的观点，丰富的文献的数值分析可以引导我们在设计有效的结构以外的Transformer。作为一个例子，我们建议取代李-特罗特分裂计划的Strang-Marchuk分裂计划，一个计划，更常用的和低得多的局部截断误差。Strang-Marchuk分裂方案表明，自注意和位置前馈网络（FFN）子层不应该被同等对待。相反，在每一层中，应使用两个按位置FFN子层，并且自注意子层被放置在其间。这导致了一个全新的架构。这样的FFN-attention-FFN层是“马卡龙式的”，因此我们将具有这种新架构的网络称为马卡龙网。通过大量的实验，我们表明，Macaron网络是优于Transformer的监督和无监督学习任务。可重复的代码和预训练模型可以在https://github.com/zhuohan123/macaron-net上找到
2019-06-06 cs.CL cs.LG stat.ML
Understood in Translation, Transformers for Domain Understanding
IBM Research Europe（IBM欧洲研究院）；Queen’s University Belfast（贝尔法斯特女王大学）
知识获取是任何知识图谱（KG）应用必不可少的第一步。该知识可以从给定的语料库中提取（KG生成过程）或从现有的KG中指定（KG规范过程）。知识获取侧重于特定领域的解决方案，是一项劳动密集型任务，通常由主题专家协调和监督。具体而言，通常手动定义感兴趣的域，然后利用所需的生成或提取工具来生成KG。本文提出了一种基于Transformers的有监督机器学习方法，用于语料库的领域定义。我们认为，为什么这样的自动定义域的结构是有益的建设时间和质量的生成的图形。该方法通过与基于CNN和RNN模型的两种参考方法进行比较，在三个公共数据集（WebNLG，NYT和DocRED）上进行了广泛的验证。评估表明，我们的模型在这项任务中的效率。专注于科学文档理解，我们提出了一个新的健康领域数据集的基础上，从PubMed中提取的出版物，我们成功地利用我们的方法。最后，我们展示了这项工作如何为全自动和无监督的KG生成奠定基础。
2020-12-18 cs.CL cs.LG
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University（波士顿大学）；Draper（德雷珀实验室）
许多常见的顺序数据源（如源代码和自然语言）都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成，从而产生序列中标记的层次排序。这种结构编码了高度的句法信息，使其成为解决语法纠正等问题的理想方法。然而，很少有工作已经做了开发神经网络，可以操作和利用树结构的数据。在本文中，我们提出了树转换器\textemdash{}，一种新的神经网络架构，旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上，我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面，我们取得了与最复杂的最先进系统相当的结果，在CoNLL 2014基准测试中获得了$10\%$召回率的改善，并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
Transformers and Language Models in Form Understanding: A Comprehensive Review of Scanned Document Analysis
University of Innsbruck（因斯布鲁克大学）
本文是扫描文档表单理解领域的综合综述，梳理Transformer与语言模型的技术进展、相关数据集基准，对比模型能力，为从业者选择适配方案提供指导。
2024-03-06 cs.CL cs.CV
