Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen（圣加仑大学）
在本文中，我们将探讨基于transformer的预训练语言模型（PLM）所使用的浅层语法，这些模型针对自然语言推理（NLI）进行了微调。为此，我们基于三段论构建或拥有数据集，并在我们的数据集上评估许多模型的性能。我们发现的证据表明，该模型严重依赖于某些浅的物理学，拿起对称性和不对称性之间的前提和假设。我们认为，在我们的研究中，这正在成为一个活跃的辩论在该领域的话题，缺乏概括性，这意味着PLM目前没有学习NLI，而是虚假的语法。
2022-01-19 cs.CL cs.LG
Emergent Stack Representations in Modeling Counter Languages Using Transformers
Birla Institute of Technology and Science, Pilani（比拉理工学院皮拉尼分校）；Saarland University（萨尔大学）
本文在4种计数器语言上训练Transformer模型，并用栈等价表示这些语言，通过探测内部表示发现模型作为下一token预测器学习到了类似栈的表示，为理解Transformer学习语言的算法机制和电路发现提供了新见解。
2025-02-03 cs.CL cs.LG
A Tensorized Transformer for Language Modeling
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Microsoft Research Asia（微软亚洲研究院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机学院）
神经模型的最新发展是通过自我注意力机制将编码器和解码器连接起来。特别是完全基于自我注意力的Transformer，在自然语言处理（NLP）任务上取得了突破性进展。然而，作为Transformer关键组件的多头注意力机制限制了模型在资源有限的环境中的有效部署。基于张量分解和参数共享的思想，提出了一种新的基于块项张量分解的自注意模型（即多线性注意力模型）.我们在三个语言建模任务上测试和验证了所提出的注意力方法（即，PTB、WikiText-103和10亿）和神经机器翻译任务（即，WMT-2016英语-德语）。与Transformer、Transformer-XL和带张量训练分解的Transformer等语言建模方法相比，多线性注意力不仅可以大大压缩模型参数，而且可以获得性能上的提高。
2019-11-06 cs.CL cs.LG
Natural Language to Code Using Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Dept. of Computer Science（计算机科学系）
我们解决了使用CoNaLa数据集从自然语言描述生成代码片段的问题。我们使用的自注意力的Transformer架构，并表明它比经常性的注意力为基础的编码器解码器的性能更好。此外，我们开发了一种修改后的形式的反向翻译和使用周期一致的损失，训练的模型在一个端到端的方式。我们实现了16.99的BLEU评分，击败了之前报道的CoNaLa挑战基线。
2022-02-01 cs.CL cs.LG
Virgil: Navigating Explainability for Transformer-based Language Models
Scuola Normale Superiore（高等师范学院）；University of Turin（都灵大学）
针对Transformer语言模型可解释性工具碎片化难导航的问题，提出交互式系统Virgil，依托知识库实现统一界面下工具的发现与比较，为相关人员提供可解释性导航支持。
2026-08-27 cs.CL cs.LG
Language Modeling with Deep Transformers
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek公司）
我们探索深度自回归Transformer模型在语音识别语言建模中的应用。我们重点关注两个方面。首先，我们回顾专门用于语言建模的Transformer模型配置。我们发现，基于LSTM递归神经网络层的浅栈，配置良好的Transformer模型优于我们的基线模型。我们在开源LibriSpeech 960 hr任务上进行了实验，用于200 K词汇单词级和10 K字节对编码子单词级语言建模。我们应用我们的词级模型，传统的混合语音识别的格重评分，和子词级模型的注意基于编码器-解码器模型的浅层融合。其次，我们证明了深度Transformer语言模型不需要位置编码。位置编码是自我注意力机制的一种重要的增强机制，它对序列排序是不变的。然而，在自回归设置中，就像语言建模的情况一样，信息量沿着位置维度增加，这本身就是一个位置信号。对注意权重的分析表明，深度自回归自注意模型可以自动利用这种位置信息。我们发现，删除位置编码，甚至略有改善这些模型的性能。
2019-07-11 cs.CL cs.LG
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited（香港应用科技研究院有限公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
基于Transformer的神经网络由于其固有的基于结构的优势，在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构，但很少关注位置编码模块。在本文中，我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外，我们提出了一种增强的Transformer架构，该架构编码有额外的语言知识，例如词性（POS）标记，以提高某些自然语言生成任务的性能，例如，自动翻译和摘要任务。实验表明，该架构达到不断优于香草相比，Transformer的结果。
2019-10-30 cs.CL cs.LG
Translating Similar Languages: Role of Mutual Intelligibility in Multilingual Transformers
The University of British Columbia（不列颠哥伦比亚大学）
我们研究了在低资源条件下在相似语言之间进行翻译的不同方法，作为我们对WMT 2020相似语言翻译共享任务的贡献的一部分。我们在两个方向上为所有语言对提交了基于Transformer的双语和多语言系统。我们还利用其中一个语言对的反向翻译，获得超过3个BLEU点的改进。我们解释我们的研究结果，根据每对之间的相互可懂度（基于Jaccard相似性），发现相互可懂度和模型性能之间存在正相关关系。我们的西班牙语-加泰罗尼亚语模型在所有五种语言对中表现最好。除了印地语-马拉地语的情况下，我们的双语模型实现了更好的性能比所有对的多语言模型。
2020-11-10 cs.CL cs.LG
Language Modeling using LMUs: 10x Better Data Efficiency or Improved Scaling Compared to Transformers
Applied Brain Research（应用大脑研究公司）
最近的研究表明，Transformers的语言建模任务的性能服从幂律关系模型的大小超过六个数量级。虽然Transformers表现出令人印象深刻的可扩展性，但它们的性能取决于处理大量数据，并且它们的计算和内存需求随着序列长度呈二次方增长。出于这些考虑，我们构建了一个基于Legendre内存单元的模型，该模型引入了一般的序列处理之前，并表现出$O(n)$和$O(n \ln n)$（或更好）的内存和计算的依赖性。超过三个数量级，我们表明我们的新架构达到了与Transformers相同的精度，但令牌减少了10倍。我们还表明，对于相同的训练量，我们的模型改善了Transformers器的损耗，就像Transformers改善LSTM一样。此外，我们证明，增加全球自我关注补充我们的架构和增强模型进一步提高性能。
2021-10-05 cs.CL cs.LG
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York（纽约哥伦比亚大学）
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说，我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法，格重新评分，允许更长的范围内的历史记录捕获的一个基于多变量的语言模型，并利用一个Transformer的能力，以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
The Dark Side of the Language: Pre-trained Transformers in the DarkNet
University of Rome Tor Vergata（罗马第二大学）；University of Rome "Sapienza"（罗马智慧大学）
本文研究预训练 Transformer 在暗网语料上的表现，发现其优势依赖预训练语料覆盖，需通过极端领域适应才能恢复高水平性能。
2023-11-17 cs.CL cs.LG
Repurposing Decoder-Transformer Language Models for Abstractive Summarization
Twilio AI（Twilio人工智能）
神经网络模型在应用于抽象摘要时表现出了出色的流畅性和性能。许多神经抽象总结的方法都涉及引入显著的归纳偏差，例如使用指针生成器架构，覆盖范围和部分提取程序等组件，旨在模仿人类总结文档的过程。我们表明，它是可能的，而不是直接查看摘要作为一个语言建模问题，并有效地利用迁移学习，以获得有竞争力的性能。我们介绍了一个简单的程序，建立在解码器变压器，以获得高度竞争力的ROUGE分数的摘要性能，单独使用语言建模损失，没有波束搜索或其他解码时间优化，而是依赖于有效的核采样和贪心解码。
2019-09-01 cs.CL cs.LG
A Meta-Learning Perspective on Transformers for Causal Language Modeling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从元学习视角解析了Transformer在因果语言建模中的训练过程，通过阐明其内部优化机制，发现并理论分析了学习到的token表示范数的特殊特征，且得到了多设置实验的支持。
2024-03-25 cs.AI cs.CL cs.LG
Partial Tensorized Transformers for Natural Language Processing
Mercer Island High School（默瑟岛高中）；University of California Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出部分张量化神经网络（PTNN）方法，通过张量列分解压缩BERT和ViT的嵌入层及部分结构，无需训练后调整即可将模型准确率提升最高5%。
2023-10-30 cs.CL cs.LG
Decoding Layer Saliency in Language Transformers
STR
本文提出一种无需额外训练、计算高效的基于梯度的层显著性解码方法，用于识别语言Transformer在文本分类任务中的语义显著性，并在多个基准数据集上取得一致改进。
2023-08-09 cs.CL cs.LG
Automated essay scoring using efficient transformer-based language models
Cambium Assessment, Inc.（坎比姆评估公司）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
自动作文评分（AES）是一项跨学科的工作，涉及教育，语言学和自然语言处理（NLP）。AES中NLP模型的有效性测试了它评估长期依赖性和推断含义的能力，即使文本写得很差。大型预训练的基于transformer的语言模型在许多NLP任务中占据了主导地位，然而，这些模型的计算要求使得它们在实践中部署起来非常昂贵。本文的目标是挑战NLP中的范式，即AES越大越好。为此，我们评估了几个微调的预训练NLP模型的性能，这些模型在AES数据集上具有适度数量的参数。通过集成我们的模型，我们比大多数基于transformer的预训练模型使用更少的参数获得了出色的结果。
2021-02-25 cs.CL cs.LG
Attending to Mathematical Language with Transformers
U.S. Bank（美国合众银行）
数学表达式的生成，评估和训练神经网络模型的基础上的Transformer架构。表达和它们的目标被分析为字符级序列转导任务，其中编码器和解码器建立在注意力机制上。训练了三个模型来理解和评估数学中的符号变量和表达式：（1）没有递归或卷积的自关注和前馈Transformer，（2）具有递归的通用Transformer，以及（3）具有递归和自适应计算时间的自适应通用Transformer。在评估表达式与目标值的匹配方面，模型的测试准确率分别达到76.1%、78.8%和84.9%。对于推断错误的情况，结果与目标仅相差一个或两个字符。这些模型特别学会了对分配给符号变量的变量数字的正、负十进制数进行加、减、乘。
2019-09-14 cs.CL cs.LG
Finding Skill Neurons in Pre-trained Transformer-based Language Models
Tsinghua University（清华大学）
基于transformer的预训练语言模型在各种自然语言处理任务上表现出优越的性能。然而，目前尚不清楚处理这些任务所需的技能如何在模型参数之间分布。在本文中，我们发现，在针对特定任务进行提示微调后，预先训练的Transformers中的一些神经元的激活对任务标签具有高度预测性。我们将这些神经元称为技能神经元，并通过以下发现证实它们编码特定于任务的技能：（1）技能神经元对于处理任务至关重要。当相应的技能神经元受到干扰时，预先训练好的Transformers在任务上的表现会显著下降。(2)技能神经元是任务特定的。相似的任务往往具有相似的技能神经元分布。此外，我们证明了技能神经元最有可能在预训练而不是微调中生成，通过显示提示微调发现的技能神经元对于其他微调方法（冻结神经元权重）也至关重要，例如基于适配器的调整和BitFit。我们还探索了技能神经元的应用，包括通过网络修剪加速Transformers和构建更好的可转移性指标。这些发现可能会促进进一步的研究，了解Transformers。源代码可以从https://github.com/THU-KEG/Skill-Neuron获得。
2022-11-14 cs.CL cs.LG
Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks
Federal University of Rio Grande do Sul（南里奥格兰德州联邦大学）
BERT（Bidirectional Encoder Representations from Transformers）和ALBERT（A Lite BERT）是用于预训练语言模型的方法，这些语言模型稍后可以针对各种自然语言理解任务进行微调。这些方法已被应用到一些这样的任务（主要是在英语），取得的结果，优于国家的最先进的。在本文中，我们的贡献是双重的。首先，我们为葡萄牙语提供经过训练的BERT和Albert模型。其次，我们比较了我们的单语和标准的多语言模型，使用实验在语义文本相似性，识别文本蕴涵，文本类别分类，情感分析，攻击性评论检测和假新闻检测，以评估生成的语言表示的有效性。结果表明，单语言和多语言模型都能够达到最先进的水平，并且训练单个语言模型的优势（如果有的话）很小。
2020-07-19 cs.CL cs.LG
Optimizing Transformer for Low-Resource Neural Machine Translation
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
并行数据量有限的语言对，也称为低资源语言，仍然是神经机器翻译的一个挑战。虽然Transformer模型已经为许多语言对实现了显著的改进，并且已经成为事实上的主流架构，但是其在低资源条件下的能力尚未被充分研究。我们在IWSLT14训练数据的不同子集上的实验表明，Transformer在低资源条件下的有效性高度依赖于超参数设置。我们的实验表明，与使用Transformer默认设置相比，在低资源条件下使用优化的Transformer可将翻译质量提高7.3个BLEU点。
2020-11-04 cs.CL cs.LG
Language Modelling for Source Code with Transformer-XL
University of Newcastle（纽卡斯尔大学）
已经发现，软件，如自然语言文本，表现出“自然性”，这可以通过统计语言模型来捕获。近年来，已经提出了神经语言模型，以通过深度学习来表示软件的自然性。在本文中，我们进行了实验评估的国家的最先进的神经语言模型的源代码，包括基于RNN的模型和基于Transformer-XL的模型。通过在大规模Python代码语料库上的实验，我们发现Transformer-XL模型在捕捉软件自然性方面优于基于RNN的模型（包括LSTM和GRU模型），并且计算成本要低得多。
2020-07-31 cs.CL cs.LG cs.SE
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers
针对多语言Transformer模型随适配语言增多性能下降的干扰问题，提出用Shapley值识别引发干扰的注意力头并剪枝的方法，最高可提升目标语言任务性能24.7%，并通过可视化提供了相关洞见。
2022-10-11 cs.CL cs.LG
R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling
Ant Financial Services Group（蚂蚁金融服务集团）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
人类语言理解在多个粒度级别上操作（例如，单词、短语和句子），其中抽象级别增加，可以分层组合。然而，现有的具有堆叠层的深度模型没有明确地对任何类型的分层过程进行建模。本文提出了一种基于CKY型二叉树的递归Transformer模型来模拟合成过程。我们将双向语言模型预训练目标扩展到该架构，尝试预测每个单词的左和右抽象节点。为了扩大我们的方法，我们还引入了一个有效的修剪树归纳算法，使编码在一个线性数量的组成步骤。语言建模和无监督句法分析的实验结果表明了该方法的有效性。
2022-03-03 cs.CL cs.LG
Thinking Like Transformers
Technion（以色列理工学院）；Bar Ilan University（巴伊兰大学）；Allen Institute for AI（艾伦人工智能研究所）
Transformer背后的计算模型是什么？递归神经网络在有限状态机中有直接的相似之处，允许围绕架构变体或训练模型进行清晰的讨论和思考，而Transformers没有这样熟悉的相似之处。在本文中，我们的目标是改变，提出了一个计算模型的变压器编码器的形式的程序设计语言。我们将变换器编码器的基本组件--注意力和前馈计算--映射到简单的原语中，围绕这些原语，我们形成了一种程序设计语言：受限访问序列处理语言（RASP）。我们展示了如何RASP可以用来编程解决方案的任务，可以想象的是由一个Transformer学习，以及如何一个Transformer可以训练模仿RASP解决方案。特别是，我们提供RASP程序直方图，排序和戴克语言。我们进一步使用我们的模型，涉及他们的困难方面所需的层数和注意头：分析RASP程序意味着最大数量的头和层编码任务所需的Transformer。最后，我们看到如何从我们的抽象获得的见解可能被用来解释在最近的作品中看到的现象。
2021-07-19 cs.CL cs.LG
TEASEL: A Transformer-Based Speech-Prefixed Language Model
University of Tehran（德黑兰大学）
多模态语言分析是NLP的一个新兴领域，旨在同时对说话者的话语、声学注释和面部表情进行建模。在这一领域，词汇特征通常优于其他模态，因为它们是通过基于transformer的模型在大型语料库上预先训练的。尽管它们具有强大的性能，但由于数据不足，通常无法在任何模态上训练新的自监督学习（SSL）Transformer，这是多模态语言学习的情况。本文提出了一种基于transformer的语音前缀语言模型TEASEL，它可以在不训练完整的Transformer模型的情况下，逼近上述约束。与传统的语言模型相比，TEASEL模型除了包含语篇模态外，还包含了语音模态作为动态前缀。该方法利用传统的预训练语言模型作为跨模态Transformer模型。我们评估TEASEL的多模态情感分析任务定义的CMU-MOSI数据集。大量的实验表明，我们的模型优于单峰基线语言模型的4%，并优于目前的多模态国家的最先进的（SoTA）模型的F1分数的1%。此外，我们提出的方法比SoTA模型小72%。
2021-09-12 cs.AI cs.CL cs.LG
Language Models with Transformers
Amazon Web Services（亚马逊云科技）
Transformer架构在计算效率方面优于基于RNN的模型。最近，GPT和BERT在大规模语料库上使用预训练的语言模型证明了Transformer模型在各种NLP任务上的有效性。令人惊讶的是，这些Transformer架构对于语言模型本身来说是次优的。Transformer中的自我注意和位置编码都不能有效地结合对语言建模至关重要的单词级顺序上下文。在本文中，我们探索了用于语言模型的有效Transformer架构，包括添加额外的LSTM层以更好地捕获顺序上下文，同时仍然保持计算效率。我们提出了协调架构搜索（CAS）找到一个有效的架构，通过迭代细化的模型。在PTB、WikiText-2和WikiText-103上的实验结果表明，CAS在所有问题上都实现了20.42到34.11之间的困惑度，即与最先进的LSTM相比，平均提高了12.0个困惑度单位。源代码是公开的。
2019-10-17 cs.AI cs.CL cs.LG
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy（蒂鲁吉拉伯利国立理工学院）
基于transformer的预训练语言模型（PLM）开创了现代自然语言处理（NLP）的新纪元。这些模型结合了Transformers、迁移学习和自监督学习（SSL）的强大功能。随着这些模型在一般领域的成功，生物医学研究界开发了各种领域内的PLM，从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文，可以对各种基于transformer的生物医学预训练语言模型（BPLM）进行全面调查。在本调查中，我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念，如预训练方法，预训练任务，微调方法，以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类，然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后，我们强调了一些开放的问题，这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
Ouroboros: On Accelerating Training of Transformer-Based Language Models
Duke University（杜克大学）；University of Pittsburgh（匹兹堡大学）
语言模型对于机器翻译和文本摘要等自然语言处理（NLP）任务至关重要。最近，通过一个基于transformer的语言模型（具有超过10亿个参数），在许多NLP领域中展示了显着的性能，验证了模型大小的好处。如果一个模型太大而无法容纳在单个计算设备中，则需要模型并行。当前的模型并行方法要么在反向传播中遭受反向锁定，要么不适用于语言模型。我们提出了第一个模型并行算法，加快了基于transformer的语言模型的训练。我们还证明了我们提出的算法是保证收敛到临界点的非凸问题。在Transformer和Transformer-XL语言模型上的大量实验表明，该算法获得了比数据并行更快的加速比，并且具有相当或更好的精度。重现实验的代码见\url{https://github.com/LaraQianYang/Ouroboros}。
2019-09-14 cs.CL cs.LG stat.ML
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale
DeepMind（深度思维）；University of Oxford（牛津大学）
我们介绍了Transformer语法（TG），一类新的Transformer语言模型，结合（i）的表达能力，可扩展性，和强大的性能的Transformers和（ii）递归语法组合，这在这里是通过一个特殊的注意掩码和确定性变换的线性树。我们发现，TG优于各种强大的基线上的高级语言建模的困惑，以及多个语法敏感的语言建模评估指标。此外，我们发现，递归的句法组合瓶颈，代表每个句子作为一个单一的向量损害困惑的文档级语言建模，提供证据表明，一种不同的记忆机制-一个是独立的组成的句法表示-在当前成功的模型中起着重要作用的长文本。
2022-12-06 cs.CL
IndT5: A Text-to-Text Transformer for 10 Indigenous Languages
The University of British Columbia（不列颠哥伦比亚大学）
Transformer语言模型已经成为基于管道的自然语言处理的基本组件。虽然已经引入了几个Transformer模型来服务于许多语言，但缺乏针对低资源和土著语言进行预训练的模型。在这项工作中，我们介绍了IndT 5，第一个Transformer语言模型的土著语言。为了训练IndT 5，我们建立了IndCorpus--一个包含十种土著语言和西班牙语的新数据集。我们还介绍了IndT 5在机器翻译中的应用，通过研究西班牙语和土著语言之间的不同翻译方法，作为我们对AmericasNLP 2021开放机器翻译共享任务的贡献的一部分。IndT 5和IndCorpus可公开用于研究
2021-04-27 cs.CL
Why transformers are obviously good models of language
本文通过建立 Transformer 架构与语言理论之间的直接联系，论证其经验成功说明所体现的语言路径值得语言学界重视并可视为当前最佳理论。
2024-08-07 cs.CL
Multilingual Transformer Language Model for Speech Recognition in Low-resource Languages
Microsoft（微软）
训练和部署Transformer LM用于低资源语言的混合语音识别第二遍重新排序是具有挑战性的，这是由于（1）低资源语言的数据稀缺，（2）训练和刷新100多个单语模型的昂贵计算成本，以及（3）考虑到稀疏流量，托管效率低下。在这项研究中，我们提出了一种新的方法来组多个低资源的地区在一起，并优化性能的多语言Transformer LM在ASR。我们的本地组多语言Transformer LM在降低维护成本和运营费用方面优于传统的多语言LM。此外，对于低资源，但高流量的地区，部署单语模型是可行的，我们表明，微调我们的本地组多语言LM产生更好的单语LM候选人比基线单语LM。
2022-09-08 cs.CL
Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics
University of California San Diego（加州大学圣迭戈分校）
本文证明当代循环模型（如RWKV和Mamba）在建模在线人类语言理解指标上能匹敌甚至超越同等规模的Transformer，表明Transformer并非唯一适用架构，为模型架构与人类语言理解关系的辩论开辟了新方向。
2024-08-26 cs.CL
Comparison of different Unique hard attention transformer models by the formal languages they can recognize
Leonid Ryvkin（独立研究者）
本文综述了不同唯一硬注意力Transformer编码器识别形式语言的能力，比较了掩码、图像和注意力评分函数等设置，并给出逻辑与电路复杂度方面的上下界。
2025-06-03 cs.CL cs.FL cs.LG
Vision Language Transformers: A Survey
Boise State University（博伊西州立大学）
本文综述了视觉语言Transformer的研究现状，系统梳理了基于预训练Transformer架构的视觉语言建模方法，分析了其优势、局限性及待解决的开放问题。
2023-07-06 cs.AI cs.CL cs.CV
GiLT: Augmenting Transformer Language Models with Dependency Graphs
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（智能视觉与成像上海工程研究中心）
GiLT通过依赖图增强Transformer语言模型，提升语法泛化能力，同时保持竞争力的困惑度，且能通过微调提升下游任务表现。
2026-05-15 cs.CL
Transformer Working Memory Enables Regular Language Reasoning and Natural Language Length Extrapolation
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
针对Transformer难以建模正则语言的问题，提出RegularGPT变体，通过权重共享、自适应深度和滑动膨胀注意力构建工作记忆，成功建模PARITY等正则语言，并在长度外推中重现局部窗口注意力效应。
2023-05-05 cs.CL
American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM
Institut Teknologi Sepuluh Nopember（十一月理工学院）
本研究针对手语转文本翻译任务，对比了Transformer与Seq2Seq模型的性能，还测试了添加ResidualLSTM的Transformer效果，发现纯Transformer表现优于Seq2Seq，添加ResidualLSTM反而降低性能。
2024-09-17 cs.CL
Field-testing items using artificial intelligence: Natural language processing with transformers
Smarter Balanced（智能平衡组织）
本研究通过让RoBERTa模型的5000个变体完成29道多选题的英语读写考试，测试了项目的心理测量学属性，发现其与人类考生数据具有一定一致性。
2023-10-18 cs.CL
Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出依存Transformer文法（DTGs），通过修改注意力掩码、相对位置编码和嵌入组合将依存结构集成到Transformer语言模型中，实验表明DTGs在保持相当困惑度的同时实现了更好的泛化并优于基于成分的模型。
2024-07-24 cs.AI cs.CL
The Chess Transformer: Mastering Play using Generative Language Models
PeopleTec；Auburn University（奥本大学）
这项工作表明，自然语言Transformers可以支持更通用的战略建模，特别是对文本存档的游戏。除了学习自然语言技能之外，抽象的Transformer架构还可以在棋盘上生成有意义的移动。通过进一步的微调，Transformer通过在Portable Game Notation中对280万盘国际象棋进行训练来学习复杂的游戏玩法。经过30，000个训练步骤后，OpenAI的生成式预训练Transformer（GPT-2）优化了7.74亿个参数的权重。这款经过微调的国际象棋Transformer可以生成合理的策略，并显示可识别为经典开局的游戏阵型，例如英语或斯拉夫交换。最后，在现场比赛中，新模型展示了一个人对Transformer的界面，正确过滤非法移动，并提供了一种新的方法来挑战Transformer的象棋策略。我们预计未来的工作将建立在这个Transformer的承诺，特别是在其他战略游戏中，功能可以捕获简单但富有表现力的玩家注释的基础复杂的规则语法。
2020-09-18 cs.AI cs.CL cs.GT
Finnish Language Modeling with Deep Transformer Models
Aalto University（阿尔托大学）
Transformers最近在语言建模中占据了中心地位，因为LSTM被认为是长期以来占主导地位的模型架构。在这个项目中，我们调查的性能的Transformer架构BERT和Transformer-XL的语言建模任务。我们使用芬兰语的子词模型设置，并将其与之前的最新技术水平（SOTA）LSTM模型进行比较。BERT达到了14.5的伪困惑分数，这是我们所知道的第一个这样的指标。Transformer-XL将困惑分数提高到73.58，比LSTM模型高出27%。
2020-03-27 cs.CL cs.LG cs.SD
What Context Features Can Transformer Language Models Use?
Massachusetts Institute of Technology（麻省理工学院）
基于transformer的语言模型受益于对数百到数千个先前标记的上下文的调节。这些上下文的哪些方面有助于准确的模型预测？我们描述了一系列的实验，测量可用的信息，有选择地消融词汇和结构信息的Transformer语言模型上训练的英语维基百科。在中、长范围的语境中，我们发现一些极具破坏性的语境操作--包括打乱句子中的词序和删除除名词以外的所有单词--只删除了不到15%的可用信息。我们的研究结果表明，长的上下文，但不是他们详细的句法和命题内容，是重要的低困惑电流Transformer语言模型。
2021-06-15 cs.CL
Characterizing the Expressivity of Fixed-Precision Transformer Language Models
本研究通过分析固定精度变换器的表达能力，发现其与线性时间逻辑中单一时间运算符的片段一致，并通过实验证明其在语言泛化中的表现。
2025-12-02 cs.CL
A Transformer with Stack Attention
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
针对Transformer无法建模许多上下文无关语言任务的局限，提出为其增加可微的基于栈的注意力机制，该机制可集成到任意Transformer语言模型中并提升可解释性，能让Transformer建模部分确定性上下文无关语言。
2024-05-13 cs.CL
Interactively Providing Explanations for Transformer Language Models
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
Transformer语言模型是众多NLP任务中的最新技术。尽管取得了这些成功，但其不透明性仍然是个问题。最近的方法，旨在提供可解释性和可解释性的黑箱模型主要集中在事后解释（有时是虚假的）输入输出相关性。相反，我们强调使用原型网络直接纳入模型架构，从而解释网络决策背后的推理过程。我们的架构与几个语言模型表现相当，而且，使学习用户交互。这不仅提供了对语言模型的更好理解，而且还利用人类的能力来整合纯数据驱动方法的严格范围之外的知识。
2022-03-11 cs.AI cs.CL cs.LG
Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding
The University of Tokyo（东京大学）
本文通过构造性证明表明，无需特定位置编码，Transformer 仅依赖因果掩码和起始标记即可高效识别与生成层级语言，并指出显式位置编码可能对序列长度泛化产生不利影响。
2024-10-16 cs.CL
Detecting out-of-distribution text using topological features of transformer-based language models
University of Melbourne（墨尔本大学）；Deakin University（迪肯大学）
本研究利用Transformer语言模型自注意力映射的拓扑特征检测分布外文本，在BERT上验证，优于CLS嵌入，尤其擅长区分远域外样本，但近域或同域数据上表现有限。
2024-07-18 cs.CL cs.LG math.AT
Retrofitting Structure-aware Transformer Language Model for End Tasks
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
我们考虑改造结构感知的transformer为基础的语言模型，以促进最终任务，建议利用句法距离编码到语言模型的短语选区和依存关系连接。采用中间层结构化学习策略进行结构整合，在多任务学习模式下进行主要语义任务训练。实验结果表明，改进后的结构感知Transformer语言模型在提高复杂度的同时，能够准确地归纳出句法短语.通过执行结构感知的微调，我们的模型实现了语义和句法依赖的任务显着改善。
2020-09-16 cs.CL
Cross-lingual Zero- and Few-shot Hate Speech Detection Utilising Frozen Transformer Language Models and AXEL
University of Augsburg（奥格斯堡大学）；TU Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）
检测仇恨言论，特别是在低资源语言中，是一个不小的挑战。为了解决这个问题，我们开发了一个定制的架构，该架构基于冻结的、预训练的Transformers，以在HatEval挑战数据集上检查跨语言zero-shot和少样本学习以及单语言学习。与我们的新的注意力为基础的分类块AXEL，我们表现出高度竞争力的英语和西班牙语子集的结果。我们还对英语子集进行了重新采样，以便在未来进行更多有意义的比较。
2020-04-13 cs.CL cs.LG stat.ML
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing
Carnegie Mellon University（卡内基梅隆大学）；Google AI Brain Team（谷歌人工智能大脑团队）
随着语言预训练的成功，人们非常希望开发更有效的可扩展性更好的架构，可以以更低的成本利用丰富的未标记数据。为了提高效率，我们研究了在维护全长令牌级演示时被忽视的冗余，特别是对于只需要序列的单向量演示的任务。基于这种直觉，我们提出了漏斗变换器，它逐渐将隐藏状态的序列压缩到一个较短的序列，从而降低了计算成本。更重要的是，通过将长度减少节省的FLOP重新投资于构建更深或更宽的模型，我们进一步提高了模型容量。此外，为了执行常见预训练目标所需的令牌级预测，Funnel-Transformer能够通过解码器从减少的隐藏序列中恢复每个令牌的深度表示。从经验上看，在具有相当或更少的FLOP的情况下，Funnel-Transformer在各种序列级预测任务上都优于标准的Transformer，包括文本分类、语言理解和阅读理解。代码和预先训练的检查点可在https://github.com/laiguokun/Funnel-Transformer上获得。
2020-06-05 cs.CL cs.LG stat.ML
Transformer-based Korean Pretrained Language Models: A Survey on Three Years of Progress
Soongsil University（崇实大学）
随着2017年在翻译模型中使用的Transformer的出现，基于注意力的架构开始受到关注。此外，在BERT（它加强了NLU特定的编码器部分，这是Transformer的一部分）和GPT架构（它加强了NLG特定的解码器部分）出现之后，各种用于学习预训练语言模型的方法、数据和模型开始出现。此外，在过去的三年中，出现了各种专门针对韩语的预训练语言模型。在本文中，我们打算从数量和质量上比较和分析各种韩国PLM发布给公众。
2021-11-25 cs.CL
Developmental Negation Processing in Transformer Language Models
University of South Florida（南佛罗里达大学）
使用否定的推理对于基于转换器的语言模型来说是困难的。虽然之前的研究已经使用心理语言学工具来探讨Transformer推理否定的能力，但没有人关注发展心理学中研究的否定类型。我们探讨如何以及Transformers可以处理这些类别的否定，通过框架的问题作为一个自然语言推理（NLI）的任务。我们从流行的NLI数据集中为我们的目标类别策划了一组诊断问题，并评估了一套模型对它们的推理能力。我们发现，模型只在某些类别上表现得更好，这表明它们在处理方式上有明显的区别。
2022-04-29 cs.CL
