Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon（俄勒冈大学）
我们介绍Trankit，一个轻量级的基于transformer的多语言自然语言处理（NLP）工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道，并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上，在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道，同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer，我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的，其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在：http://nlp.uoregon.edu/trankit。最后，我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Corporate Model Risk, Wells Fargo（富国银行企业模型风险部）
近年来，在自然语言处理甚至在计算机视觉中越来越多地采用Transformer模型，例如BERT。然而，由于它们的大小，在资源受限的计算环境中，这种模型的采用有限。提出了一种新的剪枝算法，通过消除冗余的注意头来压缩Transformer模型。我们应用A* 搜索算法来获得具有严格精度保证的修剪模型。实验结果表明，该方法可以消除BERT Transformer模型中多达40%的注意头，而不损失准确性。
2021-11-17 cs.CL cs.LG
The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures
University of Bridgeport（桥港大学）
近年来，自然语言处理（NLP）模型在语言和语义任务中取得了惊人的成功，如文本分类、机器翻译、认知对话系统、通过自然语言理解（NLU）的信息检索和自然语言生成（NLG）。这一壮举主要归功于开创性的Transformer架构，导致了BERT，GPT（I，II，III）等设计，虽然这些大尺寸的模型已经取得了前所未有的性能，他们在高计算成本。因此，最近的一些NLP架构已经利用了迁移学习、修剪、量化和知识蒸馏的概念来实现适度的模型大小，同时保持与其前辈几乎相似的性能。此外，为了从知识提取的角度减轻由语言模型引起的数据大小挑战，已经构建了知识检索器以更高的效率和准确性从大型数据库语料库中提取显式数据文档。最近的研究也集中在通过对较长的输入序列提供有效的注意力来进行高级推理。在本文中，我们总结并研究了当前最先进的（SOTA）NLP模型，这些模型已用于众多NLP任务，以获得最佳性能和效率。我们提供了对不同架构的详细理解和功能，NLP设计的分类，比较评估以及NLP的未来方向。
2021-04-24 cs.CL cs.LG
Automated essay scoring using efficient transformer-based language models
Cambium Assessment, Inc.（坎比姆评估公司）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
自动作文评分（AES）是一项跨学科的工作，涉及教育，语言学和自然语言处理（NLP）。AES中NLP模型的有效性测试了它评估长期依赖性和推断含义的能力，即使文本写得很差。大型预训练的基于transformer的语言模型在许多NLP任务中占据了主导地位，然而，这些模型的计算要求使得它们在实践中部署起来非常昂贵。本文的目标是挑战NLP中的范式，即AES越大越好。为此，我们评估了几个微调的预训练NLP模型的性能，这些模型在AES数据集上具有适度数量的参数。通过集成我们的模型，我们比大多数基于transformer的预训练模型使用更少的参数获得了出色的结果。
2021-02-25 cs.CL cs.LG
Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks
Lehigh University（理海大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（赛富时研究院）；Hangzhou Dianzi University（杭州电子科技大学）
Mixup是一种最新的数据增强技术，它对输入示例和相应的标签进行线性插值。它通过在像素级对图像进行插值，在图像分类中显示出很强的有效性。受这条研究路线的启发，在本文中，我们探讨了i）如何将mixup应用于自然语言处理任务，因为文本数据很难以原始格式混合; ii）如果mixup在基于transformer的学习模型中仍然有效，例如，BERT。为了实现这一目标，我们将mixup合并到基于transformer的预训练架构中，名为“mixup-transformer”，用于广泛的NLP任务，同时保持整个端到端的训练系统。我们通过在GLUE基准上进行广泛的实验来评估所提出的框架。此外，我们还通过以一定比例减少训练数据来检查混合变换器在低资源场景中的性能。我们的研究表明，mixup是一种与预训练语言模型无关的领域数据增强技术，可以显著提高基于transformer的模型的性能。
2020-11-10 cs.CL cs.LG
Multi-task Active Learning for Pre-trained Transformer-based Models
Technion, IIT（以色列理工学院）
多任务学习，其中多个任务由单个模型联合学习，允许NLP模型共享来自多个注释的信息，并且当任务相互关联时，可以促进更好的预测。然而，这种技术需要用多个注释方案来注释相同的文本，这可能是昂贵且费力的。主动学习（AL）已被证明可以通过迭代选择注释对NLP模型最有价值的未标记示例来优化注释过程。然而，多任务主动学习（MT-AL）尚未应用于最先进的预训练的基于transformer的NLP模型。本文旨在缩小这一差距。我们探讨了各种多任务选择标准在三个现实的多任务场景，反映不同的参与任务之间的关系，并证明了多任务相比，单任务选择的有效性。我们的研究结果表明，MT-AL可以有效地用于最大限度地减少多任务NLP模型的注释工作。
2022-10-28 cs.CL cs.HC cs.LG
Extracting Qualitative Causal Structure with Transformer-Based NLP
SIFT；Northeastern University（东北大学）
定性因果关系复杂地表达了世界上离散或连续相互作用的方向、依赖性、时间约束和单调性约束。在日常或学术语言中，我们可以表达数量之间的相互作用（例如，睡眠减少压力），在离散事件或实体之间（例如，一种蛋白质抑制另一种蛋白质的转录），或者在有意的或功能性的因子之间（例如，医院的病人祈祷减轻他们的痛苦）。本文提出了一种基于transformer的NLP架构，该架构联合识别和提取（1）语言中描述的变量或因素，（2）这些变量的定性因果关系，以及（3）约束这些因果关系的限定符和量值。我们展示了这种方法，并在两个用例中包括有希望的结果，处理来自学术出版物，新闻文章和社交媒体的文本输入。
2021-08-20 cs.CL cs.LG
PALI-NLP at SemEval-2022 Task 4: Discriminative Fine-tuning of Transformers for Patronizing and Condescending Language Detection
Ping An Life Insurance Company of China, Ltd.（中国平安人寿保险股份有限公司）
Patronizing and Condensing Language（PCL）具有很大的有害影响，并且对于人类法官和现有的NLP系统都难以检测。在SemEval-2022任务4中，我们提出了一种新的基于transformer的模型及其集成，以准确理解PCL检测的语言上下文。为了促进对PCL的微妙和主观性质的理解，两个微调策略被应用于捕捉不同的语言行为和分类分布的歧视性特征。该系统在官方排名中取得了显著的成绩，包括子任务1的第一名和子任务2的第五名。大量的实验任务证明了我们的系统和策略的有效性。
2022-07-16 cs.AI cs.CL
Transformers: "The End of History" for NLP?
HSE University（高等经济大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
神经架构的最新进展，如Transformer，加上大规模预训练模型（如BERT）的出现，彻底改变了自然语言处理（NLP）领域，推动了许多NLP任务的发展。已经提出了这些模型的丰富的变体系列，例如RoBERTa，ALBERT和XLNet，但从根本上讲，它们在对某些类型的信息建模的能力方面仍然有限，并且它们无法处理某些信息源，这对于先前存在的模型来说很容易。因此，在这里，我们的目标是阐明一些重要的理论限制的预训练的BERT风格的模型，这是固有的一般Transformer架构。首先，我们在实践中证明了两种一般类型的任务-分割和段标记-以及四个数据集，这些限制确实是有害的，即使以一些非常简单和天真的方式解决它们，也可以比香草RoBERTa和XLNet模型产生相当大的改进。然后，我们对未来添加到Transformer架构中以提高其表现力的必要性进行了更一般的讨论，我们希望这可以帮助设计下一代深度NLP架构。
2021-09-23 cs.CL cs.IR cs.LG
Introduction to Transformers: an NLP Perspective
NLP Lab., Northeastern University, Shenyang, China（东北大学沈阳分校自然语言处理实验室）；NiuTrans Research, Shenyang, China（尼utrans研究院）
本文从NLP视角介绍Transformer的基本概念、标准架构、模型改进及常见应用，总结影响该领域的关键思想，并探讨其优势与局限。
2026-07-03 cs.AI cs.CL cs.LG
The Double Helix inside the NLP Transformer
World Wide Technology（世界宽科技公司）
提出NLP Transformer信息分析框架，区分四层信息并用Linear-and-Add方法替代次优的位置加法，揭示了位置信息在深层呈螺旋分离及词性聚类现象，为理解深层信息处理提供了新途径。
2023-06-23 cs.AI cs.CL
Transformer Vs. MLP-Mixer: Exponential Expressive Gap For NLP Problems
Technion（以色列理工学院）
视觉转换器广泛用于各种视觉任务。与此同时，还有另一条工作线，从MLP混频器开始，试图使用基于MLP的架构实现类似的性能。有趣的是，到目前为止，这些基于mlp的架构还没有适应NLP任务。此外，到目前为止，基于mlp的架构在视觉任务中未能实现最先进的性能。在这篇文章中，我们分析了基于mlp的体系结构在同时对多个不同输入之间的依赖关系建模时的表现力，并显示了注意力和基于mlp的机制之间的指数差距。我们的研究结果为mlp无法与NLP问题中基于注意力的机制竞争提供了理论解释，他们还表明，视觉任务中的性能差距可能是由于mlp在建模多个不同位置之间的依赖关系时相对薄弱，并且将智能输入排列与mlp架构相结合可能不足以单独缩小性能差距。
2022-11-17 cs.CL cs.CV cs.LG
Understanding the Failure of Batch Normalization for Transformers in NLP
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
批量归一化（BN）是加速深度神经网络训练和提高计算机视觉（CV）任务泛化能力的核心和流行技术。然而，它未能捍卫自己的地位，在自然语言处理（NLP），这是占主导地位的层归一化（LN）。在本文中，我们试图回答为什么BN通常在Transformer模型的NLP任务中表现得比LN差。我们发现，BN的训练和推理之间的不一致性是导致BN在NLP中失败的主要原因。我们定义了训练推理离散度（TID）来定量测量这种不一致性，并揭示TID可以指示BN的性能，并得到广泛实验的支持，包括图像分类，神经机器翻译，语言建模，序列标记和文本分类任务。我们发现，BN可以获得更好的测试性能比LN时，TID通过训练保持小。为了抑制TID的爆炸，我们提出了正则化BN（RBN），它添加了一个简单的正则化项来缩小BN的批统计和总体统计之间的差距。RBN始终如一地提高了BN的性能，在20个设置中的17个设置上优于LN或与LN相当，涉及10个数据集和Transformer的两个常见变体。https://github.com/wjxts/RegularizedBN
2022-10-11 cs.CL cs.LG
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University（复旦大学）
双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务的模型中的编码器。近年来，由于其并行性和优越的性能，Transformer在各种自然语言处理（NLP）任务中被广泛采用。然而，Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中，我们提出了TENER，NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力，我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models
Zhejiang University（浙江大学）
针对NLP模型动态后门检测研究空白，提出CLIBE框架，通过注意力层少样本权重扰动及泛化性检测动态后门，经多场景验证有效且具鲁棒性，还可扩展检测文本生成模型后门。
2024-09-11 cs.CL cs.CR cs.LG
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
Semantic Communication with Adaptive Universal Transformer
随着深度学习（DL）的发展，自然语言处理（NLP）使我们能够分析和理解大量的语言文本。因此，我们可以实现语义通信的联合语义源和信道编码在噪声信道的帮助下。然而，现有的实现这一目标的方法是使用NLP的固定Transformer，而忽略了每个句子所包含的语义信息的差异。针对这一问题，提出了一种基于通用Transformer的语义通信系统。与传统的Transformer相比，通用Transformer引入了自适应循环机制。通过引入循环机制，新的语义通信系统可以更灵活地传输不同语义信息的句子，在各种信道条件下实现更好的端到端性能。
2021-11-29 cs.CL eess.SP
BCH-NLP at BioCreative VII Track 3: medications detection in tweets using transformer networks and multi-task learning
Computational Health Informatics Program, Boston Children's Hospital（波士顿儿童医院计算健康信息学项目）；Department of Pediatrics, Harvard Medical School（哈佛医学院儿科学系）
在本文中，我们介绍了我们参与BioCreative VII Track 3的工作-自动提取推文中的药物名称，在那里我们实现了一个多任务学习模型，该模型在文本分类和序列标签上进行了联合训练。我们最好的系统跑取得了80.4的严格F1，排名第一，比所有参赛者的平均分高出10分以上。我们的分析表明，集成技术，多任务学习，和数据增强都有利于药物检测推文。
2021-11-26 cs.CL cs.LG
Empirical Evaluation of Pre-trained Transformers for Human-Level NLP: The Role of Sample Size and Dimensionality
Stony Brook University（石溪大学）
本文系统评估预训练 Transformer 在小样本人类层面 NLP 任务中的表现，发现预训练降维可缓解微调困难，RoBERTa 表现最佳，且多数任务仅需 1/12 嵌入维度。
2021-05-07 cs.CL
IUST_NLP at SemEval-2023 Task 10: Explainable Detecting Sexism with Transformers and Task-adaptive Pretraining
Iran University of Science and Technology（伊朗科技大学）
本研究针对 SemEval-2023 任务 10，提出基于 Transformer 的预训练模型，结合任务自适应预训练与集成学习，用于在线性别歧视检测，在子任务 A、B、C 上分别获得 83%、64%、47% 的 F1 分数。
2023-05-11 cs.CL
Legal Transformer Models May Not Always Help
EPFL（洛桑联邦理工学院）
基于深度学习的自然语言处理方法，尤其是Transformers，在过去几年取得了令人印象深刻的表现。将这些最先进的NLP方法应用于法律活动，以自动化或简化一些简单的工作，具有重要的价值。本文研究了领域自适应预训练和语言适配器在法律NLP任务中的价值。通过比较语言模型与领域自适应预训练在不同任务和不同数据集分割上的性能，我们表明领域自适应预训练仅对低资源下游任务有帮助，因此远非万能药。我们还在一个典型的合法NLP任务中对适配器的性能进行了基准测试，并表明它们可以以更小的训练成本产生与完整模型调优相似的性能。作为一个额外的结果，我们发布了LegalRoBERTA，这是一个在法律语料库上进一步预训练的RoBERTA模型。
2021-09-15 cs.CL
Extracting Thyroid Nodules Characteristics from Ultrasound Reports Using Transformer-based Natural Language Processing Methods
University of Florida（佛罗里达大学）；Mayo Clinic Rochester（梅奥诊所罗切斯特院区）
本研究比较了BERT、RoBERTa、LongFormer、DeBERTa和GatorTron等5种基于Transformer的NLP模型，从超声报告中提取16项甲状腺结节特征，GatorTron表现最佳，为评估超声报告质量和患者结局奠定基础。
2023-03-31 cs.CL
On Robustness of Finetuned Transformer-based NLP Models
NIT Warangal（瓦朗加尔国家理工学院）；IIIT Hyderabad（海得拉巴国际信息技术学院）；Microsoft（微软）；INRIA（法国国家信息与自动化研究所）
该研究用CKA、STIR指标刻画预训练与微调Transformer模型各层表示变化，对比BERT、GPT-2、T5在多任务多扰动下的鲁棒性，发现GPT-2鲁棒性更优，名词/动词删除、字符修改影响最大，并公开相关代码模型。
2023-11-08 cs.CL
Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey
doXray B.V.（doXray有限公司）
本文综述 NLP 中基于 Transformer 的多任务学习方法，并从数据工程、开发、部署到监控的机器学习生命周期分析其挑战与机遇，同时倡导结合持续学习。
2023-08-16 cs.AI cs.CL cs.LG
NLP-CUET@DravidianLangTech-EACL2021: Offensive Language Detection from Multilingual Code-Mixed Text using Transformers
Chittagong University of Engineering and Technology（吉大港工程技术大学）
互联网的日益普及促进了社交媒体的使用，并鼓励个人自由表达意见。然而，它也为内容污染者传播攻击性帖子或内容创造了一个场所。大多数此类攻击性帖子都是以跨语言的方式编写的，可以轻松逃避在线监控系统。本文提出了一个自动化系统，可以识别攻击性文本从多语言代码混合数据。在这项任务中，数据集以三种语言提供，包括泰米尔语，马拉雅拉姆语和卡纳达语代码与英语混合，要求参与者为每种语言实现单独的模型。为了完成这些任务，我们采用了两种机器学习技术（LR，SVM），三种深度学习（LSTM，LSTM+Attention）技术和三种基于Transformers器（m-BERT，Indic-BERT，XLM-R）的方法。结果表明，XLM-R在泰米尔语和马拉雅拉姆语中的表现优于其他技术，而m-BERT在卡纳达语中得分最高。所提出的模型获得了加权$f_1$得分$0.76$（泰米尔语），$0.93$（马拉雅拉姆语）和$0.71$（卡纳达语）与等级分别为$3^{rd}$，$5^{th}$和$4^{th}$。
2021-02-28 cs.CL
UTSA NLP at SemEval-2022 Task 4: An Exploration of Simple Ensembles of Transformers, Convolutional, and Recurrent Neural Networks
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
通过使用带有优越感的居高临下和居高临下的语言来表现出善良或乐于助人的行为可能会对那些经历过它的人产生严重的心理健康影响。因此，在线检测这种居高临下和居高临下的语言对于在线审核系统可能是有用的。因此，在本文中，我们描述了由UTSA SemEval-2022任务4开发的系统，检测光顾和居高临下的语言。我们的方法探索了几种深度学习架构的使用，包括RoberTa、卷积神经网络和双向长短期记忆网络。此外，我们探索简单而有效的方法来创建集成的神经网络模型。总的来说，我们对几个集成模型进行了实验，发现五个RoBERTa模型的简单组合在开发数据集上获得了.6441的F分数，在最终测试数据集上获得了.5745的F分数。最后，我们还进行了全面的误差分析，以更好地了解模型的局限性，并为进一步的研究提供思路。
2022-03-28 cs.CL
Comparative Efficiency Analysis of Lightweight Transformer Models: A Multi-Domain Empirical Benchmark for Enterprise NLP Deployment
School of Computing and Mathematics（计算与数学学院）
本文比较了DistilBERT、MiniLM和ALBERT三种轻量级Transformer模型在多领域任务中的效率与准确率，发现MiniLM在推理速度最佳，DistilBERT在任务准确性最均衡，ALBERT在资源受限环境下表现最优。
2026-01-01 cs.CL
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut（贝鲁特美国大学）
阿拉伯语是一种形态丰富的语言，与英语相比，资源相对较少，语法探索较少。考虑到这些限制，阿拉伯语自然语言处理（NLP）任务，如情感分析（SA）、命名实体识别（NER）和问答（QA），已经被证明是非常具有挑战性的。最近，随着基于Transformers的模型的激增，基于语言特定的BERT的模型已经被证明在语言理解方面非常有效，只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中，我们专门针对阿拉伯语预先训练了BERT，以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明，新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开，希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
Lite Transformer with Long-Short Range Attention
Shanghai Jiao Tong University（上海交通大学）；Massachusetts Institute of Technology（麻省理工学院）
Transformer在自然语言处理（例如，机器翻译、问答）;然而，它需要大量的计算来实现高性能，这使得它不适合于受到硬件资源和电池严格限制的移动应用。在本文中，我们提出了一个有效的移动NLP架构，精简版Transformer，以方便部署移动NLP应用程序的边缘设备。关键的原语是长短距离注意力（LSRA），其中一组头部专门用于本地上下文建模（通过卷积），而另一组专门用于长距离关系建模（通过注意力）。这种专门化在三个成熟的语言任务上带来了比普通Transformer一致的改进：机器翻译、抽象摘要和语言建模。在有限的资源（500 M/100 M MAC）下，Lite Transformer在WMT'14英语-法语上的性能分别优于Transformer 1.2/1.7 BLEU。Lite Transformer将Transformer基础模型的计算量减少了2.5倍，BLEU评分降低了0.3。结合修剪和量化，我们进一步将Lite Transformer的模型大小压缩了18.2倍。对于语言建模，Lite Transformer在大约500 M MAC时实现了比Transformer低1.8的困惑。值得注意的是，Lite Transformer在移动NLP设置中的BLEU比基于AutoML的Evolved Transformer高0.5倍，而无需进行需要超过250年GPU的昂贵架构搜索。代码已…
2020-04-24 cs.CL
PowerNorm: Rethinking Batch Normalization in Transformers
UC Berkeley（加州大学伯克利分校）
用于自然语言处理（NLP）中的神经网络（NN）模型的标准归一化方法是层归一化（LN）。这与计算机视觉中广泛采用的批量归一化（BN）不同。在NLP中优先使用LN主要是由于经验观察，即BN的（天真/香草）使用会导致NLP任务的性能显着下降;然而，对此的根本原因的透彻理解并不总是显而易见的。在本文中，我们进行了系统的研究NLP Transformer模型，以了解为什么BN有一个穷人的性能，相比LN。我们发现，在整个训练过程中，NLP数据在批次维度上的统计数据表现出很大的波动。如果BN被简单地实现，这会导致不稳定性。为了解决这个问题，我们提出了功率归一化（PN），这是一种新的归一化方案，它通过以下方式解决了这个问题：（i）放松BN中的零均值归一化，（ii）采用运行二次均值而不是每批统计数据来稳定波动，以及（iii）使用近似反向传播将运行统计数据纳入前向传递。我们从理论上表明，在温和的假设下，PN导致一个较小的Lipschitz常数的损失，与BN相比。此外，我们证明了近似的反向传播方案导致有界梯度。我们在一系列NLP任务上广泛测试了Transformers的PN，我们表明它的性能明显优于LN和BN。具体而言，PN在IWSLT 14/WMT 14上以0.4/0.6 BLEU优于LN，在PTB/WikiText-103上以5.6/3.0 PPL优于LN。我们在\url{https://githu…
2020-06-28 cs.CL cs.LG
Exploring the Performance and Efficiency of Transformer Models for NLP on Mobile Devices
National Technical University of Athens（雅典国立技术大学）；Samsung AI Center（三星人工智能中心）
针对Transformer模型难以在移动设备高效部署的问题，构建代表性模型基准，在不同算力的移动设备上评估其性能，发现Transformer对加速器不友好，需软硬件优化以实现高效部署。
2023-06-20 cs.CL cs.LG
Evaluating Transformer-Based Multilingual Text Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
随着NLP工具在当今的技术领域变得无处不在，它们越来越多地应用于具有各种类型结构的语言。然而，NLP研究并不主要集中在其分析最先进的语言模型的类型学差异。因此，NLP工具在具有不同句法和形态结构的语言中表现不平等。通过对词序类型学、形态类型学和比较语言学的详细讨论，我们确定了哪些变量最影响语言建模效果;此外，我们计算了词序和形态相似性指数，以帮助我们的实证研究。然后，我们使用这个背景来支持我们的分析，我们进行的实验，使用多类文本分类的八种语言和八个模型。
2020-04-30 cs.CL
IrEne: Interpretable Energy Prediction for Transformers
Stony Brook University（石溪大学）
现有的基于软件的NLP模型的能量测量是不准确的，因为它们没有考虑能量消耗和模型执行之间的复杂相互作用。我们提出了IrEne，一个可解释和可扩展的能量预测系统，可以准确预测各种基于transformer的NLP模型的推理能耗。IrEne构建了一个模型树图，将NLP模型分解为模块，这些模块进一步分解为低级机器学习（ML）原语。IrEne将ML原语的推理能耗预测为可泛化特征和细粒度运行时资源使用的函数。然后，IrEne递归地聚合这些低级预测，以预测每个模块的能量，并最终预测整个模型的能量。跨多个Transformer模型的实验表明，IrEne预测Transformer模型的推理能耗，与地面实况相比，误差低于7%。相比之下，现有的能源模型的误差超过50%。我们还展示了IrEne如何用于进行能源瓶颈分析，并轻松评估不同建筑选择的能源影响。我们在https://github.com/StonyBrookNLP/irene上发布代码和数据。
2021-06-02 cs.CL
The Role of Complex NLP in Transformers for Text Ranking?
University of Amsterdam（阿姆斯特丹大学）
尽管基于术语的方法（如BM 25）在排名中提供了强大的基线，但在某些条件下，它们由大型预训练的掩蔽语言模型（MLM）（如BERT）主导。迄今为止，其效力的来源仍不清楚。是他们通过建模句法方面来真正理解意义的能力吗？我们通过操纵输入顺序和位置信息来回答这个问题，这种方式破坏了查询和通道的自然顺序，并表明该模型仍然具有相当的性能。总体而言，我们的研究结果强调，句法方面不发挥关键作用的有效性重新排名与BERT。我们指出，其他机制，如查询通道交叉注意和更丰富的嵌入，捕捉单词的含义的基础上聚合的上下文，而不管单词的顺序是其优越的性能的主要属性。
2022-07-06 cs.AI cs.CL
A Review of Bangla Natural Language Processing Tasks and the Utility of Transformer Models
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Cognitive Insight Limited（认知洞察有限公司）；BJIT Limited（BJIT有限公司）；Dhaka University（达卡大学）
孟加拉语是世界上使用最广泛的第六种语言（https：//www.ethnologue.com/guides/ethnologue200），有2.3亿人以孟加拉语为母语，但在自然语言处理（NLP）社区中，孟加拉语仍然被认为是一种低资源语言。经过三十年的研究，孟加拉语自然语言处理（BNLP）仍然落后，主要是由于资源的稀缺和随之而来的挑战。在BNLP的不同领域，工作很少;然而，尚未完成一项全面的调查报告以前的工作和最新进展。在这项研究中，我们首先回顾了研究社区可用的孟加拉NLP任务、资源和工具;我们使用当前最先进的算法（即，基于变压器的模型）。我们通过比较不同大小的单语与多语言模型，为所研究的NLP任务提供了比较结果。我们使用个人和合并数据集报告我们的结果，并为未来的研究提供数据分割。我们共查阅了108篇论文，进行了175组实验。我们的结果显示，使用基于变换器的模型具有良好的性能，同时强调了与计算成本的权衡。我们希望这样一个全面的调查将激励社区建立和进一步推进对孟加拉语NLP的研究。
2021-07-25 cs.AI cs.CL cs.IR
On the Limitations of Sociodemographic Adaptation with Transformers
University of Mannheim（曼海姆大学）；Bocconi University（博科尼大学）；University of Würzburg（维尔茨堡大学）
社会人口因素（例如，性别或年龄）塑造我们的语言。以前的工作表明，在传统的NLP模型中，结合特定的社会人口因素可以持续提高各种NLP任务的性能。我们调查这些先前的发现是否仍然适用于最先进的预先训练的Transformers。我们使用三种常见的专业化方法，这些方法被证明可以有效地将外部知识整合到预先训练的Transformers中（例如，地理知识或地理知识）。我们调整语言表示的社会人口性别和年龄方面，使用连续的语言建模和动态多任务学习适应，在那里我们耦合语言建模与预测的社会人口类。我们在使用多语言模型时的结果显示，四种语言（英语，德语，法语和丹麦语）的性能都有很大的提高。这些研究结果与以前的工作成果一致，并有望成功实现社会人口专业化。然而，控制混杂因素，如域和语言表明，虽然社会人口适应改善下游的性能，收益并不总是仅仅源于社会人口知识。我们的研究结果表明，社会人口专业化，而非常重要的，仍然是一个悬而未决的问题，在NLP。
2022-08-01 cs.CL
Should I try multiple optimizers when fine-tuning pre-trained Transformers for NLP tasks? Should I tune their hyperparameters?
Athens University of Economics and Business（雅典经济与商业大学）；National and Kapodistrian University of Athens（雅典国立及卡波迪斯特里亚大学）；Archimedes/Athena RC（阿基米德/雅典娜研究中心）；Workable（沃克博（Workable））
本文研究了NLP任务微调中优化器选择与超参数调整的影响，发现调整超参数时主流自适应优化器性能无显著差异，建议仅调整学习率，无法调整时选带动量的SGD。
2024-02-10 cs.CL
BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks
Tencent Corp（腾讯公司）；Sina Weibo Corp（新浪微博公司）
作为预先训练的Transformer模型，BERT（来自Transformers的双向编码器表示）在多个NLP任务上取得了突破性的性能。另一方面，Boosting是一种流行的集成学习技术，它结合了许多基本分类器，并已被证明在许多机器学习任务中产生更好的泛化性能。已有研究表明，集成BERT可以进一步提高应用性能。然而，目前的集成方法集中在装袋或堆叠，并没有太多的努力探索提升。在这项工作中，我们提出了一种新的Boosting BERT模型，将多类Boosting集成到BERT中。我们提出的模型使用预训练的Transformer作为基础分类器来选择更难的训练集进行微调，并在NLP任务中获得预训练语言知识和增强集成的好处。我们在GLUE数据集和3个流行的中国NLU基准上评估了所提出的模型。实验结果表明，我们提出的模型显着优于BERT在所有数据集上，并证明了它在许多NLP任务的有效性。Boosting BERT将BERT基础替换为RoBERTa作为基础分类器，在几个NLP任务中实现了新的最先进的结果。我们还使用“教师-学生”框架内的知识蒸馏，以减少BoostingBERT的计算开销和模型存储，同时保持其实际应用的性能。
2020-09-13 cs.AI cs.CL
NLP for Knowledge Discovery and Information Extraction from Energetics Corpora
Naval Surface Warfare Center（海军水面作战中心）
本研究展示了NLP在含能材料研究中的实用性，通过应用LDA、Word2Vec和Transformer模型实现知识发现与信息提取，并构建了准确率达59-76%的文档分类流水线，有望加速该领域研究。
2024-02-10 cond-mat.mtrl-sci cs.CL
A Survey of Transformer-based Language Models with Focus on Efficiency
A. K. Choudhury School of IT（A.K.乔杜里信息技术学院）；University of Calcutta（加尔各答大学）；Bangabasi Morning College（班加巴西晨学院）
本文系统综述了NLP中基于Transformer的LLM在效率方面的研究，探讨了数据整理、模型设计等多方面效率提升方法，并评估了多个知名NLP模型的效率和有效性。
2026-09-03 cs.AI cs.CL
Application of Transformers based methods in Electronic Medical Records: A Systematic Literature Review
Federal University of Rio de Janeiro（里约热内卢联邦大学）
本文系统性综述了基于 Transformers 的方法在电子病历 NLP 任务中的应用，从三个公共数据库筛选出 65 篇文献，从业务问题、模型、数据集等维度分析现有研究局限并提出未来建议。
2023-04-05 cs.AI cs.CL cs.LG
Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
像BERT这样的预训练语言模型在各种NLP任务中实现了卓越的性能，而无需显式考虑语法信息。同时，句法信息也被证明是自然语言处理成功的关键。然而，如何有效地将语法树合并到预先训练的Transformers中仍然没有解决。在本文中，我们解决这个问题，提出了一个新的框架命名为语法BERT。该框架以即插即用的方式工作，适用于基于Transformer架构的任意预训练检查点。在各种自然语言理解数据集上的实验验证了语法树的有效性，并在多个预训练模型（包括BERT，RoBERTa和T5）上实现了一致的改进。
2021-03-07 cs.CL
NLP-IIS@UT at SemEval-2021 Task 4: Machine Reading Comprehension using the Long Document Transformer
University of Tehran（德黑兰大学）
本文介绍了我们提交的SemEval-2021第四个任务的技术报告，标题为：抽象意义的阅读理解。在这个任务中，我们希望根据给定的上下文预测正确的答案。通常情况下，上下文非常冗长，需要模型的大接收域。因此，由于输入标记的有限容量，像BERT这样的常见上下文化语言模型错过了精细的表示和性能。为了解决这个问题，我们使用了Longformer模型来更好地处理序列。此外，我们利用Longformer基准中提出的方法在Wikihop数据集上提高了任务数据的准确率，从子任务1和2的基线分别达到的23.01%和22.95%提高到70.30%和64.38%。
2021-05-08 cs.CL cs.IR cs.IT
Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）
该研究在阿拉伯语、英语和印度语言上基准评估 BLOOMZ、LLaMA-2 等模型及剪枝、量化压缩的影响，发现多语言模型跨语言迁移更优，4/8-bit 量化可保准提效，而激进剪枝损害性能。
2025-07-25 cs.CL
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程技术研究中心）
本文提出一种基于句法与概率视角的上下文词表示模型，利用条件随机场和平均场变分推断建模词的潜在表示及依存弧，发现其计算图与transformers相似，在中小型数据集上表现具竞争力，旨在弥合传统与神经方法间的差距。
2023-11-26 cs.CL
ParsBERT: Transformer-based Model for Persian Language Understanding
Islamic Azad University North Tehran Branch（伊斯兰阿扎德大学北德黑兰分校）；Queensland University of Technology（昆士兰科技大学）；Umeå University（于默奥大学）
预训练语言模型的激增已经开始了自然语言处理（NLP）领域的新时代，使我们能够构建强大的语言模型。在这些模型中，基于transformer的模型（如BERT）由于其最先进的性能而变得越来越受欢迎。然而，这些模型通常专注于英语，将其他语言留给资源有限的多语言模型。本文提出了一个单语BERT的波斯语（ParsBERT），这表明其最先进的性能相比，其他架构和多语言模型。此外，由于波斯语中可用于NLP任务的数据量非常有限，因此组成了用于不同NLP任务以及预训练模型的大量数据集。ParsBERT在所有数据集（包括现有数据集和组合数据集）中获得了更高的分数，并通过在情感分析、文本分类和命名实体识别任务中优于多语言BERT和其他先前的作品来提高最先进的性能。
2020-05-31 cs.CL
Document Structure in Long Document Transformers
DFKI（德国人工智能研究中心）；Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）
该研究针对长文档Transformer的结构感知问题，设计探测任务验证其预训练获隐式结构理解，提出通用结构注入方法并在QASPER等任务上提升性能，同时公开数据代码。
2024-01-31 cs.CL
What Do Position Embeddings Learn? An Empirical Study of Pre-Trained Language Model Positional Encoding
National Taiwan University（台湾大学）
近年来，预先训练的Transformers已经主导了大多数NLP基准测试任务。许多经过预先训练的Transformers变体不断爆发，大多数都专注于设计不同的预先训练目标或自我注意力的变体。在自我注意力机制中嵌入位置信息也是Transformers中不可或缺的因素，但经常被随意讨论。因此，本文对主流的预训练Transformers的职位嵌入进行了实证研究，主要关注两个问题：1）职位嵌入是否真的学习了职位的含义？2)这些不同的学习位置嵌入如何影响NLP任务的Transformers？本文旨在通过对大多数标志性NLP任务的特征级分析和实证实验，为预训练位置嵌入提供新的见解。相信我们的实验结果可以指导未来的工作，选择合适的位置编码功能，为特定的任务给定的应用属性。
2020-10-10 cs.AI cs.CL
Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study
University of Wolverhampton（伍尔弗汉普顿大学）；Aston University（阿斯顿大学）；Lancaster University（兰卡斯特大学）
针对主流Transformer模型受512 token长度限制、难以处理长文档分类的问题，本研究实证探索模型融合方法在该任务中的效果，并与BERT、Longformer架构的表现进行对比。
2023-07-18 cs.CL
A Comparative Study of Transformers on Word Sense Disambiguation
Mastercard AI（万事达卡人工智能部门）；Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
本文比较研究了九种Transformer模型在词义消歧任务中的上下文化能力，通过在上下文词嵌入上使用kNN分类方法，在SensEval-2和SensEval-3上取得了优于现有最优方法的结果。
2021-11-30 cs.CL
Analysing similarities between legal court documents using natural language processing approaches based on Transformers
TRT5 - Regional Labour Court of the 5th Region（第五地区地区劳工法院）；SENAI CIMATEC University Center（SENAI CIMATEC大学中心）；Surrey Institute for People-Centred AI（萨里以人为本人工智能研究所）；University of Surrey（萨里大学）
本研究利用六种基于Transformer的NLP模型（如BERT、GPT-2和RoBERTa）分析巴西法律文书相似性，通过微调210,000个诉讼并基于嵌入聚类评估，发现RoBERTa模型表现最佳，且方法可推广至其他语言。
2023-05-11 cs.AI cs.CL cs.LG
Embedding generation for text classification of Brazilian Portuguese user reviews: from bag-of-words to transformers
文本分类是一项自然语言处理（NLP）任务，与许多商业应用相关，如电子商务和客户服务。当然，由于内在的语言方面，如讽刺和细微差别，准确地对这些摘录进行分类往往是一个挑战。为了完成这个任务，必须为文档提供一个健壮的数字表示，这个过程称为嵌入。嵌入代表了当今NLP的一个关键领域，在过去十年中取得了重大进展，特别是在引入单词到向量概念以及用于解决NLP任务的深度学习模型（包括卷积神经网络（CNN），递归神经网络（RNN）和基于转换器的语言模型（TLM））普及之后。尽管在这一领域取得了令人印象深刻的成就，有关巴西葡萄牙语文本生成嵌入的文献报道很少，特别是在考虑商业用户评论时。因此，这项工作的目的是提供一个全面的实验研究嵌入方法，针对巴西葡萄牙语的用户评论的二进制情感分类。本研究包括从经典的（词袋）到最先进的（基于Transformer的）NLP模型。这些方法与五个开放源代码数据库进行了评估，这些数据库具有开放数字存储库中提供的预定义数据分区，以鼓励再现性。微调的TLM在所有情况下都取得了最佳结果，其次是基于神经网络的TLM，LSTM和CNN，根据分析的数据库，它们具有交替的排名。
2022-12-01 cs.AI cs.CL
Unveiling Dual Quality in Product Reviews: An NLP-Based Approach
National Information Processing Institute（国家信息处理研究所）
本文提出基于NLP的方法检测产品评论中的双重质量问题，构建含1,957条波兰语评论的数据集，并实验多种模型，验证了方法的有效性及多语言迁移能力。
2025-05-25 cs.CL
