Noisy Text Data: Achilles' Heel of popular transformer based NLP models
Delhi Technological University（德里理工大学）；Vahan Inc.（瓦汉公司）；Ninja Salary（忍者薪资公司）
在过去的几年里，ML社区已经创建了许多基于Transformer架构的新NLP模型。这些模型在基准数据集上的各种NLP任务中表现出出色的性能，通常超过SOTA结果。在这种成功的鼓舞下，人们经常发现行业从业者积极尝试微调这些模型，以构建用于行业用例的NLP应用程序。然而，对于从业者用于构建工业NLP应用程序的大多数数据集，很难保证数据中存在任何噪声。虽然大多数基于Transformer的NLP模型在将学习从一个数据集转移到另一个数据集方面表现得非常好，但仍不清楚这些模型在对噪声文本进行微调时的表现。我们解决了Kumar et al.（2020）提出的开放性问题，以探索流行的基于Transformer的NLP模型对文本数据中噪声的敏感性。我们继续处理他们定义的噪音-拼写错误和错别字（这是最常见的噪音）。我们表明（通过实验结果），这些模型在最常见的NLP任务，即文本分类，文本相似性，NER，问答，文本摘要基准数据集上表现不佳。我们进一步表明，随着数据中的噪声增加，性能下降。我们的研究结果表明，人们必须在微调流行的基于Transformer的NLP模型时，改变数据集中噪声的存在。
2021-10-07 cs.AI cs.CL cs.LG
IUST_NLP at SemEval-2023 Task 10: Explainable Detecting Sexism with Transformers and Task-adaptive Pretraining
Iran University of Science and Technology（伊朗科技大学）
本研究针对 SemEval-2023 任务 10，提出基于 Transformer 的预训练模型，结合任务自适应预训练与集成学习，用于在线性别歧视检测，在子任务 A、B、C 上分别获得 83%、64%、47% 的 F1 分数。
2023-05-11 cs.CL
Legal Transformer Models May Not Always Help
EPFL（洛桑联邦理工学院）
基于深度学习的自然语言处理方法，尤其是Transformers，在过去几年取得了令人印象深刻的表现。将这些最先进的NLP方法应用于法律活动，以自动化或简化一些简单的工作，具有重要的价值。本文研究了领域自适应预训练和语言适配器在法律NLP任务中的价值。通过比较语言模型与领域自适应预训练在不同任务和不同数据集分割上的性能，我们表明领域自适应预训练仅对低资源下游任务有帮助，因此远非万能药。我们还在一个典型的合法NLP任务中对适配器的性能进行了基准测试，并表明它们可以以更小的训练成本产生与完整模型调优相似的性能。作为一个额外的结果，我们发布了LegalRoBERTA，这是一个在法律语料库上进一步预训练的RoBERTA模型。
2021-09-15 cs.CL
Extracting Thyroid Nodules Characteristics from Ultrasound Reports Using Transformer-based Natural Language Processing Methods
University of Florida（佛罗里达大学）；Mayo Clinic Rochester（梅奥诊所罗切斯特院区）
本研究比较了BERT、RoBERTa、LongFormer、DeBERTa和GatorTron等5种基于Transformer的NLP模型，从超声报告中提取16项甲状腺结节特征，GatorTron表现最佳，为评估超声报告质量和患者结局奠定基础。
2023-03-31 cs.CL
On Robustness of Finetuned Transformer-based NLP Models
NIT Warangal（瓦朗加尔国家理工学院）；IIIT Hyderabad（海得拉巴国际信息技术学院）；Microsoft（微软）；INRIA（法国国家信息与自动化研究所）
该研究用CKA、STIR指标刻画预训练与微调Transformer模型各层表示变化，对比BERT、GPT-2、T5在多任务多扰动下的鲁棒性，发现GPT-2鲁棒性更优，名词/动词删除、字符修改影响最大，并公开相关代码模型。
2023-11-08 cs.CL
Pruning Attention Heads of Transformer Models Using A* Search: A Novel Approach to Compress Big NLP Architectures
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Corporate Model Risk, Wells Fargo（富国银行企业模型风险部）
近年来，在自然语言处理甚至在计算机视觉中越来越多地采用Transformer模型，例如BERT。然而，由于它们的大小，在资源受限的计算环境中，这种模型的采用有限。提出了一种新的剪枝算法，通过消除冗余的注意头来压缩Transformer模型。我们应用A* 搜索算法来获得具有严格精度保证的修剪模型。实验结果表明，该方法可以消除BERT Transformer模型中多达40%的注意头，而不损失准确性。
2021-11-17 cs.CL cs.LG
NLP-CUET@DravidianLangTech-EACL2021: Offensive Language Detection from Multilingual Code-Mixed Text using Transformers
Chittagong University of Engineering and Technology（吉大港工程技术大学）
互联网的日益普及促进了社交媒体的使用，并鼓励个人自由表达意见。然而，它也为内容污染者传播攻击性帖子或内容创造了一个场所。大多数此类攻击性帖子都是以跨语言的方式编写的，可以轻松逃避在线监控系统。本文提出了一个自动化系统，可以识别攻击性文本从多语言代码混合数据。在这项任务中，数据集以三种语言提供，包括泰米尔语，马拉雅拉姆语和卡纳达语代码与英语混合，要求参与者为每种语言实现单独的模型。为了完成这些任务，我们采用了两种机器学习技术（LR，SVM），三种深度学习（LSTM，LSTM+Attention）技术和三种基于Transformers器（m-BERT，Indic-BERT，XLM-R）的方法。结果表明，XLM-R在泰米尔语和马拉雅拉姆语中的表现优于其他技术，而m-BERT在卡纳达语中得分最高。所提出的模型获得了加权$f_1$得分$0.76$（泰米尔语），$0.93$（马拉雅拉姆语）和$0.71$（卡纳达语）与等级分别为$3^{rd}$，$5^{th}$和$4^{th}$。
2021-02-28 cs.CL
The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures
University of Bridgeport（桥港大学）
近年来，自然语言处理（NLP）模型在语言和语义任务中取得了惊人的成功，如文本分类、机器翻译、认知对话系统、通过自然语言理解（NLU）的信息检索和自然语言生成（NLG）。这一壮举主要归功于开创性的Transformer架构，导致了BERT，GPT（I，II，III）等设计，虽然这些大尺寸的模型已经取得了前所未有的性能，他们在高计算成本。因此，最近的一些NLP架构已经利用了迁移学习、修剪、量化和知识蒸馏的概念来实现适度的模型大小，同时保持与其前辈几乎相似的性能。此外，为了从知识提取的角度减轻由语言模型引起的数据大小挑战，已经构建了知识检索器以更高的效率和准确性从大型数据库语料库中提取显式数据文档。最近的研究也集中在通过对较长的输入序列提供有效的注意力来进行高级推理。在本文中，我们总结并研究了当前最先进的（SOTA）NLP模型，这些模型已用于众多NLP任务，以获得最佳性能和效率。我们提供了对不同架构的详细理解和功能，NLP设计的分类，比较评估以及NLP的未来方向。
2021-04-24 cs.CL cs.LG
Automated essay scoring using efficient transformer-based language models
Cambium Assessment, Inc.（坎比姆评估公司）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
自动作文评分（AES）是一项跨学科的工作，涉及教育，语言学和自然语言处理（NLP）。AES中NLP模型的有效性测试了它评估长期依赖性和推断含义的能力，即使文本写得很差。大型预训练的基于transformer的语言模型在许多NLP任务中占据了主导地位，然而，这些模型的计算要求使得它们在实践中部署起来非常昂贵。本文的目标是挑战NLP中的范式，即AES越大越好。为此，我们评估了几个微调的预训练NLP模型的性能，这些模型在AES数据集上具有适度数量的参数。通过集成我们的模型，我们比大多数基于transformer的预训练模型使用更少的参数获得了出色的结果。
2021-02-25 cs.CL cs.LG
UTSA NLP at SemEval-2022 Task 4: An Exploration of Simple Ensembles of Transformers, Convolutional, and Recurrent Neural Networks
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
通过使用带有优越感的居高临下和居高临下的语言来表现出善良或乐于助人的行为可能会对那些经历过它的人产生严重的心理健康影响。因此，在线检测这种居高临下和居高临下的语言对于在线审核系统可能是有用的。因此，在本文中，我们描述了由UTSA SemEval-2022任务4开发的系统，检测光顾和居高临下的语言。我们的方法探索了几种深度学习架构的使用，包括RoberTa、卷积神经网络和双向长短期记忆网络。此外，我们探索简单而有效的方法来创建集成的神经网络模型。总的来说，我们对几个集成模型进行了实验，发现五个RoBERTa模型的简单组合在开发数据集上获得了.6441的F分数，在最终测试数据集上获得了.5745的F分数。最后，我们还进行了全面的误差分析，以更好地了解模型的局限性，并为进一步的研究提供思路。
2022-03-28 cs.CL
Comparative Efficiency Analysis of Lightweight Transformer Models: A Multi-Domain Empirical Benchmark for Enterprise NLP Deployment
School of Computing and Mathematics（计算与数学学院）
本文比较了DistilBERT、MiniLM和ALBERT三种轻量级Transformer模型在多领域任务中的效率与准确率，发现MiniLM在推理速度最佳，DistilBERT在任务准确性最均衡，ALBERT在资源受限环境下表现最优。
2026-01-01 cs.CL
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut（贝鲁特美国大学）
阿拉伯语是一种形态丰富的语言，与英语相比，资源相对较少，语法探索较少。考虑到这些限制，阿拉伯语自然语言处理（NLP）任务，如情感分析（SA）、命名实体识别（NER）和问答（QA），已经被证明是非常具有挑战性的。最近，随着基于Transformers的模型的激增，基于语言特定的BERT的模型已经被证明在语言理解方面非常有效，只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中，我们专门针对阿拉伯语预先训练了BERT，以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明，新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开，希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
Lite Transformer with Long-Short Range Attention
Shanghai Jiao Tong University（上海交通大学）；Massachusetts Institute of Technology（麻省理工学院）
Transformer在自然语言处理（例如，机器翻译、问答）;然而，它需要大量的计算来实现高性能，这使得它不适合于受到硬件资源和电池严格限制的移动应用。在本文中，我们提出了一个有效的移动NLP架构，精简版Transformer，以方便部署移动NLP应用程序的边缘设备。关键的原语是长短距离注意力（LSRA），其中一组头部专门用于本地上下文建模（通过卷积），而另一组专门用于长距离关系建模（通过注意力）。这种专门化在三个成熟的语言任务上带来了比普通Transformer一致的改进：机器翻译、抽象摘要和语言建模。在有限的资源（500 M/100 M MAC）下，Lite Transformer在WMT'14英语-法语上的性能分别优于Transformer 1.2/1.7 BLEU。Lite Transformer将Transformer基础模型的计算量减少了2.5倍，BLEU评分降低了0.3。结合修剪和量化，我们进一步将Lite Transformer的模型大小压缩了18.2倍。对于语言建模，Lite Transformer在大约500 M MAC时实现了比Transformer低1.8的困惑。值得注意的是，Lite Transformer在移动NLP设置中的BLEU比基于AutoML的Evolved Transformer高0.5倍，而无需进行需要超过250年GPU的昂贵架构搜索。代码已…
2020-04-24 cs.CL
Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks
Lehigh University（理海大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（赛富时研究院）；Hangzhou Dianzi University（杭州电子科技大学）
Mixup是一种最新的数据增强技术，它对输入示例和相应的标签进行线性插值。它通过在像素级对图像进行插值，在图像分类中显示出很强的有效性。受这条研究路线的启发，在本文中，我们探讨了i）如何将mixup应用于自然语言处理任务，因为文本数据很难以原始格式混合; ii）如果mixup在基于transformer的学习模型中仍然有效，例如，BERT。为了实现这一目标，我们将mixup合并到基于transformer的预训练架构中，名为“mixup-transformer”，用于广泛的NLP任务，同时保持整个端到端的训练系统。我们通过在GLUE基准上进行广泛的实验来评估所提出的框架。此外，我们还通过以一定比例减少训练数据来检查混合变换器在低资源场景中的性能。我们的研究表明，mixup是一种与预训练语言模型无关的领域数据增强技术，可以显著提高基于transformer的模型的性能。
2020-11-10 cs.CL cs.LG
Extracting Qualitative Causal Structure with Transformer-Based NLP
SIFT；Northeastern University（东北大学）
定性因果关系复杂地表达了世界上离散或连续相互作用的方向、依赖性、时间约束和单调性约束。在日常或学术语言中，我们可以表达数量之间的相互作用（例如，睡眠减少压力），在离散事件或实体之间（例如，一种蛋白质抑制另一种蛋白质的转录），或者在有意的或功能性的因子之间（例如，医院的病人祈祷减轻他们的痛苦）。本文提出了一种基于transformer的NLP架构，该架构联合识别和提取（1）语言中描述的变量或因素，（2）这些变量的定性因果关系，以及（3）约束这些因果关系的限定符和量值。我们展示了这种方法，并在两个用例中包括有希望的结果，处理来自学术出版物，新闻文章和社交媒体的文本输入。
2021-08-20 cs.CL cs.LG
PALI-NLP at SemEval-2022 Task 4: Discriminative Fine-tuning of Transformers for Patronizing and Condescending Language Detection
Ping An Life Insurance Company of China, Ltd.（中国平安人寿保险股份有限公司）
Patronizing and Condensing Language（PCL）具有很大的有害影响，并且对于人类法官和现有的NLP系统都难以检测。在SemEval-2022任务4中，我们提出了一种新的基于transformer的模型及其集成，以准确理解PCL检测的语言上下文。为了促进对PCL的微妙和主观性质的理解，两个微调策略被应用于捕捉不同的语言行为和分类分布的歧视性特征。该系统在官方排名中取得了显著的成绩，包括子任务1的第一名和子任务2的第五名。大量的实验任务证明了我们的系统和策略的有效性。
2022-07-16 cs.AI cs.CL
T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP
University of British Columbia（不列颠哥伦比亚大学）；Huawei Cananda Technologies Co. Ltd.（华为加拿大技术有限公司）
Transformers是NLP中的主导架构，但它们的训练和微调仍然非常具有挑战性。在本文中，我们提出了一个视觉分析框架的设计和实现，以帮助研究人员在这样的过程中，通过为他们提供有价值的见解模型的内在属性和行为。我们的框架提供了一个直观的概述，允许用户探索模型的不同方面（例如，隐藏状态、注意力），并允许一套内置算法来计算模型组件和输入序列不同部分的重要性。案例研究和用户焦点小组的反馈表明，该框架是有用的，并提出了几项改进建议。
2021-08-31 cs.CL cs.HC
Evaluating Transformer-Based Multilingual Text Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
随着NLP工具在当今的技术领域变得无处不在，它们越来越多地应用于具有各种类型结构的语言。然而，NLP研究并不主要集中在其分析最先进的语言模型的类型学差异。因此，NLP工具在具有不同句法和形态结构的语言中表现不平等。通过对词序类型学、形态类型学和比较语言学的详细讨论，我们确定了哪些变量最影响语言建模效果;此外，我们计算了词序和形态相似性指数，以帮助我们的实证研究。然后，我们使用这个背景来支持我们的分析，我们进行的实验，使用多类文本分类的八种语言和八个模型。
2020-04-30 cs.CL
IrEne: Interpretable Energy Prediction for Transformers
Stony Brook University（石溪大学）
现有的基于软件的NLP模型的能量测量是不准确的，因为它们没有考虑能量消耗和模型执行之间的复杂相互作用。我们提出了IrEne，一个可解释和可扩展的能量预测系统，可以准确预测各种基于transformer的NLP模型的推理能耗。IrEne构建了一个模型树图，将NLP模型分解为模块，这些模块进一步分解为低级机器学习（ML）原语。IrEne将ML原语的推理能耗预测为可泛化特征和细粒度运行时资源使用的函数。然后，IrEne递归地聚合这些低级预测，以预测每个模块的能量，并最终预测整个模型的能量。跨多个Transformer模型的实验表明，IrEne预测Transformer模型的推理能耗，与地面实况相比，误差低于7%。相比之下，现有的能源模型的误差超过50%。我们还展示了IrEne如何用于进行能源瓶颈分析，并轻松评估不同建筑选择的能源影响。我们在https://github.com/StonyBrookNLP/irene上发布代码和数据。
2021-06-02 cs.CL
The Double Helix inside the NLP Transformer
World Wide Technology（世界宽科技公司）
提出NLP Transformer信息分析框架，区分四层信息并用Linear-and-Add方法替代次优的位置加法，揭示了位置信息在深层呈螺旋分离及词性聚类现象，为理解深层信息处理提供了新途径。
2023-06-23 cs.AI cs.CL
Understanding the Failure of Batch Normalization for Transformers in NLP
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
批量归一化（BN）是加速深度神经网络训练和提高计算机视觉（CV）任务泛化能力的核心和流行技术。然而，它未能捍卫自己的地位，在自然语言处理（NLP），这是占主导地位的层归一化（LN）。在本文中，我们试图回答为什么BN通常在Transformer模型的NLP任务中表现得比LN差。我们发现，BN的训练和推理之间的不一致性是导致BN在NLP中失败的主要原因。我们定义了训练推理离散度（TID）来定量测量这种不一致性，并揭示TID可以指示BN的性能，并得到广泛实验的支持，包括图像分类，神经机器翻译，语言建模，序列标记和文本分类任务。我们发现，BN可以获得更好的测试性能比LN时，TID通过训练保持小。为了抑制TID的爆炸，我们提出了正则化BN（RBN），它添加了一个简单的正则化项来缩小BN的批统计和总体统计之间的差距。RBN始终如一地提高了BN的性能，在20个设置中的17个设置上优于LN或与LN相当，涉及10个数据集和Transformer的两个常见变体。https://github.com/wjxts/RegularizedBN
2022-10-11 cs.CL cs.LG
On the Limitations of Sociodemographic Adaptation with Transformers
University of Mannheim（曼海姆大学）；Bocconi University（博科尼大学）；University of Würzburg（维尔茨堡大学）
社会人口因素（例如，性别或年龄）塑造我们的语言。以前的工作表明，在传统的NLP模型中，结合特定的社会人口因素可以持续提高各种NLP任务的性能。我们调查这些先前的发现是否仍然适用于最先进的预先训练的Transformers。我们使用三种常见的专业化方法，这些方法被证明可以有效地将外部知识整合到预先训练的Transformers中（例如，地理知识或地理知识）。我们调整语言表示的社会人口性别和年龄方面，使用连续的语言建模和动态多任务学习适应，在那里我们耦合语言建模与预测的社会人口类。我们在使用多语言模型时的结果显示，四种语言（英语，德语，法语和丹麦语）的性能都有很大的提高。这些研究结果与以前的工作成果一致，并有望成功实现社会人口专业化。然而，控制混杂因素，如域和语言表明，虽然社会人口适应改善下游的性能，收益并不总是仅仅源于社会人口知识。我们的研究结果表明，社会人口专业化，而非常重要的，仍然是一个悬而未决的问题，在NLP。
2022-08-01 cs.CL
Should I try multiple optimizers when fine-tuning pre-trained Transformers for NLP tasks? Should I tune their hyperparameters?
Athens University of Economics and Business（雅典经济与商业大学）；National and Kapodistrian University of Athens（雅典国立及卡波迪斯特里亚大学）；Archimedes/Athena RC（阿基米德/雅典娜研究中心）；Workable（沃克博（Workable））
本文研究了NLP任务微调中优化器选择与超参数调整的影响，发现调整超参数时主流自适应优化器性能无显著差异，建议仅调整学习率，无法调整时选带动量的SGD。
2024-02-10 cs.CL
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University（复旦大学）
双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务的模型中的编码器。近年来，由于其并行性和优越的性能，Transformer在各种自然语言处理（NLP）任务中被广泛采用。然而，Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中，我们提出了TENER，NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力，我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
Transformers: "The End of History" for NLP?
HSE University（高等经济大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
神经架构的最新进展，如Transformer，加上大规模预训练模型（如BERT）的出现，彻底改变了自然语言处理（NLP）领域，推动了许多NLP任务的发展。已经提出了这些模型的丰富的变体系列，例如RoBERTa，ALBERT和XLNet，但从根本上讲，它们在对某些类型的信息建模的能力方面仍然有限，并且它们无法处理某些信息源，这对于先前存在的模型来说很容易。因此，在这里，我们的目标是阐明一些重要的理论限制的预训练的BERT风格的模型，这是固有的一般Transformer架构。首先，我们在实践中证明了两种一般类型的任务-分割和段标记-以及四个数据集，这些限制确实是有害的，即使以一些非常简单和天真的方式解决它们，也可以比香草RoBERTa和XLNet模型产生相当大的改进。然后，我们对未来添加到Transformer架构中以提高其表现力的必要性进行了更一般的讨论，我们希望这可以帮助设计下一代深度NLP架构。
2021-09-23 cs.CL cs.IR cs.LG
Introduction to Transformers: an NLP Perspective
NLP Lab., Northeastern University, Shenyang, China（东北大学沈阳分校自然语言处理实验室）；NiuTrans Research, Shenyang, China（尼utrans研究院）
本文从NLP视角介绍Transformer的基本概念、标准架构、模型改进及常见应用，总结影响该领域的关键思想，并探讨其优势与局限。
2026-07-03 cs.AI cs.CL cs.LG
Transformer Vs. MLP-Mixer: Exponential Expressive Gap For NLP Problems
Technion（以色列理工学院）
视觉转换器广泛用于各种视觉任务。与此同时，还有另一条工作线，从MLP混频器开始，试图使用基于MLP的架构实现类似的性能。有趣的是，到目前为止，这些基于mlp的架构还没有适应NLP任务。此外，到目前为止，基于mlp的架构在视觉任务中未能实现最先进的性能。在这篇文章中，我们分析了基于mlp的体系结构在同时对多个不同输入之间的依赖关系建模时的表现力，并显示了注意力和基于mlp的机制之间的指数差距。我们的研究结果为mlp无法与NLP问题中基于注意力的机制竞争提供了理论解释，他们还表明，视觉任务中的性能差距可能是由于mlp在建模多个不同位置之间的依赖关系时相对薄弱，并且将智能输入排列与mlp架构相结合可能不足以单独缩小性能差距。
2022-11-17 cs.CL cs.CV cs.LG
Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
University of Liverpool（利物浦大学）
针对预训练语言模型句子嵌入高维性在资源受限设备上的问题，评估无监督降维方法，发现PCA等能降低近50%维度且不损失性能，甚至部分任务中进一步提升表现。
2024-03-20 cs.CL
Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
像BERT这样的预训练语言模型在各种NLP任务中实现了卓越的性能，而无需显式考虑语法信息。同时，句法信息也被证明是自然语言处理成功的关键。然而，如何有效地将语法树合并到预先训练的Transformers中仍然没有解决。在本文中，我们解决这个问题，提出了一个新的框架命名为语法BERT。该框架以即插即用的方式工作，适用于基于Transformer架构的任意预训练检查点。在各种自然语言理解数据集上的实验验证了语法树的有效性，并在多个预训练模型（包括BERT，RoBERTa和T5）上实现了一致的改进。
2021-03-07 cs.CL
Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）
该研究在阿拉伯语、英语和印度语言上基准评估 BLOOMZ、LLaMA-2 等模型及剪枝、量化压缩的影响，发现多语言模型跨语言迁移更优，4/8-bit 量化可保准提效，而激进剪枝损害性能。
2025-07-25 cs.CL
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程技术研究中心）
本文提出一种基于句法与概率视角的上下文词表示模型，利用条件随机场和平均场变分推断建模词的潜在表示及依存弧，发现其计算图与transformers相似，在中小型数据集上表现具竞争力，旨在弥合传统与神经方法间的差距。
2023-11-26 cs.CL
ParsBERT: Transformer-based Model for Persian Language Understanding
Islamic Azad University North Tehran Branch（伊斯兰阿扎德大学北德黑兰分校）；Queensland University of Technology（昆士兰科技大学）；Umeå University（于默奥大学）
预训练语言模型的激增已经开始了自然语言处理（NLP）领域的新时代，使我们能够构建强大的语言模型。在这些模型中，基于transformer的模型（如BERT）由于其最先进的性能而变得越来越受欢迎。然而，这些模型通常专注于英语，将其他语言留给资源有限的多语言模型。本文提出了一个单语BERT的波斯语（ParsBERT），这表明其最先进的性能相比，其他架构和多语言模型。此外，由于波斯语中可用于NLP任务的数据量非常有限，因此组成了用于不同NLP任务以及预训练模型的大量数据集。ParsBERT在所有数据集（包括现有数据集和组合数据集）中获得了更高的分数，并通过在情感分析、文本分类和命名实体识别任务中优于多语言BERT和其他先前的作品来提高最先进的性能。
2020-05-31 cs.CL
Semantic Communication with Adaptive Universal Transformer
随着深度学习（DL）的发展，自然语言处理（NLP）使我们能够分析和理解大量的语言文本。因此，我们可以实现语义通信的联合语义源和信道编码在噪声信道的帮助下。然而，现有的实现这一目标的方法是使用NLP的固定Transformer，而忽略了每个句子所包含的语义信息的差异。针对这一问题，提出了一种基于通用Transformer的语义通信系统。与传统的Transformer相比，通用Transformer引入了自适应循环机制。通过引入循环机制，新的语义通信系统可以更灵活地传输不同语义信息的句子，在各种信道条件下实现更好的端到端性能。
2021-11-29 cs.CL eess.SP
Document Structure in Long Document Transformers
DFKI（德国人工智能研究中心）；Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）
该研究针对长文档Transformer的结构感知问题，设计探测任务验证其预训练获隐式结构理解，提出通用结构注入方法并在QASPER等任务上提升性能，同时公开数据代码。
2024-01-31 cs.CL
BCH-NLP at BioCreative VII Track 3: medications detection in tweets using transformer networks and multi-task learning
Computational Health Informatics Program, Boston Children's Hospital（波士顿儿童医院计算健康信息学项目）；Department of Pediatrics, Harvard Medical School（哈佛医学院儿科学系）
在本文中，我们介绍了我们参与BioCreative VII Track 3的工作-自动提取推文中的药物名称，在那里我们实现了一个多任务学习模型，该模型在文本分类和序列标签上进行了联合训练。我们最好的系统跑取得了80.4的严格F1，排名第一，比所有参赛者的平均分高出10分以上。我们的分析表明，集成技术，多任务学习，和数据增强都有利于药物检测推文。
2021-11-26 cs.CL cs.LG
Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study
University of Wolverhampton（伍尔弗汉普顿大学）；Aston University（阿斯顿大学）；Lancaster University（兰卡斯特大学）
针对主流Transformer模型受512 token长度限制、难以处理长文档分类的问题，本研究实证探索模型融合方法在该任务中的效果，并与BERT、Longformer架构的表现进行对比。
2023-07-18 cs.CL
CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models
Zhejiang University（浙江大学）
针对NLP模型动态后门检测研究空白，提出CLIBE框架，通过注意力层少样本权重扰动及泛化性检测动态后门，经多场景验证有效且具鲁棒性，还可扩展检测文本生成模型后门。
2024-09-11 cs.CL cs.CR cs.LG
A Comparative Study of Transformers on Word Sense Disambiguation
Mastercard AI（万事达卡人工智能部门）；Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
本文比较研究了九种Transformer模型在词义消歧任务中的上下文化能力，通过在上下文词嵌入上使用kNN分类方法，在SensEval-2和SensEval-3上取得了优于现有最优方法的结果。
2021-11-30 cs.CL
Unveiling Dual Quality in Product Reviews: An NLP-Based Approach
National Information Processing Institute（国家信息处理研究所）
本文提出基于NLP的方法检测产品评论中的双重质量问题，构建含1,957条波兰语评论的数据集，并实验多种模型，验证了方法的有效性及多语言迁移能力。
2025-05-25 cs.CL
The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers
本研究探究Transformer各层语法角色对表征流形几何的影响，分析ID演化、邻域结构变化，对比编码器与解码器的差异，发现几何特征可恢复token语法角色并用于语义演化解释。
2026-08-27 cs.CL
Revisiting Offline Compression: Going Beyond Factorization-based Methods for Transformer Language Models
Jagiellonian University（雅盖隆大学）；EPFL（洛桑联邦理工学院）
最近的Transformer语言模型在许多自然语言处理（NLP）任务中取得了突出的成绩。然而，它们的巨大尺寸通常使它们在内存受限的设备上不切实际，需要从业者将其压缩到较小的网络中。在本文中，我们将探索离线压缩方法，这意味着计算成本低的方法，不需要进一步微调压缩模型。我们提出了一种新的，更好的性能自动编码器为基础的框架，挑战经典的矩阵分解方法。我们对我们的方法进行了全面的消融研究，在一组不同的评估设置中检查其不同方面。此外，我们表明，通过将某些模块压缩在一起来实现跨层模块之间的协作，对最终模型性能产生了积极影响。各种NLP任务的实验表明，我们的方法显着优于常用的基于因式分解的离线压缩方法。
2023-02-08 cs.CL
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
VisBERT: Hidden-State Visualizations for Transformers
Beuth University of Applied Sciences Berlin（柏林贝uth应用科学大学）
可解释性和可解释性是两个重要的概念，缺乏这两个概念可能并且应该阻碍性能良好的神经网络应用于现实世界的问题。与此同时，它们很难被纳入大型的黑盒模型中，这些模型在众多的NLP任务中实现了最先进的结果。来自Transformers的双向编码器表示（BERT）就是这样一种黑盒模型。它已经成为解决许多不同NLP任务的主要架构，并启发了许多相关的Transformer模型。了解这些模型如何得出结论对于它们的改进和应用至关重要。我们提出VisBERT，一个可视化的上下文令牌表示在BERT的任务（多跳）问答的工具，这一挑战作出贡献。而不是分析注意力权重，我们专注于隐藏的状态，从每个编码器块内的BERT模型。通过这种方式，我们可以观察语义表示在模型的各个层中是如何转换的。VisBERT使用户能够深入了解模型的内部状态，并探索其推理步骤或潜在的缺点。该工具允许我们识别BERT转换中的不同阶段，这些阶段类似于传统的NLP管道，并在预测失败时提供见解。
2020-11-09 cs.CL
AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks
National Taiwan University（台湾大学）
具有数百万参数的基于transformer的预训练模型需要大量存储。最近的方法通过训练适配器来解决这个缺点，但是这些方法仍然需要相对大量的参数。在这项研究中，AdapterBias，一个令人惊讶的简单而有效的适配器架构，提出。AdapterBias为Transformer层的隐藏输出添加了一个依赖于令牌的移位，以适应仅具有向量和线性层的下游任务。进行了大量的实验，以证明AdapterBias的有效性。实验表明，我们所提出的方法可以显着减少可训练的参数相比，以前的作品与微调预训练模型相比，任务性能下降最小。我们进一步发现，AdapterBias自动学习分配更显着的表示转移到与所考虑的任务相关的标记。
2023-01-30 cs.CL
The Role of Context Types and Dimensionality in Learning Word Embeddings
IBM Watson（IBM沃森）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Bar-Ilan University（巴伊兰大学）；Google（谷歌）
我们提供了第一个广泛的评估，如何使用不同类型的上下文来学习跳过语法词嵌入影响性能的范围广泛的内在和外在的NLP任务。我们的研究结果表明，虽然内在的任务往往表现出明确的偏好，特定类型的上下文和更高的维度，更仔细的调整，需要找到最佳的设置，我们考虑的大多数外在的任务。此外，对于这些外部任务，我们发现，一旦增加嵌入维数的好处大部分耗尽，简单的串联词嵌入，学习不同的上下文类型，可以产生进一步的性能增益。作为一个额外的贡献，我们提出了一个新的变化的跳跃语法模型，学习词嵌入从加权上下文的替代词。
2017-07-19 cs.CL
Exploring Dimensionality Reduction Techniques in Multilingual Transformers
Universidad Politécnica de Madrid（马德里理工大学）
无论是在科学文献中还是在工业中，基于语义和上下文感知的自然语言处理解决方案近年来都越来越重要。这些模型在处理复杂的语言理解任务时所表现出的可能性和性能是毋庸置疑的，从会话代理到对抗社交网络中的虚假信息。此外，开发多语言模型以解决语言瓶颈也受到了相当大的关注。越来越需要提供实现所有这些功能的更复杂的模型，伴随着它们的尺寸的增加，而不需要保守的尺寸数量。本文的目的是全面考虑各种各样的降维技术对不同国家的最先进的多语言暹罗Transformers的性能的影响，包括无监督降维技术，如线性和非线性特征提取，特征选择，和流形技术。为了评估这些技术的效果，我们考虑了语义文本相似性基准（mSTSb）的多语言扩展版本和两种不同的基线方法，一种使用几个模型的预训练版本，另一种使用它们的微调STS版本。结果证明，可以分别实现$91.58\% \pm 2.59\%$和$54.65\% \pm 32.20\%$的维数的平均减少。这项工作还考虑了可视化目的的降维的后果。本研究的结果将有助于理解不同的调优方法如何影响语义感知任务的性能，以及降维技术如何处理为STS任务计算的高维嵌入及其在高要求NLP任务中的潜力
2022-04-18 cs.CL
PowerNorm: Rethinking Batch Normalization in Transformers
UC Berkeley（加州大学伯克利分校）
用于自然语言处理（NLP）中的神经网络（NN）模型的标准归一化方法是层归一化（LN）。这与计算机视觉中广泛采用的批量归一化（BN）不同。在NLP中优先使用LN主要是由于经验观察，即BN的（天真/香草）使用会导致NLP任务的性能显着下降;然而，对此的根本原因的透彻理解并不总是显而易见的。在本文中，我们进行了系统的研究NLP Transformer模型，以了解为什么BN有一个穷人的性能，相比LN。我们发现，在整个训练过程中，NLP数据在批次维度上的统计数据表现出很大的波动。如果BN被简单地实现，这会导致不稳定性。为了解决这个问题，我们提出了功率归一化（PN），这是一种新的归一化方案，它通过以下方式解决了这个问题：（i）放松BN中的零均值归一化，（ii）采用运行二次均值而不是每批统计数据来稳定波动，以及（iii）使用近似反向传播将运行统计数据纳入前向传递。我们从理论上表明，在温和的假设下，PN导致一个较小的Lipschitz常数的损失，与BN相比。此外，我们证明了近似的反向传播方案导致有界梯度。我们在一系列NLP任务上广泛测试了Transformers的PN，我们表明它的性能明显优于LN和BN。具体而言，PN在IWSLT 14/WMT 14上以0.4/0.6 BLEU优于LN，在PTB/WikiText-103上以5.6/3.0 PPL优于LN。我们在\url{https://githu…
2020-06-28 cs.CL cs.LG
Exploring the Performance and Efficiency of Transformer Models for NLP on Mobile Devices
National Technical University of Athens（雅典国立技术大学）；Samsung AI Center（三星人工智能中心）
针对Transformer模型难以在移动设备高效部署的问题，构建代表性模型基准，在不同算力的移动设备上评估其性能，发现Transformer对加速器不友好，需软硬件优化以实现高效部署。
2023-06-20 cs.CL cs.LG
Can Demographic Factors Improve Text Classification? Revisiting Demographic Adaptation in the Age of Transformers
University of Mannheim（曼海姆大学）；NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）；University of Hamburg（汉堡大学）；Bocconi University（博科尼大学）；University of Würzburg（维尔茨堡大学）
本研究考察人口统计适配在预训练Transformer语言模型中的有效性，发现表面上的性能提升源于混杂因素而非人口统计知识，表明该问题在现代NLP中仍未解决。
2023-05-09 cs.CL
Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey
doXray B.V.（doXray有限公司）
本文综述 NLP 中基于 Transformer 的多任务学习方法，并从数据工程、开发、部署到监控的机器学习生命周期分析其挑战与机遇，同时倡导结合持续学习。
2023-08-16 cs.AI cs.CL cs.LG
The Role of Complex NLP in Transformers for Text Ranking?
University of Amsterdam（阿姆斯特丹大学）
尽管基于术语的方法（如BM 25）在排名中提供了强大的基线，但在某些条件下，它们由大型预训练的掩蔽语言模型（MLM）（如BERT）主导。迄今为止，其效力的来源仍不清楚。是他们通过建模句法方面来真正理解意义的能力吗？我们通过操纵输入顺序和位置信息来回答这个问题，这种方式破坏了查询和通道的自然顺序，并表明该模型仍然具有相当的性能。总体而言，我们的研究结果强调，句法方面不发挥关键作用的有效性重新排名与BERT。我们指出，其他机制，如查询通道交叉注意和更丰富的嵌入，捕捉单词的含义的基础上聚合的上下文，而不管单词的顺序是其优越的性能的主要属性。
2022-07-06 cs.AI cs.CL
A Family of Pretrained Transformer Language Models for Russian
SaluteDevices（萨鲁特设备公司）
本文发布涵盖编码器、解码器和编码器-解码器架构的 13 个俄语预训练 Transformer 模型，并通过多类理解与生成基准评估其泛化能力。
2024-08-02 cs.CL
QU-NLP at CheckThat! 2025: Multilingual Subjectivity in News Articles Detection using Feature-Augmented Transformer Models with Sequential Cross-Lingual Fine-Tuning
Qatar University（卡塔尔大学）
本研究针对CheckThat! 2025新闻主观性检测任务，提出融合上下文嵌入与统计/语言特征的特征增强Transformer模型，通过序列跨语言微调在多语言、单语言及零样本设置下取得有竞争力的性能，并验证了特征组合与跨语言迁移的作用。
2025-07-01 cs.CL
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
