Understanding the Failure of Batch Normalization for Transformers in NLP
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
批量归一化（BN）是加速深度神经网络训练和提高计算机视觉（CV）任务泛化能力的核心和流行技术。然而，它未能捍卫自己的地位，在自然语言处理（NLP），这是占主导地位的层归一化（LN）。在本文中，我们试图回答为什么BN通常在Transformer模型的NLP任务中表现得比LN差。我们发现，BN的训练和推理之间的不一致性是导致BN在NLP中失败的主要原因。我们定义了训练推理离散度（TID）来定量测量这种不一致性，并揭示TID可以指示BN的性能，并得到广泛实验的支持，包括图像分类，神经机器翻译，语言建模，序列标记和文本分类任务。我们发现，BN可以获得更好的测试性能比LN时，TID通过训练保持小。为了抑制TID的爆炸，我们提出了正则化BN（RBN），它添加了一个简单的正则化项来缩小BN的批统计和总体统计之间的差距。RBN始终如一地提高了BN的性能，在20个设置中的17个设置上优于LN或与LN相当，涉及10个数据集和Transformer的两个常见变体。https://github.com/wjxts/RegularizedBN
2022-10-11 cs.CL cs.LG
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University（复旦大学）
双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务的模型中的编码器。近年来，由于其并行性和优越的性能，Transformer在各种自然语言处理（NLP）任务中被广泛采用。然而，Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中，我们提出了TENER，NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力，我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
BCH-NLP at BioCreative VII Track 3: medications detection in tweets using transformer networks and multi-task learning
Computational Health Informatics Program, Boston Children's Hospital（波士顿儿童医院计算健康信息学项目）；Department of Pediatrics, Harvard Medical School（哈佛医学院儿科学系）
在本文中，我们介绍了我们参与BioCreative VII Track 3的工作-自动提取推文中的药物名称，在那里我们实现了一个多任务学习模型，该模型在文本分类和序列标签上进行了联合训练。我们最好的系统跑取得了80.4的严格F1，排名第一，比所有参赛者的平均分高出10分以上。我们的分析表明，集成技术，多任务学习，和数据增强都有利于药物检测推文。
2021-11-26 cs.CL cs.LG
Transformers: "The End of History" for NLP?
HSE University（高等经济大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）
神经架构的最新进展，如Transformer，加上大规模预训练模型（如BERT）的出现，彻底改变了自然语言处理（NLP）领域，推动了许多NLP任务的发展。已经提出了这些模型的丰富的变体系列，例如RoBERTa，ALBERT和XLNet，但从根本上讲，它们在对某些类型的信息建模的能力方面仍然有限，并且它们无法处理某些信息源，这对于先前存在的模型来说很容易。因此，在这里，我们的目标是阐明一些重要的理论限制的预训练的BERT风格的模型，这是固有的一般Transformer架构。首先，我们在实践中证明了两种一般类型的任务-分割和段标记-以及四个数据集，这些限制确实是有害的，即使以一些非常简单和天真的方式解决它们，也可以比香草RoBERTa和XLNet模型产生相当大的改进。然后，我们对未来添加到Transformer架构中以提高其表现力的必要性进行了更一般的讨论，我们希望这可以帮助设计下一代深度NLP架构。
2021-09-23 cs.CL cs.IR cs.LG
Introduction to Transformers: an NLP Perspective
NLP Lab., Northeastern University, Shenyang, China（东北大学沈阳分校自然语言处理实验室）；NiuTrans Research, Shenyang, China（尼utrans研究院）
本文从NLP视角介绍Transformer的基本概念、标准架构、模型改进及常见应用，总结影响该领域的关键思想，并探讨其优势与局限。
2026-07-03 cs.AI cs.CL cs.LG
The Dark Side of AI Transformers: Sentiment Polarization & the Loss of Business Neutrality by NLP Transformers
Business Optima
本文探讨了AI变换器在情感分析中导致情感极化和中立性丧失的问题，揭示了其在应用NLP中的负面影响。
2026-01-21 cs.AI cs.CL
Transformer Vs. MLP-Mixer: Exponential Expressive Gap For NLP Problems
Technion（以色列理工学院）
视觉转换器广泛用于各种视觉任务。与此同时，还有另一条工作线，从MLP混频器开始，试图使用基于MLP的架构实现类似的性能。有趣的是，到目前为止，这些基于mlp的架构还没有适应NLP任务。此外，到目前为止，基于mlp的架构在视觉任务中未能实现最先进的性能。在这篇文章中，我们分析了基于mlp的体系结构在同时对多个不同输入之间的依赖关系建模时的表现力，并显示了注意力和基于mlp的机制之间的指数差距。我们的研究结果为mlp无法与NLP问题中基于注意力的机制竞争提供了理论解释，他们还表明，视觉任务中的性能差距可能是由于mlp在建模多个不同位置之间的依赖关系时相对薄弱，并且将智能输入排列与mlp架构相结合可能不足以单独缩小性能差距。
2022-11-17 cs.CL cs.CV cs.LG
PowerNorm: Rethinking Batch Normalization in Transformers
UC Berkeley（加州大学伯克利分校）
用于自然语言处理（NLP）中的神经网络（NN）模型的标准归一化方法是层归一化（LN）。这与计算机视觉中广泛采用的批量归一化（BN）不同。在NLP中优先使用LN主要是由于经验观察，即BN的（天真/香草）使用会导致NLP任务的性能显着下降;然而，对此的根本原因的透彻理解并不总是显而易见的。在本文中，我们进行了系统的研究NLP Transformer模型，以了解为什么BN有一个穷人的性能，相比LN。我们发现，在整个训练过程中，NLP数据在批次维度上的统计数据表现出很大的波动。如果BN被简单地实现，这会导致不稳定性。为了解决这个问题，我们提出了功率归一化（PN），这是一种新的归一化方案，它通过以下方式解决了这个问题：（i）放松BN中的零均值归一化，（ii）采用运行二次均值而不是每批统计数据来稳定波动，以及（iii）使用近似反向传播将运行统计数据纳入前向传递。我们从理论上表明，在温和的假设下，PN导致一个较小的Lipschitz常数的损失，与BN相比。此外，我们证明了近似的反向传播方案导致有界梯度。我们在一系列NLP任务上广泛测试了Transformers的PN，我们表明它的性能明显优于LN和BN。具体而言，PN在IWSLT 14/WMT 14上以0.4/0.6 BLEU优于LN，在PTB/WikiText-103上以5.6/3.0 PPL优于LN。我们在\url{https://githu…
2020-06-28 cs.CL cs.LG
Exploring the Performance and Efficiency of Transformer Models for NLP on Mobile Devices
National Technical University of Athens（雅典国立技术大学）；Samsung AI Center（三星人工智能中心）
针对Transformer模型难以在移动设备高效部署的问题，构建代表性模型基准，在不同算力的移动设备上评估其性能，发现Transformer对加速器不友好，需软硬件优化以实现高效部署。
2023-06-20 cs.CL cs.LG
CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models
Zhejiang University（浙江大学）
针对NLP模型动态后门检测研究空白，提出CLIBE框架，通过注意力层少样本权重扰动及泛化性检测动态后门，经多场景验证有效且具鲁棒性，还可扩展检测文本生成模型后门。
2024-09-11 cs.CL cs.CR cs.LG
Easy and Efficient Transformer : Scalable Inference Solution For large NLP model
NetEase Inc.（网易公司）；Hong Kong Baptist University（香港浸会大学）
最近，大规模的基于transformer的模型已被证明是有效的，在许多领域的各种任务。然而，将它们应用于工业生产需要繁琐和繁重的工作，以减少推理成本。为了填补这一空白，我们引入了一个可扩展的推理解决方案：简单和高效的Transformer（EET），包括一系列的Transformer推理优化的算法和实现水平。首先，我们为长输入和大隐藏大小设计高度优化的内核。其次，我们提出了一个灵活的CUDA内存管理器，以减少部署大型模型时的内存占用。与最先进的Transformer推理库（Faster Transformer v4.0）相比，EET在使用A100 GPU的Transformer解码器层上可以实现平均1.40- 4.20倍的加速
2022-05-24 cs.CL
DoT: An efficient Double Transformer for NLP tasks with tables
Google Research（谷歌研究院）；Symanto Research（Symanto研究院）
基于转换器的方法已经成功地用于在具有半结构化表的自然语言处理（NLP）任务上获得最先进的准确性。这些模型架构通常很深，导致训练和推理缓慢，特别是对于长输入。为了提高效率，同时保持高精度，我们提出了一种新的架构，DoT，一个双Transformer模型，将问题分解为两个子任务：一个浅修剪Transformer，选择前K个令牌，其次是一个深任务特定的Transformer，作为输入的K个令牌。此外，我们修改了特定于任务的注意力，将修剪分数。通过优化特定于任务的损耗来联合训练两个Transformers。我们在三个基准上进行了实验，包括蕴涵和问答。我们发现，对于一个小的准确率下降，DoT将训练和推理时间提高了至少50%。我们还表明，修剪Transformer有效地选择相关的令牌，使端到端的模型，以保持类似的精度较慢的基线模型。最后，我们分析了修剪，并给出了一些洞察其对任务模型的影响。
2021-06-01 cs.CL
Divide et Impera: Multi-Transformer Architectures for Complex NLP-Tasks
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本文提出一种多Transformer架构方法，将复杂NLP任务分解为简单子任务并分别微调模型串联执行，简化了数据集编译、提升了可控性，在减少性别偏见任务上优于单一模型。
2023-10-25 cs.CL
Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey
doXray B.V.（doXray有限公司）
本文综述 NLP 中基于 Transformer 的多任务学习方法，并从数据工程、开发、部署到监控的机器学习生命周期分析其挑战与机遇，同时倡导结合持续学习。
2023-08-16 cs.AI cs.CL cs.LG
AxFormer: Accuracy-driven Approximation of Transformers for Faster, Smaller and more Accurate NLP Models
Purdue University（普渡大学）
近年来，Transformers极大地促进了自然语言处理（NLP）的发展，但存在非常大的计算和存储需求。我们观察到，Transformers的设计过程（以自我监督的方式在大型数据集上预训练基础模型，然后针对不同的下游任务对其进行微调）导致任务特定的模型高度过度参数化，对准确性和推理效率产生不利影响。我们提出了AxFormer，一个系统的框架，适用于精度驱动的近似创建优化的Transformer模型为给定的下游任务。AxFormer结合了两个关键的优化--准确性驱动的修剪和选择性硬注意。精确度驱动的修剪识别并删除微调的Transformer中妨碍给定下游任务性能的部分。稀疏硬注意力通过消除不相关的单词聚合来优化选定层中的注意力块，从而帮助模型仅关注输入的相关部分。实际上，AxFormer导致模型更准确，同时也更快，更小。我们在GLUE和SQUAD任务上的实验表明，AxFormer模型的准确度提高了4.5%，同时比传统的微调模型快2.5倍，小3.2倍。此外，我们证明AxFormer可以与以前的努力，如蒸馏或量化相结合，以实现进一步的效率提高。
2022-06-10 cs.AI cs.CL cs.LG
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon（俄勒冈大学）
我们介绍Trankit，一个轻量级的基于transformer的多语言自然语言处理（NLP）工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道，并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上，在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道，同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer，我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的，其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在：http://nlp.uoregon.edu/trankit。最后，我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
A Study of Social and Behavioral Determinants of Health in Lung Cancer Patients Using Transformers-based Natural Language Processing Models
University of Florida（佛罗里达大学）；Weill Cornell Medicine（威尔康奈尔医学院）
健康的社会和行为决定因素（SBDoH）在塑造人们的健康方面发挥着重要作用。在临床研究中，特别是比较有效性研究中，未能调整SBDoH因素可能会在统计分析和基于机器学习的模型中导致混淆问题和错误分类错误。然而，有有限的研究，以检查SBDoH因素的临床结果，由于缺乏结构化的SBDoH信息在当前的电子健康记录（EHR）系统，而大部分的SBDoH信息记录在临床叙述。因此，自然语言处理（NLP）是从非结构化临床文本中提取此类信息的关键技术。然而，目前还没有一个成熟的临床NLP系统专注于SBDoH。在这项研究中，我们检查了两个最先进的基于转换器的NLP模型，包括BERT和RoBERTa，以从临床叙述中提取SBDoH概念，应用表现最好的模型提取肺癌筛查患者队列的SBDoH概念，分析了自然语言处理结果和结构化EHR中SBDoH信息的差异（SBDoH信息以标准词汇表（如国际疾病分类代码）获取）。实验结果表明，基于BERT的自然语言处理模型取得了最好的严格/宽松的F1分数分别为0.8791和0.8999。NLP提取的SBDoH信息和结构化EHR在864例肺癌患者队列中的161，933种不同类型的临床记录之间的比较表明，关于吸烟，教育和就业的更详细的信息仅在临床叙述中获得，并且有必要使用临床叙述和结构化EHR来构建患者SBDoH因素的更完整的图片。
2021-08-10 cs.CL cs.LG
Boosting classification reliability of NLP transformer models in the long run
Centre for Social Sciences（社会科学中心）；Eötvös Loránd University（厄特沃什·罗兰大学）
本文针对 BERT 分类模型跨时期性能衰减问题，基于匈牙利新冠疫苗接种评论比较微调与再标注策略，发现使用全部未标注新评论随机采样微调最有效，但持续性能仍依赖定期标注。
2023-02-20 cs.CL cs.LG
Multi-task Active Learning for Pre-trained Transformer-based Models
Technion, IIT（以色列理工学院）
多任务学习，其中多个任务由单个模型联合学习，允许NLP模型共享来自多个注释的信息，并且当任务相互关联时，可以促进更好的预测。然而，这种技术需要用多个注释方案来注释相同的文本，这可能是昂贵且费力的。主动学习（AL）已被证明可以通过迭代选择注释对NLP模型最有价值的未标记示例来优化注释过程。然而，多任务主动学习（MT-AL）尚未应用于最先进的预训练的基于transformer的NLP模型。本文旨在缩小这一差距。我们探讨了各种多任务选择标准在三个现实的多任务场景，反映不同的参与任务之间的关系，并证明了多任务相比，单任务选择的有效性。我们的研究结果表明，MT-AL可以有效地用于最大限度地减少多任务NLP模型的注释工作。
2022-10-28 cs.CL cs.HC cs.LG
Deep Learning Models for Automatic Summarization
onepoint（一点公司）
文本摘要是一项NLP任务，旨在将文本文档转换为更短的文档，同时尽可能保留更多的含义。这篇教学文章回顾了一些最近的深度学习架构，这些架构有助于推进该领域的研究。我们将特别讨论指针网络、分层Transformers和强化学习的应用。我们假设有Seq2Seq架构和NLP中的Transformer网络的基本知识。
2020-05-25 cs.CL cs.LG
On the Effectiveness of Compact Biomedical Transformers
NLPie（NLPie公司）
在生物医学语料库上预训练的语言模型，如BioBERT，最近在下游生物医学任务上显示出有希望的结果。另一方面，由于嵌入大小、隐藏维度和层数等因素，许多现有的预训练模型都是资源密集型的，计算量很大。自然语言处理（NLP）社区已经开发了许多策略来压缩这些模型，使用修剪，量化和知识蒸馏等技术，从而产生更快，更小，更容易在实践中使用的模型。出于同样的原因，在本文中，我们介绍了六个轻量级模型，即BioDistilBERT，BioTinyBERT，BioMobileBERT，DistilBioBERT，TinyBioBERT和CompactBioBERT，它们是通过生物医学教师的知识蒸馏或通过Masked Language Modeling（MLM）目标在Pubmed数据集上进行持续学习而获得的。我们在三个生物医学任务上评估了我们所有的模型，并将它们与BioBERT-v1.1进行比较，以创建与大型模型不相上下的高效轻量级模型。所有的模型都将在我们的Huggingface个人资料中公开，网址是https://huggingface.co/nlpie，用于运行实验的代码将在https://github.com/nlpie-research/Compact-Biomedical-Transformers上提供。
2022-09-07 cs.CL cs.LG
PALI-NLP at SemEval-2022 Task 4: Discriminative Fine-tuning of Transformers for Patronizing and Condescending Language Detection
Ping An Life Insurance Company of China, Ltd.（中国平安人寿保险股份有限公司）
Patronizing and Condensing Language（PCL）具有很大的有害影响，并且对于人类法官和现有的NLP系统都难以检测。在SemEval-2022任务4中，我们提出了一种新的基于transformer的模型及其集成，以准确理解PCL检测的语言上下文。为了促进对PCL的微妙和主观性质的理解，两个微调策略被应用于捕捉不同的语言行为和分类分布的歧视性特征。该系统在官方排名中取得了显著的成绩，包括子任务1的第一名和子任务2的第五名。大量的实验任务证明了我们的系统和策略的有效性。
2022-07-16 cs.AI cs.CL
T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP
University of British Columbia（不列颠哥伦比亚大学）；Huawei Cananda Technologies Co. Ltd.（华为加拿大技术有限公司）
Transformers是NLP中的主导架构，但它们的训练和微调仍然非常具有挑战性。在本文中，我们提出了一个视觉分析框架的设计和实现，以帮助研究人员在这样的过程中，通过为他们提供有价值的见解模型的内在属性和行为。我们的框架提供了一个直观的概述，允许用户探索模型的不同方面（例如，隐藏状态、注意力），并允许一套内置算法来计算模型组件和输入序列不同部分的重要性。案例研究和用户焦点小组的反馈表明，该框架是有用的，并提出了几项改进建议。
2021-08-31 cs.CL cs.HC
Effectiveness of Deep Networks in NLP using BiDAF as an example architecture
Stanford Center for Professional Development（斯坦福专业发展中心）
通过高级模型架构的发展，如BERT和Birobot，以及更早的基于单词、字符和上下文的嵌入，NLP的问答已经取得了进展。由于BERT已经跨越了模型的准确性，下一个前沿领域的一个元素可以是引入深度网络和训练它们的有效方法。在这种情况下，我探索了深度网络的有效性，重点是Biodynamic的模型编码器层。具有异构层的Bioscience不仅提供了探索深度网络的有效性的机会，而且还提供了评估在较低层中进行的改进是否可以添加到模型架构的上层中进行的改进的机会。我相信NLP中下一个最伟大的模型实际上会像BERT一样融合在一个坚实的语言建模中，它具有一个复合架构，除了通用语言建模之外，它还将带来改进，并将拥有一个更广泛的分层架构。我试验了Bypass网络、Residual Highway网络和DenseNet架构。此外，我还评估了集成网络最后几层的有效性。我还研究了将字符嵌入添加到词嵌入中所产生的差异，以及这种影响是否与深度网络叠加。我的研究表明，深度网络实际上是有效的。此外，像嵌入这样的底层改进可以通过添加到通过深度网络获得的收益中。
2021-08-31 cs.CL cs.LG
The Double Helix inside the NLP Transformer
World Wide Technology（世界宽科技公司）
提出NLP Transformer信息分析框架，区分四层信息并用Linear-and-Add方法替代次优的位置加法，揭示了位置信息在深层呈螺旋分离及词性聚类现象，为理解深层信息处理提供了新途径。
2023-06-23 cs.AI cs.CL
Application of Transformers based methods in Electronic Medical Records: A Systematic Literature Review
Federal University of Rio de Janeiro（里约热内卢联邦大学）
本文系统性综述了基于 Transformers 的方法在电子病历 NLP 任务中的应用，从三个公共数据库筛选出 65 篇文献，从业务问题、模型、数据集等维度分析现有研究局限并提出未来建议。
2023-04-05 cs.AI cs.CL cs.LG
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
A Review of Bangla Natural Language Processing Tasks and the Utility of Transformer Models
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Cognitive Insight Limited（认知洞察有限公司）；BJIT Limited（BJIT有限公司）；Dhaka University（达卡大学）
孟加拉语是世界上使用最广泛的第六种语言（https：//www.ethnologue.com/guides/ethnologue200），有2.3亿人以孟加拉语为母语，但在自然语言处理（NLP）社区中，孟加拉语仍然被认为是一种低资源语言。经过三十年的研究，孟加拉语自然语言处理（BNLP）仍然落后，主要是由于资源的稀缺和随之而来的挑战。在BNLP的不同领域，工作很少;然而，尚未完成一项全面的调查报告以前的工作和最新进展。在这项研究中，我们首先回顾了研究社区可用的孟加拉NLP任务、资源和工具;我们使用当前最先进的算法（即，基于变压器的模型）。我们通过比较不同大小的单语与多语言模型，为所研究的NLP任务提供了比较结果。我们使用个人和合并数据集报告我们的结果，并为未来的研究提供数据分割。我们共查阅了108篇论文，进行了175组实验。我们的结果显示，使用基于变换器的模型具有良好的性能，同时强调了与计算成本的权衡。我们希望这样一个全面的调查将激励社区建立和进一步推进对孟加拉语NLP的研究。
2021-07-25 cs.AI cs.CL cs.IR
Revealing Trends in Datasets from the 2022 ACL and EMNLP Conferences
Information Science Division（信息科学部）；Nara Institute of Science and Technology（奈良科学技术研究所）
本研究分析2022年ACL和EMNLP会议引入的92个新数据集，揭示其趋势与见解，并为未来数据集策划提供建议。
2024-07-15 cs.CL cs.LG
Analysing similarities between legal court documents using natural language processing approaches based on Transformers
TRT5 - Regional Labour Court of the 5th Region（第五地区地区劳工法院）；SENAI CIMATEC University Center（SENAI CIMATEC大学中心）；Surrey Institute for People-Centred AI（萨里以人为本人工智能研究所）；University of Surrey（萨里大学）
本研究利用六种基于Transformer的NLP模型（如BERT、GPT-2和RoBERTa）分析巴西法律文书相似性，通过微调210,000个诉讼并基于嵌入聚类评估，发现RoBERTa模型表现最佳，且方法可推广至其他语言。
2023-05-11 cs.AI cs.CL cs.LG
Towards More Accurate Prediction of Human Empathy and Emotion in Text and Multi-turn Conversations by Combining Advanced NLP, Transformers-based Networks, and Linguistic Methodologies
基于WASSA共享任务，本文结合前馈神经网络、多种嵌入模型、分层采样、词汇资源及模型集成，预测文本和二元对话中的共情与情感水平。
2024-07-26 cs.CL cs.LG
The Impact of Quantization on the Robustness of Transformer-based Text Classifiers
Sharif University of Technology（谢里夫理工大学）；University of Guilan（吉兰大学）
该研究首次探究量化对NLP模型鲁棒性的影响，实验证明量化可显著提升BERT等模型的对抗准确率，效果优于对抗训练且无额外训练开销，为增强NLP模型鲁棒性提供了有效方案。
2024-03-08 cs.CL cs.LG
Semantic Communication with Adaptive Universal Transformer
随着深度学习（DL）的发展，自然语言处理（NLP）使我们能够分析和理解大量的语言文本。因此，我们可以实现语义通信的联合语义源和信道编码在噪声信道的帮助下。然而，现有的实现这一目标的方法是使用NLP的固定Transformer，而忽略了每个句子所包含的语义信息的差异。针对这一问题，提出了一种基于通用Transformer的语义通信系统。与传统的Transformer相比，通用Transformer引入了自适应循环机制。通过引入循环机制，新的语义通信系统可以更灵活地传输不同语义信息的句子，在各种信道条件下实现更好的端到端性能。
2021-11-29 cs.CL eess.SP
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
University College London（伦敦大学学院）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；University of Edinburgh（爱丁堡大学）
对外部知识的访问对于许多自然语言处理任务（例如问答和对话）是必不可少的。现有的方法通常依赖于在其参数中存储知识的参数模型，或者使用可以访问外部知识源的检索增强模型。参数和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强的Transformer（EMAT）-它将外部知识编码到键值内存中，并利用快速最大内积搜索进行内存查询。我们还介绍了预训练任务，使EMAT编码信息的键值表示，并学习一个隐式的策略，将多个内存插槽到Transformer。在各种知识密集型任务（如问答和对话数据集）上的实验表明，使用我们的方法简单地增强参数模型（T5-base）会产生更准确的结果（例如，25.8- NQ上的44.3EM），同时保持高吞吐量（例如，1000查询/秒的NQ）。与检索增强模型相比，EMAT在WoW和ELI 5上运行速度更快，结果更准确。我们的代码和数据集可以在https：//github上找到。com/uclnlp/EMAT。
2022-10-30 cs.AI cs.CL cs.LG
Empirical Evaluation of Pre-trained Transformers for Human-Level NLP: The Role of Sample Size and Dimensionality
Stony Brook University（石溪大学）
本文系统评估预训练 Transformer 在小样本人类层面 NLP 任务中的表现，发现预训练降维可缓解微调困难，RoBERTa 表现最佳，且多数任务仅需 1/12 嵌入维度。
2021-05-07 cs.CL
IUST_NLP at SemEval-2023 Task 10: Explainable Detecting Sexism with Transformers and Task-adaptive Pretraining
Iran University of Science and Technology（伊朗科技大学）
本研究针对 SemEval-2023 任务 10，提出基于 Transformer 的预训练模型，结合任务自适应预训练与集成学习，用于在线性别歧视检测，在子任务 A、B、C 上分别获得 83%、64%、47% 的 F1 分数。
2023-05-11 cs.CL
Legal Transformer Models May Not Always Help
EPFL（洛桑联邦理工学院）
基于深度学习的自然语言处理方法，尤其是Transformers，在过去几年取得了令人印象深刻的表现。将这些最先进的NLP方法应用于法律活动，以自动化或简化一些简单的工作，具有重要的价值。本文研究了领域自适应预训练和语言适配器在法律NLP任务中的价值。通过比较语言模型与领域自适应预训练在不同任务和不同数据集分割上的性能，我们表明领域自适应预训练仅对低资源下游任务有帮助，因此远非万能药。我们还在一个典型的合法NLP任务中对适配器的性能进行了基准测试，并表明它们可以以更小的训练成本产生与完整模型调优相似的性能。作为一个额外的结果，我们发布了LegalRoBERTA，这是一个在法律语料库上进一步预训练的RoBERTA模型。
2021-09-15 cs.CL
Extracting Thyroid Nodules Characteristics from Ultrasound Reports Using Transformer-based Natural Language Processing Methods
University of Florida（佛罗里达大学）；Mayo Clinic Rochester（梅奥诊所罗切斯特院区）
本研究比较了BERT、RoBERTa、LongFormer、DeBERTa和GatorTron等5种基于Transformer的NLP模型，从超声报告中提取16项甲状腺结节特征，GatorTron表现最佳，为评估超声报告质量和患者结局奠定基础。
2023-03-31 cs.CL
On Robustness of Finetuned Transformer-based NLP Models
NIT Warangal（瓦朗加尔国家理工学院）；IIIT Hyderabad（海得拉巴国际信息技术学院）；Microsoft（微软）；INRIA（法国国家信息与自动化研究所）
该研究用CKA、STIR指标刻画预训练与微调Transformer模型各层表示变化，对比BERT、GPT-2、T5在多任务多扰动下的鲁棒性，发现GPT-2鲁棒性更优，名词/动词删除、字符修改影响最大，并公开相关代码模型。
2023-11-08 cs.CL
NLP-IIS@UT at SemEval-2021 Task 4: Machine Reading Comprehension using the Long Document Transformer
University of Tehran（德黑兰大学）
本文介绍了我们提交的SemEval-2021第四个任务的技术报告，标题为：抽象意义的阅读理解。在这个任务中，我们希望根据给定的上下文预测正确的答案。通常情况下，上下文非常冗长，需要模型的大接收域。因此，由于输入标记的有限容量，像BERT这样的常见上下文化语言模型错过了精细的表示和性能。为了解决这个问题，我们使用了Longformer模型来更好地处理序列。此外，我们利用Longformer基准中提出的方法在Wikihop数据集上提高了任务数据的准确率，从子任务1和2的基线分别达到的23.01%和22.95%提高到70.30%和64.38%。
2021-05-08 cs.CL cs.IR cs.IT
NLP-CUET@DravidianLangTech-EACL2021: Offensive Language Detection from Multilingual Code-Mixed Text using Transformers
Chittagong University of Engineering and Technology（吉大港工程技术大学）
互联网的日益普及促进了社交媒体的使用，并鼓励个人自由表达意见。然而，它也为内容污染者传播攻击性帖子或内容创造了一个场所。大多数此类攻击性帖子都是以跨语言的方式编写的，可以轻松逃避在线监控系统。本文提出了一个自动化系统，可以识别攻击性文本从多语言代码混合数据。在这项任务中，数据集以三种语言提供，包括泰米尔语，马拉雅拉姆语和卡纳达语代码与英语混合，要求参与者为每种语言实现单独的模型。为了完成这些任务，我们采用了两种机器学习技术（LR，SVM），三种深度学习（LSTM，LSTM+Attention）技术和三种基于Transformers器（m-BERT，Indic-BERT，XLM-R）的方法。结果表明，XLM-R在泰米尔语和马拉雅拉姆语中的表现优于其他技术，而m-BERT在卡纳达语中得分最高。所提出的模型获得了加权$f_1$得分$0.76$（泰米尔语），$0.93$（马拉雅拉姆语）和$0.71$（卡纳达语）与等级分别为$3^{rd}$，$5^{th}$和$4^{th}$。
2021-02-28 cs.CL
UTSA NLP at SemEval-2022 Task 4: An Exploration of Simple Ensembles of Transformers, Convolutional, and Recurrent Neural Networks
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
通过使用带有优越感的居高临下和居高临下的语言来表现出善良或乐于助人的行为可能会对那些经历过它的人产生严重的心理健康影响。因此，在线检测这种居高临下和居高临下的语言对于在线审核系统可能是有用的。因此，在本文中，我们描述了由UTSA SemEval-2022任务4开发的系统，检测光顾和居高临下的语言。我们的方法探索了几种深度学习架构的使用，包括RoberTa、卷积神经网络和双向长短期记忆网络。此外，我们探索简单而有效的方法来创建集成的神经网络模型。总的来说，我们对几个集成模型进行了实验，发现五个RoBERTa模型的简单组合在开发数据集上获得了.6441的F分数，在最终测试数据集上获得了.5745的F分数。最后，我们还进行了全面的误差分析，以更好地了解模型的局限性，并为进一步的研究提供思路。
2022-03-28 cs.CL
Comparative Efficiency Analysis of Lightweight Transformer Models: A Multi-Domain Empirical Benchmark for Enterprise NLP Deployment
School of Computing and Mathematics（计算与数学学院）
本文比较了DistilBERT、MiniLM和ALBERT三种轻量级Transformer模型在多领域任务中的效率与准确率，发现MiniLM在推理速度最佳，DistilBERT在任务准确性最均衡，ALBERT在资源受限环境下表现最优。
2026-01-01 cs.CL
AraBERT: Transformer-based Model for Arabic Language Understanding
American University of Beirut（贝鲁特美国大学）
阿拉伯语是一种形态丰富的语言，与英语相比，资源相对较少，语法探索较少。考虑到这些限制，阿拉伯语自然语言处理（NLP）任务，如情感分析（SA）、命名实体识别（NER）和问答（QA），已经被证明是非常具有挑战性的。最近，随着基于Transformers的模型的激增，基于语言特定的BERT的模型已经被证明在语言理解方面非常有效，只要它们在非常大的语料库上进行预训练。这些模型能够为大多数NLP任务设定新的标准并实现最先进的结果。在本文中，我们专门针对阿拉伯语预先训练了BERT，以实现BERT在英语中所取得的同样成功。AraBERT的性能与Google的多语言BERT和其他最先进的方法进行了比较。结果表明，新开发的AraBERT在大多数测试的阿拉伯语NLP任务上都达到了最先进的性能。预先训练的araBERT模型在https://github.com/aub-mind/arabert上公开，希望鼓励阿拉伯语NLP的研究和应用。
2021-03-07 cs.CL
Lite Transformer with Long-Short Range Attention
Shanghai Jiao Tong University（上海交通大学）；Massachusetts Institute of Technology（麻省理工学院）
Transformer在自然语言处理（例如，机器翻译、问答）;然而，它需要大量的计算来实现高性能，这使得它不适合于受到硬件资源和电池严格限制的移动应用。在本文中，我们提出了一个有效的移动NLP架构，精简版Transformer，以方便部署移动NLP应用程序的边缘设备。关键的原语是长短距离注意力（LSRA），其中一组头部专门用于本地上下文建模（通过卷积），而另一组专门用于长距离关系建模（通过注意力）。这种专门化在三个成熟的语言任务上带来了比普通Transformer一致的改进：机器翻译、抽象摘要和语言建模。在有限的资源（500 M/100 M MAC）下，Lite Transformer在WMT'14英语-法语上的性能分别优于Transformer 1.2/1.7 BLEU。Lite Transformer将Transformer基础模型的计算量减少了2.5倍，BLEU评分降低了0.3。结合修剪和量化，我们进一步将Lite Transformer的模型大小压缩了18.2倍。对于语言建模，Lite Transformer在大约500 M MAC时实现了比Transformer低1.8的困惑。值得注意的是，Lite Transformer在移动NLP设置中的BLEU比基于AutoML的Evolved Transformer高0.5倍，而无需进行需要超过250年GPU的昂贵架构搜索。代码已…
2020-04-24 cs.CL
Lightweight Transformers for Clinical Natural Language Processing
University of Oxford（牛津大学）；NLPie Research（NLPie研究院）；University of Surrey（萨里大学）；Oxford-Suzhou Centre for Advanced Research（牛津苏州高等研究院）；Nuffield Department of Population Health, University of Oxford（牛津大学纳菲尔德人口健康系）；Pandemic Sciences Institute, University of Oxford（牛津大学流行病科学研究所）；Sharif University of Technology（谢里夫理工大学）；Infectious Diseases Data Observatory (IDDO), University of Oxford（牛津大学传染病数据观测站（IDDO））
本文通过知识蒸馏和持续学习开发了参数为1500万至6500万的轻量级临床Transformer，在多个临床文本挖掘任务上性能媲美BioBERT等大模型，并显著优于其他紧凑模型。
2023-02-09 cs.AI cs.CL cs.LG
Difficulty in chirality recognition for Transformer architectures learning chemical structures from string
The University of Tokyo（东京大学）
本研究使用Transformer模型探究NLP模型对SMILES化学结构的学习机制，发现其学习整体结构和手性较慢且易误解对映体，为化学领域的NLP模型提供了新理解。
2024-01-14 cs.CL cs.LG physics.chem-ph
Evaluating Transformer-Based Multilingual Text Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
随着NLP工具在当今的技术领域变得无处不在，它们越来越多地应用于具有各种类型结构的语言。然而，NLP研究并不主要集中在其分析最先进的语言模型的类型学差异。因此，NLP工具在具有不同句法和形态结构的语言中表现不平等。通过对词序类型学、形态类型学和比较语言学的详细讨论，我们确定了哪些变量最影响语言建模效果;此外，我们计算了词序和形态相似性指数，以帮助我们的实证研究。然后，我们使用这个背景来支持我们的分析，我们进行的实验，使用多类文本分类的八种语言和八个模型。
2020-04-30 cs.CL
IrEne: Interpretable Energy Prediction for Transformers
Stony Brook University（石溪大学）
现有的基于软件的NLP模型的能量测量是不准确的，因为它们没有考虑能量消耗和模型执行之间的复杂相互作用。我们提出了IrEne，一个可解释和可扩展的能量预测系统，可以准确预测各种基于transformer的NLP模型的推理能耗。IrEne构建了一个模型树图，将NLP模型分解为模块，这些模块进一步分解为低级机器学习（ML）原语。IrEne将ML原语的推理能耗预测为可泛化特征和细粒度运行时资源使用的函数。然后，IrEne递归地聚合这些低级预测，以预测每个模块的能量，并最终预测整个模型的能量。跨多个Transformer模型的实验表明，IrEne预测Transformer模型的推理能耗，与地面实况相比，误差低于7%。相比之下，现有的能源模型的误差超过50%。我们还展示了IrEne如何用于进行能源瓶颈分析，并轻松评估不同建筑选择的能源影响。我们在https://github.com/StonyBrookNLP/irene上发布代码和数据。
2021-06-02 cs.CL
The Role of Complex NLP in Transformers for Text Ranking?
University of Amsterdam（阿姆斯特丹大学）
尽管基于术语的方法（如BM 25）在排名中提供了强大的基线，但在某些条件下，它们由大型预训练的掩蔽语言模型（MLM）（如BERT）主导。迄今为止，其效力的来源仍不清楚。是他们通过建模句法方面来真正理解意义的能力吗？我们通过操纵输入顺序和位置信息来回答这个问题，这种方式破坏了查询和通道的自然顺序，并表明该模型仍然具有相当的性能。总体而言，我们的研究结果强调，句法方面不发挥关键作用的有效性重新排名与BERT。我们指出，其他机制，如查询通道交叉注意和更丰富的嵌入，捕捉单词的含义的基础上聚合的上下文，而不管单词的顺序是其优越的性能的主要属性。
2022-07-06 cs.AI cs.CL
White-box Testing of NLP models with Mask Neuron Coverage
University of Virginia（弗吉尼亚大学）
最近的文献已经看到越来越多的人对使用黑盒策略（如CheckList）来测试NLP模型的行为感兴趣。关于白盒测试的研究已经开发了许多方法来评估深度模型的内部行为测试的彻底程度，但它们不适用于NLP模型。我们提出了一套白盒测试方法，是定制的基于transformer的NLP模型。其中包括Mask Neuron Coverage（MNCOVER），它可以测量模型中的注意力层在测试过程中的执行程度。我们表明，MNCOVER可以完善CheckList生成的测试套件，大大减少它们的大小，平均超过60%，同时保留失败的测试-从而集中了测试套件的故障检测能力。此外，我们还展示了MNCOVER如何用于指导CheckList输入生成，评估替代NLP测试方法，并驱动数据增强以提高准确性。
2022-05-10 cs.CL cs.LG
MiniALBERT: Model Distillation via Parameter-Efficient Recursive Transformers
University of Oxford（牛津大学）；University of Surrey（萨里大学）；Oxford-Suzhou Centre for Advanced Research（牛津-苏州高级研究中心）；NLPie Research（NLPie研究院）
针对预训练语言模型过参数化问题，结合模型蒸馏与跨层参数共享提出MiniALBERT，引入瓶颈适配器优化，在通用及生物医学NLP任务上验证了紧凑模型的有效性。
2023-04-30 cs.CL cs.LG
Explaining Text Similarity in Transformer Models
Technische Universität Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）
本文使用 BiLRP 对基于 Transformer 的双线性文本相似性模型进行二阶相关性解释，并通过语法、多语言语义和生物医学检索三类语料库级分析验证其效用。
2024-05-10 cs.CL cs.LG
