Transformer-based Korean Pretrained Language Models: A Survey on Three Years of Progress
Soongsil University（崇实大学）
随着2017年在翻译模型中使用的Transformer的出现，基于注意力的架构开始受到关注。此外，在BERT（它加强了NLU特定的编码器部分，这是Transformer的一部分）和GPT架构（它加强了NLG特定的解码器部分）出现之后，各种用于学习预训练语言模型的方法、数据和模型开始出现。此外，在过去的三年中，出现了各种专门针对韩语的预训练语言模型。在本文中，我们打算从数量和质量上比较和分析各种韩国PLM发布给公众。
2021-11-25 cs.CL
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
基于转换器的语言模型（LM）在大型文本集合上进行预训练，已被证明可以存储大量的语义知识。然而，1）当现成使用时，它们作为句子编码器不是有效的，并且2）因此通常落后于会话预训练（例如，经由响应选择）编码器对诸如意图检测（ID）之类的会话任务进行编码。在这项工作中，我们提出了ConvFiT，一个简单而有效的两阶段过程，将任何预先训练的LM变成通用的会话编码器（第1阶段ConvFiT-ing之后）和任务专用的句子编码器（第2阶段之后）。我们证明了：1）不需要全面的会话预训练，LM可以快速转换为有效的会话编码器，只需少量的未注释数据; 2）预训练的LM可以微调为任务专用的句子编码器，针对特定任务的细粒度语义进行优化。因此，这种专门的句子编码器允许将ID视为基于可解释的最近邻检索的简单语义相似性任务。我们通过对标准ID评估集进行基于相似性的推断来验证ConvFiT框架的鲁棒性和多功能性：ConvFiT的LM全面实现了最先进的ID性能，在最具挑战性的Few-Shot设置中具有特别的增益。
2021-09-21 cs.CL
Accurate Retraining-free Pruning for Pretrained Encoder-based Language Models
Seoul National University（首尔大学）；Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金在哲人工智能研究生院）
本文提出K-prune，一种免重训练的结构化剪枝算法，通过知识测量、掩码搜索和权重调整保留预训练知识，在SQuAD上80%压缩率下F1提升高达58.02个百分点。
2024-03-15 cs.CL
Linguistic Analysis of Pretrained Sentence Encoders with Acceptability Judgments
New York University（纽约大学）
最近在预训练句子编码器中评估语法知识的工作给出了少量现象的细粒度视图。我们引入了一个新的分析数据集，它也广泛覆盖了语言现象。我们注释了语言可接受性语料库的开发集（CoLA; Warstadt等人，2018年）的存在13类句法现象，包括各种形式的参数交替，运动和修改。我们使用该分析集来调查三个预训练编码器的语法知识：BERT（Devlin等人，2018）、GPT（Radford等人，我们发现这些模型对复杂或非规范的论点结构有很强的控制力，比如双及物动词（Sue gave Dan a book）和被动语态（The book was read）。具有长距离依赖关系的句子，如疑问句（你认为我吃了什么？）挑战所有模型，但对于这些模型，BERT和GPT相对于基线具有明显的优势。我们的结论是，最近的句子编码器，尽管表现出接近人类的性能上的可接受性分类的整体，仍然未能细粒度的语法区分许多复杂的句法结构。
2020-05-22 cs.CL
Adding Recurrence to Pretrained Transformers for Improved Efficiency and Context Size
University of Chicago（芝加哥大学）
在过去的几年里，为下游任务微调预训练的Transformer已经成为NLP的标准方法。虽然这些模型的结果令人印象深刻，但应用它们可能非常昂贵，就像使用最新架构预训练新模型一样。我们提出了一种新的方法来应用预训练的Transformer语言模型，降低了它们在训练和推理时的内存需求。另一个好处是，我们的方法消除了大多数Transformer模型具有的固定上下文大小约束，从而允许更灵活的使用。当应用到GPT-2语言模型，我们发现，我们的方法获得更好的困惑比未修改的GPT-2模型上的PG-19和WikiText-103语料库，对于给定的计算量或内存。
2020-08-16 cs.CL
MANTIS at TSAR-2022 Shared Task: Improved Unsupervised Lexical Simplification with Pretrained Encoders
RWTH Aachen University（亚琛工业大学）；University of Amsterdam（阿姆斯特丹大学）
在本文中，我们提出了我们的贡献，TSAR-2022共享任务的词汇简化EMNLP 2022研讨会的文本简化，可访问性和可读性。我们的方法建立在无监督的词汇简化系统与预训练编码器（LSBert）系统的基础上，并在以下方面进行了扩展：对于简化候选选择的子任务，它利用了RoberTa Transformer语言模型，并扩大了生成的候选列表的大小。在后续的替换排序中，引入新的特征加权方案，并采用基于文本蕴涵的候选词过滤方法，最大化目标词与其简化词之间的语义相似度。我们性能最佳的系统将LSBert的准确性提高了5.9%，并在33个排名解决方案中排名第二。
2022-12-19 cs.CL
Knowledge Neurons in Pretrained Transformers
Microsoft Research（微软研究院）；Peking University（北京大学）
大规模预训练的语言模型在回忆训练语料库中呈现的事实知识方面出奇地好。在本文中，我们提出了初步的研究如何事实知识存储在预训练的Transformers通过引入知识神经元的概念。具体来说，我们研究了BERT的填空完形填空任务。给定一个关系事实，我们提出了一个知识属性的方法来识别神经元表达的事实。我们发现，这种知识神经元的激活与其相应事实的表达呈正相关。在我们的案例研究中，我们试图利用知识神经元来编辑（如更新和删除）特定的事实知识，而不进行微调。我们的研究结果揭示了理解预训练的Transformers内的知识存储。该代码可在https://github.com/Hunter-DDM/knowledge-neurons上获得。
2022-03-10 cs.CL
Explicit Pairwise Word Interaction Modeling Improves Pretrained Transformers for English Semantic Similarity Tasks
University of Waterloo（滑铁卢大学）
在英语语义相似性任务中，经典的基于词嵌入的方法显式地对句子对的词表示之间的成对“交互”进行建模。基于transformer的预训练语言模型忽略了这一概念，而是通过其自我注意力机制全局和隐式地对成对单词交互进行建模。在本文中，我们假设，引入一个明确的，受约束的成对词的相互作用机制，预训练的语言模型，提高其有效性的语义相似性任务。我们使用BERT在四个任务中验证了我们的假设，在语义文本相似性和答案句子选择。我们表现出一致的质量改进，通过添加一个明确的成对字交互模块BERT。
2019-11-07 cs.CL
Encoder-Agnostic Adaptation for Conditional Language Generation
Harvard University（哈佛大学）
大型预训练语言模型改变了研究人员处理区分性自然语言理解任务的方式，导致将预训练模型用于任意下游任务的方法占据主导地位。然而，如何将类似的技术用于语言生成是一个悬而未决的问题。编码器不可知设置的早期结果大多是负面的。在这项工作中，我们探索的方法，适应预先训练的语言模型，以任意条件输入。我们观察到，预训练的Transformer模型对调谐期间的大参数变化敏感。因此，我们提出了一种适应，直接注入任意条件反射到自我注意，我们称之为伪自我注意的方法。通过对四个不同的条件文本生成任务的实验，我们表明，这种编码器不可知的技术优于强基线，产生连贯的一代，是数据效率。
2019-09-11 cs.CL
FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders
Duke University（杜克大学）
预训练的文本编码器，如BERT，已越来越多地应用于各种自然语言处理（NLP）任务，并在最近表现出显着的性能增益。然而，最近的研究表明，这些预训练的NLP模型中存在社会偏见。虽然之前的工作已经在单词级去偏方面取得了进展，但预训练编码器的改进的重复级公平性仍然缺乏探索。在本文中，我们提出了第一种用于预训练句子编码器的神经去偏方法，该方法通过公平过滤器（FairFil）网络将预训练编码器输出转换为去偏表示。为了学习FairFil，我们引入了一个对比学习框架，该框架不仅最大限度地减少了过滤嵌入和偏见词之间的相关性，而且保留了原始句子的丰富语义信息。在真实世界的数据集上，我们的FairFil有效地降低了预训练文本编码器的偏差程度，同时在下游任务上持续表现出理想的性能。此外，我们的事后方法不需要对文本编码器进行任何重新训练，进一步扩大了FairFil的应用空间。
2021-03-11 cs.CL cs.LG
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders
Microsoft Corporation（微软公司）
多语言机器翻译使单个模型能够在不同语言之间进行翻译。现有的多语种机器翻译系统大多采用随机初始化的Transformer主干。在这项工作中，受最近语言模型预训练成功的启发，我们提出了XLM-T，它使用现成的预训练跨语言Transformer编码器对模型进行了优化，并使用多语言并行数据对其进行了微调。这种简单的方法在具有10个语言对的WMT数据集和具有94个语言对的OPUS-100语料库上实现了显着的改进。令人惊讶的是，即使在具有反向平移的强基线上，该方法也是有效的。此外，对XLM-T在无监督句法分析、词对齐和多语言分类方面的广泛分析说明了其在机器翻译中的有效性。代码将在https://aka.ms/xlm-t上。
2020-12-31 cs.CL
Pretrained Transformers for Offensive Language Identification in Tanglish
PSG College of Arts and Science（PSG文理学院）
本文描述了提交给Dravidian-Codemix-HASOC 2021的系统：德拉威语言（泰米尔语-英语和马拉雅拉姆语-英语）中的仇恨言论和攻击性语言识别。这项任务旨在识别从社交媒体收集的达罗毗荼语代码混合评论/帖子中的攻击性内容。我们的方法利用池化预训练的Transformer多语言BERT的最后几层来完成这项任务，这帮助我们在子任务B中获得了泰米尔语-英语数据集的加权平均得分为0.61的排行榜排名第九。在任务截止日期之后，我们对数据集进行了统一采样，并使用了MuRIL预训练模型，这帮助我们获得了0.67的加权平均分，这是排行榜中的最高分。此外，我们利用预训练模型的方法有助于将我们的模型重用于不同数据集的相同任务。我们的代码和模型可以在https://github.com/seanbenhur/tanglish-offensive-language-identification上找到
2021-12-07 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research（微软研究院）；The University of Hong Kong（香港大学）；Shanghai University of Finance and Economics（上海财经大学）；Texas A&M University（德克萨斯A&M大学）
以前的工作主要集中在使用多语言预训练编码器（MPE）改善NLU任务的跨语言迁移，或者使用BERT提高监督机器翻译的性能。然而，MPE是否有助于促进NMT模型的跨语言可移植性，这一点还有待进一步研究。本文重点研究了NMT中的零镜头（zero-shot）跨语言迁移任务。在该任务中，NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练，然后直接在zero-shot语言对上进行测试。我们提出了SixT，这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE，并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法，SixT的性能明显优于mBART，mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型，在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外，与CRISS和m2m-100两个强大的多语言NMT基线相比，我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据，实现了更好的性能。
2021-11-05 cs.CL
LSG Attention: Extrapolation of pretrained Transformers to long sequences
CHROME；University of Nîmes（尼姆大学）；EuroMov Digital Health in Motion（EuroMov数字健康运动中心）；Univ Montpellier（蒙彼利埃大学）；IMT Mines Ales（法国国立高等矿业电信学校联盟阿莱斯矿业学院）
Transformer模型在广泛的NLP任务上实现了最先进的性能。然而，由于自我注意力机制，它们受到禁止性限制，导致序列长度方面的$O(n^2)$复杂性.为了解决这个问题，我们引入了LSG架构，它依赖于本地，稀疏和全局的注意力。我们表明，LSG的注意力是快速，高效和有竞争力的分类和摘要任务的长文档。有趣的是，它还可以用于调整现有的预训练模型，以有效地外推到更长的序列，而无需额外的训练。随着LSG注意力机制的引入，我们提出了一些工具来训练新的模型，并根据这种机制来适应现有的模型。
2022-10-13 cs.CL
MiniLMv2: Multi-Head Self-Attention Relation Distillation for Compressing Pretrained Transformers
Microsoft Research（微软研究院）
我们在MiniLM中推广了深度自我注意力蒸馏（Wang et al.，2020）通过仅使用自注意关系蒸馏来对预训练的Transformers进行任务不可知压缩。特别是，我们定义了多头自我注意力的关系，每个自我注意力模块内的查询，键和值向量对之间的缩放点积。然后运用上述相关知识对学生模型进行训练。除了简单和统一的原则，更有利的是，它没有限制的数量方面的学生的注意头，而大多数以前的工作必须保证相同的头数之间的教师和学生。此外，细粒度的自注意关系倾向于充分利用Transformer学习的交互知识。此外，我们彻底研究了教师模型的层选择策略，而不是像MiniLM中那样只依赖最后一层。我们对压缩单语和多语言预训练模型进行了广泛的实验。实验结果表明，我们的模型提取的基础大小和大尺寸的教师（BERT，RoBERTa和XLM-R）优于国家的最先进的。
2021-06-27 cs.CL
Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing
University of Oregon（俄勒冈大学）
我们介绍Trankit，一个轻量级的基于transformer的多语言自然语言处理（NLP）工具包。它为超过100种语言的基本NLP任务提供了一个可训练的管道，并为56种语言提供了90个预训练管道。Trankit建立在最先进的预训练语言模型之上，在句子分割、词性标记、形态特征标记和依存句法分析方面显著优于之前的多语言NLP管道，同时在标记化、多词标记扩展和词形化方面保持了超过90个通用词典树库的竞争性能。尽管使用了一个大型的预训练的Transformer，我们的工具包在内存使用和速度方面仍然很高效。这是通过我们新颖的Adapters即插即用机制实现的，其中多语言预训练的Transformer在不同语言的管道中共享。我们的工具包以及预训练的模型和代码可在https://github.com/nlp-uoregon/trankit上公开获取。我们的工具包的演示网站也可以在：http://nlp.uoregon.edu/trankit。最后，我们在https://youtu.be/q0KGP3zGjGc上为Trankit创建了一个演示视频。
2021-10-15 cs.CL
MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言T5（mT5）在大量单语文本上预训练序列到序列模型，这在许多跨语言任务上显示出有希望的结果。在本文中，我们改进了多语言文本到文本传输Transformer与翻译对（mT6）。具体来说，我们探索了三个跨语言文本到文本的预训练任务，即，机器翻译，翻译对跨度腐败和翻译跨度腐败。此外，我们提出了一个部分非自回归目标的文本到文本的预训练。我们在八个多语言基准数据集上评估了这些方法，包括句子分类、命名实体识别、问答和抽象摘要。实验结果表明，建议mT6提高跨语言的可移植性mT5。
2021-09-13 cs.CL
Evaluating Pretrained Transformer Models for Entity Linking in Task-Oriented Dialog
MindMeld, Cisco Systems（思科系统 MindMeld）
预训练的Transformer模型（PTM）对于自然语言任务的广泛适用性得到了很好的证明，但是它们理解文本短语的能力却很少被探索。为此，我们从面向任务的对话中的无监督实体链接的角度评估不同的PTM，包括5个特征-句法，语义，简短形式，数字和语音。我们的研究结果表明，与传统技术相比，一些PTM产生低于标准的结果，尽管与其他神经基线相比具有竞争力。我们发现，他们的一些缺点可以通过使用PTMs微调文本相似性的任务，这说明了理解语义和句法对应的能力得到了提高，以及一些改进的短形式，数字和语音的变化，在实体提到。我们进行定性分析，以了解他们预测的细微差别，并讨论进一步改进的范围。代码可以在https://github.com/murali1996/el_tod上找到
2021-12-15 cs.CL
Contrastive Out-of-Distribution Detection for Pretrained Transformers
University of Southern California（南加州大学）；University of Cambridge（剑桥大学）
当训练数据和测试数据来自相同的分布时，预训练的Transformers实现显著的性能。然而，在现实世界的场景中，模型经常面临的分布（OOD）的实例，可能会导致严重的语义转换问题在推理时。因此，在实践中，一个可靠的模型应该识别这样的实例，然后在推理过程中拒绝它们，或者将它们传递给处理另一个分布的模型。在本文中，我们开发了一个无监督的OOD检测方法，其中只有在分布（ID）数据用于训练。我们建议微调的Transformers与对比损失，提高了紧凑性的表示，这样OOD实例可以更好地区分ID的。这些OOD实例可以使用模型的倒数第二层中的Mahalanobis距离精确地检测出来。我们使用全面的设置进行实验，并实现了近乎完美的OOD检测性能，大大优于基线。我们进一步研究了改进背后的原理，发现通过基于边缘的对比学习进行更紧凑的表示可以带来改进。我们向社区发布代码以供将来研究。
2021-09-08 cs.CL
Pretrained Transformers Improve Out-of-Distribution Robustness
UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；University of Chicago（芝加哥大学）
虽然预训练的Transformers（如BERT）在分布内示例上实现了高精度，但它们是否可以推广到新的分布？我们通过构建一个新的鲁棒性基准与现实的分布偏移，系统地测量了七个NLP数据集的分布外（OOD）泛化。我们测量了以前模型的泛化，包括词袋模型，ConvNets和LSTM，我们表明预训练的Transformers的性能下降幅度要小得多。预训练的Transformers在检测异常或OOD示例方面也更有效，而许多以前的模型通常比偶然性更差。我们研究了哪些因素影响鲁棒性，发现较大的模型不一定更鲁棒，蒸馏可能是有害的，更多样化的预训练数据可以增强鲁棒性。最后，我们展示了未来的工作可以提高OOD的鲁棒性。
2020-04-16 cs.CL cs.LG
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
National Institute of Technology Trichy（特里奇国立理工学院）
基于transformer的预训练语言模型（T-PTLM）在几乎所有的NLP任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型是建立在Transformers，自监督学习和迁移学习。基于转换的PTLM使用自监督学习从大量文本数据中学习通用语言表示，并将此知识转移到下游任务。这些模型为下游任务提供了良好的背景知识，避免了从头开始训练下游模型。在这篇全面的综述论文中，我们首先简要概述了自监督学习。接下来，我们将解释各种核心概念，如预训练，预训练方法，预训练任务，嵌入和下游适应方法。接下来，我们提出了一个新的分类T-PTLM，然后简要概述了各种基准，包括内在和外在的。我们总结了各种有用的库与T-PTLM一起工作。最后，我们强调了一些未来的研究方向，这将进一步改善这些模型。我们坚信，这份全面的调查报告将作为一个很好的参考，以了解核心概念，以及保持与最近发生的T-PTLM更新。
2021-08-28 cs.CL
A Family of Pretrained Transformer Language Models for Russian
SaluteDevices（萨鲁特设备公司）
本文发布涵盖编码器、解码器和编码器-解码器架构的 13 个俄语预训练 Transformer 模型，并通过多类理解与生成基准评估其泛化能力。
2024-08-02 cs.CL
Adapting Pretrained Transformer to Lattices for Spoken Language Understanding
National Taiwan University（国立台湾大学）
格是对多个假设进行编码的紧凑表示，例如语音识别结果或不同的分词。结果表明，与自动语音识别器（ASR）产生的1-最佳结果相比，编码格提高了口语语言理解（SLU）的性能。近年来，基于Transformer结构的预训练语言模型在自然语言理解方面取得了令人瞩目的成果，但其对格的编码能力尚未得到充分的研究。因此，本文旨在将预训练的Transformers适应于格输入，以便执行专门针对口语的理解任务。我们在基准ATIS数据集上的实验表明，使用lattice输入微调预训练的Transformers比使用1-best结果进行微调有明显的改善。进一步的评估表明，我们的方法在不同的声学条件下的有效性。我们的代码可在https://github.com/MiuLab/Lattice-SLU上获得
2020-11-02 cs.AI cs.CL
Pretrained Language Encoders are Natural Tagging Frameworks for Aspect Sentiment Triplet Extraction
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）；University of Electronic Science and Technology of China（电子科技大学）；Tencent（腾讯）
方面情感三元组提取（ASTE）的目的是提取方面，意见，和他们的情感关系的跨度作为情感三元组。现有的工作通常制定跨度检测作为一个1D标记问题，和模型的情感识别与标记对的2D标记矩阵。此外，通过利用像BERT这样的预训练语言编码器（PLEs）的令牌表示，它们可以实现更好的性能。然而，他们只是利用PLEs作为特征提取器来构建他们的模块，但从来没有深入研究过PLEs包含哪些特定的知识。在本文中，我们认为，而不是进一步设计模块来捕获ASTE的归纳偏见，PLEs本身包含“足够”的功能，为1D和2D标记：（1）令牌表示包含的上下文意义的令牌本身，所以这个级别的功能携带必要的信息，为1D标记。(2)不同PLE层的注意力矩阵可以进一步捕获令牌对中存在的多层次语言知识，这有利于2D标注。(3)此外，通过简单的变换，这两个特征也可以容易地分别转换为2D标记矩阵和1D标记序列。这将进一步提高标记结果。通过大量的实验和深入的分析，验证了这种方法的有效性。
2022-08-20 cs.CL
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
我们在机器翻译的迁移学习背景下研究了Transformer架构中的交叉注意力，并将研究结果扩展到从头开始训练时的交叉注意力。我们进行了一系列的实验，通过微调的数据源或目标语言已经改变的翻译模型。这些实验表明，仅微调交叉注意参数几乎与微调所有参数一样有效（即，整个翻译模式）。我们提供的见解，为什么会出现这种情况，并观察到，以这种方式限制微调产生跨语言对齐的嵌入。这一发现对研究人员和从业者的影响包括减轻灾难性遗忘，zero-shot翻译的潜力，以及将机器翻译模型扩展到几种新语言对的能力，同时减少参数存储开销。
2021-09-14 cs.CL
Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation
University of Helsinki（赫尔辛基大学）
基于transformer的模型给神经机器翻译带来了根本性的变化。Transformer架构的一个关键特性是所谓的多头注意力机制，它允许模型同时关注输入的不同部分。然而，最近的研究表明，大多数注意力头学习简单的，往往是多余的，位置模式。在本文中，我们建议取代所有，但一个注意头的每个编码器层与简单的固定-非学习-专注模式，完全基于位置，不需要任何外部知识。我们对不同数据大小和多语言对的实验表明，在训练时将注意力头固定在Transformer的编码器端不会影响翻译质量，甚至在低资源场景中将BLEU分数提高多达3分。
2020-10-05 cs.CL
Lattice-Based Transformer Encoder for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构（NICT））
神经机器翻译（NMT）采用确定性序列作为源表示。然而，无论是词级还是子词级分割都有多种选择，可以使用不同的词分割器或不同的子词词汇量来分割源序列。我们假设分割的多样性可能会影响NMT的性能。为了将不同的分割与最先进的NMT模型Transformer相结合，我们提出了基于格的编码器，以在训练过程中自动探索有效的单词或子单词表示。我们提出了两种方法：1）格位置编码和2）格感知的自我注意。这两种方法可以结合使用，相互补充，进一步提高翻译性能。实验结果表明，基于格的编码器在字级和子字级表示上优于传统的Transformer编码器。
2019-06-04 cs.CL
DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers
University of Amsterdam（阿姆斯特丹大学）；Tilburg University（蒂尔堡大学）；University of Groningen（格罗宁根大学）
本文提出 DecoderLens，通过让解码器交叉注意编码器中间层表示，逐层分析编码器-解码器 Transformer，并在多任务模型中揭示低层和中间层完成的子任务。
2024-04-03 cs.CL
NLPBK at VLSP-2020 shared task: Compose transformer pretrained models for Reliable Intelligence Identification on Social network
Brains Technology, Inc.（布雷恩斯科技公司）；Websosanh AI（Websosanh人工智能公司）
本文介绍了我们的方法调整基于transformer的预训练模型，适应可靠的智能识别越南SNS问题。我们还提出了一个模型，它将基于bert的预训练模型与一些元数据特征相结合，例如评论数量，喜欢数量，SNS文档的图像等。VLSP共享任务的改进结果：可靠的越南SNS情报识别。通过适当的训练技术，我们的模型能够在公共测试集上达到0.9392 ROC-AUC，最终版本在私有测试集上达到前2个ROC-AUC（0.9513）。
2021-01-29 cs.CL cs.IR
Downstream Transformer Generation of Question-Answer Pairs with Preprocessing and Postprocessing Pipelines
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
我们提出了一个名为TP 3的系统来执行Transformers的下游任务，从给定的文章中生成问答对（QAP）。TP 3首先在QAP数据集上微调预训练的Transformers，然后使用预处理管道选择适当的答案，将相关句子和答案馈送到微调的Transformer以生成候选QAP，最后使用后处理管道过滤不适当的QAP。特别是，使用预训练的T5模型作为Transformers，SQuAD数据集作为微调数据集，我们表明TP 3在Gaokao-EN数据集上生成了令人满意的数量的高质量QAP。
2022-05-15 cs.CL
Pruning Pretrained Encoders with a Multitask Objective
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Semantic Machines（微软语义机器）
当存在多个期望的下游任务时，预训练的语言模型的大小使得它们具有挑战性并且使用起来昂贵。在这项工作中，我们采用最近的策略，在微调模型修剪，探讨是否有可能修剪一个编码器，使其可以用于多个任务的问题。我们分配一个固定的参数预算和比较修剪一个单一的模型与多任务目标对单任务模型的最佳合奏。我们发现，在两种修剪策略（元素和秩修剪）下，多任务目标的方法在所有任务的平均值上分别优于训练模型，并且在每个单独的任务上都具有竞争力。额外的分析发现，在修剪过程中使用多任务目标也可以是减少低资源任务的模型大小的有效方法。
2021-12-10 cs.CL cs.LG
Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval
The Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）
提出检索预训练Transformer（RPT），联合训练检索器与语言模型，通过自检索长文档中的早期块来改进长文本建模，在书籍、代码和数学写作任务上优于强基线。
2024-07-21 cs.CL
Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；China Mobile Online Services（中移在线服务有限公司）；Tianjin University（天津大学）
由于其有效性和性能，Transformer翻译模型引起了广泛的关注，最近在基于探测的方法方面。以前的工作集中在使用或探测源语言特征的编码器。到目前为止，单词翻译在Transformer层中的演变方式尚未被研究。人们可能会天真地假设编码器层捕获源信息，而解码器层进行转换。在这项工作中，我们表明情况并非如此：翻译已经在编码器层甚至输入嵌入中逐步发生。更令人惊讶的是，我们发现一些较低的解码器层实际上并没有做那么多解码。我们展示了所有这一切的探测方法，我们项目表示层分析的最终训练和冻结分类器级别的Transformer解码器来衡量单词翻译的准确性。我们的发现激发并解释了Transformer配置的变化：如果翻译已经发生在编码器层中，也许我们可以增加编码器层的数量，同时减少解码器层的数量，提高解码速度，而不会损失翻译质量？我们的实验表明确实如此：我们可以将速度提高到2.3倍，而翻译质量略有提高，而18-4深度编码器配置在1.4的速度提升下将翻译质量提高了+1.42 BLEU（En-De）。
2021-04-20 cs.CL
Investigating Efficiently Extending Transformers for Long Input Summarization
New York University（纽约大学）；Google Research（谷歌研究院）
虽然大型预训练的Transformer模型已被证明在处理自然语言任务方面具有很强的能力，但处理长序列输入仍然是一个重大挑战。一个这样的任务是长输入摘要，其中输入长于大多数预训练模型的最大输入上下文。通过一组广泛的实验，我们研究了什么样的模型架构变化和预训练范式可以最有效地适应预训练的Transformer长输入摘要。我们发现，交错的，块本地Transformer与全球编码器令牌罢工的性能和效率的良好平衡，以及一个额外的预训练阶段长序列有意义地提高下游汇总性能。基于我们的发现，我们引入了PEGASUS-X，这是PEGASUS模型的扩展，具有额外的长输入预训练，可处理多达16 K个令牌的输入。PEGASUS-X在长输入摘要任务上实现了与大得多的模型相当的强大性能，同时添加了很少的额外参数，并且不需要模型并行性来进行训练。
2022-08-08 cs.CL
Sentence Bottleneck Autoencoders from Transformer Language Models
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
通过在大型语料库上预训练语言模型来进行文本的表示学习已经成为构建NLP系统的标准起点。这种方法与自动编码器相反，自动编码器也是在原始文本上训练的，但其目标是学习将每个输入编码为允许完全重建的向量。自编码器是有吸引力的，因为他们的潜在空间结构和生成属性。因此，我们探索从预训练的冻结的Transformer语言模型构建一个并行级自动编码器。我们将掩蔽语言建模目标调整为生成的去噪目标，同时只训练句子瓶颈和单层修改的Transformer解码器。我们证明，我们的模型发现的句子表示比以前的方法获得更好的质量，这些方法在文本相似性任务，风格转换（控制生成的一个例子）和GLUE基准中的单句分类任务上从预训练的Transformers中提取表示，同时使用比大型预训练模型更少的参数。
2021-09-10 cs.CL
Hierarchical Transformer Encoders for Vietnamese Spelling Correction
University of Science（科学大学）；Vietnam National University（越南国家大学）；Zalo Group - VNG Corporation（Zalo集团-VNG公司）
在本文中，我们提出了一个层次Transformer模型的越南语拼写纠正问题。该模型由多个Transformer编码器组成，并利用字符级和单词级来检测错误并进行更正。此外，为了促进越南语拼写纠正任务的未来工作，我们提出了一个现实的数据集，从现实生活中的文本收集的问题。我们比较我们的方法与其他方法和公开可用的系统。所提出的方法优于所有的当代方法的召回率，精度和f1分数。演示版本是公开的。
2021-05-28 cs.CL
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn（波恩大学）；Ruhr University Bochum（波鸿鲁尔大学）；Fraunhofer IAIS（弗劳恩霍夫应用信息技术研究所）
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上，这些架构使用预训练的词嵌入。最近的研究表明，微调预训练的Transformer网络（例如BERT）可以在各种自然语言处理任务上优于以前的方法。在这项工作中，我们调查如何以及BERT执行SimpleQuestions，并提供了一个评估的BERT和BiLSTM为基础的模型，在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Evaluation Benchmarks and Learning Criteria for Discourse-Aware Sentence Representations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Chicago（芝加哥大学）
先前关于预训练的句子嵌入和基准的工作集中在独立句子的能力上。我们提出了DiscoEval，一个测试套件的任务，以评估句子表示是否包括更广泛的上下文信息。我们还提出了各种训练目标，利用维基百科的自然注释来构建能够对话语进行建模的句子编码器。我们对使用我们提出的训练目标进行预训练的句子编码器以及其他流行的预训练句子编码器在DiscoEval和其他句子评估任务上进行了基准测试。从经验上讲，我们表明，这些培训目标有助于编码不同方面的信息在文档结构。此外，BERT和ELMo表现出较强的性能与DiscoEval的个人隐藏层显示不同的特点。
2019-11-07 cs.CL
Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
依赖于大型预训练语言模型，例如来自Transformers的双向编码器表示（BERT）进行编码并添加简单的预测层，在许多临床自然语言处理（NLP）任务中取得了令人印象深刻的性能。在这项工作中，我们提出了一种新的扩展的Transformer架构，将签名转换与自我注意力模型。该架构被添加在嵌入层和预测层之间。一个新的瑞典处方数据上的实验表明，该架构是优于三个信息抽取任务中的两个，与基线模型。最后，我们评估了应用多语言BERT和将瑞典语文本翻译为英语然后使用临床笔记预训练的BERT模型进行编码之间的两种不同嵌入方法。
2020-10-10 cs.CL
Finetuning Pretrained Transformers into Variational Autoencoders
ActionPower
文本变分自编码器（VAE）因后验崩溃而臭名昭著，这是一种模型的解码器学会忽略来自编码器的信号的现象。由于后塌陷被认为是由表达解码器加剧，Transformers已经看到有限的采用作为文本VAE的组成部分。将Transformers并入文本VAE的现有研究（Li等人，2020; Fang等人，2021）使用大规模预训练来减轻后崩溃，这是一种没有广泛计算资源的大多数研究社区无法使用的技术。我们提出了一个简单的两阶段训练方案，将序列到序列的Transformer转换为VAE，只需微调。由此产生的语言模型在一些内部指标上与大规模预训练的基于transformer的VAE竞争，而在其他指标上则有所不足。为了便于培训，我们全面探讨了文献中常见的后塌陷缓解技术的影响。我们发布了可重复性代码。
2021-11-24 cs.AI cs.CL
Nonparametric Variational Regularisation of Pretrained Transformers
Idiap Research Institute（Idiap 研究院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文扩展NVIB框架替换Transformer所有注意力函数，提出恒等初始化将预训练Transformer重新解释为非参数变分模型，并证明改变初始化可在无训练情况下引入信息论正则化以改善域外泛化。
2023-12-01 cs.CL cs.LG
Heterogeneous Encoders Scaling In The Transformer For Neural Machine Translation
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本研究提出多编码器Transformer，集成多达五个异构编码器，通过简单组合策略和性能驱动协同标准，在多种语言及数据集规模上提升翻译质量，低资源语言中最高提升7.16 BLEU。
2023-12-26 cs.CL
Neural Knowledge Bank for Pretrained Transformers
Peking University（北京大学）；Baidu Inc.（百度公司）
预先训练的Transformers记住事实知识的能力是必不可少的，但对于现有模型来说仍然有限。受将Transformers中的前馈网络（FFN）视为键值记忆的现有工作的启发，我们设计了一个神经知识库（NKB）和一个知识注入策略，为预训练的Transformers引入额外的事实知识。NKB是FFN的附加知识存储器插槽的形式，并且类似于存储器的架构使其具有高度的可解释性和灵活性。当使用显著跨度掩蔽（SSM）预训练目标注入额外的知识时，我们固定原始预训练模型，仅训练NKB。这种训练策略确保了原始预训练模型的一般语言建模能力不受影响。通过将NKB安装到T5模型上，我们基于三个闭卷问答数据集验证了其强大的存储额外事实知识的能力。此外，我们证明，安装NKB不会降低一般的语言建模能力的T5通过两个代表性的任务，摘要和机器翻译。此外，我们深入分析了NKB的可解释性，并以人类可读的方式揭示了其键和值的含义。最后，我们通过直接修改其值向量来更新存储在其中的事实知识，展示了NKB的灵活性。
2022-08-16 cs.AI cs.CL
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy（蒂鲁吉拉伯利国立理工学院）
基于transformer的预训练语言模型（PLM）开创了现代自然语言处理（NLP）的新纪元。这些模型结合了Transformers、迁移学习和自监督学习（SSL）的强大功能。随着这些模型在一般领域的成功，生物医学研究界开发了各种领域内的PLM，从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文，可以对各种基于transformer的生物医学预训练语言模型（BPLM）进行全面调查。在本调查中，我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念，如预训练方法，预训练任务，微调方法，以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类，然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后，我们强调了一些开放的问题，这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
Weight subcloning: direct initialization of transformers using larger pretrained ones
Apple（苹果公司）
该研究提出权重亚克隆技术，通过神经元重要性排序降维、删减模块两步，用大尺寸预训练Transformer初始化小模型，显著提升了视觉与语言Transformer的训练速度。
2023-12-14 cs.CL cs.CV cs.LG
Pretrained Transformers Do not Always Improve Robustness
Arizona State University（亚利桑那州立大学）
预训练的Transformers（PT）已被证明比传统模型（如词袋（BOW）、LSTM、由Word2Vec和Glove嵌入驱动的卷积神经网络（CNN））提高了分布外（OOD）鲁棒性。在数据集的某些部分可能存在噪声的真实世界中，鲁棒性比较如何保持？PT也提供了更强大的代表性比传统的模型暴露在嘈杂的数据？我们对10个模型进行了比较研究，并发现了一个经验证据，PT提供不太强大的代表性比传统的模型暴露于噪声数据。我们进一步研究和增强PT与对抗过滤（AF）机制，已被证明可以提高OOD的推广。然而，泛化的增加并不一定会增加鲁棒性，因为我们发现噪声数据欺骗了PT支持的AF方法。
2022-10-14 cs.CL cs.CV
Leveraging Pretrained ASR Encoders for Effective and Efficient End-to-End Speech Intent Classification and Slot Filling
NVIDIA（英伟达）
本文提出用 ASR 预训练编码器初始化端到端 Conformer-Transformer，并结合 Adapter 实现高效 SICSF，在 SLURP 上达到新最优且首次追平 oracle ASR 级联模型。
2023-07-13 cs.CL cs.CV cs.SD
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Washington（华盛顿大学）；Apple, Inc.（苹果公司）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
注意力机制被认为是广泛使用的Transformer架构的支柱。它通过计算特定于输入的注意力矩阵来将输入情境化。我们发现，这种机制虽然强大而优雅，但并不像预训练的语言模型那样重要。我们引入PAPA，一种新的探测方法，它用恒定的注意力矩阵（多个输入的平均注意力权重）代替了依赖于输入的注意力矩阵。我们使用PAPA来分析六个下游任务上的几个已建立的预先训练的Transformers。我们发现，在没有任何依赖于输入的注意力的情况下，所有模型都实现了具有竞争力的性能--与探测基线相比，平均相对下降仅为8%。此外，很少或没有观察到性能下降时，更换一半的输入相关的注意力矩阵与常数（输入无关）。有趣的是，我们发现，性能较好的模型在应用我们的方法时比较弱的模型损失更多，这表明依赖输入的注意力机制的利用可能是它们成功的一个因素。我们的研究结果激发了对输入依赖注意的更简单的替代方案的研究，以及在Transformer架构中更好地利用这种机制的方法。
2022-11-07 cs.CL cs.LG
Analyzing Redundancy in Pretrained Transformer Models
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU Research Complex（哈马德·本·哈利法大学研究中心）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
基于transformer的深度NLP模型使用数亿个参数进行训练，限制了它们在计算受限环境中的适用性。在本文中，我们研究这些限制的原因，通过定义一个概念的Redemption，我们分为两类：一般Redemption和特定任务Redemption。我们剖析了两个流行的预训练模型，BERT和XLNet，研究它们在表示级别和更细粒度的神经元级别上表现出多少冗余。我们的分析揭示了有趣的见解，例如：i）整个网络中85%的神经元是冗余的，ii）当优化下游任务时，至少92%的神经元可以被删除。基于我们的分析，我们提出了一个有效的基于特征的迁移学习过程，保持97%的性能，而使用最多10%的原始神经元。
2020-10-06 cs.CL cs.LG
Multi-Stream Transformers
Artificial Intelligence Research Institute（人工智能研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Univ. of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
基于变换器的编码器-解码器模型在每个编码器层之后产生融合的令牌式表示。我们调查的影响，允许编码器保存和探索替代假设，结合在编码过程结束。为此，我们设计和检查$\textit{Multi-stream Transformer}$架构，并发现分裂的Transformer编码器到多个编码器流，并允许该模型合并多个代表性的假设提高性能，通过添加第一和最后的编码器层之间的跳过连接获得进一步的改善。
2021-07-21 cs.CL cs.NE
TENER: Adapting Transformer Encoder for Named Entity Recognition
Fudan University（复旦大学）
双向长短期记忆网络（BiLSTM）已被广泛用作解决命名实体识别（NER）任务的模型中的编码器。近年来，由于其并行性和优越的性能，Transformer在各种自然语言处理（NLP）任务中被广泛采用。然而，Transformer在NER中的性能不如在其他NLP任务中的性能好。在本文中，我们提出了TENER，NER架构采用自适应Transformer编码器来模拟字符级特征和单词级特征。通过结合方向和相对距离感知注意力和未缩放注意力，我们证明了类似于transformer的编码器对于NER和其他NLP任务一样有效。
2019-12-10 cs.CL cs.LG
Multimodal Adaptive Distillation for Leveraging Unimodal Encoders for Vision-Language Tasks
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
视觉语言（VL）任务的跨模态编码器通常使用精心策划的视觉语言数据集进行预训练。虽然这些数据集达到了1000万个样本的数量级，但劳动力成本无法进一步扩大。相反，单峰编码器使用更简单的注释进行预训练，成本更低，实现了数亿到数十亿的规模。因此，单峰编码器在许多下游任务上实现了最先进的（SOTA）。然而，在应用于VL任务时仍然存在挑战。预训练数据对于跨模态架构不是最佳的，并且需要大量的计算资源。此外，单模态架构缺乏跨模态交互，这已经证明了VL任务的显着好处。因此，如何最好地利用预训练的单峰编码器进行VL任务仍然是一个活跃的研究领域。在这项工作中，我们提出了一种方法来利用单峰视觉和文本编码器的VL任务，增强现有的VL方法，同时保存计算复杂性。具体来说，我们提出了多模态自适应蒸馏（MAD），它自适应地从预训练的编码器中提取有用的知识到跨模态VL编码器。其次，为了更好地捕捉VL任务性能的细微差别的影响，我们引入了一个评估协议，包括视觉常识推理（VCR），视觉蕴涵（SNLI-VE），和视觉问答（VQA），在各种数据约束和条件的域转移。实验表明，MAD在VCR、SNLI-VE和VQA的低拍摄、域偏移和全监督条件下获得了一致的增益，与其他使用图像-文本数据预训练的单一模型相比，在VCR上实现了SOTA性能。最后，MAD使用CLIP的预训练视觉编码器优于并行工作。代码将提供。
2022-04-28 cs.AI cs.CL cs.CV
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University（阿尔托大学）
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而，关于这个主题的现有研究主要利用卷积和递归神经网络，它们通常比新型Transformers的性能要差。另一方面，应用Transformers的系统只关注目标文档，忽略了标签描述所包含的丰富语义信息。为了解决这个问题，我们开发了一个基于transformer的生物医学文本分类器，考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型（PTM）。我们在两个公共医疗数据集上的结果表明，所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
端到端模型在自动语音识别（ASR）任务上取得了令人印象深刻的结果。然而，对于低资源的ASR任务，标记数据很难满足端到端模型的需求。自监督声学预训练已经显示出惊人的ASR性能，而转录仍然不足以在端到端模型中进行语言建模。在这项工作中，我们将预先训练的声学编码器（wav2vec2.0）和预先训练的语言编码器（BERT）融合到端到端ASR模型中。融合模型只需要在有限的标记数据上进行微调时学习从语音到语言的转换。两种模态的长度由单调的注意力机制匹配，而不需要额外的参数。此外，一个全连接层被引入到模态之间的隐藏映射。我们进一步提出了一个预定的微调策略，以保留和利用预先训练的语言编码器的文本上下文建模能力。实验表明，我们有效地利用了预训练模块。我们的模型在CALLHOME语料库（15小时）上取得了比其他端到端模型更好的识别性能。
2021-01-24 cs.CL cs.SD eess.AS
