Efficient Hierarchical Domain Adaptation for Pretrained Language Models
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
大语言模型的显著成功是由在大量未标记的非结构化语料库上训练的密集模型驱动的。这些语料库通常包含来自不同、异构来源的文本，但在训练过程中很少使用有关文本来源的信息。将他们的知识转移到目标领域通常是通过继续进行领域内的培训来完成的。在本文中，我们介绍了一种方法，允许领域自适应许多不同的领域使用计算效率的适配器的方法。我们的方法是基于文本域部分重叠的观察，我们表示域作为一个分层的树结构，其中树中的每个节点与一组适配器权重。当与冻结的预训练语言模型相结合时，这种方法可以在相关域之间共享参数，同时避免不相关域之间的负面干扰。GPT-2和C4中100个最具代表性的网站中的一大部分的实验结果显示了域中的全面改进。我们还提供了一个推理时间算法，并表明，平均通过树的多条路径可以进一步提高泛化能力，同时只增加一个边际成本的推理。
2022-05-03 cs.CL
On the Effectiveness of Adapter-based Tuning for Pretrained Language Model Adaptation
National University of Singapore（新加坡国立大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）
基于适配器的调优最近作为微调的替代方案出现。它的工作原理是将轻量级适配器模块添加到预训练的语言模型（PrLM）中，并且仅在学习下游任务时更新适配器模块的参数。因此，它只为每个新任务添加了一些可训练的参数，允许高度的参数共享。先前的研究表明，基于适配器的调整通常可以实现与微调相当的结果。然而，现有的工作只集中在基于适配器的调整的参数效率方面，而缺乏对其有效性的进一步调查。在本文中，我们研究后者。我们首先表明，基于适配器的调整比微调更好地缓解了遗忘问题，因为它产生的表示与初始PrLM产生的偏差较小。然后，我们在几个下游NLP任务和设置上实证比较了这两种调优方法。我们证明了1）基于适配器的调整优于微调低资源和跨语言的任务; 2）它是更强大的过拟合和不敏感的变化学习率。
2021-06-06 cs.CL
Investigating Efficiently Extending Transformers for Long Input Summarization
New York University（纽约大学）；Google Research（谷歌研究院）
虽然大型预训练的Transformer模型已被证明在处理自然语言任务方面具有很强的能力，但处理长序列输入仍然是一个重大挑战。一个这样的任务是长输入摘要，其中输入长于大多数预训练模型的最大输入上下文。通过一组广泛的实验，我们研究了什么样的模型架构变化和预训练范式可以最有效地适应预训练的Transformer长输入摘要。我们发现，交错的，块本地Transformer与全球编码器令牌罢工的性能和效率的良好平衡，以及一个额外的预训练阶段长序列有意义地提高下游汇总性能。基于我们的发现，我们引入了PEGASUS-X，这是PEGASUS模型的扩展，具有额外的长输入预训练，可处理多达16 K个令牌的输入。PEGASUS-X在长输入摘要任务上实现了与大得多的模型相当的强大性能，同时添加了很少的额外参数，并且不需要模型并行性来进行训练。
2022-08-08 cs.CL
What Makes Recurrence Effective in Looped Language Models?
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；The Chinese University of Hong Kong（香港中文大学）
本文通过受控实验系统研究了循环语言模型中循环的有效性条件，发现循环可提升超训练视野的推理但损害知识，并提出通道级历史状态注入结合时间步条件作为更优设计。
2026-09-30 cs.CL cs.LG
Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；Wluper；Ubiquitous Knowledge Processing (UKP) Lab, TU Darmstadt（达姆施塔特工业大学普适知识处理（UKP）实验室）
继神经语言模型（LM）（如BERT或GPT-2）在各种语言理解任务上取得重大成功之后，最近的工作集中在将来自外部资源的（结构化）知识注入这些模型中。一方面，联合预训练（即，从头开始训练，将基于外部知识的目标添加到主要LM目标）可能在计算上昂贵得令人望而却步，另一方面，对外部知识的事后微调可能导致分布式知识的灾难性遗忘。在这项工作中，我们调查模型补充BERT的分布知识与概念知识从ConceptNet及其相应的开放式思维常识（OMCS）语料库，分别使用适配器训练。虽然GLUE基准测试的总体结果并不确定，但更深入的分析表明，我们基于适配器的模型在推理任务中的表现大大优于BERT（高达15-20个性能点），这些推理任务需要ConceptNet和OMCS中明确存在的概念知识类型。所有代码和实验都是开源的：https://github.com/wluper/retrograph。
2020-10-11 cs.CL
Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
依赖于大型预训练语言模型，例如来自Transformers的双向编码器表示（BERT）进行编码并添加简单的预测层，在许多临床自然语言处理（NLP）任务中取得了令人印象深刻的性能。在这项工作中，我们提出了一种新的扩展的Transformer架构，将签名转换与自我注意力模型。该架构被添加在嵌入层和预测层之间。一个新的瑞典处方数据上的实验表明，该架构是优于三个信息抽取任务中的两个，与基线模型。最后，我们评估了应用多语言BERT和将瑞典语文本翻译为英语然后使用临床笔记预训练的BERT模型进行编码之间的两种不同嵌入方法。
2020-10-10 cs.CL
Adaptive multilingual speech recognition with pretrained models
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
多语言语音识别与监督学习取得了很大的成绩，反映在最近的研究。随着音频和文本数据预训练方法的发展，必须从无监督的多语言模型中转移知识以促进识别，特别是在许多数据有限的语言中。我们的工作研究了使用两种预训练模型的有效性：wav2vec 2.0用于音频，MBART50用于文本，以及自适应权重技术，以大规模提高包含CommonVoice和Europarl的公共数据集的识别质量。总的来说，我们注意到比纯粹的监督学习提高了44%，更重要的是，每种技术在不同的语言中提供了不同的强化。我们还探索了其他可能性，通过稍微增加深度或对架构的相对关注来获得最佳模型。
2022-05-24 cs.CL cs.SD eess.AS
Generating Bug-Fixes Using Pretrained Transformers
Microsoft（微软公司）
检测和修复bug是软件开发周期中最重要但又令人沮丧的两个部分。现有的缺陷检测工具主要基于静态分析器，其依赖于关于程序执行的数学逻辑和符号推理来检测常见类型的缺陷。修复bug通常留给开发人员。在这项工作中，我们介绍了DeepMind：一种数据驱动的程序修复方法，它学习检测和修复从真实世界的GitHub存储库中挖掘的Java方法中的错误。我们将错误修补框架为序列到序列的学习任务，包括两个步骤：（i）去噪预训练，以及（ii）对目标翻译任务进行监督微调。我们发现，与从头开始的监督训练相比，源代码程序的预训练将发现的补丁数量提高了33%，而从自然语言到代码的领域自适应预训练将准确率进一步提高了32%。我们将标准的准确性评估指标细化为非删除和仅删除修复，并表明我们最好的模型生成的非删除修复比以前的最新技术水平多75%。与以前的工作相比，我们在生成原始代码时获得了最佳结果，而不是使用抽象代码，这些代码往往只会使容量较小的模型受益。最后，我们观察到一个微妙的改进，从添加语法嵌入以及标准的位置嵌入，以及添加一个辅助任务来预测每个标记的语法类。尽管关注Java，但我们的方法与语言无关，只需要一个通用的解析器，如tree-sitter。
2021-04-28 cs.CL cs.PL
Pretrained Language Models are Symbolic Mathematics Solvers too!
Sharif University of Technology（谢里夫理工大学）；University of Tartu（塔尔图大学）；University of South Carolina（南卡罗来纳大学）
解决符号数学一直是人类智慧的舞台，需要组合推理和递归。然而，最近的研究表明，像Transformers这样的大规模语言模型是通用的，并且令人惊讶的是，它可以作为序列到序列的任务来训练，以解决复杂的数学方程。这些大型的Transformer模型需要大量的训练数据来推广到看不见的符号数学问题。在本文中，我们提出了一种解决符号任务的有效方法，首先通过语言翻译预训练Transformer模型，然后微调预训练的Transformer模型来解决符号数学的下游任务。我们使用我们的预训练模型在集成任务上实现了相当的准确性，同时使用了大约$1.5$数量级的训练样本，相对于最先进的符号数学深度学习。与积分相比，微分方程任务的测试准确度要低得多，因为它们需要更高阶的递归，而这些递归在语言翻译中是不存在的。我们从Anna Karenina Principle（AKP）中提出了预训练语言模型的泛化性。我们用不同的语言翻译对模型进行预训练。我们的研究结果表明，在解决符号数学任务的语言偏见。最后，我们研究了微调模型对分布偏移的符号数学任务的鲁棒性，并且我们的方法在函数集成的分布偏移场景中具有更好的推广性。
2023-03-14 cs.CL cs.LG stat.ML
Making the Most of your Model: Methods for Finetuning and Applying Pretrained Transformers
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本论文提出了两种新的微调方法和两种无需额外微调的预测质量提升技术，并提供了关于模型似然与输出质量差异的理论与实证见解，适用于几乎任何transformer语言模型。
2024-08-29 cs.CL
BeliefBank: Adding Memory to a Pre-Trained Language Model for a Systematic Notion of Belief
Allen Institute for AI（艾伦人工智能研究所）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
尽管预训练的语言模型（PTLM）包含大量的世界知识，但即使经过专门的训练，它们在探测时仍然会产生不一致的问题答案。因此，很难确定模型实际上“相信”这个世界，这使得它容易受到不一致行为和简单错误的影响。我们的目标是减少这些问题。我们的方法是将PTLM嵌入到一个更广泛的系统中，该系统还包括一个不断发展的、象征性的信念记忆--一个信念银行--它记录但随后可能修改原始PTLM答案。我们描述了两种机制，以提高整个系统的信念一致性。首先，一个推理组件--加权MaxSAT求解器--修改与其他人严重冲突的信念。第二，反馈组件使用已知的信念作为上下文向PTLM发出未来的查询。我们发现，在一个受控的实验环境中，这两种机制导致整个系统中更一致的信念，随着时间的推移，提高了答案的准确性和一致性。这是非常重要的，因为它是迈向基于PTLM的架构的第一步，具有系统的信念概念，使他们能够构建一个更连贯的世界图景，并随着时间的推移而改进，而无需模型再训练。
2021-09-29 cs.CL
Adding Instructions during Pretraining: Effective Way of Controlling Toxicity in Language Models
NVIDIA（英伟达）
预训练的大语言模型已经成为解决各种自然语言处理（NLP）任务不可或缺的工具。然而，在现实世界的应用程序中安全地部署它们是具有挑战性的，因为它们会产生有毒内容。为了应对这一挑战，我们提出了两种新的预训练数据增强策略，可以显着降低模型毒性，而不会影响其实用性。我们的两个战略是：（1）MEDA：将原始毒性评分作为元数据添加到预训练样本中，以及（2）INST：将指令添加到指示其毒性的那些样本中。我们的研究结果表明，我们的最佳执行策略（INST）大大降低了毒性概率高达61%，同时保留了五个基准NLP任务的准确性，并将四个偏差检测任务的AUC分数提高了1.3%。我们还通过调整训练样本的数量和模型参数的数量来证明我们的技术的普遍性。
2023-02-14 cs.AI cs.CL
Shortformer: Better Language Modeling using Shorter Inputs
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）；Allen Institute for AI（艾伦人工智能研究所）
增加输入长度一直是使用Transformers进行语言建模的一个推动力。我们确定的条件下，较短的输入是无害的，并通过两种新的方法，减少输入长度实现困惑和效率的改善。首先，我们表明，在开始训练较长的模型之前，先在短时间内训练一个模型，这既减少了整体训练时间，也令人惊讶地大大改善了困惑。其次，我们展示了如何提高Transformers中递归方法的效率，当生成的序列超过Transformer一次可以处理的最大长度时，该方法让模型以先前处理的令牌为条件。现有的方法需要计算昂贵的相对位置嵌入，我们引入了一个简单的替代添加绝对位置嵌入查询和键，而不是词嵌入，有效地产生优越的结果。我们发现，这些经常性的模型也受益于短的输入长度。结合这些技术可以将训练速度提高1.65倍，减少内存使用，并在不添加任何参数的情况下大大改善WikiText-103的困惑。
2021-06-03 cs.CL
Continually Adding New Languages to Multilingual Language Models
Department of Computer Science and Engineering（计算机科学与工程系）；The Ohio State University（俄亥俄州立大学）
本文研究向多语言模型持续添加新语言的问题，提出 Layer-Selective LoRA (LayRA) 方法，通过在选定的初始和最终层添加 LoRA 并冻结其余层，在保留旧语言能力的同时有效习得新语言，并结合模型算术实现零数据指令遵循。
2025-09-14 cs.CL
Knowledge-Aware Language Model Pretraining
Microsoft Corporation（微软公司）
预训练的语言模型包含多少知识？最近的研究发现，经过预训练的transformer擅长建模语义，但尚不清楚它们在多大程度上掌握了人类知识，或者如何确保它们这样做。在本文中，我们将知识意识的语言模型预训练不改变的Transformer架构，插入显式的知识层，或添加外部存储的语义信息。相反，我们只是在预训练中向Transformer的输入发送实体存在的信号，使用实体扩展的标记器;在输出处，使用额外的实体预测任务。我们的实验表明，仅仅通过在预训练中添加这些实体信号，就可以将更多的知识打包到Transformer参数中：我们观察到改进的语言建模准确性，LAMA知识探测任务中的事实正确性，以及通过边缘探测隐藏表示的语义。我们还表明，我们的知识感知语言模型（KALM）可以作为GPT-2模型的替代品，显著改善下游任务，如没有任务相关培训的zero-shot问题回答。
2021-02-04 cs.CL cs.LG stat.ML
Efficiently Adapting Pretrained Language Models To New Languages
SambaNova Systems, Inc.（桑巴诺瓦系统公司）
针对预训练大语言模型适配低资源新语言时的灾难性遗忘与分词器低效问题，提出添加目标语言新token优化分词效率、结合数据混合方案的方法，实验证明在匈牙利语、泰语上表现优于开源模型且英语性能退化极小。
2023-12-14 cs.AI cs.CL cs.LG
KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference
Department of Computer Science（计算机科学系）；University of Colorado Boulder（科罗拉多大学博尔德分校）
KV-Fold通过将KV缓存视为左折叠的累加器，实现长上下文推理。该方法利用预训练模型的冻结状态，通过递归处理序列块，保持长距离信息的精确性，且在内存限制内实现高效推理。
2026-05-12 cs.AI cs.CL cs.LG
A Comparative Study on Language Models for Task-Oriented Dialogue Systems
Institut Teknologi Bandung（万隆理工学院）
语言模型的最新发展已经显示出有希望的结果，通过微调预训练的模型，在各种自然语言任务上实现了最先进的性能。在面向任务的对话（ToD）系统中，语言模型可以用于端到端训练，而不依赖于对话状态跟踪来跟踪对话历史，而是允许语言模型根据作为输入给出的上下文来生成响应。本文进行了一项比较研究，以显示在端到端ToD系统上使用最近的预训练模型进行微调的有效性和优势，例如BART和T5。实验结果表明，经过语言模型微调后，性能有了很大的提高。在将知识添加到指导模型避免幻觉并在生成的响应中生成准确实体的上下文之后，模型产生更流畅的响应。此外，我们发现BART和T5在BLEU和F1分数方面优于基于GPT的模型，并在ToD系统中实现了最先进的性能。
2022-01-21 cs.CL
Adapting BigScience Multilingual Model to Unseen Languages
Brown University（布朗大学）；NAVER LABS Europe（NAVER欧洲实验室）
我们对将新语言（德语和韩语）添加到BigScience的预训练多语言语言模型中的不同策略进行了基准测试，该模型具有13亿个参数，目前支持13种语言。我们调查的因素，影响模型的语言适应性和计算成本和预期性能之间的权衡。
2022-04-11 cs.AI cs.CL cs.LG
PAC-tuning:Fine-tuning Pretrained Language Models with PAC-driven Perturbed Gradient Descent
Michigan State University（密歇根州立大学）；UC Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出两阶段微调方法PAC-tuning，通过最小化PAC-Bayes泛化界学习参数分布，并以学习到的方差注入噪声实现扰动梯度下降，在5个GLUE任务上超越强基线，验证了其替代Adam优化器的潜力。
2023-10-26 cs.CL cs.LG
Enhancing deep neural networks with morphological information
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）
深度学习方法在自然语言处理中具有优越性，因为它们能够从语言中提取信息特征和模式。两种最成功的神经架构是LSTM和Transformers，用于大型预训练语言模型，如BERT。虽然跨语言方法正在兴起，但目前大多数NLP技术都是针对英语设计和应用的，而资源较少的语言则落后了。在形态丰富的语言中，信息是通过形态来传达的，例如，通过词缀修饰词干。现有的神经方法没有明确地使用单词形态的信息。我们分析了向LSTM和BERT模型添加形态特征的效果。作为一个测试平台，我们使用了三个在许多资源较少的语言中可用的任务：命名实体识别（NER），依存句法分析（DP）和注释过滤（CF）。我们构建涉及LSTM和BERT模型的基线，通过添加词性（POS）标签和通用特征形式的额外输入来调整基线。我们比较了来自不同语系的几种语言的模型。我们的研究结果表明，添加形态特征具有混合效果，这取决于特征的质量和任务。这些特性提高了基于LSTM的模型在NER和DP任务上的性能，而它们对CF任务的性能没有好处。对于基于BERT的模型，形态特征仅在它们具有高质量时改善DP的性能，而在它们被预测时没有显示出实际的改善。即使对于高质量的功能，与大规模多语言BERT模型相比，特定于语言的BERT变体的改进也不太明显。由于在NER和CF数据集中手动检查的特征不可用，我们只对预测的特征进行实验，发现它们不会导致任何实际的性能改善。
2022-03-01 cs.CL
Context Generation Improves Open Domain Question Answering
NVIDIA（英伟达）
本文提出两阶段闭卷问答框架，通过生成并边缘化相关上下文来充分挖掘预训练语言模型的参数化知识，在三个基准上显著超越闭卷方法并媲美开卷方法。
2023-04-27 cs.AI cs.CL
When Does Meaning Backfire? Investigating the Role of AMRs in NLI
Georgetown University（乔治城大学）；Amherst College（阿默斯特学院）
本研究探究在自然语言推理中引入抽象意义表示（AMR）的影响，发现微调时AMR阻碍泛化，提示时虽有小幅提升但源于表面差异放大，可能误导模型误判非蕴含。
2025-09-24 cs.CL
Parameter-efficient Zero-shot Transfer for Cross-Language Dense Retrieval with Adapters
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）
创建zero-shot跨语言检索模型的一种流行方法是用多语言预训练语言模型（例如多语言BERT）替换检索模型中的单语言预训练语言模型。这种多语言模型被微调为单语言数据（如英语MS MARCO）的检索任务，使用与所使用的单语言检索模型相同的训练配方。然而，这种转移的模型在训练和推理期间遭受输入文本的语言的不匹配。在这项工作中，我们提出了使用适配器，一个参数有效的组件，一个Transformer网络传输单语检索模型。通过添加针对特定语言的语言任务预训练的适配器和特定任务的适配器，先前的工作表明，在各种NLP任务中跨语言传输时，适配器增强模型的性能优于微调整个模型。通过构建具有适配器的稠密检索模型，我们表明，当转移到跨语言信息检索（CLIR）设置时，用单语数据训练的模型比微调整个模型更有效。然而，我们发现，先前的建议，更换语言适配器，以匹配目标语言在推理时间是次优的稠密检索模型。我们对其他跨语言NLP任务和CLIR之间的这种差异进行了深入分析。
2022-12-20 cs.CL cs.IR
Recurrent Memory Transformer
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI（AIRI（人工智能研究所））
基于transformer的模型在多个领域和任务中显示出其有效性。自注意允许将来自所有序列元素的信息组合成上下文感知表示。然而，全局和局部信息必须大部分存储在相同的元素表示中。此外，输入序列的长度受到自注意的二次计算复杂性的限制。在这项工作中，我们提出并研究了一个内存增强的段级递归Transformer（RMT）。内存允许存储和处理本地和全局信息，以及在递归的帮助下在长序列的段之间传递信息。我们实现了一个内存机制，没有改变Transformer模型，通过添加特殊的内存令牌的输入或输出序列。然后训练模型来控制记忆操作和序列表示处理。实验结果表明，RMT的表现与Transformer-XL语言建模较小的内存大小，并优于它的任务，需要较长的序列处理。我们表明，添加内存令牌的Tr-XL是能够提高其性能。这使得递归内存Transformer成为一种很有前途的架构，适用于需要学习长期依赖关系和内存处理中的通用目的的应用程序，例如算法任务和推理。
2022-12-08 cs.CL cs.LG
Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks
EPFL University（洛桑联邦理工学院）；Idiap Research Institute（伊迪亚普研究所）；DeepMind（深度思维）；Google Brain（谷歌大脑）
最先进的参数高效微调方法依赖于在预训练的语言模型的层之间引入适配器模块。然而，这些模块针对每个任务单独训练，因此不能跨任务共享信息。在本文中，我们表明，我们可以学习适配器参数的所有层和任务，通过使用共享的超网络，条件任务，适配器的位置，和层ID在一个Transformer模型生成它们。这种参数高效的多任务学习框架使我们能够通过超网络在任务之间共享知识，同时使模型能够通过特定于任务的适配器适应每个单独的任务，从而实现两全其美。在著名的GLUE基准测试上的实验表明，在每个任务仅添加0.29%的参数的情况下，多任务学习的性能得到了改善。我们还证明了大量的性能改进，在Few-Shot领域泛化在各种任务。我们的代码可在https://github.com/rabeehk/hyperformer上公开获取。
2021-06-08 cs.CL
Generative Pretrained Autoregressive Transformer Graph Neural Network applied to the Analysis and Discovery of Novel Proteins
Massachusetts Institute of Technology（麻省理工学院）
提出一种集成transformer和图卷积架构的生成式预训练模型，基于提示解决蛋白质正逆向建模任务，多任务协同提升了整体性能，可设计结构蛋白与抗菌材料。
2023-07-11 cond-mat.dis-nn cond-mat.soft cs.CL
Liger: Linearizing Large Language Models to Gated Recurrent Structures
Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）
本文提出Liger，通过重用预训练key矩阵权重构建门控机制，将LLMs无额外参数地线性化为门控循环结构，并结合LoRA微调与Liger Attention，以极低预训练成本恢复模型性能。
2025-05-07 cs.AI cs.CL cs.LG
End-to-End Speech Recognition Contextualization with Large Language Models
Meta AI
本文提出将语音识别建模为基于预训练大语言模型的混合模态语言建模任务，通过适配器仅添加少量可训练参数即可实现上下文化语音识别，在WER上相比基线RNN-T系统显著提升，尤其在罕见词上提升17%。
2023-09-19 cs.AI cs.CL cs.LG
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
Transformers具有学习长期依赖的潜力，但在语言建模的设置中受到固定长度上下文的限制。我们提出了一种新的神经架构transformer-XL，使学习的依赖性超过一个固定的长度，而不会破坏时间的连贯性。它包括一个段级递归机制和一个新的位置编码方案。我们的方法不仅能够捕获长期依赖，而且还解决了上下文碎片问题。因此，Transformer-XL学习的依赖性比RNN长80%，比vanilla Transformers长450%，在短序列和长序列上都实现了更好的性能，并且在评估过程中比vanilla Transformers快1,800多倍。值得注意的是，我们将bpc/困惑度的最新结果提高到enwiki 8上的0.99，text 8上的1.08，WikiText-103上的18.3，One Billion Word上的21.8，以及Penn Treebank上的54.5（没有微调）。当只在WikiText-103上训练时，Transformer-XL设法生成具有数千个令牌的合理连贯，新颖的文本文章。我们的代码、预训练模型和超参数在Tensorflow和PyTorch中都可用。
2019-06-02 cs.CL cs.LG stat.ML
Tiny-Attention Adapter: Contexts Are More Important Than the Number of Parameters
University of Chicago（芝加哥大学）；Adobe Research（奥多比研究中心）；TTI-Chicago（芝加哥丰田技术研究所）
适配器调优是通过添加和调优少量新参数将预训练的语言模型转移到下游任务的范例。以前提出的适配器架构都是前馈神经网络。在本文中，我们研究了使用微小注意力的有效性，即，注意，每个头的尺寸非常小-作为适配器。我们的tiny-attention适配器学习修改隐藏状态在每个位置直接条件的隐藏状态在所有其他位置，这是错过了以前提出的适配器。此外，我们认为它的多个注意头作为一个混合专家模型，并建议平均他们的权重在部署过程中，这进一步降低了其推理计算成本。在GLUE基准测试中，我们的tiny-attention适配器优于其他参数高效的迁移学习方法以及完全微调，同时只更新0.05%的参数。在FewGLUE基准测试中，其性能与GPT-3和PET相当。
2022-10-18 cs.AI cs.CL cs.LG
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
Featherless AI；Eleuther AI
KVM提出了一种新的块递归注意力机制，能够处理固定大小或增长状态，通过在强基线变压器中加入KVM注意力层，实现了线性复杂度的RNN，并在长上下文测试中表现出竞争力。
2026-08-04 cs.AI cs.CL cs.LG
