BamiBERT: A New BERT-based Language Model for Vietnamese
Qualcomm AI Research（高通人工智能研究）
提出BamiBERT，一种从头训练的越南语BERT模型，支持2048 token上下文长度且无需分词，在15项指标中11项最优，刷新越南语编码器性能。
2026-07-03 cs.CL
RoChBert: Towards Robust BERT Fine-tuning for Chinese
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
尽管在广泛的任务上表现出色，但预训练的语言模型（例如，BERT）已被证明易受对抗性文本的攻击。在本文中，我们提出了RoChBERT，这是一个框架，通过利用更全面的对抗图来构建更健壮的基于BERT的模型，以便在微调过程中将汉语语音和语音特征融合到预训练的表示中。受课程学习的启发，我们进一步提出用对抗性文本结合中间样本来增强训练数据集。大量的实验表明，RoChBERT在重要方面优于以前的方法：（i）鲁棒性- RoChBERT大大提高了模型的鲁棒性，而不会牺牲良性文本的准确性。具体来说，该防御方法在不限制攻击和限制攻击的成功率分别降低了59.43%和39.33%，同时保持了93.30%的准确率;（ii）灵活性-- RoChBERT可以很容易地扩展到各种语言模型，以优异的性能解决不同的下游任务;和（iii）高效- RoChBERT可以直接应用于微调阶段，而无需从头开始预训练语言模型，并且所提出的数据增强方法也是低成本的。
2022-10-28 cs.CL
Frequency Effects on Syntactic Rule Learning in Transformers
Google Research（谷歌研究院）；New York University（纽约大学）；Brown University（布朗大学）
预先训练的语言模型在各种需要符号推理的语言任务上表现良好，这就提出了这样的模型是否隐含地表示抽象符号和规则的问题。本文通过对BERT在英语主谓一致方面的表现的个案研究来探讨这一问题。与之前的工作不同，我们从零开始训练多个BERT实例，允许我们在训练前执行一系列受控干预。我们发现，BERT通常可以很好地概括训练中从未出现过的主谓对，这表明一定程度的规则支配的行为。然而，我们也发现，表现受到词频的严重影响，实验表明，无论是动词形式的绝对频率，以及频率相对于交替的变化，有因果关系牵连的预测BERT在推理时间。对这些频率效应的进一步分析表明，BERT的行为与一般正确应用SVA规则的系统是一致的，但该系统难以克服强训练先验，并难以估计不常见词汇项的一致性特征（单数与复数）。
2021-09-14 cs.CL
From English To Foreign Languages: Transferring Pre-trained Language Models
Amazon Alexa AI（亚马逊Alexa AI）
预训练模型在许多下游自然语言处理（NLP）任务中已经证明了它们的有效性。多语言预训练模型的可用性使NLP任务从高资源语言到低资源语言的zero-shot转移成为可能。然而，最近关于改进预训练模型的研究主要集中在英语上。虽然可以从头开始为其他语言训练最新的神经架构，但由于所需的计算量，这是不可取的。在这项工作中，我们解决了在有限的计算预算下将现有的预训练模型从英语转移到其他语言的问题。使用单个GPU，我们的方法可以在一天内获得外国BERT基础模型，并在两天内获得外国BERT大型模型。此外，评估我们的模型在六种语言，我们证明了我们的模型是优于多语言BERT的两个zero-shot任务：自然语言推理和依存句法分析。
2020-04-29 cs.CL
Dynamic Language Models for Continuously Evolving Content
Google Research（谷歌研究院）
网络上的内容处于不断变化的状态。新的实体、问题和想法不断出现，而现有会话主题的语义逐渐发生变化。近年来，像BERT这样的预训练语言模型大大提高了大范围内容理解任务的最新水平。因此，在本文中，我们的目标是研究如何这些语言模型可以适应，以更好地处理不断发展的Web内容。在我们的研究中，我们首先分析了2013 - 2019年Twitter数据的演变，并明确证实，在过去的推文上训练的BERT模型在直接应用于以后几年的数据时会严重恶化。然后，我们调查了两个可能的恶化来源：现有令牌的语义转移和新令牌的次优或失败的理解。为此，我们探索了两种不同的词汇组合方法，并提出了三种采样方法，这些方法有助于BERT类模型的有效增量训练。与离线从头开始训练的新模型相比，我们的增量训练（a）降低了训练成本，（b）在不断变化的内容上实现了更好的性能，（c）适合在线部署。使用两个下游任务验证了我们的方法的优越性。当从特定的基准年逐步发展模型时，我们在国家主题标签预测任务以及OffensEval 2019任务上表现出显着的改进。
2021-06-11 cs.CL cs.LG
Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition
The University of Manchester（曼彻斯特大学）
本文比较从头训练的TransformerCRF与微调的BERT、BioBERT、ClinicalBERT在临床药物命名实体识别上的表现，发现低成本模型性能接近，且CRF层和下采样可进一步降低训练成本。
2023-10-30 cs.AI cs.CL cs.LG
On Importance of Layer Pruning for Smaller BERT Models and Low Resource Languages
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文研究层剪枝在低资源语言BERT模型中的效果，发现剪枝模型可在减少层数的同时保持性能并优于同规模从头训练模型，其中中间层剪枝策略尤为有效。
2025-01-01 cs.CL cs.LG
Is She Even Relevant? When BERT Ignores Explicit Gender Cues
Department of Computational Cognitive Science, Tilburg University（蒂尔堡大学计算认知科学系）
本文研究了荷兰BERT模型在训练过程中性别信息的出现时机，发现模型在短句模板中难以更新性别表示，导致默认男性解读。
2026-05-08 cs.CL
Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study
Nantes Université（南特大学）；CHU Nantes（南特大学医院中心）；INSERM（法国国家健康与医学研究院）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
本文比较了三种基于Longformer的法语生物医学长文档适配策略，发现用英语临床模型继续预训练法语生物医学文本效果最佳，长序列模型在多数下游任务上优于BERT，但BERT在命名实体识别上仍最高效。
2024-02-26 cs.AI cs.CL
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Microsoft Research（微软研究院）
预训练大型神经语言模型，如BERT，已经在许多自然语言处理（NLP）任务上取得了令人印象深刻的进展。然而，大多数预训练工作集中在一般领域语料库，如新闻专线和Web。一个普遍的假设是，即使是特定领域的预训练也可以从通用领域的语言模型开始。在本文中，我们挑战了这一假设，证明了对于具有大量未标记文本的领域，如生物医学，从头开始预训练语言模型比一般领域语言模型的持续预训练有很大的收益。为了促进这项调查，我们从公开的数据集中编译了一个全面的生物医学NLP基准。我们的实验表明，特定于领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础，从而全面带来了新的最先进的结果。此外，在对建模选择进行彻底评估时，无论是预训练还是特定于任务的微调，我们发现BERT模型中的一些常见做法是不必要的，例如在命名实体识别（NER）中使用复杂的标记方案。为了帮助加速生物医学NLP的研究，我们为社区发布了最先进的预训练和特定任务模型，并在https://aka.ms/BLURB上创建了一个排行榜，其中包括我们的BLURB基准（生物医学语言理解和推理基准的缩写）。
2021-09-16 cs.CL cs.LG
Towards Building Efficient Sentence BERT Models using Layer Pruning
MKSSS Cummins College of Engineering for Women（MKSSS库明斯女子工程学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本研究探讨了通过层剪枝创建高效 Sentence BERT 模型的方法，发现剪枝后模型在保持嵌入质量的同时显著降低计算需求，且优于同等大小的从头训练模型。
2024-09-21 cs.CL cs.LG
An Empirical Study on Robustness to Spurious Correlations using Pre-trained Language Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Amazon AI（亚马逊人工智能）；New York University（纽约大学）
最近的工作表明，预先训练的语言模型（如BERT）提高了对数据集中虚假相关性的鲁棒性。被这些结果所吸引，我们发现他们成功的关键是从少量的反例中推广，其中虚假的相关性不成立。当这样的少数例子很少时，预先训练的模型表现得和从头开始训练的模型一样差。在极端少数的情况下，我们建议使用多任务学习（MTL）来提高泛化能力。我们对自然语言推理和释义识别的实验表明，MTL与正确的辅助任务显着提高了具有挑战性的例子的性能，而不会损害分布性能。此外，我们表明，从MTL的增益主要来自于改进的推广少数的例子。我们的研究结果突出了数据多样性的重要性，克服虚假的相关性。
2020-08-11 cs.CL cs.LG
SMYRF: Efficient Attention using Asymmetric Clustering
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
我们提出了一种新的平衡聚类算法来近似注意力。注意力复杂度从$O(N^2)$降低到$O(N \log N)$，其中$N$是序列长度。我们的算法，SMYRF，使用局部敏感哈希（LSH）在一个新的方式，通过定义新的非对称变换和自适应方案，产生平衡的集群。SMYRF的最大优点是它可以作为密集注意力层的替代品，而无需任何重新训练。相反，先前的快速注意力方法施加约束（例如，查询和键共享相同的向量表示）并且需要从头开始重新训练。我们将我们的方法应用于预先训练的最先进的自然语言处理和计算机视觉模型，并报告了显着的内存和速度优势。值得注意的是，SMYRF-BERT在GLUE上的性能（略优于）BERT，而使用$50\%$的内存较少。我们还表明，SMYRF可以与密集注意力在训练前后互换使用。最后，我们使用SMYRF训练GANs与注意力在高分辨率。使用单个TPU，我们能够在CelebA-HQ上的BigGAN上将注意力扩展到128 x128 = 16 k和256 x256 = 65 k令牌。
2020-10-11 cs.LG
Visualizing and Understanding the Effectiveness of BERT
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）
语言模型预训练，如BERT，在许多NLP任务中取得了显著的效果。然而，目前还不清楚为什么预训练-然后微调范式可以提高不同任务的性能和泛化能力。在本文中，我们提出了可视化的损失景观和优化轨迹的微调BERT在特定的数据集。首先，我们发现预训练在下游任务中达到了一个很好的初始点，与从头开始训练相比，这导致了更广泛的最优值和更容易的优化。我们还证明了微调过程是强大的过拟合，即使BERT是高度过参数化的下游任务。其次，可视化结果表明，微调BERT倾向于更好地推广，因为平坦和广泛的最优值，以及训练损失曲面和泛化误差曲面之间的一致性。第三，BERT的较低层在微调过程中更具不变性，这表明接近输入的层学习更多可转移的语言表示。
2019-08-15 cs.CL cs.LG
DPRK-BERT: The Supreme Language Model
University of Tokyo（东京大学）
深度语言模型在NLP领域取得了显著的成功。训练深度语言模型的标准方法是在大型未标记语料库上从头开始采用无监督学习。然而，这种大型语料库仅适用于广泛采用和高资源的语言和领域。本研究提出了朝鲜语的第一个深层语言模型DPRK-BERT。我们实现这一点，通过编译朝鲜语的第一个未标记的语料库和微调预先存在的韩国语言模型。我们将所提出的模型与现有的方法进行比较，并在两个朝鲜数据集上显示出显着的改进。我们还提出了一个跨语言版本的这个模型，产生更好的泛化在两种韩语。最后，我们提供了与朝鲜语相关的各种NLP工具，以促进未来的研究。
2021-12-01 cs.CL cs.LG
Improving language models by retrieving from trillions of tokens
DeepMind
我们增强自回归语言模型的条件下，从一个大的语料库中检索到的文档块，基于本地相似性与前面的令牌。使用$2$万亿令牌数据库，我们的检索增强型Transformer（RETRO）在Pile上获得了与GPT-3和Jurassic-1相当的性能，尽管使用的参数少了25个$\times$。微调后，RETRO性能将转化为下游知识密集型任务，例如问答。RETRO结合了一个冻结的BERT检索器、一个可微分编码器和一个分块交叉注意力机制，根据比训练期间通常消耗的数据多一个数量级的数据来预测令牌。我们通常从头开始训练RETRO，但也可以通过检索快速RETRO适应预先训练的Transformers，并仍然实现良好的性能。我们的工作为通过外显记忆以前所未有的规模改进语言模型开辟了新的途径。
2022-02-07 cs.CL cs.LG
Towards Typologically Aware Rescoring to Mitigate Unfaithfulness in Lower-Resource Languages
Saarland University（萨尔大学）
本文提出用轻量辅助模型重排序大模型输出来缓解低资源语言的不忠实问题，并证明小型BERT在越南语、波兰语和格鲁吉亚语上识别忠实摘要平均准确率达88.33%，同时分析了形态复杂度与模型配置的关系。
2025-03-09 cs.CL
RUBERT: A Bilingual Roman Urdu BERT Using Cross Lingual Transfer Learning
NUCES (FAST)（巴基斯坦国家计算机与新兴科学大学（FAST））
在最近的研究中，已经表明，多语言语言模型表现不如单语言模型。众所周知，为每种语言训练和维护单语模型是一个昂贵且耗时的过程。罗马乌尔都语是一种资源匮乏的语言，在社交媒体平台和聊天应用程序上流行。在这项研究中，我们提出了一个新的数据集，其中包含5400万个令牌和300万个句子。此外，我们还提出了RUBERT一个双语罗马乌尔都语模型创建额外的预训练英语BERT。我们将其性能与从头开始训练的单语罗马乌尔都语BERT和通过多语言BERT的额外预训练创建的多语言罗马乌尔都语BERT进行比较。我们通过我们的实验表明，额外的预训练的英语BERT产生最显着的性能改善。
2021-02-22 cs.CL
Investigating Pre-trained Language Models on Cross-Domain Datasets, a Step Closer to General AI
Institute of Cognitive Science（认知科学研究所）；University of Osnabrück（奥斯纳布吕克大学）
本研究测试预训练语言模型在视觉、层次推理和蛋白质预测等非语言任务上的泛化能力，发现T5、BART、BERT和GPT-2均显著优于从头训练的Transformer，表明语言预训练有助于获取通用知识，且参数减少影响不大，输入层需用预训练嵌入。
2023-06-21 cs.AI cs.CL
The Hedgehog & the Porcupine: Expressive Linear Attentions with Softmax Mimicry
Stanford University（斯坦福大学）
针对线性注意力质量不足问题，提出Hedgehog可学习线性注意力，保留Softmax尖峰与单调特性，实现线性复杂度，恢复99%以上Transformer质量，并支持预训练模型转换。
2024-02-06 cs.CL cs.LG
A Comparison of LSTM and BERT for Small Corpus
SAS Inst.（SAS研究所）
NLP领域的最新进展表明，迁移学习通过调整预训练模型而不是从头开始，有助于为新任务实现最先进的结果。Transformers在为许多NLP任务（包括但不限于文本分类、文本生成和序列标记）创建新的最先进结果方面取得了重大改进。这些成功案例大多基于大型数据集。在本文中，我们关注学术界和工业界的科学家经常面临的现实场景：给定一个小数据集，我们是否可以使用像BERT这样的大型预训练模型并获得比简单模型更好的结果？为了回答这个问题，我们使用一个小数据集进行意图分类，并将简单的双向LSTM模型与预训练的BERT模型的性能进行比较。我们的实验结果表明，对于小数据集，双向LSTM模型可以获得比BERT模型更高的结果，并且这些简单的模型比调整预训练的模型所需的时间要少得多。我们的结论是，模型的性能取决于任务和数据，因此在选择模型之前，应该考虑这些因素，而不是直接选择最流行的模型。
2020-09-11 cs.CL cs.LG
LEGAL-BERT: The Muppets straight out of Law School
Athens University of Economics and Business（雅典经济与商业大学）；NCSR “Demokritos”（德谟克利特国家科学研究中心）；University of Sheffield（谢菲尔德大学）
BERT在几个NLP任务中取得了令人印象深刻的性能。然而，在专门领域对其适应指南的研究有限。在这里，我们专注于法律领域，在那里我们探索了几种方法，将BERT模型应用于下游法律任务，在多个数据集上进行评估。我们的研究结果表明，以前的预训练和微调的指导方针，往往盲目遵循，并不总是概括以及在法律领域。因此，我们提出了一个系统的调查时，适用于专门领域的BERT的可用策略。这些是：（a）使用开箱即用的原始BERT，（b）通过在特定领域语料库上进行额外的预训练来适应BERT，以及（c）在特定领域语料库上从头开始预训练BERT。我们还提出了一个更广泛的超参数搜索空间时，微调下游任务，我们发布了法律-BERT，一个家庭的BERT模型，旨在协助法律NLP研究，计算法，法律技术应用。
2020-10-06 cs.CL
Astro-HEP-BERT: A bidirectional language model for studying the meanings of concepts in astrophysics and high energy physics
History and Philosophy of Modern Science（现代科学史与哲学系）；Technische Universität Berlin（柏林工业大学）
本文提出 Astro-HEP-BERT，通过在自建大规模天体物理与高能物理语料上微调通用 BERT，以低成本实现领域概念语义分析，并证明其对科学史与科学哲学研究的有效性。
2024-11-22 cs.CL physics.hist-ph
Positional Attention for Efficient BERT-Based Named Entity Recognition
Georgia Institute of Technology（佐治亚理工学院）
本文提出在BERT命名实体识别中引入位置注意力机制，利用预训练参数进行高效定制，在Kaggle数据集上以更少训练轮数保持高准确率并降低训练成本。
2025-05-03 cs.CL
The Word and the Way: Strategies for Domain-Specific BERT Pre-Training in German Medical NLP
School of Computation, Information and Technology（计算信息科技学院）；Technical University of Munich（慕尼黑技术大学）；Chair of IT Infrastructure for Translational Medical Research（转化医学研究信息基础设施主任）；Faculty of Applied Computer Science（应用计算机科学学院）；University of Augsburg（艾希施泰特大学）；Institute of General Practice（基础医学研究所）；Faculty of Medicine and Medical Center（医学学院和医学中心）
本文提出ChristBERT系列模型，通过对比持续预训练、从头训练和领域词汇适应三种策略，在德语医学NLP任务中实现最优性能，并建立新的基准。
2026-06-02 cs.CL
Human Instruction-Following with Deep Reinforcement Learning via Transfer-Learning from Text
DeepMind（深度思维）
最近的工作描述了基于神经网络的代理，这些代理使用强化学习（RL）进行训练，以在模拟世界中执行类似语言的命令，这是迈向可以由人类用户指示的智能代理或机器人的一步。然而，从头开始通过深度RL优化多目标运动策略需要许多经验。因此，深度RL的指令遵循通常涉及从模板（通过环境模拟器）生成的语言，这并不反映真实用户的变化或模糊表达。在这里，我们提出了一种概念上简单的方法，用于训练具有深度RL的指令遵循代理，这些代理对自然人类指令具有鲁棒性。通过应用我们的方法与国家的最先进的预训练的基于文本的语言模型（BERT），在任务上需要代理识别和定位日常对象相对于其他对象在自然的3D模拟房间，我们展示了基本上以上的机会zero-shot从合成模板命令转移到自然的指令由人类。我们的方法是训练任何基于深度RL的系统与人类用户交互的通用方法，并弥合了最近取得显著成功的两个研究方向之间的差距：以代理为中心的运动行为和基于文本的表示学习。
2020-05-19 cs.CL
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
National Institute of Technology Trichy（特里奇国立理工学院）
基于transformer的预训练语言模型（T-PTLM）在几乎所有的NLP任务中都取得了巨大的成功。这些模型的发展始于GPT和BERT。这些模型是建立在Transformers，自监督学习和迁移学习。基于转换的PTLM使用自监督学习从大量文本数据中学习通用语言表示，并将此知识转移到下游任务。这些模型为下游任务提供了良好的背景知识，避免了从头开始训练下游模型。在这篇全面的综述论文中，我们首先简要概述了自监督学习。接下来，我们将解释各种核心概念，如预训练，预训练方法，预训练任务，嵌入和下游适应方法。接下来，我们提出了一个新的分类T-PTLM，然后简要概述了各种基准，包括内在和外在的。我们总结了各种有用的库与T-PTLM一起工作。最后，我们强调了一些未来的研究方向，这将进一步改善这些模型。我们坚信，这份全面的调查报告将作为一个很好的参考，以了解核心概念，以及保持与最近发生的T-PTLM更新。
2021-08-28 cs.CL
Self-Evolution Learning for Discriminative Language Model Pretraining
Wuhan University（武汉大学）；University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
本文提出自演化学习（SE），通过聚焦信息丰富且探索不足的词元并引入词元特定标签平滑自适应正则化训练，在10个任务上为不同预训练语言模型带来显著提升，改善语言知识学习与泛化。
2023-05-24 cs.CL
Building Chinese Biomedical Language Models via Multi-Level Text Discrimination
Baidu Inc.（百度公司）；University of Science and Technology of China（中国科学技术大学）
预训练语言模型（PLM），如BERT和GPT，不仅在一般领域，而且在生物医学领域，已经彻底改变了NLP领域。在构建生物医学PLM方面，大多数先前的努力都只是简单地采用领域自适应，并且主要集中在英语上。在这项工作中，我们介绍了eHealth，这是一个从头开始构建的中国生物医学PLM，具有新的预培训框架。这个新框架通过令牌和序列级别的歧视将eHealth预先训练为一个可识别的系统。前者是为了检测被生成器损坏的输入令牌，并从可能的候选者中恢复其原始身份，而后者是为了进一步区分同一原始序列的损坏。因此，eHealth可以在令牌和序列级别上学习语言语义。在11个不同形式的汉语生物医学语言理解任务上的实验验证了该方法的有效性和优越性。我们在\url{https://github.com/PaddlePaddle/Research/tree/master/KG/eHealth}上发布了预训练的模型，并将在稍后发布代码。
2022-03-02 cs.AI cs.CL
Legal Domain Adaptation of Modern BERT Models
Princeton University（普林斯顿大学）；Princeton, New Jersey, USA（新泽西州普林斯顿, 美国）
研究现代BERT模型在法律领域的领域自适应，通过在美国法院意见上进一步预训练ModernBERT，显著提升其性能，并支持长序列处理。
2026-06-26 cs.CL
Post-training is (Massive) Supervised Learning
FAIR, Meta AI（Meta AI 基础人工智能研究团队）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文论证当前LLM后训练阶段（SFT+RL）实质是回归到BERT时代的“预训练-微调”范式，通过实验表明从零开始后训练的模型也能取得显著性能，并提出应转向“学会学习”的训练方式。
2026-04-20 cs.AI cs.CL cs.LG
Multilingual is not enough: BERT for Finnish
University of Turku（图尔库大学）
在大型未注释文本语料库上预训练的基于深度学习的语言模型已被证明可以有效地进行自然语言处理的迁移学习，最近的方法（如基于transformer的BERT模型）在各种任务中推进了最新技术水平。虽然这些模型的大多数工作都集中在高资源语言上，特别是英语，但最近的一些努力引入了多语言模型，可以进行微调以解决大量不同语言的任务。然而，我们仍然缺乏对这些模型的能力的全面了解，特别是对于资源较少的语言。在本文中，我们专注于芬兰语，并在一系列任务上彻底评估多语言BERT模型，将其与从头开始训练的新芬兰语BERT模型进行比较。新的语言特定的模型被证明是系统和明显优于多语言。虽然多语言模型在很大程度上未能达到以前提出的方法的性能，自定义芬兰BERT模型建立了新的国家的最先进的结果对所有语料库的所有参考任务：词性标注，命名实体识别，和依存句法分析。我们在https://turkunlp.org/finbert上以开放许可证发布模型和为此研究创建的所有相关资源。
2019-12-15 cs.CL
Attending to Entities for Better Text Understanding
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
NLP的最新进展见证了大规模预训练语言模型（GPT，BERT，XLNet等）的发展。基于Transformer（Vaswani et al. 2017），在一系列最终任务中，这些模型已经实现了最先进的结果，接近人类的表现。这证明了堆叠自注意力架构在与足够数量的层和大量预训练数据配对时的强大功能。然而，在需要复杂和长距离推理的任务中，表面水平的线索是不够的，预训练的模型和人类的表现之间仍然存在很大的差距。Strubell等人（2018）最近表明，可以通过监督的自我注意将句法结构的知识注入模型。我们推测，类似的注入语义知识，特别是共指信息，到现有的模型将提高性能，这样的复杂问题。在LAMBADA（Paperno et al. 2016）任务中，我们证明了一个从头开始训练的模型，将共指作为自我注意力的辅助监督，其表现优于最大的GPT-2模型，这是最先进的，同时与GPT-2相比，只包含一小部分参数。我们还对模型架构和监督配置的不同变体进行了深入分析，并提出了将类似技术应用于其他问题的未来方向。
2019-11-11 cs.CL
Tree Matching Networks for Natural Language Inference: Parameter-Efficient Semantic Understanding via Dependency Parse Trees
Eastern Washington University（东部华盛顿大学）
树匹配网络通过依赖解析树实现参数高效的自然语言推理，显著提升SNLI任务性能，同时减少内存和训练时间。
2025-12-16 cs.AI cs.CL cs.LG
AlcLaM: Arabic Dialectal Language Model
Zhuiyi AI Lab（追义人工智能实验室）；Mayo Clinic（梅奥诊所）；Northwestern Polytechnical University（西北工业大学）
针对阿拉伯方言性能不足，构建340万句社交媒体语料，从零训练BERT模型AlcLaM，仅用13GB文本，超越现有模型，性能卓越。
2024-07-18 cs.CL
Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition
Cambridge University Engineering Dept.（剑桥大学工程系）
在大量文本上预训练的语言模型（LM），特别是来自Transformers（BERT）、生成预训练（GPT）和GPT-2的双向编码器表示，已经成为许多自然语言处理任务的关键技术。在本文中，我们提出了使用微调GPT，GPT-2，以及它们的组合自动语音识别（ASR）的结果。与单向LM GPT和GPT-2不同，BERT是双向的，其输出概率的直积不再是有效的语言先验概率。提出了一种基于双向LM输出的转换方法，以数学上精确的方式计算正确的语言先验概率。在广泛使用的AMI和Switchboard ASR任务上的实验结果表明，微调的GPT和GPT-2的组合优于三种具有不同架构的神经LM的组合，这些神经LM在域内文本上从头开始训练，相对单词出错率降低高达12%。此外，在AMI语料库上，所提出的语言先验概率转换方法使BERT获得了额外的3%的相对WERR，而BERT、GPT和GPT-2的结合则进一步提高了WERR。
2021-10-01 cs.CL cs.SD eess.AS
Building Dialogue Understanding Models for Low-resource Language Indonesian from Scratch
Harbin Institute of Technology（哈尔滨工业大学）；Westlake University（西湖大学）
针对印尼语低资源对话理解，论文实证评估利用英语数据从零训练意图分类与槽位填充模型的数据成本，并提出 BiCF 跨语言迁移框架，同时发布 ID-WOZ 数据集与 ID-BERT。
2024-10-24 cs.CL
Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese
University of Malta（马耳他大学）；Utrecht University（乌得勒支大学）；Idiap Research Institute（Idiap研究所）
mBERT等多语言语言模型已经出现了令人印象深刻的跨语言迁移到各种语言的情况，但许多语言仍然被排除在这些模型之外。在本文中，我们分析了一种低资源语言的单语数据预训练的效果，这种语言不包括在mBERT中-马耳他语-具有一系列预训练设置。我们使用新的预训练模型对三个形态句法任务进行评估-依存句法分析，词性标记和命名实体识别-以及一个语义分类任务-情感分析。我们还提出了一个新创建的语料库马耳他语，并确定预训练数据的大小和域对下游性能的影响。我们的研究结果表明，使用预训练域的混合往往优于仅使用维基百科文本。我们还发现，这个语料库的一小部分就足以使维基百科训练的模型的性能有显著的飞跃。我们在新语料库上预训练并比较了两个模型：从头开始训练的单语BERT模型（BERTu）和进一步预训练的多语言BERT（mBERTu）。这些模型在这些任务上实现了最先进的性能，尽管新的语料库比通常用于高资源语言的语料库要小得多。平均而言，BERTu优于mBERTu或与mBERTu竞争，并且在更高级别的任务中观察到最大的收益。
2022-05-26 cs.CL
Classifying Scientific Publications with BERT -- Is Self-Attention a Feature Selection Method?
expert.ai Research Lab（expert.ai研究实验室）
我们研究了BERT的自我注意力机制，在一个微调的情况下，对科学文章的分类超过一个分类的研究学科。我们观察自我注意力是如何集中在与文章领域高度相关的词上的。特别是，一小部分词汇往往会受到大部分关注。我们比较和评估的子集最出席的话通常用于文本分类的特征选择方法，以表征自我注意作为一种可能的特征选择方法。使用ConceptNet作为基础事实，我们还发现，关注词与文章的研究领域更相关。然而，传统的特征选择方法仍然是从头开始学习分类器的更好选择。这一结果表明，虽然自我注意识别领域相关的条款，歧视性信息在BERT编码的上下文输出和分类层。它还提出了一个问题，即在自注意力机制中注入特征选择方法是否可以进一步优化使用Transformers的单序列分类。
2021-01-20 cs.AI cs.CL cs.DL
DaN+: Danish Nested Named Entities and Lexical Normalization
ITU Copenhagen（哥本哈根信息技术大学）
本文介绍了DaN+，一个新的多域语料库和注释指南丹麦嵌套命名实体（NE）和词汇规范化，以支持跨语言跨域学习的研究资源较少的语言。我们实证评估三种策略来模拟两层命名实体识别（NER）任务。我们比较了从德语到语言注释的转换能力。我们研究了特定语言与多语言的BERT，并研究了词汇规范化对NER的影响。我们的研究结果表明：1）最鲁棒的策略是多任务学习，这是由多标签解码相媲美，2）基于BERT的NER模型是敏感的领域转移，和3）在语言BERT和词汇规范化是最有益的最少的规范数据。我们的研究结果还表明，域外设置仍然具有挑战性，而新闻的性能很快就稳定下来。这突出了跨领域评估跨语言迁移的重要性。
2021-05-24 cs.CL
FarSSiBERT: A Novel Transformer-based Model for Semantic Similarity Measurement of Persian Social Networks Informal Texts
Shahrood University of Technology（沙赫鲁德理工大学）；Hazrat-e Masoumeh University（哈兹拉特·马苏梅大学）；Iran Telecommunication Research Center (ITRC)（伊朗电信研究中心）
本文提出基于BERT从头训练的FarSSiBERT模型，用于测量波斯语社交网络非正式短文本的语义相似度，并构建了FarSSiM数据集，实验证明其在Pearson和Spearman系数上优于多个主流模型。
2024-07-27 cs.AI cs.CL
Bioformer: an efficient transformer language model for biomedical text mining
Sun Yat-sen University（中山大学）；National Institutes of Health（美国国立卫生研究院）；University of Pennsylvania（宾夕法尼亚大学）
预训练的语言模型，如来自Transformers的双向编码器表示（BERT），在自然语言处理（NLP）任务中实现了最先进的性能。最近，BERT已被应用于生物医学领域。尽管有效，但这些模型具有数亿个参数，并且在应用于大规模NLP应用时计算昂贵。我们假设原始BERT的参数数量可以大大减少，对性能的影响很小。在这项研究中，我们提出了Bioformer，一个紧凑的BERT模型的生物医学文本挖掘。我们预训练了两个Bioformer模型（名为Bioformer 8L和Bioformer 16 L），与BERTBase相比，它们将模型大小减少了60%。Bioformer使用生物医学词汇表，并在PubMed摘要和PubMed Central全文文章上从头开始进行预训练。我们全面评估了Bioformer以及现有生物医学BERT模型（包括BioBERT和PubMed BERT）在四种不同生物医学NLP任务（命名实体识别、关系抽取、问答和文档分类）的15个基准数据集上的性能。结果表明，在参数减少60%的情况下，Bioformer 16 L的准确度仅比PubMedBERT低0.1%，而Bioformer 8L的准确度比PubMedBERT低0.9%。Bioformer 16 L和Bioformer 8L的性能均优于BioBERTBase-v1.1。此外，Bioformer 16 L和Bioformer 8…
2023-02-03 cs.CL
InstaTune: Instantaneous Neural Architecture Search During Fine-Tuning
Intel Labs, Intel Corporation（英特尔公司英特尔研究院）
提出InstaTune，利用现成预训练权重在微调阶段生成超网络，通过多目标进化搜索和轻量预测器提取帕累托最优子网络，在准确率和MACs上优于基线，适用于单模态和多模态Transformer架构。
2023-08-29 cs.AI cs.LG
Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction
University of Udine（乌迪内大学）；University of Naples Federico II（那不勒斯费德里科二世大学）；The Hong Kong Polytechnic University（香港理工大学）；Bayer Pharmaceuticals（拜耳制药）；Bloomberg（彭博）；Bayer（拜耳）
本文评估 19 个基于 Transformer 的模型在论坛和推文等非正式文本上的 ADE 抽取性能，并结合 CRF/LSTM 与 SHAP 分析模型类别、领域、规模等因素的影响。
2023-06-08 cs.AI cs.CL
UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；EPOS SAS（EPOS公司）；UFR de Médecine（医学院）
本文提出UMLS-KGI-BERT，通过从UMLS提取文本序列并以数据为中心的方式将图学习目标与掩码语言预训练结合，从而提升生物医学和临床命名实体识别性能。
2025-04-11 cs.CL
Language Modeling on Tabular Data: A Survey of Foundations, Techniques and Evolution
Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学陈笃生公共卫生学院）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）
本文系统综述表格数据的语言建模，涵盖数据结构分类、关键数据集、建模技术、从预训练模型到大型语言模型的演进，并指出挑战与未来方向。
2024-08-20 cs.CL
Common Sense or World Knowledge? Investigating Adapter-Based Knowledge Injection into Pretrained Transformers
Data and Web Science Group, University of Mannheim（曼海姆大学数据与网络科学组）；Wluper；Ubiquitous Knowledge Processing (UKP) Lab, TU Darmstadt（达姆施塔特工业大学普适知识处理（UKP）实验室）
继神经语言模型（LM）（如BERT或GPT-2）在各种语言理解任务上取得重大成功之后，最近的工作集中在将来自外部资源的（结构化）知识注入这些模型中。一方面，联合预训练（即，从头开始训练，将基于外部知识的目标添加到主要LM目标）可能在计算上昂贵得令人望而却步，另一方面，对外部知识的事后微调可能导致分布式知识的灾难性遗忘。在这项工作中，我们调查模型补充BERT的分布知识与概念知识从ConceptNet及其相应的开放式思维常识（OMCS）语料库，分别使用适配器训练。虽然GLUE基准测试的总体结果并不确定，但更深入的分析表明，我们基于适配器的模型在推理任务中的表现大大优于BERT（高达15-20个性能点），这些推理任务需要ConceptNet和OMCS中明确存在的概念知识类型。所有代码和实验都是开源的：https://github.com/wluper/retrograph。
2020-10-11 cs.CL
BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines
ZB MED - Information Centre for Life Sciences（ZB MED 生命科学信息中心）；Graduate School DILS, Bielefeld Institute for Bioinformatics Infrastructure (BIBI)（DILS 研究生院，比勒费尔德生物信息学基础设施研究所）；Faculty of Technology, Bielefeld University（比勒费尔德大学技术学院）；CITEC, Bielefeld University（比勒费尔德大学CITEC）；University of Bonn（波恩大学）
本文提出WEAVER权重平均后处理方法，将旧模型知识注入新模型以缓解灾难性遗忘，使生物医学Transformer模型无需重新训练即可实现终身学习，并适用于联邦学习场景。
2023-10-31 cs.CL
OncoNoteBERT: A Foundation Representation Model for Natural Language Processing of Real-World Outpatient Oncology Notes
The University of Manchester（曼彻斯特大学）；The Christie NHS Foundation Trust（克里斯蒂NHS基金会信托）
针对通用临床模型难以处理肿瘤学笔记的问题，提出肿瘤学专用BERT模型OncoNoteBERT，结合持续预训练与定制分词，在困惑度和掩码预测上表现更优，强调表示层设计的重要性。
2026-10-07 cs.AI cs.CL cs.LG
WaBERT: A Low-resource End-to-end Model for Spoken Language Understanding and Speech-to-BERT Alignment
Institute of Artificial Intelligence Research, Qihoo of Beijing Science and Technology Co. Ltd.（北京奇虎科技有限公司人工智能研究院）
历史上，诸如自动语音识别（ASR）和说话人辨识之类的较低级别的任务是语音领域中的主要焦点。最近，人们对高级口语语言理解（SLU）任务的兴趣越来越大，比如情感分析（SA）。然而，提高SLU任务的性能仍然是一个巨大的挑战。基本上，SLU任务有两种主要方法：（1）两阶段方法，使用语音模型将语音转换为文本，然后使用语言模型获得下游任务的结果;（2）一阶段方法，仅微调预训练的语音模型以适应下游任务。第一种方法丢失了语调等情感线索，导致识别错误;第二种方法缺乏必要的语言知识。在本文中，我们提出了波BERT（WaBERT），一种新的端到端模型结合语音模型和语言模型SLU任务。WaBERT基于预训练的语音和语言模型，因此不需要从头开始训练。我们还在训练期间冻结了WaBERT的大多数参数。通过引入WaBERT，在短时间和低资源的训练过程中整合了音频特定信息和语言知识，以提高SLUE SA任务的开发数据集上的结果，召回分数提高了1.15%，F1分数提高了0.82%。此外，我们修改了串行连续整合激发（CIF）机制，以实现语音和文本模态之间的单调对齐。
2022-04-22 cs.CL cs.SD eess.AS
A Review of Multi-Modal Large Language and Vision Models
School of Computing, Dublin City University（都柏林城市大学计算机学院）；Insight SFI Centre for Data Analytics, Dublin City University（都柏林城市大学Insight SFI数据分析中心）
本文系统综述了从大语言模型到多模态大语言模型的发展历程、关键技术、模型调优方法及伦理挑战，并探讨了开源与专有模型的影响及其应用潜力。
2024-03-28 cs.AI cs.CL
Tiny-Scale Chinese BERT Pretraining: A Controlled Comparison of MLM, WWM, and MacBERT Strategies
Guangdong Haiqixing Marine Technology Co., Ltd.（广东海启星海洋科技有限公司）
本文在微型中文BERT上受控比较MLM、WWM与MacBERT策略，发现MLM整体最优，WWM在困惑度和命中率上领先，而MacBERT因词典受限表现不佳，并揭示训练损失在混合替换下不可靠。
2026-10-08 cs.AI cs.CL
DeBERTinha: A Multistep Approach to Adapt DebertaV3 XSmall for Brazilian Portuguese Natural Language Processing Task
University of Campinas（坎皮纳斯大学）；Federal University of Pernambuco（伯南布哥联邦大学）；University of São Paulo（圣保罗大学）
本文提出多步骤方法将DebertaV3 XSmall适配为巴西葡萄牙语模型DeBERTinha，通过葡语词汇构建和替换词元检测微调，在多项NLP任务中以40M参数超越BERTimbau-Large。
2023-10-31 cs.CL
Adversarial Training for Large Neural Language Models
Microsoft Research（微软研究院）；Microsoft Dynamics 365 AI（微软 Dynamics 365 AI）
泛化和鲁棒性都是设计机器学习方法的关键要求。对抗性训练可以增强鲁棒性，但过去的工作经常发现它会损害泛化。在自然语言处理（NLP）中，预训练大型神经语言模型（如BERT）在各种任务的泛化方面表现出令人印象深刻的增益，并通过对抗性微调进一步改进。然而，这些模型仍然容易受到对抗攻击。在本文中，我们证明了对抗性预训练可以提高泛化能力和鲁棒性。我们提出了一个通用算法ALUM（大型神经语言模型的对抗训练），它通过在嵌入空间中应用扰动来正则化训练目标，从而最大化对抗损失。我们首次全面研究了对抗训练的各个阶段，包括从头开始的预训练，在训练有素的模型上进行持续的预训练，以及针对特定任务的微调。ALUM在常规和对抗场景下，在广泛的NLP任务上获得了比BERT更大的收益。即使是在非常大的文本语料库上训练过的模型，比如RoberTa，ALUM仍然可以从持续的预训练中获得显著的收益，而传统的非对抗性方法则不能。ALUM可以进一步与特定于任务的微调相结合，以获得额外的收益。ALUM代码可在https://github.com/namisan/mt-dnn上公开获得。
2020-04-29 cs.CL
