K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters
Fudan University（复旦大学）；Microsoft（微软）
我们研究了将知识注入到大型预训练模型（如BERT和RoBERTa）中的问题。现有方法通常在注入知识时更新预训练模型的原始参数。然而，当多种知识被注入时，历史注入的知识将被冲走。为了解决这个问题，我们提出了K-Adapter，这是一个框架，它保留了预训练模型的原始参数，并支持开发通用的知识注入模型。K-Adapter以RoBERTa为骨干模型，为每种注入的知识都有一个神经适配器，就像一个连接到RoBERTa的插件。不同适配器之间没有信息流，因此可以以分布式方式有效地训练多个适配器。作为一个案例研究，我们在这项工作中注入了两种知识，包括（1）从维基百科和维基数据上自动对齐的文本三元组获得的事实知识和（2）通过依存句法分析获得的语言知识。三个知识驱动的任务，包括关系分类，实体类型，和问答的结果表明，每个适配器提高了性能和两个适配器的组合带来进一步的改善。进一步的分析表明，K-适配器捕获多功能的知识比ROBERTa。
2020-12-28 cs.CL cs.LG
Infusing Prompts with Syntax and Semantics
针对大语言模型生成内容语言结构有缺陷的问题，本文提出向提示注入各类低成本句法与语义信息的方法，在低资源语言的自然语言转SQL任务上验证了该方法的有效性，性能超越此前最优系统。
2024-12-08 cs.CL
Infusing Future Information into Monotonic Attention Through Language Models
Samsung Research（三星研究院）
同步神经机器翻译（SNMT）模型在处理源序列之前就开始发射目标序列。SNMT的最新自适应策略使用单调注意来基于部分源和目标序列执行读/写决策。缺乏足够的信息可能会导致单调注意力做出糟糕的读/写决策，这反过来会对SNMT模型的性能产生负面影响。另一方面，人类翻译人员可以做出更好的读/写决策，因为他们可以使用语言信息和领域知识预测即将到来的单词。我们提出了一个框架，以帮助单调注意与外部语言模型，以改善其决策。我们进行实验的Must-C英语-德语和英语-法语语音到-文本翻译任务，以显示所提出的框架的有效性。所提出的SNMT方法提高了质量-延迟权衡比最先进的单调多头注意。
2021-09-07 cs.CL
Are Larger Pretrained Language Models Uniformly Better? Comparing Performance at the Instance Level
Computer Science Division, University of California, Berkeley（加利福尼亚大学伯克利分校计算机科学系）
平均而言，更大的语言模型具有更高的准确性，但它们在每个实例（数据点）上都更好吗？一些研究表明，较大的模型具有较高的分布外鲁棒性，而其他研究表明，它们在罕见的亚组中具有较低的准确性。为了理解这些差异，我们在单个实例的级别上研究这些模型。然而，一个主要的挑战是，个体预测对训练中随机性的噪声高度敏感。我们开发了统计上严格的方法来解决这个问题，在考虑了预训练和微调噪声之后，我们发现我们的BERT-Large在MNLI，SST-2和QQP中至少有1-4%的实例比BERT-Mini差，相比之下，整体精度提高了2- 10%。我们还发现，微调噪声随着模型大小的增加而增加，并且实例级精度具有动量：从BERT-Mini到BERT-Medium的改进与从BERT-Medium到BERT-Large的改进相关。我们的研究结果表明，实例级预测提供了丰富的信息来源;因此，我们建议研究人员用模型预测补充模型权重。
2021-05-13 cs.AI cs.CL cs.LG
Better than BERT but Worse than Baseline
Baidu Research（百度研究院）
本文比较了BERT-SQuAD和Ab 3 P在缩写词定义识别（ADI）任务上的性能。ADI输入文本并输出短格式（缩写/首字母缩略词）和长格式（扩展）。具有重新排序的BERT比没有重新排序的BERT改进，但未能达到基于Ab 3 P规则的基线。BERT缺少什么？重新排序引入了两个新的功能：字符匹配和频率。第一个功能确定的机会，以利用字符的缩写词的限制，第二个功能确定的机会，以利用频率的限制，在整个文件。
2021-05-12 cs.CL cs.LG
Measuring and Improving BERT's Mathematical Abilities by Predicting the Order of Reasoning
University of Warsaw（华沙大学）；Google（谷歌）；DeepMind（深度思维）
想象一下，你在一家超市里。你的篮子里有两个香蕉，想买四个苹果。你总共有多少水果？这个看似简单的问题对于数据驱动的语言模型来说可能是一个挑战，即使是在大规模训练的情况下。然而，我们期望这样的通用语言模型除了典型的语言能力之外还具有一些数学能力。为了实现这一目标，我们调查，如果一个常用的语言模型，BERT，拥有这样的数学能力，如果是这样，到什么程度。为此，我们在一个流行的文字数学问题数据集AQuA-RAT上微调了BERT，并进行了几次测试，以更好地理解学习的表示。由于我们教在自然语言上训练的模型进行形式化数学，我们假设这样的模型将受益于解释数学结果是如何得出的半形式化步骤的训练。为了更好地适应这种训练，我们还提出了学习数学规则的新借口任务。我们称之为（邻居）推理顺序预测（ROP或NROP）。有了这个新模型，我们的结果比数据驱动的基线要好得多，甚至可以与更定制的模型相媲美。我们还展示了如何减少这种模型中的位置偏差。
2021-06-07 cs.AI cs.CL cs.LG
Do BERT-Like Bidirectional Models Still Perform Better on Text Classification in the Era of LLMs?
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究系统比较类BERT模型与LLM在六个高难度文本分类数据集上的表现，发现类BERT模型常优于LLM，并提出任务驱动的细粒度选择策略TaMAS。
2025-05-23 cs.AI cs.CL
Can We Use Probing to Better Understand Fine-tuning and Knowledge Distillation of the BERT NLU?
Samsung R&D Poland Institute（三星波兰研发研究院）；Warsaw University of Technology（华沙理工大学）
本文使用探针研究基于BERT的NLU模型在微调与知识蒸馏中的现象，发现现有探针范式未考虑信息可解码性，无法有效解答微调与蒸馏的实际问题，指出量化信息可解码性对探针实际应用至关重要。
2023-01-27 cs.CL cs.LG
BERT Cannot Align Characters
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学语言信息处理中心（CIS）,慕尼黑大学）
在以前的工作中，它已被证明，BERT可以充分对齐跨语言的句子在词的水平。在这里，我们调查是否BERT也可以作为一个字符级对齐。所研究的语言是英语、假英语、德语和希腊语。我们发现，两种语言越接近，BERT就越能在字符级别上对齐它们。BERT确实在英语到假英语对齐中工作得很好，但这并不能在同样的程度上推广到自然语言。然而，两种语言的接近似乎确实是一个因素。英语与德语的关系比与希腊语的关系更密切，这反映在BERT对它们的对齐程度上;英语与德语的关系比英语与希腊语的关系更好。我们研究了多个设置，并表明自然语言的相似性矩阵显示较弱的关系，进一步除了两种语言。
2021-09-20 cs.AI cs.CL
Beyond Preserved Accuracy: Evaluating Loyalty and Robustness of BERT Compression
Microsoft Research Asia（微软亚洲研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Stanford University（斯坦福大学）；Beihang University（北京航空航天大学）
关于预训练语言模型压缩的最新研究（例如，BERT）通常使用保留的准确度作为评估的度量。在本文中，我们提出了两个新的度量标准，标签忠诚度和概率忠诚度，衡量压缩模型（即，学生）模仿原始模型（即，教师）。我们还探讨了在对抗攻击下压缩对鲁棒性的影响。我们对量化、剪枝、知识蒸馏和渐进模块替换进行了基准测试，测试了它们的忠诚度和鲁棒性。通过结合多种压缩技术，我们提供了一种实用的策略，以实现更好的准确性，忠诚度和鲁棒性。
2021-10-04 cs.AI cs.CL cs.LG
BERT-kNN: Adding a kNN Search Component to Pretrained Language Models for Better QA
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
Khandelwal等人。（2020）使用k最近邻（kNN）组件来提高语言模型性能。我们表明，这种想法是有益的开放域的问答（QA）。为了提高对训练过程中遇到的事实的回忆，我们结合了BERT（Devlin et al.，2019）与传统的信息检索步骤（IR）和在嵌入式文本集合的大范围上的kNN搜索。我们的贡献如下：i）BERT-kNN在完形填空式问答中的性能大大优于BERT，无需任何进一步的训练。ii）我们表明，BERT经常识别正确的响应类别（例如，美国城市），但只有kNN恢复事实上正确的答案（例如，"Miami"）。iii）与BERT相比，BERT-kNN在罕见事实方面表现出色。iv）BERT-kNN可以很容易地处理BERT的训练集没有覆盖的事实，例如，最近的事件。
2020-10-12 cs.CL
BagBERT: BERT-based bagging-stacking for multi-topic classification
Opscidia（Opscidia 公司）
本文介绍了我们在Biocreative VII上提交的COVID-19文献注释任务。我们提出了一种方法，利用全局非最优权重的知识，通常被拒绝，来构建每个标签的丰富表示。我们提出的方法包括两个阶段：（1）一个装袋的各种初始化的训练数据，具有弱训练的权重，（2）堆叠的异构词汇模型的基础上BERT和RoBERTa嵌入。这些弱洞察力的聚合比经典的全局有效模型表现得更好。其目的是将丰富的知识升华为更简单、更轻松的模型。我们的系统获得了92.96的基于实例的F1和91.35的基于标签的micro-F1。
2021-11-10 cs.AI cs.CL cs.LG
He Thinks He Knows Better than the Doctors: BERT for Event Factuality Fails on Pragmatics
The Ohio State University（俄亥俄州立大学）
我们调查如何以及BERT执行预测的真实性在几个现有的英语数据集，包括各种语言结构。虽然BERT在大多数数据集上获得了很好的性能，但它是通过利用与某些事实标签相关的常见表面模式来实现的，并且在需要进行语用推理的情况下失败了。与高性能所表明的相反，我们仍然远远没有一个强大的系统来预测事实。
2021-07-02 cs.CL
Polarity and Subjectivity Detection with Multitask Learning and BERT Embedding
Graphene AI（石墨烯人工智能公司）；Granular AI（格兰纽勒人工智能公司）；Nanyang Technological University（南洋理工大学）
多任务学习通常有助于提高相关任务的性能，因为这些任务通常相互依赖，并且在联合框架中解决时表现更好。在本文中，我们提出了一个深度多任务学习框架，它联合执行极性和主观检测。我们提出了一个基于注意力的多任务模型来预测极性和主观性。使用预训练的BERT和Glove嵌入将输入句子转换为向量，结果表明基于BERT嵌入的模型比基于Glove的模型效果更好。我们比较我们的方法与国家的最先进的模型在主观和极性分类单任务和多任务框架。所提出的方法报告的极性检测和主观性检测的基线性能。
2022-01-14 cs.AI cs.CL
Can depth-adaptive BERT perform better on binary classification tasks
National University of Defense Technology（国防科技大学）；Information Engineering University（信息工程大学）
鉴于将语言模型成功地转换为NLP任务，我们要问完整的BERT模型是否总是最好的，是否存在一种简单但有效的方法，可以在最先进的深度神经网络中找到中奖彩票，而无需复杂的计算。我们构建了一系列不同规模的BERT模型，并在8个二进制分类任务上比较了它们的预测。结果表明，确实存在较小的子网络比完整的模型表现得更好。然后，我们提出了进一步的研究，并提出了一个简单的方法，适当缩小BERT微调之前。一些扩展的实验表明，我们的方法可以节省时间和存储开销非常少，甚至没有准确性损失。
2022-01-20 cs.CL
Optimizing small BERTs trained for German NER
University of Rostock（罗斯托克大学）；Institute of Mathematics（数学研究所）；Planet AI GmbH（Planet AI 公司）
目前，用于训练语言模型的最广泛的神经网络架构是所谓的BERT，其导致各种自然语言处理（NLP）任务的改进。一般来说，BERT模型中的参数越多，在这些NLP任务中获得的结果就越好。不幸的是，内存消耗和训练持续时间随着这些模型的大小而急剧增加。在本文中，我们研究了较小的BERT模型的各种训练技术：我们结合了其他BERT变体（如ALBERT、RoBERTa和相对位置编码）的不同方法。此外，我们提出了两个新的微调修改，导致更好的性能：类开始结束标记和修改形式的线性链条件随机场。此外，我们还引入了全字注意力，与经典的多头注意力相比，它减少了BERT的内存使用，并导致性能的小幅提高。我们评估这些技术的五个公共德国命名实体识别（NER）的任务，其中两个介绍了本文。
2021-11-01 cs.AI cs.CL
Better Neural Machine Translation by Extracting Linguistic Information from BERT
Simon Fraser University（西蒙弗雷泽大学）
向神经机器翻译（NMT）添加语言信息（语法或语义）主要集中在使用来自预训练模型的点估计。直接使用大量预先训练的上下文词嵌入模型的能力，例如BERT（Devlin et al.，2019）在NMT中的作用不大，因为在不使训练变得脆弱和不可靠的情况下，很难为NMT获得有效的微调。我们通过从BERT中提取密集微调的基于向量的语言信息来增强NMT，而不是使用点估计。实验结果表明，我们的方法，将语言信息有助于NMT更好地概括在各种训练环境中，并不比传统的基于transformer的NMT更难训练。
2021-04-07 cs.CL
TinyBERT: Distilling BERT for Natural Language Understanding
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）
语言模型预训练，如BERT，已显着提高了许多自然语言处理任务的性能。然而，预先训练的语言模型通常在计算上是昂贵的，因此难以在资源受限的设备上有效地执行它们。为了在保持准确性的同时加快推理速度并减小模型大小，我们首先提出了一种新的Transformer蒸馏方法，该方法是专门为基于Transformer的模型的知识蒸馏（KD）而设计的。通过利用这种新的KD方法，编码在大型教师BERT中的大量知识可以有效地转移到小型学生Tiny-BERT中。然后，我们为TinyBERT引入了一个新的两阶段学习框架，该框架在预训练和特定任务学习阶段都进行了Transformer蒸馏。该框架保证了Tiny BERT既能获取BERT中的通用领域知识，又能获取任务特定知识。TinyBERT具有4层，经验上有效，在GLUE基准测试中达到了其老师BERTBASE的96.8%以上的性能，同时在推理上小7.5倍，快9.4倍。4层Tiny BERT在BERT蒸馏上也明显优于4层最先进的基线，只有约28%的参数和约31%的推理时间。此外，6层的TinyBERT与它的老师BERTBASE表现相当。
2020-10-16 cs.AI cs.CL cs.LG
Comparing the Performance of NLP Toolkits and Evaluation measures in Legal Tech
Lehrstuhl für Data Science（数据科学讲席教授组）
自然语言处理的最新发展导致了最先进的神经语言模型的引入，该模型支持无监督可转移学习，使用不同的预训练目标。虽然这些模型在下游NLP任务上取得了优异的结果，但各种领域自适应技术可以提高它们在特定领域任务上的性能。我们比较和分析了预训练的神经语言模型，XLNet（自回归）和BERT（自动编码器）。结果表明，XLNet模型在我们的法律意见分类的序列分类任务上表现更好，而BERT在NER任务上产生更好的结果。我们使用特定于领域的预训练和额外的法律词汇来使BERT模型进一步适应法律领域。我们准备了BERT模型的多种变体，使用两种方法及其组合。比较我们的变体的BERT模型，专门在法律领域，我们的结论是，额外的预训练和词汇技术提高了BERT模型的法律意见分类任务的性能。额外的法律词汇提高了BERT在NER任务上的表现。结合预训练和词汇技术进一步提高了最终结果。我们的Legal-Vocab-BERT模型在法律意见任务上给出了最好的结果，优于较大的预训练通用语言模型，即，BERT-Base和XLNet-Base。
2021-03-12 cs.CL cs.LG
Does RoBERTa Perform Better than BERT in Continual Learning: An Attention Sink Perspective
Stony Brook University（石溪大学）
本研究从注意力汇视角探究高下游能力预训练模型的持续学习表现，发现注意力汇会干扰持续学习，提出预缩放机制提升无回放持续学习性能。
2024-10-08 cs.CL cs.LG
BERTese: Learning to Speak to BERT
School of Computer Science, Tel Aviv University（特拉维夫大学计算机科学学院）；Allen Institute for AI（艾伦人工智能研究所）
大型预训练的语言模型已被证明在其参数中编码了大量的世界和常识知识，从而引起了人们对提取这些知识的方法的极大兴趣。在过去的工作中，知识是通过手动编写查询并使用单独的管道收集释义来提取的。在这项工作中，我们提出了一种方法，自动重写查询成“BERTese”，一个释义查询，直接优化更好的知识提取。为了鼓励有意义的重写，我们添加了辅助损失函数，以鼓励查询对应于实际的语言标记。我们的经验表明，我们的方法优于竞争基线，避免了复杂的管道的需要。此外，BERTese还提供了对语言类型的一些深入了解，这些语言类型有助于语言模型执行知识提取。
2021-03-11 cs.CL cs.LG
"Is Whole Word Masking Always Better for Chinese BERT?": Probing on Chinese Grammatical Error Correction
Fudan University（复旦大学）；Tencent AI Lab（腾讯人工智能实验室）
全词屏蔽（WWM），它屏蔽所有子词对应的一个词，使一个更好的英语BERT模型。然而，对于中文，没有子字，因为每个记号都是一个原子字符。在汉语中，一个词的含义是不同的，因为一个词是由多个字符组成的组成单位。这种差异促使我们研究WWM是否能提高中文BERT的语境理解能力。为了实现这一点，我们引入了两个与语法错误纠正相关的探测任务，并要求预训练模型以掩码语言建模方式修改或插入标记。我们构建了一个数据集，包括10,448个句子中的19,075个标记的标签。我们训练了三个中文BERT模型，分别使用标准字符级掩码（CLM），WWM，以及CLM和WWM的组合。我们的主要发现如下：首先，当需要插入或替换一个字符时，使用CLM训练的模型表现最好。其次，当需要处理多个字符时，WWM是获得更好性能的关键。最后，当在并行级下游任务上进行微调时，使用不同掩蔽策略训练的模型执行并行。
2022-03-02 cs.CL
Multi-passage BERT: A Globally Normalized BERT Model for Open-domain Question Answering
AWS AI Labs（AWS人工智能实验室）
BERT模型已成功应用于开放域QA任务。然而，以前的工作通过将对应于相同问题的段落视为独立的训练实例来训练BERT，这可能导致来自不同段落的答案的不可比分数。为了解决这个问题，我们提出了一个多通道BERT模型来全局归一化同一问题的所有通道的答案分数，这种变化使我们的QA模型能够通过利用更多的通道找到更好的答案。此外，我们发现通过滑动窗口将文章拆分为100个单词的段落可以提高4%的性能。通过利用通道排名器来选择高质量的通道，多通道BERT获得额外的2%。在四个标准基准上的实验表明，我们的多通道BERT在所有基准上的性能优于所有最先进的模型。特别是，在OpenSQuAD数据集上，我们的模型比所有非BERT模型获得了21.4%的EM和21.5%的$F_1$，比基于BERT的模型获得了5.8%的EM和6.5%的$F_1$。
2019-10-02 cs.AI cs.CL
IsoBN: Fine-Tuning BERT with Isotropic Batch Normalization
University of Southern California（南加州大学）
微调预训练语言模型（PTLM），如BERT及其更好的变体RoBERTa，已经成为提高自然语言理解（NLU）任务性能的常见做法。表示学习的最新进展表明，各向同性（即，单位方差和不相关）嵌入可以显著提高下游任务的性能，具有更快的收敛和更好的泛化。然而，PTLM中预先训练的嵌入的各向同性相对未被探索。在本文中，我们通过直观的可视化分析了PTLM的预训练[CLS]嵌入的各向同性，并指出了两个主要问题：标准差的高方差和不同维度之间的高相关性。我们还提出了一种新的网络正则化方法，各向同性批量归一化（IsoBN）来解决这个问题，通过动态惩罚主导主成分来学习更多的各向同性表示。这种简单而有效的微调方法在七个NLU任务的平均值上产生约1.0的绝对增量。
2021-02-04 cs.CL cs.LG
VL-BERT: Pre-training of Generic Visual-Linguistic Representations
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的用于视觉语言任务的可预训练的类属表示，称为视觉语言BERT（VL-BERT）。VL-BERT采用简单而强大的Transformer模型作为主干，并对其进行了扩展，以将视觉和语言嵌入特征作为输入。其中，输入的每个元素是来自输入句子的单词或来自输入图像的感兴趣区域（RoI）。它被设计为适合大多数视觉语言下游任务。为了更好地利用通用表示，我们在大规模的概念字幕数据集以及纯文本语料库上预训练VL-BERT。大量的实证分析表明，预训练过程可以更好地协调视觉-语言线索，并有利于下游任务，如视觉常识推理，视觉问答和指称表达理解。值得注意的是，VL-BERT在VCR基准测试排行榜上取得了单款机型第一名的成绩。代码在\url{https://github.com/jackroos/VL-BERT}发布。
2020-02-18 cs.CL cs.CV cs.LG
Explaining Translationese: why are Neural Classifiers Better and what do they Learn?
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔兰大学）
最近的工作表明，神经特征和表示学习，例如BERT，实现了优于传统的基于人工特征工程的方法，例如SVM，在分类任务。以前的研究没有显示$(i)$的差异是因为特征，分类器或两者兼而有之，以及$(ii)$神经分类器实际上学习了什么。为了解决$(i)$，我们精心设计的实验，交换功能之间的BERT和SVM为基础的分类。我们表明，一个SVM美联储与BERT表示执行在最好的BERT分类器的水平，而BERT学习和使用手工制作的功能执行在一个SVM使用手工制作的功能。这表明性能差异是由于功能。为了解决$(ii)$，我们使用集成梯度，并发现$(a)$有迹象表明，手工制作的功能捕获的信息只是BERT学习的一个子集，而$(b)$部分BERT的最佳性能结果是由于BERT学习主题差异和虚假的相关性。
2022-10-24 cs.CL
Distilling Knowledge Learned in BERT for Text Generation
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
以BERT为代表的大规模预训练语言模型在语言理解任务中取得了巨大的成功。然而，如何利用BERT进行语言生成仍然是一个悬而未决的问题。在本文中，我们提出了一种新的方法，条件屏蔽语言建模（C-MLM），使微调的目标生成任务的BERT。微调的BERT（教师）被用作额外的监督，以改善传统的Seq 2Seq模型（学生），以获得更好的文本生成性能。通过利用BERT独特的双向性质，提取在BERT中学习的知识可以鼓励自回归Seq 2Seq模型提前计划，为连贯的文本生成实施全局序列级监督。实验表明，该方法在多个机器翻译和文本摘要等语言生成任务上的性能明显优于强Transformer基线。我们提出的模型也实现了新的最先进的IWITOS德国-英语和英语-越南MT数据集。代码可在https://github.com/ChenRocks/Distill-BERT-Textgen上获得。
2020-07-17 cs.CL cs.LG
Larger models yield better results? Streamlined severity classification of ADHD-related concerns using BERT-based knowledge distillation
BRAC University（BRAC大学）；North South University（北南大学）
本研究通过知识蒸馏构建轻量BERT模型LastBERT，在参数量大减的情况下保持ADHD社交媒体文本严重程度分类性能，为资源受限场景的心理健康评估提供高效工具。
2024-10-30 cs.AI cs.CL
L3Cube-HindBERT and DevBERT: Pre-Trained BERT Transformer models for Devanagari based Hindi and Marathi Languages
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Pune（L3Cube浦那）
模型中心目前提供的单语印地语BERT模型在下游任务上的表现并不比多语言模型好。我们提出了L3 Cube-HindBERT，一个在印地语单语语料库上预训练的印地语BERT模型。此外，由于印度语、印地语和马拉地语共享梵文脚本，我们为两种语言训练单个模型。我们发布了DevBERT，这是一个在马拉地语和印地语单语数据集上训练的Devanagari BERT模型。我们评估这些模型的下游印地语和马拉地语文本分类和命名实体识别任务。基于HindBERT和DevBERT的模型比多语言MuRIL、IndicBERT和XLM-R有显著的改进。基于这些观察，我们还发布了其他印度语言卡纳达语，泰卢固语，马拉雅拉姆语，泰米尔语，古吉拉特语，阿萨姆语，奥迪亚语，孟加拉语和旁遮普语的单语BERT模型。这些模型在https://huggingface.co/l3cube-pune上共享。
2023-01-08 cs.CL cs.LG
Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks
Jilin University（吉林大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们研究了将先验知识纳入基于transformer的深度模型的问题，即，双向编码器表示从Transformers（BERT），以提高其性能的语义文本匹配任务。通过探索和分析BERT在解决这个任务时已经知道的知识，我们可以更好地理解BERT最需要什么特定的知识，以及在哪里最需要。分析进一步激励我们采取不同于大多数现有作品的方法。我们没有使用先验知识来创建新的训练任务来微调BERT，而是直接将知识注入BERT的多头注意力机制。这使我们找到了一种简单而有效的方法，该方法具有快速的训练阶段，因为它使模型免于在主任务以外的其他数据或任务上进行训练。大量的实验表明，所提出的知识增强的BERT是能够不断提高语义文本匹配性能比原来的BERT模型，性能优势是最显着的训练数据是稀缺的。
2021-02-22 cs.AI cs.CL
Visualizing and Understanding the Effectiveness of BERT
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）
语言模型预训练，如BERT，在许多NLP任务中取得了显著的效果。然而，目前还不清楚为什么预训练-然后微调范式可以提高不同任务的性能和泛化能力。在本文中，我们提出了可视化的损失景观和优化轨迹的微调BERT在特定的数据集。首先，我们发现预训练在下游任务中达到了一个很好的初始点，与从头开始训练相比，这导致了更广泛的最优值和更容易的优化。我们还证明了微调过程是强大的过拟合，即使BERT是高度过参数化的下游任务。其次，可视化结果表明，微调BERT倾向于更好地推广，因为平坦和广泛的最优值，以及训练损失曲面和泛化误差曲面之间的一致性。第三，BERT的较低层在微调过程中更具不变性，这表明接近输入的层学习更多可转移的语言表示。
2019-08-15 cs.CL cs.LG
BERMo: What can BERT learn from ELMo?
Purdue University（普渡大学）
我们提出了BERMo，架构修改BERT，使预测的基础上的层次结构的表面，语法和语义语言功能。我们使用线性组合方案中提出的嵌入从语言模型（ELMo）组合的缩放内部表示从不同的网络深度。我们的方法有两个好处：（1）改进了下游任务的梯度流，因为每一层都与损失函数的梯度有直接的联系;（2）增加了代表性，因为模型不再需要复制下游任务所需的较浅层中学习的特征。此外，我们的模型具有可忽略的参数开销，因为网络中的每一层都有一个标量参数。在SentEval数据集上的探测任务上的实验表明，该模型在语义任务上的准确率比基线提高了$4.65\%$，平均提高了$2.67\%$.当受到压缩技术，我们发现，我们的模型能够稳定修剪压缩小数据集，如SST-2，其中BERT模型通常发散。我们观察到，我们的方法收敛$1.67\times$和$1.15\times$比基线更快的MNLI和QQP任务从GLUE数据集。此外，我们的研究结果表明，我们的方法可以获得更好的参数效率的惩罚为基础的修剪方法的QQP任务。
2021-10-18 cs.CL cs.LG
Incorporating BERT into Neural Machine Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Sun Yat-sen University（中山大学）；Peking University（北京大学）
最近提出的BERT在文本分类、阅读理解等多种自然语言理解任务中表现出强大的能力，但如何将BERT有效地应用于神经机器翻译（NMT）还缺乏足够的探索。虽然BERT更常用于微调，而不是用于下游语言理解任务的上下文嵌入，但在NMT中，我们初步探索使用BERT作为上下文嵌入比用于微调更好。这促使我们思考如何沿着这个方向更好地利用BERT进行NMT。提出了一种新的BERT融合模型，该模型首先利用BERT提取输入序列的表示，然后通过注意力机制将表示与NMT模型的编码器和解码器的每一层进行融合。我们对监督（包括文档级和文档级翻译），半监督和无监督机器翻译进行了实验，并在七个基准数据集上取得了最先进的结果。我们的代码可在\url{https://github.com/bert-nmt/bert-nmt}上获得。
2020-02-17 cs.CL
HUBERT Untangles BERT to Improve Transfer across NLP Tasks
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Johns Hopkins University（约翰霍普金斯大学）
我们介绍了HUBERT，它结合了张量积表示（TPR）和BERT的结构化表示能力，Transformer是一个预训练的双向语言模型。我们发现，HUBERT（而不是BERT）能够学习和利用的不同NLP数据集之间存在共享结构。我们验证了我们的模型在GLUE基准测试和HANS数据集上的有效性。我们的实验结果表明，从一般的语言结构中解开数据特定的语义是NLP任务之间更好地传输的关键。
2021-04-25 cs.CL cs.LG stat.ML
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University（北京航空航天大学）；Microsoft（微软）；Zhongguancun Laboratory（中关村实验室）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
我们提出了一种新的对比学习方法，用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足，发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法，并讨论了两种提示表示方法和三种提示搜索方法，使BERT能够实现更好的句子嵌入。此外，我们提出了一种新的无监督训练目标的模板去噪技术，这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比，在无监督设置下，基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
BERT-CNN: a Hierarchical Patent Classifier Based on a Pre-Trained Language Model
School of Foreign Languages and Cultures, Xiamen University（厦门大学外文学院）；DeepAI Tech Co., Ltd（深湃信息科技（深圳）有限公司）
自动分类是将文本文档自动分配到预定义类别的过程。一个准确的专利自动分类器对于专利发明人和专利审查员在知识产权保护、专利管理和专利信息检索等方面都是至关重要的。我们提出了BERT-CNN，一个基于预训练的语言模型的分层专利分类器，通过训练从中国国家信息中心收集的国家专利申请文件。实验结果表明，BERT-CNN的准确率达到84.3%，远远优于两个比较基线的方法，卷积神经网络和递归神经网络。我们没有将我们的模型应用于国际专利分类的第三和第四层次-“子类”和“组”。注意力机制的可视化显示BERT-CNN在表示词汇和语义方面获得了新的最先进的结果。本文证明了BERT-CNN在专利自动分类领域的实用性和有效性。
2019-11-03 cs.CL cs.LG
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Google Research（谷歌研究院）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
在预训练自然语言表示时增加模型大小通常会提高下游任务的性能。然而，在某些时候，由于GPU/TPU内存限制和较长的训练时间，进一步的模型增加变得更加困难。为了解决这些问题，我们提出了两个参数减少技术，以降低内存消耗，提高BERT的训练速度。综合的经验证据表明，我们提出的方法导致模型的规模比原来的BERT更好。我们还使用了一个自我监督的损失，专注于建模句间连贯性，并表明它始终有助于下游任务与多句输入。因此，我们的最佳模型在GLUE、RACE和\squad基准测试中建立了新的最先进的结果，同时与BERT-large相比具有更少的参数。代码和预训练模型可在https://github.com/google-research/ALBERT上获得。
2020-02-09 cs.AI cs.CL
Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability
National Taiwan University（台湾大学）
本文研究了在文本数据上预训练的模型（如BERT）的能力是否可以转移到一般的令牌序列分类应用中。为了验证预训练模型的可移植性，我们在文本分类任务上测试了预训练模型，这些文本分类任务具有标记不匹配的含义，以及真实世界的非文本标记序列分类数据，包括氨基酸，DNA和音乐。我们发现，即使在非文本数据上，在文本上预训练的模型收敛得更快，比随机初始化的模型表现更好，并且只比使用特定任务知识的模型略差。我们还发现，文本和非文本预训练模型的表示具有非平凡的相似性。
2022-04-19 cs.CL cs.LG
LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding
Alibaba Group（阿里巴巴集团）
以BERT为代表的预训练模型在各种自然语言处理问题中取得了很好的效果。然而，大量的参数需要大量的内存和推理时间的消耗，这使得很难将它们部署在边缘设备上。本文提出了一种基于对比学习的知识蒸馏方法LRC-BERT，从角度距离的角度拟合中间层的输出，这是现有蒸馏方法没有考虑的。此外，我们在训练阶段引入了一种基于梯度扰动的训练结构，以提高LRC-BERT的鲁棒性，这是知识蒸馏的第一次尝试。此外，为了更好地捕捉中间层的分布特征，我们设计了一种两阶段的总蒸馏损失训练方法。最后，通过在通用语言理解评测（GLUE）上对8个数据集进行验证，结果表明，本文提出的LRC-BERT方法的性能优于现有的最新方法，证明了本文方法的有效性。
2020-12-14 cs.AI cs.CL
KuBERT: Central Kurdish BERT Model and Its Application for Sentiment Analysis
Soran University（索兰大学）；University of Tehran（德黑兰大学）
本文提出 KuBERT，将 BERT 应用于低资源的中央库尔德语情感分析，利用其更强的词嵌入能力捕捉语义与上下文特征，为该语言情感分析建立新基准。
2025-09-20 cs.AI cs.CL
Blockwise Self-Attention for Long Document Understanding
Tsinghua University（清华大学）；Facebook AI（脸书人工智能研究院）
我们提出了块BERT，一个轻量级的和高效的BERT模型，更好地建模长距离依赖。我们的模型扩展了BERT，通过将稀疏块结构引入注意矩阵来减少内存消耗和训练/推理时间，这也使注意头能够捕获短距离或长距离的上下文信息。我们在语言模型预训练和几个具有不同段落长度的基准问答数据集上进行了实验。BlockBERT使用较少的内存18.7-36.1%，学习模型的时间减少12.0-25.1%。在测试过程中，BlockBERT节省了27.8%的推理时间，同时与基于BERT的高级模型RoBERTa相比，具有相当的预测精度，有时甚至更高。
2020-11-01 cs.CL cs.LG
Text classification problems via BERT embedding method and graph convolutional neural network
CREATORY
本文提出了一种将BERT嵌入方法与图卷积神经网络相结合的新方法。这种组合被用来解决文本分类问题。首先，我们将BERT嵌入方法应用于文本（在BBC新闻数据集和IMDB电影评论数据集中），以便将所有文本转换为数值向量。然后，图卷积神经网络将被应用于这些数字向量，以将这些文本分类到其适当的类别/标签。实验表明，图卷积神经网络模型的性能优于BERT嵌入方法与经典机器学习模型相结合的性能。
2022-09-03 cs.CL cs.LG stat.ML
Better Reasoning Behind Classification Predictions with BERT for Fake News Detection
Norwegian University of Science and Technology（挪威科技大学）
随着近年来互联网上虚假新闻的不断增多，虚假新闻检测已经成为一项重要的任务。虽然已经提出了许多基于统计学习方法的分类模型，显示出良好的效果，但分类性能背后的推理可能是不够的。在自监督学习研究中，已经强调了表示（嵌入）空间的质量很重要，并直接影响下游任务的性能。在这项研究中，代表空间的质量进行了视觉分析和分析方面的线性可分性不同类的真实和假新闻数据集。为了进一步增加分类模型的可解释性，提出了类激活映射（CAM）的修改。修改后的CAM为每个单词标记提供CAM分数，其中单词标记上的CAM分数表示对该单词标记的关注程度以进行预测。最后，它表明，天真的BERT模型加上一个可学习的线性层是足够的，以实现强大的性能，同时与CAM兼容。
2022-07-23 cs.CL
DPRK-BERT: The Supreme Language Model
University of Tokyo（东京大学）
深度语言模型在NLP领域取得了显著的成功。训练深度语言模型的标准方法是在大型未标记语料库上从头开始采用无监督学习。然而，这种大型语料库仅适用于广泛采用和高资源的语言和领域。本研究提出了朝鲜语的第一个深层语言模型DPRK-BERT。我们实现这一点，通过编译朝鲜语的第一个未标记的语料库和微调预先存在的韩国语言模型。我们将所提出的模型与现有的方法进行比较，并在两个朝鲜数据集上显示出显着的改进。我们还提出了一个跨语言版本的这个模型，产生更好的泛化在两种韩语。最后，我们提供了与朝鲜语相关的各种NLP工具，以促进未来的研究。
2021-12-01 cs.CL cs.LG
Mitigating Language-Dependent Ethnic Bias in BERT
KAIST（韩国科学技术院）
BERT等大规模语言模型存在性别和种族偏见。他们还表现出其他方面的社会偏见，其中大部分还没有被深入研究，其中一些因语言而异。在本文中，我们研究种族偏见，以及它如何在不同的语言分析和减轻种族偏见在单语BERT为英语，德语，西班牙语，韩语，土耳其语和中文。为了观察和量化种族偏见，我们开发了一种新的度量标准，称为分类偏见评分。然后，我们提出了两种缓解方法;第一种是使用多语言模型，第二种是使用两个单语模型的上下文单词对齐。我们比较我们提出的方法与单语BERT，并表明这些方法有效地减轻种族偏见。这两种方法中哪一种效果更好取决于该语言可用的NLP资源的数量。我们还用阿拉伯语和希腊语进行了实验，以验证我们提出的方法适用于更广泛的语言。
2021-09-14 cs.AI cs.CL
Simple is Better and Large is Not Enough: Towards Ensembling of Foundational Language Models
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本研究针对大语言模型存在幻觉与预测不确定性的问题，提出基于BERT的三种集成技术，其中知识引导强化学习驱动的深层集成BERT性能数倍优于BERTlarge，验证了小型模型集成的潜力。
2023-08-23 cs.AI cs.CL
Story Ending Prediction by Transferable BERT
Harbin Institute of Technology（哈尔滨工业大学）
最近的进展，如GPT和BERT，已经成功地结合了预先训练的Transformer语言模型和微调操作，以改善下游NLP系统。然而，这个框架仍然有一些基本的问题，有效地将其他相关任务的监督知识。在这项研究中，我们研究了一个可转移的BERT（transBERT）训练框架，它不仅可以从大规模的未标记数据中转移一般的语言知识，而且可以从各种语义相关的监督任务中转移特定种类的知识，用于目标任务。特别地，我们提出利用三种转移任务，包括自然语言推理，情感分类和下一个动作预测，以进一步训练BERT的基础上预先训练的模型。这使模型能够为目标任务获得更好的初始化。我们以故事结局预测为目标任务进行实验。最终结果的准确率为91.8%，大大优于以前最先进的基线方法。几个对比实验为迁移任务的选择提供了有益的建议。误差分析显示了基于BERT的故事结局预测模型的优点和缺点。
2019-05-21 cs.CL cs.LG
Language Identification of Hindi-English tweets using code-mixed BERT
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）；Aligarh Muslim University（阿里加尔穆斯林大学）
社交媒体文本的语言识别近年来一直是一个有趣的研究问题。社交媒体信息主要是在非英语国家混合的代码。通过预训练上下文嵌入的现有知识已经显示了一系列下游任务的最新结果。最近，诸如BERT之类的模型已经表明，使用大量未标记的数据，预训练的语言模型对于学习公共语言表示更加有益。本文提出了利用迁移学习和微调BERT模型来识别Twitter上的语言的广泛实验。这项工作利用了一个数据汇集的印地语-英语-乌尔都语代码混合文本的语言预训练和印地语-英语代码混合为随后的词级语言分类。结果表明，在混合数据上预训练的表示产生更好的结果，由他们的单语对应。
2021-07-02 cs.CL cs.LG
Robustness and Sensitivity of BERT Models Predicting Alzheimer's Disease from Text
Winterlight Labs
了解从文本预测阿尔茨海默病的BERT模型的鲁棒性和灵敏度对于开发更好的分类模型以及了解其能力和局限性都很重要。在本文中，我们分析了如何控制所需的和不需要的文本更改量的影响性能的BERT。我们表明，BERT是强大的文本中的自然语言的变化。另一方面，我们表明，BERT是不敏感的临床重要信息从文本中删除。
2021-10-26 cs.CL
The Death of Feature Engineering? BERT with Linguistic Features on SQuAD 2.0
Stanford University（斯坦福大学）
本文提出融合 BERT 与额外语言特征的端到端问答模型，在 SQuAD 2.0 上显著提升 EM 与 F1，并能纠正 BERT 对可回答问题的“No Answer”误判。
2024-04-04 cs.AI cs.CL
PreCog: Exploring the Relation between Memorization and Performance in Pre-trained Language Models
University of Rome Tor Vergata（罗马第二大学）；ART Group（ART团队）
提出PreCog度量，分析预训练记忆与BERT下游任务性能的关系，发现高度记忆的示例分类更好，表明记忆是BERT成功的关键。
2023-05-09 cs.AI cs.CL
KR-BERT: A Small-Scale Korean-Specific Language Model
Seoul National University（首尔大学）
自BERT出现以来，包括XLNet和RoBERTa在内的最新研究成果利用了由大型语料库和大量参数预训练的句子嵌入模型。由于此类模型具有大型硬件和大量数据，因此需要很长时间进行预训练。因此，重要的是尝试制作性能相对较小的模型。在本文中，我们利用较小的词汇表和数据集训练了一个韩国特定的模型KR-BERT。由于韩语是一种形态丰富的语言，但使用非拉丁字母的资源很少，因此捕捉多语言BERT模型遗漏的语言特定的语言现象也很重要。我们测试了几个tokenizer，包括我们的BidirectionalWordPiece Tokenizer，并调整了从子字符级别到字符级别的tokenization的最小标记跨度，为我们的模型构建了更好的词汇表。通过这些调整，我们的KR-BERT模型的表现非常好，甚至比使用大约1/10大小的语料库的其他现有预训练模型更好。
2020-08-11 cs.CL
Are All Languages Created Equal in Multilingual BERT?
Johns Hopkins University（约翰斯·霍普金斯大学）
在104种语言上训练的多语言BERT（mBERT）在几个NLP任务上表现出令人惊讶的良好跨语言性能，即使没有明确的跨语言信号。然而，这些评估都集中在高资源语言的跨语言迁移上，只覆盖了mBERT覆盖语言的三分之一。我们探索mBERT如何在更广泛的语言上表现，重点关注低资源语言的表示质量，通过语言内性能来衡量。我们考虑三个任务：命名实体识别（99种语言），词性标记，和依存句法分析（54种语言）。mBERT在高资源语言上比基线更好，但在低资源语言上要差得多。此外，这些语言的单语BERT模型甚至更差。与类似的语言配对，单语BERT和mBERT之间的性能差距可以缩小。我们发现，低资源语言的更好模型需要更有效的预训练技术或更多的数据。
2020-10-01 cs.CL
Finding Universal Grammatical Relations in Multilingual BERT
Stanford University（斯坦福大学）
最近的研究发现，多语种BERT（mBERT），一个基于transformer的多语种掩蔽语言模型，能够zero-shot跨语言迁移，这表明其表示的某些方面是跨语言共享。为了更好地理解这种重叠，我们将最近在神经网络内部表示中寻找语法树的工作扩展到多语言环境。我们发现，子空间的mBERT表示恢复语法树的距离，在英语以外的语言，这些子空间大约是跨语言共享。受这些结果的启发，我们提出了一种无监督的分析方法，提供证据mBERT学习表示的句法依赖标签，在很大程度上同意与通用的依赖分类的集群的形式。这一证据表明，即使没有明确的监督，多语言掩蔽语言模型学习某些语言共性。
2020-05-20 cs.CL cs.LG
