Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling
Iran University of Science & Technology（伊朗科技大学）
提出用低秩瓶颈自编码器堆叠替代注意力实现上下文混合，结合迭代拉取与校正精化，在掩码语言建模中以约1.9倍更少FLOPs接近注意力性能，并匹配BERT基线。
2026-09-28 cs.CL cs.LG
TiSpell: A Semi-Masked Methodology for Tibetan Spelling Correction covering Multi-Level Error with Data Augmentation
School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院）；School of Information Science and Technology, Tibet University（西藏大学信息科学与技术学院）；Department of Ophthalmology, University of Texas Southwestern Medical Center（德克萨斯西南医学中心眼科部门）
针对藏文字符级与音节级纠错缺乏统一模型及专用数据的问题，提出无标注多层级损坏增强方法与半掩码模型 TiSpell，实验证明其性能优异。
2025-05-14 cs.CL cs.LG
A Combination of BERT and Transformer for Vietnamese Spelling Correction
The Saigon International University（西贡国际大学）
本文提出将Transformer架构与BERT结合用于越南语拼写纠正，实验表明其性能优于其他方法及Google Docs拼写检查工具，BLEU分数达到86.24。
2024-05-04 cs.CL
uChecker: Masked Pretrained Language Models as Unsupervised Chinese Spelling Checkers
College of Computer Science and Technology（计算机科学与技术学院）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
中文拼写检查（CSC）的任务是检测和纠正可以在文本中发现的拼写错误。虽然手动注释高质量数据集是昂贵且耗时的，因此训练数据集的规模通常非常小（例如，SIGHAN 15只包含2339个训练样本），因此基于监督学习的模型通常会遇到数据稀疏性限制和过拟合问题，特别是在大语言模型时代。在本文中，我们致力于调查的\textbf{unsupervised}范式，以解决CSC问题，我们提出了一个框架名为\textbf{uChecker}进行无监督的拼写错误检测和纠正。考虑到BERT等预训练语言模型强大的语言诊断能力，引入了其作为主干模型。得益于MASKing操作的多样性和灵活性，本文提出了一种基于混淆集的掩蔽策略，对掩蔽后的语言模型进行精细训练，进一步提高了无监督检测和纠正的性能。标准数据集上的实验结果表明，我们提出的模型的有效性，在字符级和单词级的准确率，精度，召回率，和F1-措施的拼写错误检测和纠正任务分别。
2022-09-15 cs.CL
AxBERT: An Interpretable Chinese Spelling Correction Method Driven by Associative Knowledge Network
Jiangsu Key Laboratory of Media Design and Software Technology（江苏省媒体设计与软件技术重点实验室）
针对深度学习模型不可解释性限制文本纠错应用的问题，提出可解释中文拼写纠错模型AxBERT，通过构建并对齐联想知识网络与翻译器矩阵调节BERT注意力，在SIGHAN数据集上实现了高精度与良好可解释性。
2025-03-04 cs.CL cs.LG
Vartani Spellcheck -- Automatic Context-Sensitive Spelling Correction of OCR-generated Hindi Text Using BERT and Levenshtein Distance
Birla Institute of Technology, Mesra（贝拉理工学院梅斯拉分校）
传统的光学字符识别（OCR）系统生成高度屈折的印度语（如印地语）的文本，由于宽的字母表集、复合字符和在单词中分割字符的困难，其往往遭受差的准确性。自动拼写错误检测和上下文敏感错误校正可用于通过后处理这些OCR系统生成的文本来提高准确性。以前开发的大多数用于印地语拼写错误校正的语言模型都是上下文无关的。在本文中，我们提出了Vartani拼写检查-一种上下文敏感的方法，使用最先进的Transformer - BERT结合Levenshtein距离算法，俗称编辑距离的印地语文本的拼写校正。我们使用一个查找字典和基于上下文的命名实体识别（NER）检测可能的拼写错误的文本。我们提出的技术已被广泛使用的Tesseract OCR对印地语史诗罗摩衍那产生的文本的大型语料库进行了测试。准确率为81%，结果显示出显着的改善，比以前建立的一些上下文敏感的印地语纠错机制。我们还解释了如何Vartani拼写检查可用于在文本编辑器环境中连续键入期间的即时自动更正建议。
2020-12-14 cs.AI cs.CL cs.LG
SJ_AJ@DravidianLangTech-EACL2021: Task-Adaptive Pre-Training of Multilingual BERT models for Offensive Language Identification
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）；Electrical and Computer Engineering（电气与计算机工程学院）
在本文中，我们提出了我们提交的EACL 2021-共享任务在达罗毗荼语攻击性语言识别。我们的最终系统是mBERT和XLM-RoBERTa模型的集成，这些模型利用多语言BERT模型的任务自适应预训练，并具有掩蔽语言建模目标。我们的系统在卡纳达语中排名第一，在马拉雅拉姆语中排名第二，在泰米尔语中排名第三。
2021-03-12 cs.CL
MC-BERT: Efficient Language Pre-Training via a Meta Controller
Peking University（北京大学）；Microsoft Research（微软研究院）；Microsoft Research Asia（微软亚洲研究院）
预先训练的上下文表示（例如，BERT）已经成为在许多NLP任务上实现最先进结果的基础。然而，大规模的预训练在计算上是昂贵的。ELECTRA是加速预训练的早期尝试，它训练了一个判别模型，预测每个输入标记是否被生成器替换。我们的研究表明，ELECTRA的成功主要是由于它降低了预训练任务的复杂性：二进制分类（替换标记检测）比生成任务（掩蔽语言建模）更有效。然而，这种简化的任务在语义上信息量较少。为了实现更好的效率和效果，我们提出了一种新的元学习框架，MC-BERT。预训练任务是一个带有拒绝选项的多项选择完形填空测试，其中Meta控制器网络提供训练输入和候选项。在GLUE自然语言理解基准测试上的结果表明，我们提出的方法是高效和有效的：在相同的计算预算下，它在GLUE语义任务上的性能优于基线。
2020-06-16 cs.CL cs.LG
Improving BERT Pretraining with Syntactic Supervision
University of Groningen（格罗宁根大学）；Utrecht Institute of Linguistics OTS, Utrecht University（乌得勒支大学乌得勒支语言学研究所OTS）
双向蒙面Transformers已经成为当前NLP领域的核心主题。尽管它们的基准令人印象深刻，但最近研究中反复出现的一个主题是质疑这些模型的句法泛化能力。在这项工作中，我们试图通过在标准的无监督预训练中添加一个有监督的标记级超级标记目标来解决这个问题，从而能够将句法偏差明确地纳入网络的训练动态中。我们的方法是简单的实现，诱导边际计算开销，是一般足以适应各种设置。我们应用我们的方法论拉稀大，一个自动注释语料库的书面荷兰语。我们的实验表明，尽管Lassy Large比常用的语料库小一个数量级，但我们的语法感知模型的性能与既定的基线相当。
2021-04-21 cs.CL cs.LG
Reconstructing Syllable Sequences in Abugida Scripts with Incomplete Inputs
Language and Semantic Technology Research Team, NECTEC（NECTEC 语言与语义技术研究团队）；Language Understanding Laboratory, Myanmar（缅甸语言理解实验室）
该研究针对六种元音附标文字语言，利用基于Transformer的模型从多种不完整输入中重建音节序列，发现辅音对预测准确度至关重要，模型在多任务中表现鲁棒，为相关文本应用提供参考。
2025-05-16 cs.CL cs.LG
Make BERT-based Chinese Spelling Check Model Enhanced by Layerwise Attention and Gaussian Mixture Model
National Key Laboratory for Novel Software Technology（计算机软件新技术全国重点实验室）；Nanjing University（南京大学）
针对BERT中文拼写检查中显式词性噪声与隐式层次信息利用不足的问题，提出异构知识注入框架，以高斯混合模型辅助任务和n-gram逐层自注意力提升性能，超越多个基线。
2023-12-27 cs.CL
A Comprehensive Approach to Misspelling Correction with BERT and Levenshtein Distance
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Sharif DeepMine Ltd.（谢里夫DeepMine有限公司）
本研究提出一种结合BERT掩码语言模型与Levenshtein距离的综合方法，用于识别和纠正文本中的多种拼写错误，在波斯语评估中表现优于现有系统。
2024-07-24 cs.AI cs.CL cs.LG
Variable Name Recovery in Decompiled Binary Code using Constrained Masked Language Modeling
Arizona State University（亚利桑那州立大学）
反编译是将二进制程序转换为高级表示（如源代码）以供人类分析人员检查的过程。虽然现代反编译器可以重建和恢复在编译过程中丢弃的许多信息，但推断变量名仍然非常困难。受自然语言处理最新进展的启发，我们提出了一种新的解决方案来推断反编译代码中的变量名称，基于掩码语言建模，字节对编码和神经架构，如Transformers和BERT。我们的解决方案需要\textit{raw}反编译器的输出，语义意义不大的代码，作为输入，并丰富它使用我们提出的\textit{finetuning}技术，约束屏蔽语言建模。使用受约束的掩码语言建模引入了预测原始变量名的掩码标记数量的挑战。我们解决这个\textit{count of token prediction}的挑战与我们的后处理算法。与最先进的方法相比，我们训练的VarBERT模型更简单，性能更好。我们在一个包含164，632个二进制文件的现有大规模数据集上评估了我们的模型，并表明它可以预测与原始源代码中相同的变量名称，高达84.15%。
2021-03-23 cs.CL cs.CR cs.LG
Trained on 100 million words and still in shape: BERT meets British National Corpus
University of Oslo（奥斯陆大学）
本文探索使用英国国家语料库进行预训练，证明其性能优于原始BERT，并提出优化架构LTG-BERT，为语言建模提供数据高效的基准。
2023-05-05 cs.CL
NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Microsoft Research Asia（微软亚洲研究院）
虽然预先训练的语言模型（例如，BERT）在不同的自然语言处理任务上取得了令人印象深刻的结果，它们具有大量的参数并且遭受大的计算和存储成本，这使得它们难以在现实世界中部署。因此，模型压缩对于减少预训练模型的计算和存储成本是必要的。在这项工作中，我们的目标是压缩BERT，并解决以下两个具有挑战性的实际问题：（1）压缩算法应该能够输出多个压缩模型具有不同的大小和延迟，以支持不同的内存和延迟限制的设备;（2）该算法应该是下游任务不可知的，使压缩模型一般适用于不同的下游任务。我们利用神经结构搜索（NAS）的技术，并提出NAS-BERT，一种有效的方法BERT压缩。NAS-BERT在包含各种架构的搜索空间上训练一个大的超网，并输出具有自适应大小和延迟的多个压缩模型。此外，NAS-BERT的训练是在标准的自我监督预训练任务（例如，掩蔽的语言模型）并且不依赖于特定的下游任务。因此，压缩模型可以跨各种下游任务使用。NAS-BERT的技术挑战在于，在预训练任务上训练一个大型超网的成本非常高。我们采用了几种技术，包括分块搜索，搜索空间修剪，和性能近似，以提高搜索效率和准确性。在GLUE和SQuAD基准数据集上的大量实验表明，NAS-BERT可以找到比以前方法更准确的轻量级模型，并且可以直接应用于不同的下游任务，具有自适应的模型大小，以满足不同的内存或延迟要求。
2021-05-30 cs.AI cs.CL cs.LG
Misspelling Correction with Pre-trained Contextual Language Model
Purdue University（普渡大学）
拼写不规则，现在被称为拼写错误，已经发现了几个世纪。作为人类，我们能够根据它们在句子中的位置，感知的发音和上下文来理解大多数拼写错误的单词。与人类不同，计算机系统不具备人脑所具备的方便的自动完成功能。虽然许多程序提供拼写校正功能，但许多系统不考虑上下文。此外，人工智能系统的功能是按照它们被训练的方式来运行的。由于目前许多自然语言处理（NLP）系统都是在语法正确的文本数据上训练的，因此许多系统在对抗性示例时很脆弱，但正确拼写的文本处理对学习至关重要。在本文中，我们研究了如何在上下文中纠正拼写错误，使用预训练的语言模型BERT。我们提出了两个实验，基于BERT和编辑距离算法，排名和选择候选更正。实验结果表明，当适当结合时，BERT和编辑距离的上下文词嵌入能够有效地纠正拼写错误。
2021-01-08 cs.CL
Pretraining Chinese BERT for Detecting Word Insertion and Deletion Errors
Central South University（中南大学）；Tencent AI Lab（腾讯人工智能实验室）
中文BERT模型在处理词替换的语法错误方面取得了显著的进展。但是，它们不能处理单词的插入和删除，因为BERT假设每个位置都存在一个单词。为了解决这个问题，我们提出了一个简单有效的中文预训练模型。其基本思想是使模型能够确定单词是否存在于特定位置。我们通过引入一个特殊的标记\texttt{[null]}来实现这一点，该标记的预测代表一个词的不存在。在训练阶段，我们设计了预训练任务，使得模型学习预测\texttt{[null]}和真实单词。在推理阶段，该模型很容易检测是否应该插入或删除一个词与标准的掩蔽语言建模功能。我们进一步创建了一个评估数据集，以促进对单词插入和删除的研究。它包括对7，726个错误句子的人工注释更正。结果表明，现有的中文BERT在检测插入和删除错误方面表现不佳。我们的方法显着提高了F1分数从24.1%到78.1%的词插入和从26.5%到68.5%的词删除，分别。
2022-04-26 cs.CL
Hierarchical Character Tagger for Short Text Spelling Error Correction
eBay Inc.（eBay公司）
最先进的拼写错误纠正方法包括基于Transformer的Seq 2Seq模型，它需要大量的训练集，并且推理时间很慢;以及基于Transformer编码器（如BERT）的序列标记模型，它涉及标记级标签空间，因此需要大量的预定义词汇词典。在本文中，我们提出了一个层次化的字符标记模型，或HCTagger，短文本拼写错误校正。我们在字符级使用预先训练的语言模型作为文本编码器，然后预测字符级编辑，以将原始文本转换为具有更小标签空间的无错误形式。对于解码，我们提出了一个分层的多任务方法，以减轻长尾标签分布的问题，而不引入额外的模型参数。在两个公开的拼写错误纠正数据集上的实验表明，HCTagger是一种准确且比许多现有模型快得多的方法。
2021-09-29 cs.CL cs.LG
I-BERT: Inductive Generalization of Transformer to Arbitrary Context Lengths
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
近年来，自我注意已经成为自然语言处理的最先进的序列到序列模型的重要组成部分，由预训练的双向Transformer模型带到了最前沿。其有效性部分归因于其非顺序架构，这促进了可扩展性和并行性，但将模型限制为有限长度的输入。特别是，这样的架构在算法任务上表现不佳，模型必须学习一个过程，该过程可以泛化到训练中看不到的输入长度，这种能力我们称为归纳泛化。识别现有的自我注意机制的计算限制，我们提出了I-BERT，一个双向的Transformer，取代位置编码与递归层。该模型归纳概括了各种算法任务，其中最先进的Transformer模型无法做到这一点。我们还测试了我们的方法在掩蔽语言建模任务中的训练和验证集进行分区，以验证归纳泛化。在三个算法和两个自然语言归纳概括任务中，I-BERT在四个任务上取得了最先进的结果。
2020-06-19 cs.LG stat.ML
Conditional BERT Contextual Augmentation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了一种新的数据增强方法标记的句子称为条件BERT上下文增强。数据增强方法经常被应用于防止过拟合和提高深度神经网络模型的泛化能力。最近提出的上下文增强增强标记的句子随机替换的话与语言模型预测的更多样化的替代。BERT证明了深度双向语言模型比单向语言模型或前向和后向模型的浅层连接更强大。通过引入一个新的条件掩蔽语言模型\footnote{The term "conditional masked language model" appeared once in original BERT paper, which indicates context-conditional, is equivalent to term "masked language model". In our paper, "conditional masked language model" indicates we apply extra label-conditional constraint to the "masked language model".}任务，将BERT改进为条件BERT.经过良好训练的条件BERT可以应用于增强上下文增强。六个不同的文本分类任务的实验表明，我们的方法可以很容易地应用到卷积或递归神经网络分类器，以获得明显的改善。
2018-12-17 cs.AI cs.CL cs.LG
Large Language Models for Simultaneous Named Entity Extraction and Spelling Correction
Best Path Research Inc.（最佳路径研究公司）；Money Forward Inc.（Money Forward公司）
本文研究在 OCR 日本店铺收据文本上同时抽取命名实体并纠正拼写错误，微调八个开源 LLM 与两个 BERT 基线，发现最佳 LLM 性能相当且可纠正部分 OCR 错误。
2024-03-01 cs.CL cs.CV
BERTian Poetics: Constrained Composition with Masked LMs
Leipzig University（莱比锡大学）
掩蔽的语言模型最近被解释为基于能量的序列模型，可以从使用Metropolis-黑斯廷斯采样器生成。这篇简短的论文演示了如何将其工具化为受约束的组成，并探讨了这种用法所隐含的诗学。我们对限制的关注使得我们特别容易通过欧力浦运动的诗学来理解生成的文本。
2021-10-28 cs.CL
MPNet: Masked and Permuted Pre-training for Language Understanding
Nanjing University of Science and Technology（南京理工大学）；Microsoft Research（微软研究院）
BERT采用掩蔽语言建模（MLM）进行预训练，是最成功的预训练模型之一。由于BERT忽略了预测令牌之间的依赖性，XLNet引入了置换语言建模（PLM）进行预训练以解决这个问题。然而，XLNet没有利用句子的完整位置信息，因此在预训练和微调之间存在位置差异。在本文中，我们提出了MPNet，一种新的预训练方法，继承了BERT和XLNet的优点，并避免了它们的局限性。MPNet通过置换语言建模（与BERT中的MLM相比）利用预测标记之间的依赖性，并将辅助位置信息作为输入，使模型看到完整的句子，从而减少位置差异（与XLNet中的PLM相比）。我们在大规模数据集（超过160GB的文本语料库）上预训练MPNet，并对各种下行任务（GLUE，SQuAD等）进行微调。实验结果表明，MPNet的性能大幅优于MLM和PLM，并且与之前最先进的预训练方法（例如，BERT、XLNet、RoBERTa）在相同的模型设置下进行比较。代码和预训练模型可在www.example.com上获得。
2020-11-02 cs.CL cs.LG
LAnoBERT: System Log Anomaly Detection based on BERT Masked Language Model
Korea University（高丽大学）
本文提出无需解析器的 LAnoBERT，利用 BERT 掩码语言建模和逐日志键损失进行无监督系统日志异常检测，并在 HDFS、BGL、Thunderbird 上达到优于无监督基线、可比监督基线的效果。
2023-07-23 cs.CL cs.LG
Hierarchical Multitask Learning Approach for BERT
Boğaziçi University（海峡大学）
最近的工作表明，学习上下文嵌入的话是有益的下游任务。BERT就是这种方法的一个成功例子。它通过解决两个任务来学习嵌入，这两个任务是掩码语言模型（掩码LM）和下一句预测（NSP）。BERT的预训练也可以被视为一个多任务学习问题。在这项工作中，我们采用分层多任务学习方法进行BERT预训练。预训练任务在不同的层而不是最后一层求解，并且来自NSP任务的信息被传输到掩蔽的LM任务。此外，我们提出了一个新的预训练任务bigram移位来编码词序信息。我们选择了两个下游任务，其中一个需要文本级嵌入（文本蕴涵），另一个需要上下文化的单词嵌入（问答）。由于计算限制，我们使用下游任务数据而不是大型数据集进行预训练，以查看给定受限数据集时所提出模型的性能。我们测试了他们的性能在几个探测任务分析学习嵌入。我们的研究结果表明，在预训练中实施任务层次结构可以提高嵌入的性能。
2020-10-17 cs.CL cs.LG
A Financial Service Chatbot based on Deep Bidirectional Transformers
The Vanguard Group（先锋集团）
我们开发了一个使用深度双向Transformer模型（BERT）的聊天机器人来处理金融投资客户服务中的客户问题。机器人可以识别381个意图，并决定何时说“我不知道”，并将不相关/不确定的问题升级到人类操作员。我们的主要创新贡献是讨论了BERT的不确定性度量，其中三种不同的方法在实际问题上进行了系统的比较。我们研究了BERT中的两个不确定性度量，信息熵和方差，然后通过混合整数规划来优化决策阈值。另一个新的贡献是使用BERT作为自动拼写校正中的语言模型。带有意外拼写错误的输入会显著降低意图分类性能。所提出的方法结合了掩蔽语言模型和单词编辑距离的概率，以找到拼写错误的单词的最佳更正。聊天机器人和整个对话式AI系统是使用开源工具开发的，并部署在我们公司的内部网中。所提出的方法可以是有用的行业寻求类似的内部解决方案，在其特定的业务领域。我们在Github上分享了我们所有的代码和一个基于公共数据集构建的聊天机器人示例。
2020-02-17 cs.CL cs.LG stat.ML
SpellGCN: Incorporating Phonological and Visual Similarities into Language Models for Chinese Spelling Check
Ant Financial Services Group（蚂蚁金融服务集团）
汉语拼写检查是对汉语自然语言中的拼写错误进行检测和纠正的任务。现有的方法已经尝试将汉字之间的相似性知识。然而，他们采取的相似性知识作为外部输入资源或只是启发式规则。本文提出了通过一个专门的图卷积网络（SpellGCN），将语音和视觉相似性知识到语言模型CSC。该模型在字符上构建一个图，并且SpellGCN被学习以将该图映射到一组相互依赖的字符分类器中。这些分类器被应用于由另一个网络（例如BERT）提取的表示，使整个网络能够端到端训练。实验（本文的数据集和所有代码可在https：//github.com/ACL2020SpellGCN/SpellGCN上获得）在三个人类注释的数据集上进行。我们的方法实现了优越的性能对以前的模型由一个大的利润。
2020-05-13 cs.CL
Finding Universal Grammatical Relations in Multilingual BERT
Stanford University（斯坦福大学）
最近的研究发现，多语种BERT（mBERT），一个基于transformer的多语种掩蔽语言模型，能够zero-shot跨语言迁移，这表明其表示的某些方面是跨语言共享。为了更好地理解这种重叠，我们将最近在神经网络内部表示中寻找语法树的工作扩展到多语言环境。我们发现，子空间的mBERT表示恢复语法树的距离，在英语以外的语言，这些子空间大约是跨语言共享。受这些结果的启发，我们提出了一种无监督的分析方法，提供证据mBERT学习表示的句法依赖标签，在很大程度上同意与通用的依赖分类的集群的形式。这一证据表明，即使没有明确的监督，多语言掩蔽语言模型学习某些语言共性。
2020-05-20 cs.CL cs.LG
An Error-Guided Correction Model for Chinese Spelling Error Correction
Peking University（北京大学）
虽然现有的神经网络方法在汉语拼写纠正方面取得了很大的成功，但仍有改进的空间。该模型需要避免过度校正，并将正确的标记与其语音和视觉相似的标记区分开来。本文提出了一种基于错误引导的汉语拼写纠错模型（EGCM）。通过借鉴BERT的强大能力，提出了一种新的zero-shot错误检测方法进行初步检测，引导模型在编码时更多地关注可能错误的标记，避免在生成时修改正确的标记。此外，我们引入了一个新的损失函数来整合错误混淆集，这使得我们的模型能够区分容易误用的令牌。此外，我们的模型支持高度并行解码，以满足实际应用的要求。实验在广泛使用的基准上进行。我们的模型在校正质量和计算速度方面都取得了卓越的性能，与最先进的方法相比具有显著的优势。
2023-03-20 cs.AI cs.CL
Fast, Effective, and Self-Supervised: Transforming Masked Language Models into Universal Lexical and Sentence Encoders
University of Cambridge（剑桥大学）
近年来，预训练的掩蔽语言模型（MLMs）已经彻底改变了NLP。然而，以前的工作表明，现成的MLMs是不是有效的通用词汇或句子编码器，没有进一步的任务特定的微调NLI，句子相似性，或释义任务，使用注释的任务数据。在这项工作中，我们证明，它是可以把MLMs有效的通用词汇和句子编码器，即使没有任何额外的数据，没有任何监督。我们提出了一种非常简单，快速和有效的对比学习技术，称为BPERT，它转换MLMs（例如，BERT和RoBERTa）在20-30秒内转换成这样的编码器，而无需任何额外的外部知识。BERT-BERT依赖于完全相同或稍微修改的字符串对作为正（即，同义）微调的例子，并旨在最大限度地提高他们的相似性，在身份微调。我们报告了在不同领域和不同语言的词汇级和词汇级任务中，与使用E-BERT的现成MLMs相比的巨大收益。值得注意的是，在标准句子语义相似性（STS）任务中，我们的自监督Sentence-BERT模型甚至与先前工作中任务调整的Sentence-BERT模型的性能相匹配。最后，我们深入研究了MLMs的内部工作原理，并提出了一些证据，说明为什么这种简单的方法可以产生有效的通用词汇和句子编码器。
2021-09-09 cs.AI cs.CL cs.LG
MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of British Columbia（英属哥伦比亚大学）
大规模预训练语言模型的出现促进了自然语言处理（NLP）领域的快速发展。虽然这些模型在标准基准测试中的性能随着规模的扩大而扩大，但知识蒸馏等压缩技术是使其实用化的关键。我们提出了一种新的基于文本的对抗训练算法MATE-KD，它提高了知识蒸馏的性能。MATE-KD首先训练一个基于掩码语言模型的生成器，通过最大化教师和学生logits之间的分歧来扰动文本。然后使用知识蒸馏，学生在原始和扰动的训练样本上进行训练。我们使用基于BERT的模型在GLUE基准测试中评估了我们的算法，并证明MATE-KD优于竞争对手的对抗性学习和数据增强基线。在GLUE测试集上，我们基于6层RoBERTa的模型优于BERT-Large。
2021-05-12 cs.CL cs.LG
Chinese Spelling Correction as Rephrasing Language Model
Shanghai Jiao Tong University（上海交通大学）
本文针对中文拼写纠错中字符级标注过度依赖错误、泛化与迁移受限的问题，提出通过填充槽位改写整句的 ReLM，在微调和零样本基准上取得显著领先结果。
2024-02-28 cs.CL
GPT or BERT: why not both?
University of Oslo（奥斯陆大学）
本文提出 GPT-BERT 混合训练目标，在单个 transformer 中融合掩码语言建模与因果语言建模，并在 BabyLM Challenge 2024 上验证其优于单一范式模型。
2024-12-29 cs.CL
Mixture of Small and Large Models for Chinese Spelling Check
Soochow University（苏州大学）
针对中文拼写检查中大模型效果不足与 BERT 小模型编辑模式过拟合的问题，本文提出在 beam search 解码时动态混合二者概率分布，无需微调 LLM 即可兼顾精确纠错与流畅性，并在多个数据集达到 SOTA。
2025-06-07 cs.CL
DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models
Fudan University（复旦大学）
提出了一种基于离散扩散模型的生成式掩蔽语言模型DiffusionBERT。扩散模型和许多预先训练的语言模型具有共享的训练目标，即，去噪，使其能够结合两个强大的模型，享受两全其美。一方面，扩散模型提供了一种有前途的训练策略，有助于提高生成质量。另一方面，预先训练的去噪语言模型（例如，BERT）可以用作加速收敛的良好初始化。我们探索训练BERT学习的反向过程的离散扩散过程的吸收状态和阐明几个设计，以改善it. First，我们提出了一个新的噪声时间表的前向扩散过程中，控制的程度，在每一步的基础上，每个令牌的信息添加的噪声。其次，我们研究了几种将时间步长纳入BERT的设计。对无条件文本生成的实验表明，DiffusionBERT比现有的文本扩散模型（例如，D3 PM和Diffusion-LM）和先前的生成掩蔽语言模型在困惑度和BLEU得分方面的性能。
2022-11-30 cs.AI cs.CL cs.LG
ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文介绍了我们的系统SemEval-2021的任务4：阅读理解的抽象意义（ReCAM）。我们参与了所有的子任务，主要目标是预测一个陈述中缺少的抽象词。我们微调了预先训练的掩蔽语言模型，即BERT和AL BERT，并将其作为我们在子任务1（ReCAM-不可感知性）和子任务2（ReCAM-非特异性）上提交的系统。对于子任务3（ReCAM-Intersection），我们提交了ALBERT模型，因为它给出了最好的结果。我们尝试了多种方法，发现基于Masked Language Modeling（MLM）的方法效果最好。
2021-04-04 cs.AI cs.CL cs.LG
BBAEG: Towards BERT-based Biomedical Adversarial Example Generation for Text Classification
Microsoft Research India（微软研究院印度分院）
医疗保健预测分析有助于医疗决策，诊断预测和药物审查分析。因此，预测精度是一个重要的标准，这也需要鲁棒的预测语言模型。然而，使用深度学习的模型已被证明容易受到不太可能被人类错误分类的无意义扰动输入实例的影响。使用基于规则的同义词和BERT-MLM生成对手的最新努力已经在一般领域中被见证，但不断增加的生物医学文献提出了独特的挑战。我们提出了BBAEG（基于生物医学BERT的对抗性示例生成），生物医学文本分类的黑盒攻击算法，利用生物医学命名实体和BERTLM预测，拼写变化和数字替换的特定领域的同义词替换的优势。通过对两个数据集的自动和人工评估，我们证明了BBAEG与以前的工作相比具有更好的语言流畅性和语义连贯性。
2021-04-05 cs.CL
Improving Contextual Representation with Gloss Regularized Pre-training
ByteDance Inc.（字节跳动公司）
虽然在许多NLP任务上取得了令人印象深刻的结果，但BERT类掩蔽语言模型（MLM）遇到了预训练和推理之间的不一致。鉴于这一差距，我们从词概率分布的角度研究了预训练和推理的语境表征。我们发现，BERT的风险，忽略了上下文的单词相似性在预训练。为了解决这个问题，我们提出了一个辅助光泽正则化模块BERT预训练（GR-BERT），以提高单词的语义相似度。通过预测屏蔽词并同时将上下文嵌入与相应的注释对齐，可以显式地对词相似度进行建模。我们为GR-BERT设计了两种架构，并在下游任务中评估了我们的模型。实验结果表明，光泽正则化有利于BERT在词级和句子级的语义表示。GR-BERT在词汇替换任务中取得了新的进展，并且极大地促进了BERT在无监督和有监督STS任务中的句子表示。
2022-05-13 cs.AI cs.CL cs.LG
BERT Meets CTC: New Formulation of End-to-End Speech Recognition with Pre-trained Masked Language Model
Waseda University（早稻田大学）
提出 BERT-CTC，将 BERT 融入 CTC 端到端语音识别，通过自注意力建模音频与 token 的上下文依赖，并结合 mask-predict 迭代解码，在多风格、多语言识别及下游口语理解上取得提升。
2023-04-20 cs.CL eess.AS
Frustratingly Simple Pretraining Alternatives to Masked Language Modeling
Hitachi, Ltd.（日立制作所）；University of Sheffield（谢菲尔德大学）
掩蔽语言模型（MLM）是一种自监督的预训练目标，广泛应用于自然语言处理中学习文本表示。MLM训练一个模型来预测输入标记的随机样本，这些标记在整个词汇表的多类设置中被[MASK]占位符替换。在预训练时，通常在标记或序列级别上使用MLM其他辅助目标来提高下游性能（例如下一句预测）。然而，到目前为止，还没有以前的工作试图在检查是否其他简单的语言直观的目标可以单独作为主要的预训练目标。在本文中，我们探索了五个简单的预训练目标的基础上标记级分类任务的MLM的替代品。在GLUE和SQuAD上的实验结果表明，我们提出的方法使用BERT-BASE架构实现了与MLM相当或更好的性能。我们使用更小的模型进一步验证了我们的方法，结果表明，使用BERT-BASE的41%参数预训练模型，BERT-MEDIUM只会导致我们最好目标的GLUE分数下降1%。
2021-09-04 cs.AI cs.CL cs.LG
MTLB-STRUCT @PARSEME 2020: Capturing Unseen Multiword Expressions Using Multi-task Learning and Pre-trained Masked Language Models
ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）；Microsoft（微软）
本文描述了一个半监督系统，共同学习口头多词表达（VMWEs）和依赖分析树作为辅助任务。该模型受益于预先训练的多语言BERT。BERT隐藏层在两个任务之间共享，我们引入了一个额外的线性层来检索VMWE标签。依赖分析树预测模型由一个线性层和一个双线性层加上一个树CRF的顶部BERT。该系统参与了PARSEME共享任务2020的开放式轨道，并在识别未见过的VMWE以及一般VMWE方面的F1得分方面排名第一，平均跨越所有14种语言。
2020-11-04 cs.CL
Masked ELMo: An evolution of ELMo towards fully contextual RNN language models
xBrain；Augustus Intelligence（奥古斯都智能）
本文提出了一种新的基于RNN的语言模型预训练模型Masked ELMo，它是从ELMo语言模型演化而来的。与只使用独立的从左到右和从右到左上下文的ELMo相反，Masked ELMo学习完全双向的单词表示。为了实现这一点，我们使用与BERT相同的Masked语言模型目标。此外，由于对LSTM神经元的优化，掩模累积和双向截断反向传播的集成，我们大大提高了模型的训练速度。所有这些改进使得在保持低计算成本的同时预训练比ELMo更好的语言模型成为可能。我们通过在GLUE基准测试中将其与相同协议中的ELMo进行比较来评估掩蔽ELMo，其中我们的模型显著优于ELMo，并且与Transformer方法具有竞争力。
2020-10-08 cs.CL cs.LG
Probabilistically Masked Language Model Capable of Autoregressive Generation in Arbitrary Word Order
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
掩蔽语言模型和自回归语言模型是语言模型的两种类型。虽然预训练的掩蔽语言模型（如BERT）压倒了自然语言理解（NLU）任务，但自回归语言模型（如GPT）在自然语言生成（NLG）中特别有能力。在本文中，我们提出了一个概率掩蔽计划的掩蔽语言模型，我们称之为概率掩蔽语言模型（PMLM）。我们实现了一个特定的PMLM，其掩蔽比具有均匀先验分布，名为u-PMLM。我们证明了u-PMLM等价于一个自回归置换语言模型。该模型的一个主要优点是，它支持以任意顺序生成文本，并且具有令人惊讶的良好质量，这可能会使新的应用程序超过传统的单向生成。此外，预训练的u-PMLM在一组下游NLU任务上的性能也优于BERT。
2020-04-24 cs.CL
CSCD-NS: a Chinese Spelling Check Dataset for Native Speakers
WeChat AI, Tencent Inc.（腾讯微信人工智能部门）
本文提出CSCD-NS，首个面向母语者的中文拼写检查数据集，含4万样本，规模为现有数据集的十倍，并引入输入法模拟方法生成高质量伪数据，发现生成式模型因长度和发音约束而逊于BERT类模型。
2024-05-23 cs.AI cs.CL
Does Pre-training Induce Systematic Inference? How Masked Language Models Acquire Commonsense Knowledge
Mila（米拉研究所）；McGill University（麦吉尔大学）；Microsoft Research Montréal（微软蒙特利尔研究院）
Transformer模型用掩蔽语言建模目标（例如，BERT）编码常识性知识的行为探针所证明的，然而，在何种程度上，这种知识是通过系统推理的预训练语料库的语义是一个悬而未决的问题。为了回答这个问题，我们在预训练过程中选择性地将语言化的知识注入到BERT模型的小批量中，并评估模型对支持的推理的泛化程度。我们发现，在预训练过程中，泛化能力并没有得到改善，这表明常识知识是从表层的、共现的模式中获得的，而不是从诱导的、系统的推理中获得的。
2021-12-16 cs.CL
CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising
Sun Yat-sen University（中山大学）；The Key Laboratory of Machine Intelligence and Advanced Computing (Sun Yat-sen University), Ministry of Education（机器智能与先进计算教育部重点实验室（中山大学））；JD AI Research（京东人工智能研究院）
BERT型结构导致了视觉语言预训练的革命，并在许多视觉语言下游任务上取得了最先进的结果。现有的解决方案主要利用具有掩码令牌的多模态输入来触发基于掩码的代理预训练任务（例如，掩蔽语言建模和掩蔽对象/帧预测）。在这项工作中，我们认为，这种掩盖的输入将不可避免地引入噪声的跨模态匹配代理任务，从而离开固有的视觉语言关联未被探索。作为替代方案，我们推导出用于视频语言预训练的特定形式的跨模态代理目标，即，对比跨模态匹配和去噪（CoCo）。通过将掩蔽帧/字序列视为主要未掩蔽帧/字序列的噪声增强，CoCo通过以对比的方式同时追求掩蔽和未掩蔽输入之间的模态间匹配和模态内去噪来加强视频-语言关联。我们的CoCo代理目标可以进一步集成到任何BERT类型的编码器-解码器结构中，用于视频语言预训练，称为对比跨模态BERT（CoCo-BERT）。我们在TV数据集和新收集的大规模GIF视频数据集（ACTION）上预训练CoCo-BERT。通过对广泛的下游任务（例如，跨模态检索、视频问答和视频描述），我们证明了CoCo-BERT作为预训练结构的优越性。
2021-12-14 cs.AI cs.CL cs.CV
Should You Mask 15% in Masked Language Modeling?
Princeton University（普林斯顿大学）
掩蔽的语言模型（MLM）通常会掩蔽15%的标记，因为人们认为更多的掩蔽会留下不足以学习好的表示的上下文;这个掩蔽率已经被广泛使用，无论模型大小或掩蔽策略如何。在这项工作中，我们重新审视传销培训前的这一重要选择。我们首先确定15%并不是普遍最优的，较大的模型应该采用更高的掩蔽率。具体来说，我们发现在GLUE和SQuAD上，对于BERT大尺寸模型，掩蔽40%的性能优于15%。有趣的是，80%的极高掩蔽率仍然可以保持95%的微调性能和语言探测的大部分准确性，挑战了关于掩蔽率作用的传统观点。然后，我们研究掩蔽率和掩蔽策略之间的相互作用，发现均匀掩蔽需要更高的掩蔽率相比，复杂的掩蔽策略，如跨度或PMI掩蔽。最后，我们认为，提高掩蔽率有两个明显的效果：它会导致更多的腐败，这使得预测任务更加困难;它还可以实现更多的预测，这有利于优化。使用这个框架，我们重温BERT的80-10-10腐败战略。总之，我们的研究结果有助于更好地了解传销前培训。
2023-02-10 cs.CL cs.LG
BPDec: Unveiling the Potential of Masked Language Modeling Decoder in BERT pretraining
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
针对 BERT 预训练中 MLM 解码器设计被忽视的问题，本文提出 BPDec，在不改动编码器且不增加微调、推理与服务成本的前提下提升 GLUE 和 SQuAD 性能。
2024-12-09 cs.AI cs.CL
HAlf-MAsked Model for Named Entity Sentiment analysis
MTS AI（MTS人工智能）
针对RuSentNE-23命名实体情感分析任务，提出半掩码模型与集成方法，有效缓解过拟合，取得最佳结果并提升一致性。
2023-08-30 cs.CL cs.LG
Position Masking for Language Models
Microsoft（微软）；Graphcore
诸如BERT之类的掩蔽语言建模（MLM）预训练模型通过用[MASK]替换某些标记来破坏输入，然后训练模型以重建原始标记。这是一种有效的技术，在所有NLP基准测试中都取得了良好的效果。我们建议通过掩蔽一些标记的位置以及掩蔽的输入标记ID来扩展这个想法。我们遵循与BERT相同的标准方法，掩蔽一定百分比的标记位置，然后使用额外的全连接分类器阶段预测它们的原始值。这种方法已经显示出良好的性能增益（0.3\%的改进）的SQUAD的收敛时间的额外改进。对于Graphcore IPU，具有位置掩蔽的BERT Base的收敛仅需要来自原始BERT论文的令牌的50\%。
2020-06-02 cs.CL cs.LG stat.ML
BERTs are Generative In-Context Learners
University of Oslo（奥斯陆大学）
该研究证明掩码语言模型也具备上下文学习能力，通过简单推理技术让DeBERTa无需改动即可执行生成任务，发现两类模型各有优势，指出结合二者的混合方法颇具前景。
2024-10-31 cs.AI cs.CL
Distilling Knowledge Learned in BERT for Text Generation
Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
以BERT为代表的大规模预训练语言模型在语言理解任务中取得了巨大的成功。然而，如何利用BERT进行语言生成仍然是一个悬而未决的问题。在本文中，我们提出了一种新的方法，条件屏蔽语言建模（C-MLM），使微调的目标生成任务的BERT。微调的BERT（教师）被用作额外的监督，以改善传统的Seq 2Seq模型（学生），以获得更好的文本生成性能。通过利用BERT独特的双向性质，提取在BERT中学习的知识可以鼓励自回归Seq 2Seq模型提前计划，为连贯的文本生成实施全局序列级监督。实验表明，该方法在多个机器翻译和文本摘要等语言生成任务上的性能明显优于强Transformer基线。我们提出的模型也实现了新的最先进的IWITOS德国-英语和英语-越南MT数据集。代码可在https://github.com/ChenRocks/Distill-BERT-Textgen上获得。
2020-07-17 cs.CL cs.LG
It's All in The [MASK]: Simple Instruction-Tuning Enables BERT-like Masked Language Models As Generative Classifiers
本文提出ModernBERT-Large-Instruct模型，通过简单指令微调利用MLM头实现生成式分类，零样本性能优于同类LLM，微调后匹配或超越传统分类头方法，为仅编码器模型在下游任务的应用提供新方向。
2025-02-10 cs.AI cs.CL
MASS: Masked Sequence to Sequence Pre-training for Language Generation
Nanjing University of Science and Technology（南京理工大学）；Microsoft Research（微软研究院）
预训练和微调，例如，BERT等在语言理解方面取得了很大的成功，他们通过将知识从资源丰富的训练前任务转移到低/零资源的下游任务。受BERT成功的启发，我们提出了基于编码器-解码器的语言生成任务的掩蔽序列到序列预训练（MASS）。MASS采用编码器-解码器框架来重构给定句子剩余部分的句子片段：其编码器将具有随机掩蔽片段（几个连续标记）的句子作为输入，其解码器尝试预测该掩蔽片段。通过这种方式，MASS可以联合训练编码器和解码器，以开发表示提取和语言建模的能力。通过进一步微调各种零/低资源语言生成任务，包括神经机器翻译，文本摘要和会话响应生成（3个任务和总共8个数据集），MASS在没有预训练或使用其他预训练方法的情况下实现了基线的显著改进。特别是，我们在无监督的英法翻译上达到了最先进的准确率（BLEU得分为37.5），甚至击败了早期的基于注意力的监督模型。
2019-06-21 cs.AI cs.CL cs.LG
