Efficient Pre-training of Masked Language Model via Concept-based Curriculum Masking
Korea University（高丽大学）；The Catholic University of Korea（韩国天主教大学）
掩蔽语言建模（MLM）已被广泛用于预训练有效的双向表示，但会产生大量的训练成本。在本文中，我们提出了一种新的基于概念的课程掩蔽（CCM）方法，有效地预训练语言模型。CCM与现有的课程学习方法有两个关键的区别，以有效地反映传销的性质。首先，我们引入了一个精心设计的语言难度标准，用于评估每个令牌的MLM难度。第二，我们构建了一个课程，通过检索知识图谱，逐渐掩盖与先前掩蔽的单词相关的单词。实验结果表明，CCM显著提高了预训练效率。具体来说，用CCM训练的模型在一般语言理解评估基准上显示出与原始BERT相当的性能，而训练成本只有原来的一半。
2022-12-15 cs.CL
Linguistic Entity Masking to Improve Cross-Lingual Representation of Multilingual Language Models for Low-Resource Languages
University of Moratuwa（莫拉图瓦大学）；School of Mathematical and Computational Sciences, Massey University（梅西大学数学与计算科学学院）
提出语言实体掩码（LEM）持续预训练策略，仅掩码名词、动词和命名实体中的单个 token，以提升多语言模型在低资源语言跨语言任务上的表示与性能。
2025-01-10 cs.CL
A Comparative Study of Light-weight Language Models for PII Masking and their Deployment for Real Conversational Texts
IOE, Pulchowk Campus（理工学院，普尔乔克校区）
本文比较了轻量级语言模型在PII遮蔽中的性能，发现Mistral在F1和召回率上表现更优，但T5在实时对话中更高效且可控。
2025-12-21 cs.CL
The Effect of Masking Strategies on Knowledge Retention by Language Models
L3S Research Center（L3S研究中心）；TU Delft（代尔夫特理工大学）
该研究探究预训练掩码策略对语言模型知识保留的影响，发现掩码实体及基于点互信息的相关跨度掩码效果优于随机掩码，同时验证了知识获取中的灾难性遗忘现象并探索了预防方法。
2023-06-12 cs.CL
LingGen: Scalable Multi-Attribute Linguistic Control via Power-Law Masking
University of Massachusetts Lowell（马萨诸塞大学洛文分校）
LingGen通过幂律掩码实现多属性语言控制，以高精度和高效性生成受控文本。
2026-01-25 cs.CL
Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；Peking University（北京大学）
本文提出知情掩蔽（IM），利用扩散大语言模型轨迹中的上游/下游结构，优先掩蔽下游令牌以构建更优的强化学习子问题，在数学和规划基准上显著提升性能并增强训练稳定性。
2026-09-23 cs.CL
Generating multiple-choice questions for medical question answering with distractors and cue-masking
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；KU Leuven（鲁汶大学）
医学多项选择问答（MCQA）特别难。问题可能描述患者症状并要求正确的诊断，这需要领域知识和复杂的推理。标准语言建模预训练本身不足以达到最佳效果。\citet{jin2020disease}表明，当使用医学百科段落作为输入时，将掩蔽语言建模集中在疾病名称预测上，导致MCQA准确性的显著提高。在这项工作中，我们证明了（1）对生成的MCQA数据集进行微调优于基于掩蔽语言建模的目标，（2）正确掩蔽答案的提示对于良好的性能至关重要。我们发布了新的预训练数据集，并在4个MCQA数据集上获得了最先进的结果，特别是MedQA-USMLE上的基础大小模型为+5.7\%。
2023-03-13 cs.CL
Should You Mask 15% in Masked Language Modeling?
Princeton University（普林斯顿大学）
掩蔽的语言模型（MLM）通常会掩蔽15%的标记，因为人们认为更多的掩蔽会留下不足以学习好的表示的上下文;这个掩蔽率已经被广泛使用，无论模型大小或掩蔽策略如何。在这项工作中，我们重新审视传销培训前的这一重要选择。我们首先确定15%并不是普遍最优的，较大的模型应该采用更高的掩蔽率。具体来说，我们发现在GLUE和SQuAD上，对于BERT大尺寸模型，掩蔽40%的性能优于15%。有趣的是，80%的极高掩蔽率仍然可以保持95%的微调性能和语言探测的大部分准确性，挑战了关于掩蔽率作用的传统观点。然后，我们研究掩蔽率和掩蔽策略之间的相互作用，发现均匀掩蔽需要更高的掩蔽率相比，复杂的掩蔽策略，如跨度或PMI掩蔽。最后，我们认为，提高掩蔽率有两个明显的效果：它会导致更多的腐败，这使得预测任务更加困难;它还可以实现更多的预测，这有利于优化。使用这个框架，我们重温BERT的80-10-10腐败战略。总之，我们的研究结果有助于更好地了解传销前培训。
2023-02-10 cs.CL cs.LG
Self-Evolution Learning for Discriminative Language Model Pretraining
Wuhan University（武汉大学）；University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
本文提出自演化学习（SE），通过聚焦信息丰富且探索不足的词元并引入词元特定标签平滑自适应正则化训练，在10个任务上为不同预训练语言模型带来显著提升，改善语言知识学习与泛化。
2023-05-24 cs.CL
MaskLID: Code-Switching Language Identification through Iterative Masking
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（信息与机器人系统研究所）
MaskLID提出一种无需训练的迭代掩码方法，通过让LID自身识别并掩码主导语言特征，使句子级语言识别器能检测语码转换中的次要语言，并在GlotLID和OpenLID上验证有效性。
2024-06-10 cs.CL
ERNIE: Enhanced Representation through Knowledge Integration
Baidu Inc.（百度公司）
我们提出了一种新的语言表示模型增强的知识称为ERNIE（增强表示通过knowledge整合）。受BERT掩蔽策略的启发，ERNIE被设计用于学习通过知识掩蔽策略增强的语言表示，知识掩蔽策略包括实体级掩蔽和短语级掩蔽。实验结果表明，ERNIE算法在自然语言推理、语义相似度、命名实体识别、命名实体匹配、命名实体匹配等五个中文自然语言处理任务上均取得了较好的效果，并取得了较好的效果。情感分析和问答。在完形填空测试中，我们也证明了ERNIE具有更强的知识推理能力。
2019-04-19 cs.CL
Position Masking for Improved Layout-Aware Document Understanding
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
文档扫描和PDF的自然语言处理有可能极大地提高业务流程的效率。诸如LayoutLM之类的布局感知的词嵌入已经显示出用于对这样的文档进行分类和从这样的文档中提取信息抽取的前景。本文提出了一种新的预训练任务，可以提高包含2-D位置嵌入的布局感知词嵌入的性能。我们将仅使用语言掩蔽预训练的模型与使用语言掩蔽和位置掩蔽预训练的模型进行比较，我们发现位置掩蔽在表单理解任务中的性能提高了5%以上。
2021-09-01 cs.CL cs.LG
Dynamic Masking for Improved Stability in Spoken Language Translation
University of Edinburgh（爱丁堡大学）
对于诸如会议、讲座和会议之类的现场场景中的口语翻译（spoken language translation，缩写为ESTA），期望尽可能快地向用户显示翻译，避免说话者和翻译的字幕之间的令人讨厌的滞后。换句话说，我们想要低延迟的在线服务。如果我们假设自动语音识别（ASR）和机器翻译（MT）的流水线，则在线翻译的可行方法是将在线ASR系统与重新翻译策略配对，其中MT系统重新翻译从ASR接收的每个更新。然而，当MT系统更新其翻译时，这可能导致令人讨厌的“闪烁”。一种可能的解决方案是向MT系统的输出添加固定延迟或“掩码”，但是固定全局掩码向输出引入了不期望的延迟。我们展示了如何动态设置此掩码，在不牺牲翻译质量的情况下提高延迟闪烁的权衡。
2021-05-31 cs.CL
Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval
Alibaba Group（阿里巴巴集团）
预训练的语言模型（PTM）已被证明产生强大的文本表示密集段落检索任务。Masked Language Modeling（MLM）是预训练过程的一个主要子任务。然而，我们发现，传统的随机掩蔽策略倾向于选择大量的令牌，对段落检索任务的影响有限（例如，停止词和标点符号）。通过注意到术语重要性权重可以为段落检索提供有价值的信息，我们在此提出了替代的面向检索的掩蔽（称为ROM）策略，其中更重要的标记将具有更高的被掩蔽的概率，以捕获这种简单而重要的信息，以促进语言模型预训练过程。值得注意的是，所提出的新的令牌掩蔽方法不会改变原始PTM的架构和学习目标。我们的实验验证了所提出的ROM使术语重要性信息，以帮助语言模型预训练，从而实现更好的性能多通道检索基准。
2022-10-27 cs.CL cs.IR
Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）；Meituan（美团）；WeChat, Tencent（腾讯微信）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（大型模型与智能治理北京市重点实验室）
提出AGDO框架，利用注意力结构指导去噪顺序并强化关键令牌，在数学和编码基准上提升扩散语言模型的推理性能。
2026-06-11 cs.CL
Entropy-aware Masking for Masked Language Modeling
AImotion Bavaria（AImotion巴伐利亚）；Technische Hochschule Ingolstadt（英戈尔施塔特技术大学）
提出基于熵分布的掩码策略，通过模型预测熵识别信息量高的token进行掩码，并引入自掩码方法提升训练效率，在GLUE上平均提升5%。
2026-05-27 cs.AI cs.CL
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST（韩国科学技术院）；AITRICS（艾崔克斯）
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本，这样我们就可以有效地适应特定的目标任务（例如问答）的语言模型。具体而言，我们提出了一种新的基于强化学习的框架，该框架学习掩蔽策略，使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习，并提出了一个基于transformer的策略网络，可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型，通过自动学习最佳自适应掩码，在几个问答和文本分类数据集上验证了我们的神经掩码生成器（NMG），在这些数据集上，它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
Centered Masking for Language-Image Pre-Training
Radboud University（拉德堡德大学）
本研究提出面向语言-图像预训练的高斯掩码技术GLIP，以基于高斯分布的中心掩码替代FLIP的随机掩码，在保持同等计算节省的同时提升多下游任务性能，且易实现、适用范围广。
2024-03-27 cs.CL cs.CV cs.LG
AMOM: Adaptive Masking over Masking for Conditional Masked Language Model
Institute of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Microsoft Research Asia（微软亚洲研究院）
基于变换器的自回归（AR）方法对于不同的序列到序列生成任务已经实现了吸引人的性能，例如，神经机器翻译、摘要和代码生成，但是遭受低推理效率。为了加快推理阶段，在过去的几年中，许多非自回归（NAR）策略已被提出。其中，条件掩码语言模型（CMLM）是最通用的框架之一，因为它可以支持许多不同的序列生成场景，并在这些任务上实现非常有竞争力的性能。在本文中，我们进一步介绍了一个简单而有效的自适应掩蔽策略，以提高细化能力的解码器，使编码器的优化更容易。\textbf{3}不同的任务（神经机器翻译，摘要和代码生成）与\textbf{15}数据集的实验证实，我们提出的简单的方法实现了显着的性能改善强CMLM模型。令人惊讶的是，我们提出的模型在神经机器翻译上产生了最先进的性能（WMT 16 EN $\to$ RO上的\textbf{34.62} BLEU，WMT 16 RO $\to$ EN上的\textbf{34.82} BLEU，以及IWALTH De $\to$ En上的\textbf{34.84} BLEU），甚至比\textbf{7}基准数据集上的\textbf{AR} Transformer更好的性能，至少具有\textbf{2.2$\times$}加速。我们的代码可以在GitHub上找到。
2023-03-13 cs.AI cs.CL
GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation
Microsoft Azure AI（微软Azure人工智能部门）；Shanghai University of Finance and Economics（上海财经大学）
我们介绍天才：使用草图作为输入的条件文本生成模型，可以填充给定草图的缺失上下文（由文本跨度、短语或单词组成的关键信息，由掩码标记连接）。GENIUS在大规模文本语料库上进行了预训练，使用极端和选择性掩蔽策略从草图目标进行了新颖的重建，使其能够在给定草图的情况下生成多样化和高质量的文本。与其他竞争性条件语言模型（CLM）的比较揭示了GENIUS文本生成质量的优越性。我们进一步表明，GENIUS可以作为一个强大的和现成的数据增强工具，用于各种自然语言处理（NLP）任务。大多数现有的文本数据增强方法要么过于保守，对原始文本进行小的更改，要么过于激进，创建全新的样本。使用GENIUS，我们提出了GeniusAug，它首先从原始训练集中提取目标感知的草图，然后基于草图生成新的样本。在6个文本分类数据集上的实验表明，GeniusAug显著提高了模型在分布内（ID）和分布外（OOD）环境下的性能。我们还证明了GeniusAug在命名实体识别（NER）和机器阅读理解（MRC）任务上的有效性。(Code和模型可在https://github.com/microsoft/SCGLab和https：//github.com/beyondguo/genius上公开获得）
2022-11-18 cs.CL
Position Masking for Language Models
Microsoft（微软）；Graphcore
诸如BERT之类的掩蔽语言建模（MLM）预训练模型通过用[MASK]替换某些标记来破坏输入，然后训练模型以重建原始标记。这是一种有效的技术，在所有NLP基准测试中都取得了良好的效果。我们建议通过掩蔽一些标记的位置以及掩蔽的输入标记ID来扩展这个想法。我们遵循与BERT相同的标准方法，掩蔽一定百分比的标记位置，然后使用额外的全连接分类器阶段预测它们的原始值。这种方法已经显示出良好的性能增益（0.3\%的改进）的SQUAD的收敛时间的额外改进。对于Graphcore IPU，具有位置掩蔽的BERT Base的收敛仅需要来自原始BERT论文的令牌的50\%。
2020-06-02 cs.CL cs.LG stat.ML
Hands-off Image Editing: Language-guided Editing without any Task-specific Labeling, Masking or even Training
University of Lisbon（里斯本大学）
针对指令引导图像编辑中依赖任务特定监督的扩展与适应障碍，提出一种无需任何任务特定标注、掩码或训练的新方法，评估表明其高度有效且性能极具竞争力。
2025-02-14 cs.CL cs.CV
Typhoon: Gradient-Based Task-Specific Masking for Masked Language Models
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
本文提出Typhoon，一种基于任务损失梯度的自适应掩码策略，在GLUE任务上对比随机掩码和整词掩码，经严格评估发现无显著优势。
2026-10-21 cs.AI cs.CL
Time-Aware Feature Selection: Adaptive Temporal Masking for Stable Sparse Autoencoder Training
Yale University（耶鲁大学）；University of Chicago（芝加哥大学）
针对稀疏自编码器训练中的特征吸收问题，提出自适应时间掩码（ATM）方法，通过动态重要性分数与概率掩码实现稳定特征选择，在Gemma-2-2b上显著降低吸收分数并保持重构质量。
2025-10-09 cs.AI cs.CL cs.LG
Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models
Monash University（莫纳什大学）
最近的工作表明，广泛覆盖的上下文嵌入模型的域上的目标任务的兴趣适应的重要性。当前的自监督自适应方法过于简单，因为训练信号来自一小部分\emph{randomly}屏蔽标记。在本文中，我们表明，仔细的掩蔽策略可以弥合知识差距的掩蔽语言模型（MLMs）的领域更有效地分配自我监督，它是必要的。此外，我们提出了一种有效的训练策略，通过对抗性地屏蔽那些难以由底层MLM重建的令牌。对抗性目标导致令牌的\emph{subsets}上的具有挑战性的组合优化问题，我们通过松弛到变分下界和动态规划来有效地解决该问题。在六个涉及命名实体识别的无监督领域自适应任务上，我们的方法大大优于随机掩蔽策略，并实现了高达+1.64 F1分数的改进。
2020-10-05 cs.CL
Identifying Crucial Attention Heads for Multilingual Language Models: Retrieval and Retrieval-Transition Heads
New York University（纽约大学）
本研究通过引入检索-过渡头（RTH）揭示多语言模型中负责目标语言生成的关键注意力机制，并通过实验验证其在链式推理中的重要性。
2026-09-15 cs.CL
POSPAN: Position-Constrained Span Masking for Language Model Pre-training
JD AI Research（京东人工智能研究院）
POSPAN提出位置约束跨度掩码框架，统一现有方法，通过结合跨度长度与位置约束分布，在NLU基准上优于仅长度方法和原始MLM，并给出理论解释。
2026-09-16 cs.AI cs.CL cs.LG
Linguistically Informed Masking for Representation Learning in the Patent Domain
TU Vienna（维也纳工业大学）；Siemens AG（西门子股份公司）
领域特定的语境化语言模型已经证明了对于领域特定的下游任务，如相似性匹配，实体识别或信息检索的显著有效性增益。然而，在高度特定的语言领域中成功地应用这样的模型需要预训练模型的领域自适应。在本文中，我们提出了经验动机的语言信息掩蔽（LIM）方法，专注于领域自适应的预训练的语言模式的专利，使用一个高度技术性的子语言。我们量化了专利，科学和通用语言之间的相关差异，并证明了两种不同的语言模型（BERT和Sci BERT），领域自适应与LIM导致系统改进的表示，通过评估两个独立的下游任务，IPC分类和相似性匹配的专利语言的领域自适应表示的性能。我们证明了平衡的专利领域的领域自适应过程中从不同的信息源的学习的影响。我们在https://github.com/sophiaalthammer/patent-lim上公开了源代码以及领域自适应的预训练专利语言模型。
2021-06-10 cs.CL cs.IR
Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model
Microsoft Dynamics 365 AI（微软Dynamics 365人工智能）；Microsoft Research（微软研究院）
Masked语言模型（MLM）框架已被广泛用于自监督语言预训练。在本文中，我们认为，随机抽样的MLM掩模会导致不必要的大梯度方差。因此，我们理论上通过将梯度协方差与两个不同掩码之间的汉明距离（给定特定文本序列）相关来量化梯度方差。为了减少由于掩码采样而产生的方差，我们提出了一种充分探索的掩码策略，将文本序列划分为一定数量的非重叠段。此后，一个段内的标记被掩蔽以用于训练。从理论的角度来看，我们证明了这种新的掩蔽模式产生的梯度具有较小的方差，可以导致更有效的自监督训练。我们从零开始对连续预训练和一般预训练进行了广泛的实验。实验结果证实，这种新的掩蔽策略可以始终优于标准的随机掩蔽。详细的效率分析和消融研究进一步验证了我们在MLM框架下充分探索的掩蔽策略的优势。
2020-10-14 cs.AI cs.CL
Dynamic Masking Rate Schedules for MLM Pretraining
MosaicML；Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；DatologyAI
针对BERT等掩码语言模型固定15%掩码率的局限，提出动态调度掩码率的方法。在预训练中线性降低掩码率不仅提升了GLUE准确率，还实现了最高1.89倍的加速和帕累托改进。
2024-02-10 cs.AI cs.CL
Improving Social Meaning Detection with Pragmatic Masking and Surrogate Fine-Tuning
The University of British Columbia（不列颠哥伦比亚大学）
掩蔽的语言模型（MLM）是用与下游微调的目标不匹配的去噪目标进行预训练的。我们提出了语用掩蔽和代理微调作为两个互补的策略，利用社会线索，以推动预先训练的表示对广泛的一类社会意义的任务有用的概念。我们在$15$不同的Twitter数据集上测试我们的模型，以进行社会意义检测。我们的方法在竞争基线上实现了$2.34\%$ $F_1$，同时优于在大型数据集上预训练的特定领域语言模型。我们的方法在少样本学习中也表现出色：只有训练数据的$5\%$（严重的Few-Shot），我们的方法能够实现令人印象深刻的$68.54\%$平均$F_1$。这些方法也是语言不可知的，正如我们在涉及来自三种不同语言的六个数据集的zero-shot设置中所示。
2022-05-31 cs.AI cs.CL
Robust Infidelity: When Faithfulness Measures on Masked Language Models Are Misleading
University of Ottawa（渥太华大学）；American University（美利坚大学）
本文指出基于迭代掩码计算忠实度指标来比较神经文本分类器可解释性存在陷阱，该属性更适合描述为“对迭代掩码的敏感性”，并发现其会导致分布外嵌入和不可预测行为，从而为解释该指标提供指导。
2024-05-31 cs.CL cs.LG
Pre-Training with Whole Word Masking for Chinese BERT
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
来自Transformers的双向编码器表示（BERT）在各种NLP任务中表现出了惊人的改进，并且已经提出了其连续变体，以进一步提高预训练的语言模型的性能。在本文中，我们的目标是首先介绍了整个词掩蔽（wwm）的策略，中文BERT，随着一系列的中文预训练语言模型。然后，我们还提出了一个简单但有效的模型称为MacBERT，它在几个方面改进了RoBERTa。特别是，我们提出了一个新的掩蔽策略称为MLM校正（Mac）。为了证明这些模型的有效性，我们创建了一系列中文预训练语言模型作为我们的基线，包括BERT，RoBERTa，ELECTRA，RBT等。我们对十个中文NLP任务进行了广泛的实验，以评估创建的中文预训练语言模型以及建议的MacBERT。实验结果表明，MacBERT可以在许多NLP任务上实现最先进的性能，我们还通过一些可能有助于未来研究的发现来消除细节。我们将预先训练好的语言模型开源，以进一步促进我们的研究社区。相关资源：https://github.com/ymcui/Chinese-BERT-wwm
2021-11-25 cs.CL cs.LG
Quantifying Consonant Contributions to Word Intelligibility via Acoustic Masking
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于声学掩蔽的可扩展方法，通过自动语音识别模型计算掩蔽诱导误识别率来量化辅音对单词可懂度的贡献，并验证其与音素频率和功能负荷的相关性，发现辅音贡献具有语言依赖性。
2026-09-22 cs.CL
#maskUp: Selective Attribute Encryption for Sensitive Vocalization for English language on Social Media Platforms
Manipal Institute of Technology（马尼帕尔理工学院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）
社交媒体已成为人们站出来反对社会和犯罪行为的平台。公布这些信息有助于调查和查明罪犯。然而，泄露这些敏感信息可能会危及受害者的安全。我们建议使用#maskUp，这是一种以安全的方式与相关当局进行信息交流的安全方法，可阻止对受害者的潜在欺凌。这将通过自然语言处理保护他们的隐私来确保安全性，并辅之以敏感属性屏蔽的选择性加密。据我们所知，这是第一项旨在保护受害人隐私的工作，通过掩盖他们的私人细节，并鼓励他们挺身而出举报罪行。屏蔽技术的使用仅允许绑定机构查看/取消屏蔽此数据。我们构建和评估所提出的方法论持续学习的任务，允许在现实世界的情况下实际实施相同的。#maskUp成功地在示例数据集上演示了这种集成，验证了所提出的目标。
2022-11-16 cs.CL
Self-supervised Graph Masking Pre-training for Graph-to-Text Generation
Monash University（莫纳什大学）
大规模预训练的语言模型（PLM）通过处理图的线性化版本而具有高级的图到文本（G2 T）生成。然而，已知线性化忽略结构信息。此外，PLM通常在自由文本上进行预训练，这会在预训练和下游G2 T生成任务之间引入域不匹配。为了解决这些缺点，我们提出了图掩蔽预训练策略，既不需要监督信号，也不需要调整底层预训练编码器-解码器模型的架构。当与预训练的T5一起使用时，我们的方法在WebNLG+2020和EventNarrative G2 T生成数据集上获得了最新的结果。我们的方法在低资源环境中也非常有效。
2022-10-19 cs.CL
Investigating Masking-based Data Generation in Language Models
本文探究了基于掩码语言模型（MLM）的数据增强方法在自然语言处理下游任务中的更广泛应用，指出该技术能简单高效地提升模型性能。
2023-06-16 cs.AI cs.CL
Word Order Matters when you Increase Masking
École Normale Supérieure-PSL（巴黎高等师范学院-巴黎文理研究大学）；CNRS（法国国家科学研究中心）；U. Sorbonne Nouvelle（新索邦大学）；University of Pisa（比萨大学）
词序是自然语言的一个基本属性，使用位置编码将词序注入到基于transformer的神经语言模型中。然而，最近的实验表明，显式位置编码并不总是有用的，因为一些没有这种功能的模型设法在某些任务上实现了最先进的性能。为了更好地理解这种现象，我们检查了去除位置编码对预训练目标本身的影响（即，掩蔽语言建模），以测试模型是否可以单独从同现重构位置信息。我们通过控制输入句子中的掩蔽标记的数量来实现这一点，作为影响任务位置信息重要性的代理。我们发现，位置信息的必要性随着掩蔽量的增加而增加，并且没有位置编码的掩蔽语言模型无法在任务上重建此信息。这些发现指向掩蔽量和Transformers使用位置编码捕获语言的顺序敏感方面的能力之间的直接关系。
2022-11-08 cs.CL cs.LG cs.NE
RadBARTsum: Domain Specific Adaption of Denoising Sequence-to-Sequence Models for Abstractive Radiology Report Summarization
University College London（伦敦大学学院）；University of Glasgow（格拉斯哥大学）
本文提出RadBARTsum，通过在放射学报告语料上采用实体掩码重新训练BART并微调生成Impression部分，实现领域自适应的摘要式放射学报告总结，并验证了领域知识掩码能一致提升性能。
2024-06-05 cs.CL
Rate-Resolved Text Evaluation with Masked Diffusion Language Models
The University of Manchester（曼彻斯特大学）；University of Pittsburgh（匹兹堡大学）；The University of Sheffield（谢菲尔德大学）
该研究提出速率解析文本评估方法，利用掩码扩散语言模型的掩码率作为诊断轴，在SummEval和WMT MQM数据集上验证了其评估文本生成的有效性。
2026-10-14 cs.CL
Structure-Aware NL-to-SQL for SFC Provisioning via AST-Masking Empowered Language Models
School of Electrical Engineering and Computer Science, University of Ottawa（奥克大学电气工程与计算机科学学院）；Ciena（Ciena公司）
本文提出AST遮蔽方法，通过结构感知微调提升自然语言到SQL的转换精度，提高SFC配置的可解释性和效率。
2026-01-24 cs.CL cs.LG cs.NI
Domain-oriented Language Pre-training with Adaptive Hybrid Masking and Optimal Transport Alignment
Rutgers, The State University of New Jersey（罗格斯大学）；NEC Labs America（NEC 美国实验室）；Beihang University（北京航空航天大学）；The Hong Kong University of Science and Technology（香港科技大学）
受诸如BERT的预先训练的语言模型在广泛的自然语言处理（NLP）任务中的成功的激励，最近的研究努力已经使这些模型适应于不同的应用领域。沿着这条路线，现有的面向领域的模型主要遵循香草BERT架构，并直接使用领域语料库。然而，面向领域的任务通常需要准确的理解领域短语，这种细粒度的短语级知识是很难被捕获的现有的预训练方案。此外，词同现引导的预训练模型的语义学习可以通过实体级关联知识在很大程度上增强。但与此同时，这样做有引入噪音的风险，因为缺乏地面实况词级对齐。针对上述问题，本文提出了一种广义的面向领域的方法，该方法利用辅助领域知识从两个方面改进现有的预训练框架。首先，为了有效地保存短语知识，我们建立了一个领域短语池作为辅助训练工具，同时我们引入了自适应混合掩蔽模型来合并这些知识。它集成了两种学习模式，单词学习和短语学习，并允许它们相互切换。其次，我们引入了交叉实体对齐，以利用实体关联作为弱监督来增强预训练模型的语义学习。为了减轻这个过程中的潜在噪声，我们引入了一个可解释的基于最优传输的方法来指导对齐学习。四个面向领域的任务的实验证明了我们的框架的优越性。
2021-12-01 cs.CL
Recovering from Privacy-Preserving Masking with Large Language Models
Meta
针对文本隐私保护掩码后数据适配问题，提出基于预训练与微调大语言模型的掩码替换方法，实验显示混淆语料训练模型性能与原始数据训练模型相当。
2023-12-14 cs.CL cs.CR cs.LG
Faithfulness Measurable Masked Language Models
Mila（米拉研究所）；Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
本文提出一种结合掩码的新型微调方法，使掩码token成为分布内数据，从而构建出可内在测量忠实度的模型，在16个数据集上验证了其通用性，并间接实现了内在可解释性。
2024-08-27 cs.CL cs.LG
Analysing The Impact of Sequence Composition on Language Model Pre-Training
University of Edinburgh（爱丁堡大学）；Xiaomi AI Lab（小米AI实验室）；University of Warsaw（华沙大学）；Weco AI（维科人工智能）
针对预训练序列构成策略对模型泛化影响未充分探索的问题，本研究发现因果掩码导致的跨文档干扰会降低性能，提出文档内因果掩码及BM25Chunk方法，有效提升模型多项能力且不牺牲效率。
2024-02-21 cs.CL
ExPosST: Explicit Positioning with Adaptive Masking for LLM-Based Simultaneous Machine Translation
School of Informatics, Xiamen University（厦门大学信息学院）；MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus团队）；The University of Hong Kong（香港大学）
ExPosST通过显式位置分配解决LLM在同时机器翻译中的位置不匹配问题，实现高效解码与位置一致性，支持多种策略下的同时翻译。
2026-03-29 cs.CL
Adaptive Classifier-Free Guidance via Dynamic Low-Confidence Masking
PolyU；FDU；THU；CUHK；PKU；ICL
针对标准CFG静态无条件输入在迭代生成中的不足，提出自适应分类器自由引导（A-CFG），通过动态低置信度掩码定制无条件输入，在掩码扩散语言模型上显著提升生成质量，如GPQA提升3.9分。
2025-05-26 cs.CL
DisGeM: Distractor Generation for Multiple Choice Questions with Span Masking
OBSS AI；Middle East Technical University（中东技术大学）；Bogazici University（博阿齐奇大学）
本文提出DisGeM框架，利用预训练语言模型通过候选生成和选择两阶段方法，在无需训练或微调的情况下生成多选题干扰项，效果优于以往方法。
2024-09-26 cs.CL cs.LG
Multi-armed bandits for resource efficient, online optimization of language model pre-training: the use case of dynamic masking
Basque Center for Applied Mathematics（巴斯克应用数学中心）；IKERBASQUE - Basque Foundation for Science（伊克巴斯克-巴斯克科学基金会）；Columbia University（哥伦比亚大学）；Walmart Global Tech（沃尔玛全球技术）；eBay Inc.（易贝公司）
本文提出基于高斯过程汤普森采样的多臂老虎机框架GP-TS，通过顺序选择动态掩码超参数加速Transformer语言模型预训练，在更少轮数下降低MLM损失并保持下游性能，避免昂贵网格搜索，实现资源高效优化。
2023-05-30 cs.CL cs.LG stat.ML
Sparse Interventions in Language Models with Differentiable Masking
University of Edinburgh（爱丁堡大学）；Facebook AI Research（Facebook 人工智能研究院）；University of Amsterdam（阿姆斯特丹大学）；Innopolis University（因诺波利斯大学）；University of Osnabrück（奥斯纳布吕克大学）
人们对理解语言模型（LM）的隐藏表示捕获了什么信息有很大的兴趣。通常，解释方法i）不保证模型实际上使用编码信息，并且ii）不发现负责所考虑的现象的神经元的小子集。受因果中介分析的启发，我们提出了一种方法，该方法在神经LM中发现负责特定语言现象的神经元的一个小子集，即，导致相应令牌发射概率变化的子集。我们使用一个可微松弛近似搜索通过组合空间。$L_0$正则化项确保搜索收敛到离散和稀疏解。我们应用我们的方法来分析LSTM中的主谓数一致性和性别偏见检测。我们观察到，它是快速的，并找到更好的解决方案比替代方案（加强）。我们的实验证实，这些现象中的每一个都是通过一小部分神经元介导的，这些神经元不起任何其他可识别的作用。
2021-12-13 cs.CL cs.LG
Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation
Oregon State University（俄勒冈州立大学）
针对现有同传大模型微调的提示优化方法存在训练集冗余、计算低效等问题，本文提出基于注意力掩码的SimulMask微调新范式，在多语言对上实现翻译质量提升与成本降低。
2024-10-09 cs.CL cs.LG
Task-Informed Anti-Curriculum by Masking Improves Downstream Performance on Text
University of Bucharest（布加勒斯特大学）
提出任务感知反课程掩码（TIACBM）方法，通过任务知识选择掩码标记和循环衰减掩码比例，在情感分析、主题分类和作者归属任务上显著提升性能。
2025-05-26 cs.AI cs.CL cs.LG
Unsupervised Text Style Transfer via LLMs and Attention Masking with Multi-way Interactions
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）
本文针对无监督文本风格迁移，提出将LLMs与注意力掩码方法进行四种多方式交互，实验表明先提示后注意力掩码修订的组合持续优于基线及有监督系统，并在两个数据集上取得新SOTA。
2024-02-21 cs.AI cs.CL
HUKUKBERT: Domain-Specific Language Model for Turkish Law
Kalitte Inc.（Kalitte公司）；Aibrite Inc.（Aibrite公司）；University of Eastern Finland（东芬兰大学）
本文提出HUKUKBERT，首个针对土耳其法律的全面语言模型，通过混合领域自适应预训练方法，在18GB法律语料上训练，实现84.40%的Top-1准确率，并在官方土耳其法院判决结构分割任务中达到92.8%的文档通过率。
2026-08-05 cs.CL cs.LG
