Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology（北京理工大学）；Microsoft Research（微软研究院）
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中，我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说，该模型首先为平行句子自标记单词对齐。然后，我们随机屏蔽一个bitext对中的标记。给定一个掩码标记，该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明，该方法提高了跨语言的可移植性在各种数据集上，特别是在令牌级的任务，如问答，结构化预测。此外，该模型可以作为一个预先训练的字对齐器，实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Enhancing Crisis-Related Tweet Classification with Entity-Masked Language Modeling and Multi-Task Learning
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）
社交媒体已成为危机管理的一个重要信息源，提供了快速获取持续发展和关键信息的途径。然而，分类模型遭受与事件相关的偏见和高度不平衡的标签分布，这仍然是一个具有挑战性的任务。为了解决这些挑战，我们提出了一个结合实体掩蔽语言建模和分层多标签分类作为一个多任务学习问题。我们评估我们的方法从TREC-IS数据集的推文，并显示绝对性能增益w.r.t. F1-可操作信息类型的得分高达10%。此外，我们发现，实体掩蔽降低了过拟合的影响，在域内事件，并使跨事件泛化的改进。
2022-11-21 cs.CL
Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling
Dept. of Computer Science and Engineering, Indian Institute of Technology, Bombay（计算机科学与工程系，印度理工学院，孟买）
本文提出基于验证器的推理时扩展方法，在掩码扩散语言模型去噪过程中筛选更优候选，用于文本风格迁移，证明MDM优于自回归语言模型，并展示软值验证器可显著提升生成质量。
2025-08-18 cs.CL cs.LG
Improving Non-autoregressive Machine Translation with Error Exposure and Consistency Regularization
School of Electronic Information and Electrical Engineering（电子信息与电气工程学院）；Shanghai Jiao Tong University（上海交通大学）
针对条件掩码语言模型（CMLM）在非自回归机器翻译中训练与推理时的数据分布差异问题，提出错误暴露与一致性正则化（EECR）方法，通过构建混合序列和一致性学习优化掩码词元预测，在五个基准上平均提升0.68和0.40 BLEU。
2024-02-15 cs.AI cs.CL
Where-to-Unmask: Ground-Truth-Guided Unmasking Order Learning for Masked Diffusion Language Models
The University of Tokyo, Tokyo, Japan（东京大学）
本文提出Gt-Margin方法，通过真实标记计算去掩码顺序，提升MDLM在逻辑推理任务中的生成质量。
2026-02-10 cs.CL
MS-HuBERT: Mitigating Pre-training and Inference Mismatch in Masked Language Modelling methods for learning Speech Representations
IIIT Delhi（德里印度信息技术学院）；Microsoft Research Banglore（微软研究院班加罗尔分院）
针对HuBERT因预训练与推理不匹配及策略差异导致性能落后于data2vec的问题，提出含Swap方法和多簇掩码预测损失的MS-HuBERT，其在Librispeech基准上平均优于原始HuBERT5%，且预训练嵌入可提升ASR等任务性能。
2025-02-18 cs.CL
CoCo-BERT: Improving Video-Language Pre-training with Contrastive Cross-modal Matching and Denoising
Sun Yat-sen University（中山大学）；The Key Laboratory of Machine Intelligence and Advanced Computing (Sun Yat-sen University), Ministry of Education（机器智能与先进计算教育部重点实验室（中山大学））；JD AI Research（京东人工智能研究院）
BERT型结构导致了视觉语言预训练的革命，并在许多视觉语言下游任务上取得了最先进的结果。现有的解决方案主要利用具有掩码令牌的多模态输入来触发基于掩码的代理预训练任务（例如，掩蔽语言建模和掩蔽对象/帧预测）。在这项工作中，我们认为，这种掩盖的输入将不可避免地引入噪声的跨模态匹配代理任务，从而离开固有的视觉语言关联未被探索。作为替代方案，我们推导出用于视频语言预训练的特定形式的跨模态代理目标，即，对比跨模态匹配和去噪（CoCo）。通过将掩蔽帧/字序列视为主要未掩蔽帧/字序列的噪声增强，CoCo通过以对比的方式同时追求掩蔽和未掩蔽输入之间的模态间匹配和模态内去噪来加强视频-语言关联。我们的CoCo代理目标可以进一步集成到任何BERT类型的编码器-解码器结构中，用于视频语言预训练，称为对比跨模态BERT（CoCo-BERT）。我们在TV数据集和新收集的大规模GIF视频数据集（ACTION）上预训练CoCo-BERT。通过对广泛的下游任务（例如，跨模态检索、视频问答和视频描述），我们证明了CoCo-BERT作为预训练结构的优越性。
2021-12-14 cs.AI cs.CL cs.CV
$ρ$-$\texttt{EOS}$: Training-free Bidirectional Variable-Length Control for Masked Diffusion LLMs
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）
$ρ$-$\ exttt{EOS}$ 提出了一种无训练、单阶段策略，通过隐含密度信号实现掩码扩散语言模型的双向可变长度生成，提升推理效率和令牌利用率。
2026-02-07 cs.CL
Tree Reward-Aligned Search for TReASURe in Masked Diffusion Language Models
University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）
针对掩码扩散语言模型树搜索中分支相关和奖励估计高方差问题，提出 TReASURe，通过 UnmaskBranch 与 ResubstituteScore 实现高效低方差测试时奖励对齐。
2025-09-27 cs.CL cs.LG
Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison
Independent Researcher（独立研究者）
本文对比自回归与掩码扩散语言模型，发现两者在训练效率、收敛速度及生成多样性上存在差异，揭示不同训练策略的最优计算方案。
2026-03-23 cs.CL
Improving Contextual Representation with Gloss Regularized Pre-training
ByteDance Inc.（字节跳动公司）
虽然在许多NLP任务上取得了令人印象深刻的结果，但BERT类掩蔽语言模型（MLM）遇到了预训练和推理之间的不一致。鉴于这一差距，我们从词概率分布的角度研究了预训练和推理的语境表征。我们发现，BERT的风险，忽略了上下文的单词相似性在预训练。为了解决这个问题，我们提出了一个辅助光泽正则化模块BERT预训练（GR-BERT），以提高单词的语义相似度。通过预测屏蔽词并同时将上下文嵌入与相应的注释对齐，可以显式地对词相似度进行建模。我们为GR-BERT设计了两种架构，并在下游任务中评估了我们的模型。实验结果表明，光泽正则化有利于BERT在词级和句子级的语义表示。GR-BERT在词汇替换任务中取得了新的进展，并且极大地促进了BERT在无监督和有监督STS任务中的句子表示。
2022-05-13 cs.AI cs.CL cs.LG
Reliable Parallel Decoding in Masked Diffusion Language Models
University of Virginia（弗吉尼亚大学）
针对掩码扩散语言模型并行解码中预测不可靠的问题，提出无需训练的可靠并行解码（RPD）方法，基于逐层稳定性和置信度选择候选，在熵预算下提交，兼顾高吞吐量与准确性。
2026-09-30 cs.AI cs.CL
Edit-Based Refinement for Parallel Masked Diffusion Language Models
CUHK MMLab（香港中文大学多模态实验室）；SenseTime Research（商汤科技研究院）；Shenzhen Loop Area Institute（深圳河套学院）
本文提出ME-DLM框架，通过轻量级后编辑步骤提升平行生成质量与鲁棒性，基于LLaDA实现HumanEval和GSM8K性能提升。
2026-05-10 cs.CL
Length-Adaptive Decoding for Masked Diffusion Machine Translation
Peking University（北京大学）；BYD Company Limited（比亚迪股份有限公司）
针对掩码扩散机器翻译的长度决策问题，提出无训练的Entropy-Valley长度选择器，在多个翻译方向上显著优于基线，性能接近同数据训练的LLaMA-3-8B自回归模型。
2026-08-25 cs.AI cs.CL cs.LG
Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
KAIST AI（韩国科学技术院人工智能学院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
Pivot-SD通过信息增益选择高影响承诺进行自蒸馏，仅用200个问题和四次展开即提升LLaDA-8B-Instruct在数学和代码基准上的表现。
2026-10-05 cs.CL cs.LG
Towards Understanding Pause Token Fine-Tuning Dynamics: A Mode Retention Perspective
HodooAI Lab（HodooAI实验室）；Seoul National University（首尔大学）
该研究从模式保留视角探究停顿标记微调动力学，提出MBP训练规则，在Qwen和Llama模型上提升推理能力并保留通用语言理解，还可扩展至GRPO。
2026-09-07 cs.AI cs.CL
Masked Language Flow Models
CC BY 4.0（知识共享署名4.0国际许可）
提出掩码语言流模型（MLFM），通过连续随机插值将掩码机制融入流语言模型，实现并行生成与多步推理的平衡，首次将流模型扩展到推理和指令跟随任务。
2026-06-29 cs.CL cs.LG
Token-Level Uncertainty-Aware Objective for Language Model Post-Training
Cold Spring Harbor Laboratory（冷泉港实验室）
本研究将因果语言建模的token级不确定性与掩码MLE、自蒸馏两类目标结合，提出二者融合的后训练目标，在多架构和数据集上缓解过拟合、保持适应性并提升性能，为语言模型训练优化提供新机制。
2025-03-15 cs.AI cs.CL
RFG: Self-Improving Diffusion Large Language Models with Reward-Free Guidance
Stanford University（斯坦福大学）
本文提出无奖励引导框架 RFG，通过增强型与参考 dLLM 的对数似然比隐式参数化过程奖励，实现免训练的测试时推理扩展，实验显示最高 9.2% 的准确率提升。
2026-10-06 cs.CL cs.LG
Multi-Stream Residual Computation in Diffusion Language Models
该研究针对扩散语言模型采用多残差流与自适应路由，使双流的重构困惑度较标准残差连接降低5.71%，揭示了流的路由机制对上下文保留与预测优化的作用。
2026-10-14 cs.CL cs.LG
Iterative Mask Filling: An Effective Text Augmentation Method Using Masked Language Modeling
Yildiz Technical University（耶尔德兹技术大学）
本文提出一种基于BERT模型Fill-Mask功能的迭代掩码文本增强方法，通过迭代掩码句子中的单词并用模型预测替换，在多种NLP任务上显著提升性能，尤其在主题分类数据集上效果突出。
2024-01-03 cs.AI cs.CL cs.LG
Improving Discrete Diffusion Unmasking Policies Beyond Explicit Reference Policies
Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院）；School of Computing, KAIST（计算学院，韩国科学技术院）
本文提出了一种基于学习调度器的改进离散扩散解掩策略，通过KL正则化马尔可夫决策过程优化，显著提升了在多个基准测试中的性能。
2026-02-26 cs.AI cs.CL cs.LG
MaskCD: Mitigating LVLM Hallucinations by Image Head Masked Contrastive Decoding
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）
针对大视觉语言模型的幻觉问题，提出利用图像头掩码构建对比样本的MaskCD方法，在多个模型和基准上验证其可缓解幻觉且保留模型通用能力。
2025-10-03 cs.AI cs.CL cs.CV
Text-Conditioned Sampling Framework for Text-to-Image Generation with Masked Generative Models
KAIST（韩国科学技术院）；Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）
针对基于token的掩码生成模型并行采样未考虑token依赖的问题，提出文本条件采样框架TCTS及频率自适应采样策略FAS，显著提升了图像质量与图文对齐度，并将推理时间减少50%以上。
2023-04-04 cs.CL cs.CV cs.LG
