Transforming Causality: Transformer-Based Temporal Causal Discovery with Prior Knowledge Integration
SRI International（SRI国际）
本文提出基于多层Transformer的时间因果发现框架，通过梯度分析提取因果图，并利用注意力掩码融合先验知识以抑制虚假因果，在因果发现F1和滞后估计准确率上均显著超越现有方法。
2025-08-21 cs.LG stat.ML
Disentangling continuous and discrete linguistic signals in transformer-based sentence embeddings
University of Geneva（日内瓦大学）
本研究针对Transformer句子嵌入中语言信号分布式混杂的问题，采用带离散+连续组件的类变分自编码器潜层压缩嵌入，实现了主谓一致、动词交替等语言信号的更清晰分离，推动嵌入向符号化表征关联发展。
2023-12-18 cs.CL
Disentangling Feature Structure: A Mathematically Provable Two-Stage Training Dynamics in Transformers
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院）；School of Mechanical-Electronic and Vehicle Engineering, Beijing University of Civil Engineering and Architecture（北京建筑大学机械电子与车辆工程学院）；School of Statistics and Management, Shanghai University of Finance and Economics（上海财经大学统计与管理学院）
研究Transformer中特征级两阶段训练动态，通过分析解缠结的两类特征结构引发的学习动态，基于简化设置进行研究，得到该理论框架内首个严格结果，且两阶段过程与注意力权重谱特性相关。
2026-07-14 cs.AI cs.CL cs.LG
Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
本文提出一种通用压缩策略，通过跨层重用注意力图移除键和查询参数，并结合掩码蒸馏同时利用掩码与未掩码帧，在SUPERB上取得PER 7.72%和WER 9.96%的成绩。
2023-10-26 cs.CL cs.LG eess.AS
Long-Short Term Masking Transformer: A Simple but Effective Baseline for Document-level Neural Machine Translation
Alibaba Group Inc.（阿里巴巴集团有限公司）
许多文档级神经机器翻译（NMT）系统已经探索了上下文感知架构的实用性，通常需要越来越多的参数和计算复杂性。然而，很少有人注意到基线模型。本文对标准Transformer在文档级翻译中的优缺点进行了深入的研究，发现自回归特性既能带来一致性的优点，又能带来误差累积的缺点。因此，我们提出了一个令人惊讶的简单的长期-短期掩蔽自注意的标准Transformer的顶部，既有效地捕捉长期的依赖性，并减少传播的错误。我们在两个公开的文档级数据集上研究我们的方法。我们可以在BLEU中获得强有力的结果，并捕捉话语现象。
2020-09-19 cs.AI cs.CL
Variable Attention Masking for Configurable Transformer Transducer Speech Recognition
Apple（苹果公司）
本文提出在 Transformer Transducer 中采用训练时从目标分布采样的可变注意力掩码，构建单一可配置模型，以支持流式识别与声学重打分，并改善准确率-延迟权衡。
2023-04-18 cs.CL cs.SD eess.AS
Unlocking Efficiency: Adaptive Masking for Gene Transformer Models
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
本文提出基于点互信息难度准则的课程掩码基因掩码策略CM-GEMS，通过逐步增加掩码预测难度提升基因Transformer预训练效率，在少样本和全数据集基因分类任务中以远少于基线模型的训练步数达到或接近最先进性能。
2024-08-13 cs.CL
Token Masking Improves Transformer-Based Text Classification
University of Pittsburgh School of Computing and Information（匹兹堡大学计算机与信息学院）
本文提出以概率 p 随机替换输入 token 的 token masking regularization，并在 mBERT、Qwen2.5-0.5B 和 TinyLlama-1.1B 上验证其可稳定提升文本分类性能。
2025-05-16 cs.AI cs.CL
Beyond Image-Text Matching: Verb Understanding in Multimodal Transformers Using Guided Masking
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；George Mason University（乔治梅森大学）
针对现有图文匹配探测方法难以有效评估多模态模型动词理解能力的问题，提出引导掩码探测策略，通过掩码消融模态验证模型预测掩码词的能力，在多个经典多模态模型上验证了其动词理解的有效性。
2024-01-29 cs.CL cs.CV
Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis
研究揭示Transformer表示中方向与幅度在语言建模和语法处理中的不同作用，通过L2匹配扰动分析发现方向扰动影响注意力路径，幅度扰动影响语法判断，且解离依赖于架构选择。
2026-01-19 cs.AI cs.CL cs.LG
Loss Masking Is Not Needed in Decoder-only Transformer for Discrete-token-based ASR
Alibaba Group（阿里巴巴集团）
针对解码器专用Transformer在离散词元ASR中依赖损失掩蔽的问题，提出平滑标签蒸馏（SLD）方法，以自回归方式建模语音词元，实验证明SLD优于损失掩蔽。
2024-02-05 cs.CL cs.SD eess.AS
Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers
Sun Yat-sen University（中山大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）
本文介绍了ReasonFormer，一个统一的推理框架，用于反映人类在复杂决策中的模块化和组合推理过程。受认知科学中双加工理论的启发，表征模块（自动思维）和推理模块（控制思维）被解耦，以捕获不同层次的认知。在表示模块的顶部，预先训练的推理模块是模块化的，并且在特定和基本的推理技能方面是专业的（例如，逻辑、简单QA等）。为了模拟受控组合思维过程，不同的推理模块被动态激活，并以并行和级联的方式组合，以控制激活什么推理技能以及推理过程将达到多深以解决当前问题。统一推理框架用单个模型解决多个任务，并以端到端的方式进行训练和推理。在11个需要不同推理技能和复杂性的数据集上进行评估，ReasonFormer表现出显著的性能提升，揭示了组合推理能力。Few-Shot实验通过学习为有限数据的新任务组合预训练技能，并将表示模块和推理模块解耦，从而表现出更好的泛化能力。进一步的分析表明，推理模块的模块化，不同的任务激活不同的推理技能在不同的推理深度。
2022-12-07 cs.CL
Word Order Matters when you Increase Masking
École Normale Supérieure-PSL（巴黎高等师范学院-巴黎文理研究大学）；CNRS（法国国家科学研究中心）；U. Sorbonne Nouvelle（新索邦大学）；University of Pisa（比萨大学）
词序是自然语言的一个基本属性，使用位置编码将词序注入到基于transformer的神经语言模型中。然而，最近的实验表明，显式位置编码并不总是有用的，因为一些没有这种功能的模型设法在某些任务上实现了最先进的性能。为了更好地理解这种现象，我们检查了去除位置编码对预训练目标本身的影响（即，掩蔽语言建模），以测试模型是否可以单独从同现重构位置信息。我们通过控制输入句子中的掩蔽标记的数量来实现这一点，作为影响任务位置信息重要性的代理。我们发现，位置信息的必要性随着掩蔽量的增加而增加，并且没有位置编码的掩蔽语言模型无法在任务上重建此信息。这些发现指向掩蔽量和Transformers使用位置编码捕获语言的顺序敏感方面的能力之间的直接关系。
2022-11-08 cs.CL cs.LG cs.NE
StableMask: Refining Causal Masking in Decoder-only Transformer
Zhejiang University（浙江大学）；Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）；Eastern Institute of Technology（东方理工大学）
针对解码器专用Transformer中因果掩码的局限，提出无参数方法StableMask，通过伪注意力值和递减掩码比率平衡注意力并编码绝对位置，提升71M至1.4B参数模型性能，支持高效外推与集成。
2024-02-07 cs.AI cs.CL
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST（韩国科学技术院）；AITRICS（艾崔克斯）
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本，这样我们就可以有效地适应特定的目标任务（例如问答）的语言模型。具体而言，我们提出了一种新的基于强化学习的框架，该框架学习掩蔽策略，使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习，并提出了一个基于transformer的策略网络，可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型，通过自动学习最佳自适应掩码，在几个问答和文本分类数据集上验证了我们的神经掩码生成器（NMG），在这些数据集上，它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
Robust Infidelity: When Faithfulness Measures on Masked Language Models Are Misleading
University of Ottawa（渥太华大学）；American University（美利坚大学）
本文指出基于迭代掩码计算忠实度指标来比较神经文本分类器可解释性存在陷阱，该属性更适合描述为“对迭代掩码的敏感性”，并发现其会导致分布外嵌入和不可预测行为，从而为解释该指标提供指导。
2024-05-31 cs.CL cs.LG
InnerThoughts: Disentangling Representations and Predictions in Large Language Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；McGill University（麦吉尔大学）
提出独立小型神经网络预测器模块，利用LLM所有层的隐藏状态进行预测，解耦表示与预测能力，在困难基准上以极低计算成本实现媲美监督微调的性能提升。
2025-01-29 cs.CL cs.LG
Pre-Training with Whole Word Masking for Chinese BERT
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
来自Transformers的双向编码器表示（BERT）在各种NLP任务中表现出了惊人的改进，并且已经提出了其连续变体，以进一步提高预训练的语言模型的性能。在本文中，我们的目标是首先介绍了整个词掩蔽（wwm）的策略，中文BERT，随着一系列的中文预训练语言模型。然后，我们还提出了一个简单但有效的模型称为MacBERT，它在几个方面改进了RoBERTa。特别是，我们提出了一个新的掩蔽策略称为MLM校正（Mac）。为了证明这些模型的有效性，我们创建了一系列中文预训练语言模型作为我们的基线，包括BERT，RoBERTa，ELECTRA，RBT等。我们对十个中文NLP任务进行了广泛的实验，以评估创建的中文预训练语言模型以及建议的MacBERT。实验结果表明，MacBERT可以在许多NLP任务上实现最先进的性能，我们还通过一些可能有助于未来研究的发现来消除细节。我们将预先训练好的语言模型开源，以进一步促进我们的研究社区。相关资源：https://github.com/ymcui/Chinese-BERT-wwm
2021-11-25 cs.CL cs.LG
Mitigating Confounding in Speech-Based Dementia Detection through Weight Masking
University of Minnesota（明尼苏达大学）；University of Washington（华盛顿大学）
本文针对基于语音的痴呆检测中的性别混杂问题，提出扩展混杂过滤器和双重过滤器两种权重掩蔽方法，通过消融性别相关权重获得去混杂分类器，在略微降低检测性能的同时缓解过拟合。
2025-06-05 cs.CL
Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、信息研究所）；Orange Innovation（Orange创新）
通过将位置和语义信号分离为三个独立流，研究Transformer中位置编码的机制，发现解缠方法能保留宏观结构并提升语言表示性能。
2026-09-03 cs.AI cs.CL
Grammatically-Guided Sparse Attention for Efficient and Interpretable Transformers
Independent Researcher（独立研究者）
提出语法引导的稀疏注意力方法，通过词性标签动态生成注意力掩码，在保持精度的同时降低计算复杂度。
2026-05-23 cs.AI cs.CL
Dynamic Masking Rate Schedules for MLM Pretraining
MosaicML；Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；DatologyAI
针对BERT等掩码语言模型固定15%掩码率的局限，提出动态调度掩码率的方法。在预训练中线性降低掩码率不仅提升了GLUE准确率，还实现了最高1.89倍的加速和帕累托改进。
2024-02-10 cs.AI cs.CL
A text autoencoder from transformer for fast encoding language representation
Nanyang Technological University（南洋理工大学）
近年来，BERT在自然语言处理任务中显示出明显的优势和巨大的潜力。然而，无论是训练还是应用BERT都需要大量的时间和资源来计算上下文语言表示，这阻碍了它的通用性和适用性。为了克服这一瓶颈，我们提出了一个深度双向语言模型，在注意层使用窗口掩蔽机制。这项工作计算上下文语言表示没有随机掩蔽在BERT，并保持像BERT深双向架构。为了计算相同的句子表示，我们的方法显示O（n）的复杂度低于其他基于转换器的模型O（$n^2$）。为了进一步证明其优越性，在CPU环境下进行计算上下文语言表示，通过使用所提出的方法的嵌入，逻辑回归在SMS分类方面显示出更高的准确性。此外，所提出的方法在语义相似性任务中也取得了显着的更高性能。
2021-11-04 cs.AI cs.CL
Disentangling Syntax and Semantics in the Brain with Deep Networks
Inria（法国国家信息与自动化研究所）；Facebook AI Research（脸书人工智能研究院）；École normale supérieure（巴黎高等师范学院）；PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）
像GPT-2这样的语言Transformers的激活已经被证明在语音理解过程中线性映射到大脑活动。然而，这些激活的性质在很大程度上仍然是未知的，可能会混淆不同的语言类。在这里，我们提出了一个分类法分解成四个组合类的语言模型的高维激活：词汇，成分，句法和语义表示。然后，我们引入了一种统计方法来分解，通过GPT-2的激活镜头，功能性磁共振成像（fMRI）记录的345名受试者在听~4.6小时的叙述文本的大脑活动。结果突出了两个发现。首先，成分表征比词汇表征招募了更广泛的皮层网络，包括双侧颞叶、顶叶和前额叶皮层。第二，与先前的主张相反，语法和语义并不与分离的模块相关联，而是似乎共享一个共同的分布式神经基质。总体而言，这项研究介绍了一个通用的框架，隔离，在大脑活动中，语言结构的分布式表示。
2021-06-15 cs.CL cs.LG q-bio.NC
Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity
Lacuna Inc.（拉库纳公司）；HSE University（俄罗斯高等经济学院）
研究叙事相似性评估难题，用混合状态空间模型避免标准Transformer二次瓶颈，引入结构门控对齐头，在不同任务中验证从词汇变体中分离结构不变量可助力深度叙事理解。
2026-07-07 cs.CL
Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation
Fudan University（复旦大学）
在不成对的文本风格迁移中，普遍存在着在潜空间中将内容与风格分离的现象。然而，目前大多数神经模型存在两个主要问题。1)很难从句子的语义中完全剥离样式信息。2)基于递归神经网络（RNN）的编码器和解码器以潜在表示为中介，不能很好地处理长期依赖性问题，导致非风格语义内容的保存较差。本文提出了风格转换器Transformer，它不需要对源语句的潜在表征做任何假设，而是在Transformer中加入了注意力机制，以实现更好的风格转换和更好的内容保持。
2019-08-20 cs.CL
Arabic Hate Speech Identification and Masking in Social Media using Deep Learning Models and Pre-trained Models Fine-tuning
Faculty of Information Technology（信息科技学院）；Islamic University of Gaza（加沙伊斯兰大学）
本研究针对社交媒体阿拉伯语仇恨言论，提出用深度学习及transformers模型检测仇恨言论、以机器翻译任务实现不良文本掩码的方法，检测任务宏F1达92%、准确率95%，掩码任务1-gram BLEU达0.3。
2025-07-31 cs.CL
LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
自我监督的预训练技术在文档AI中取得了显着进展。大多数多模态预训练模型使用掩蔽语言建模目标来学习文本模态的双向表示，但它们在图像模态的预训练目标上有所不同。这种差异增加了多模态表示学习的难度。在本文中，我们提出了\textbf{LayoutLMv3}来预训练多模态Transformers，用于具有统一文本和图像掩蔽的文档AI。此外，LayoutLMv3使用单词补丁对齐目标进行预训练，以通过预测文本单词的相应图像补丁是否被掩蔽来学习跨模态对齐。简单的统一架构和训练目标使LayoutLMv3成为以文本为中心和以图像为中心的文档AI任务的通用预训练模型。实验结果表明，LayoutLMv3不仅在以文本为中心的任务（包括表单理解、收据理解和文档视觉问答）中实现了最先进的性能，而且在以图像为中心的任务（如文档图像分类和文档布局分析）中也实现了最先进的性能。代码和模型可在\url{https://aka.ms/layoutlmv3}上公开获得。
2022-07-19 cs.CL cs.CV
Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations
The Hong Kong Polytechnic University（香港理工大学）
针对自监督语音模型在话语级任务中需监督微调的问题，提出结合HuBERT聚类单元的神经因子分析方法，通过概率推断解耦话语级表示，以变分下界为话语级目标优化模型，仅用20%标注数据就在SUPERB基准非语义话语级任务上超越WavLM。
2023-10-04 cs.CL cs.LG cs.SD
Investigating Masking-based Data Generation in Language Models
本文探究了基于掩码语言模型（MLM）的数据增强方法在自然语言处理下游任务中的更广泛应用，指出该技术能简单高效地提升模型性能。
2023-06-16 cs.AI cs.CL
