LLM Biases
Guanghua School of Management, Peking University（北京大学光华管理学院）；Rotman School of Management, University of Toronto（多伦多大学罗特曼管理学院）
本文研究了基于Transformer的生成推荐系统中四种系统性偏见机制，指出其可能影响长期多样性和用户选择，强调需关注运营风险而非仅依赖性能指标。
2026-04-07 cs.AI cs.CY
Flat Multi-modal Interaction Transformer for Named Entity Recognition
South China University of Technology（华南理工大学）；International Digital Economy Academy (IDEA)（国际数字经济研究院（IDEA））
多模态命名实体识别（MNER）旨在借助图像识别社交媒体帖子中的实体跨度并识别其类别。然而，在主流的MNER方法中，不同模态之间的交互通常是通过自我注意和交叉注意的交替或过度依赖选通机制来进行的，这导致文本和图像的细粒度语义单元之间的对应不精确和有偏见。为了解决这个问题，我们提出了一个平面多模态交互Transformer（FMIT）的MNER。具体来说，我们首先利用句子中的名词短语和一般领域词来获得视觉线索。然后，我们将视觉和文本的细粒度语义表示转换为统一的格结构，并设计一种新型的相对位置编码来匹配Transformer中的不同模态。同时，我们建议利用实体边界检测作为辅助任务，以减轻视觉偏见。实验表明，我们的方法实现了新的国家的最先进的性能在两个基准数据集。
2023-03-09 cs.CL cs.CV
Gender Bias in Transformer Models: A comprehensive survey
The Brookings Institution（布鲁金斯学会）；Princeton University（普林斯顿大学）
本文从语言学视角全面综述Transformer模型中的性别偏见，批判性分析现有评估方法与指标，识别其局限性，并探讨对下游应用的影响，为未来研究提供方向。
2023-06-18 cs.AI cs.CL
Unlocking Bias Detection: Leveraging Transformer-Based Models for Content Analysis
Vector Institute（向量研究所）；University of Mysore（迈索尔大学）
针对传统语言模型偏见检测泛化性差、多聚焦句子级单任务的问题，提出融合上下文与实体Transformer的CBDT分类器，制备专用数据集，实验验证其在偏见识别与定位上的有效性，并公开标注数据集。
2024-04-17 cs.AI cs.CL
Experiments in News Bias Detection with Pre-Trained Neural Transformers
Information Access Research Group, Coburg University of Applied Sciences（信息获取研究组、科堡应用科学大学）；University of Sheffield, Department of Computer Science（谢菲尔德大学计算机科学系）
本文通过对比多种预训练语言模型，探讨了新闻偏见检测与子类型分类的有效性及性能表现。
2024-06-14 cs.AI cs.CL
Using Artificial French Data to Understand the Emergence of Gender Bias in Transformer Language Models
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Université Paris Cité（巴黎西岱大学）
本研究使用基于法语的 PCFG 生成人工语料库以精确控制性别分布，探究 Transformer 语言模型在何种条件下能正确捕获性别信息或产生性别偏见。
2023-10-24 cs.AI cs.CL
Bias A-head? Analyzing Bias in Transformer-Based Language Model Attention Heads
University of Notre Dame（圣母大学）
本文提出偏见分析框架，识别BERT和GPT中导致刻板印象偏见的少数注意力头，并通过实验揭示其行为机制，为模型公平性评估与偏见缓解提供依据。
2024-06-16 cs.CL
Gender Biases and Where to Find Them: Exploring Gender Bias in Pre-Trained Transformer-based Language Models Using Movement Pruning
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
语言模型去偏已经成为自然语言处理领域的一个重要研究领域。提出了许多去偏置技术，但偏置消融仍然是一个未解决的问题。我们展示了一种新的框架，用于通过运动修剪来检查预训练的基于transformer的语言模型中的偏差。给定一个模型和一个去偏置目标，我们的框架会找到一个包含比原始模型更少偏差的模型子集。我们通过修剪模型来实现我们的框架，同时根据去偏目标对其进行微调。优化的只是修剪分数--与模型权重相结合的参数，这些参数充当门。我们尝试修剪注意力头部，这是Transformers的一个重要组成部分：我们修剪正方形块，并建立了一种修剪整个头部的新方法。最后，我们展示了我们的框架使用性别偏见，并根据我们的研究结果，我们提出了一个改进现有的去偏置方法。此外，我们重新发现了一个偏差-性能权衡：模型性能越好，它包含的偏差就越多。
2022-07-06 cs.CL
Identifying and Adapting Transformer-Components Responsible for Gender Bias in an English Language Model
University of Amsterdam（阿姆斯特丹大学）；Pegasystems（佩加系统公司）；Institute for Logic, Language & Computation（逻辑、语言与计算研究所）
本文研究了三种识别语言模型中导致性别偏见的组件的方法，并利用发现的组件进行参数高效微调，成功缓解偏见且对通用性能损害更小。
2023-10-19 cs.AI cs.CL
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale
DeepMind（深度思维）；University of Oxford（牛津大学）
我们介绍了Transformer语法（TG），一类新的Transformer语言模型，结合（i）的表达能力，可扩展性，和强大的性能的Transformers和（ii）递归语法组合，这在这里是通过一个特殊的注意掩码和确定性变换的线性树。我们发现，TG优于各种强大的基线上的高级语言建模的困惑，以及多个语法敏感的语言建模评估指标。此外，我们发现，递归的句法组合瓶颈，代表每个句子作为一个单一的向量损害困惑的文档级语言建模，提供证据表明，一种不同的记忆机制-一个是独立的组成的句法表示-在当前成功的模型中起着重要作用的长文本。
2022-12-06 cs.CL
Exploiting Transformer-based Multitask Learning for the Detection of Media Bias in News Articles
University of Wuppertal（伍珀塔尔大学）；University of Konstanz（康斯坦茨大学）；University of Passau（帕绍大学）；Institute for Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研发研究院）；University of Kassel（卡塞尔大学）；NII Tokyo（东京国立信息学研究所）
媒体对公众对事件的看法有重大影响。对任何话题的片面或两极分化的观点通常被描述为媒体偏见。在新闻报道中引入偏见的方法之一就是改变用词。有偏见的词语选择并不总是显而易见的，也不表现出高度的上下文依赖性。因此，检测偏差往往是困难的。我们提出了一个基于transformer的深度学习架构，通过多任务学习训练，使用六个偏见相关的数据集来解决媒体偏见检测问题。我们的最佳性能实现达到了0.776的宏$F_{1}$，与我们的基线相比，性能提高了3%，优于现有的方法。我们的研究结果表明，多任务学习作为一个有前途的替代方案，以改善现有的基线模型，在确定倾斜的报告。
2022-11-07 cs.CL
LayerNorm Induces Recency Bias in Transformer Decoders
KAIST（韩国科学技术院）；Microsoft Research（微软研究院）
研究揭示Transformer解码器中层归一化与自注意力机制相互作用导致近期偏差的机制，分析残差连接和输入嵌入分布的影响，提出改进位置编码的新思路。
2026-04-20 cs.CL cs.LG
Representation biases in sentence transformers
IMS, University of Stuttgart（斯图加特大学IMS研究所）
专门用于生成完整句子表示的BERT架构的变体在下游任务上通常比从普通BERT中提取的句子嵌入实现更好的性能。然而，对于输入的哪些属性决定了这种表示的属性，仍然知之甚少。在这项研究中，我们构建了几组句子与预定义的词汇和句法结构，并表明SOTA句子Transformers有很强的名词参与者集的偏见：句子对之间的余弦相似性更强烈地确定了重叠的集合中的名词参与者比有相同的谓词，冗长的名词修饰语，或numerts。与此同时，参与者的精确句法-主位功能在很大程度上是不相关的。
2023-01-30 cs.CL
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
随着基于transformer的模型的出现，机器翻译取得了快速的进展。这些模型没有显式的语言结构，但它们仍然可以通过关注相关的标记来隐式地学习结构化关系。我们假设，这种结构学习可以通过明确赋予Transformers结构偏差来变得更加强大，我们研究了两种方法来构建这种偏差。TP-Transformer是一种扩展传统Transformer体系结构的方法，它包括一个额外的组件来表示结构。第二种方法通过形态标记化对数据进行分割，从而在数据级别上注入结构。我们测试这些方法从英语翻译成形态丰富的语言，土耳其语和因纽特语，并考虑自动指标和人类的评价。我们发现，这两种方法都可以使网络获得更好的性能，但这种改进取决于数据集的大小。总之，结构化编码方法使Transformers更具采样效率，使它们能够从更少量的数据中获得更好的性能。
2022-08-11 cs.CL
Linear Recency Bias During Training Improves Transformers' Fit to Reading Times
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）
为弥合标准Transformer无损上下文表征与人类语言加工记忆衰减特性的差距，本研究引入带ALiBi近因偏差的Transformer，发现其惊奇值对阅读时长拟合更优，且斜率混合通过支持不同语言依赖追踪助力提升。
2024-09-17 cs.CL
Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages?
Georgetown University（乔治城大学）
本文检验句法归纳偏置方法在五种低资源语言上的效果，发现其在低资源场景下结果不一致且多数情况下收益甚微。
2023-11-01 cs.CL
Explaining News Bias Detection: A Comparative SHAP Analysis of Transformer Model Decision Mechanisms
Technical University of Munich（慕尼黑技术大学）；Sapienza University of Rome（罗马萨皮恩扎大学）
本研究通过SHAP分析比较了两种变压器模型在新闻偏见检测中的决策机制，发现不同架构在处理语言偏见时存在显著差异，领域适应性模型更准确，减少了假阳性。
2025-12-29 cs.AI cs.CL cs.HC
On the locality bias and results in the Long Range Arena
Technical University of Madrid（马德里理工大学）
本文揭示LRA基准实际主要衡量短程依赖，指出Transformer与SSM等架构的性能差异源于局部性偏差，并提出通过训练技巧和位置编码提升Transformer至最优，同时建议重新设计基准。
2025-01-24 cs.AI cs.CL
Simplicity Bias in Transformers and their Ability to Learn Sparse Boolean Functions
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；University of Oxford（牛津大学）；Cohere（Cohere公司）
本文通过布尔函数实证研究揭示 Transformer 相比 LSTM 更偏向低敏感度函数，并在稀疏布尔函数上表现出更强抗噪泛化能力，从而解释了其实际泛化优势。
2023-07-10 cs.CL cs.LG
Detecting Gender Bias in Transformer-based Models: A Case Study on BERT
University of Connecticut（康涅狄格大学）；University of New Mexico（新墨西哥大学）；George Mason University（乔治梅森大学）；Illinois Institute of Technology（伊利诺伊理工学院）；Stevens Institute of Technology（斯蒂文斯理工学院）
在本文中，我们提出了一种新的性别偏见检测方法，利用注意力地图的transformer为基础的模型。通过对注意力模块的修改，设计了性别偏见检测器; 3）将性别偏见检测器插入到模型的不同位置，以呈现性别偏见的内部流程，4）通过扫描整个维基百科（一个BERT预训练数据集）得出一致的性别偏见结论。我们观察到：1）注意力矩阵，Wq和Wk比其他模块引入更多的性别偏见（包括嵌入层）和2）偏差度在模型内部周期性地变化（注意矩阵Q，K，V，以及注意层的剩余部分（包括全连接层，剩余连接，以及层归一化模块）增强了性别偏差，而平均注意力减小了偏差）。
2021-10-15 cs.CL cs.LG
Exploring and Mitigating Gender Bias in Encoder-Based Transformer Models
Department of Computer Science and Engineering BRAC University（计算机科学与工程系 BRAC大学）
本文研究了BERT等基于编码器的Transformer模型中的性别偏见，提出了量化偏见的新指标MALoR和基于反事实数据增强的持续预训练缓解方法，显著降低了偏见得分且不损害下游任务性能。
2025-11-01 cs.CL
Reward Modeling for Mitigating Toxicity in Transformer-based Language Models
Concordia University（康考迪亚大学）
基于转换器的语言模型能够生成流畅的文本，并且能够有效地适应各种自然语言生成任务。然而，在大型未标记的Web文本语料库上预训练的语言模型已被证明患有退化的有毒内容和社会偏见行为，从而阻碍了它们的安全部署。人们提出了各种解毒方法来减轻语言模型的毒性;然而，当提示包含与性别、种族或宗教相关的特定社会身份时，这些方法难以解毒语言模型。在这项研究中，我们提出了一种基于强化学习的方法，用于减轻语言模型中的毒性。我们解决了语言模型的安全性的挑战，并提出了一个新的奖励模型，能够检测有毒的内容，并减轻对社会身份的毒性预测无意中的偏见。实验结果表明，基于Reinforce-Defenefy的语言模型去毒方法在自动评价指标上优于现有的去毒方法，表明了该方法在语言模型去毒方面的能力，并且在生成的内容中不容易产生对社会身份的非故意偏见。
2022-07-27 cs.AI cs.CL
On Biasing Transformer Attention Towards Monotonicity
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
自然语言处理中的许多序列到序列任务在源序列和目标序列之间的对齐中是大致单调的，并且先前的工作已经通过专门的注意函数或预训练促进或加强了单调注意行为的学习。在这项工作中，我们引入了一个单调性损失函数，这是兼容的标准注意力机制和测试它的几个序列到序列的任务：字形到音素转换，形态变化，音译，和方言规范化。实验表明，我们可以实现很大程度上单调的行为。性能好坏参半，在RNN基线之上有更大的增益。一般的单调性不利于Transformer多头注意力，然而，当只有一部分头偏向单调行为时，我们看到了孤立的改进。
2021-04-08 cs.CL
A distributional simplicity bias in the learning dynamics of transformers
International School for Advanced Studies（国际先进研究学校）
本研究发现自监督训练的Transformer存在分布性简单性偏差，会按序学习词元多体相互作用，低阶先饱和，同时提出数据集克隆方法以支撑该分析，拓展了相关研究路径。
2025-02-14 cs.CL
Transformers Learn Low Sensitivity Functions: Investigations and Implications
University of Southern California（南加州大学）
本研究将输入逐token随机扰动的敏感度作为统一指标，揭示Transformer的低敏感度归纳偏置及其在鲁棒性、损失景观和平坦性、grokking进度衡量中的启示，并通过理论与实验验证其优于MLP、CNN等架构。
2025-02-13 cs.AI cs.CL cs.LG
Effects of Parameter Norm Growth During Transformer Training: Inductive Bias from Gradient Descent
Allen Institute for AI（艾伦人工智能研究所）；New York University（纽约大学）；University of Washington（华盛顿大学）；Bar Ilan University（巴伊兰大学）；Hebrew University of Jerusalem（希伯来大学）
众所周知，像广泛采用的Transformer这样的神经网络的容量非常高。有证据表明，由于训练程序中的归纳偏差，它们成功地学习，通常是梯度下降（GD）的变体。为了更好地理解这种偏差，我们研究了Transformer参数在训练过程中幅度增长的趋势（$\ell_2$范数），以及它对自注意力层内的涌现表征的影响。从经验上讲，我们记录了Transformer语言模型训练中的规范增长，包括预训练期间的T5。随着参数的增长，我们证明了网络近似饱和激活函数的离散网络。已知这种“饱和”网络与可以用形式语言和自动机描述的完整网络族相比具有减小的容量。我们的研究结果表明，饱和度是一个新的表征的感应偏置隐含在GD的特别感兴趣的NLP。我们利用饱和的Transformer中涌现的离散结构来分析不同注意力头的作用，发现一些注意力集中在少数位置上，而其他注意力头计算全局平均值，允许计数。我们相信理解这两种能力之间的相互作用可能会进一步阐明大型Transformers中的计算结构。
2023-03-07 cs.CL cs.LG
ID-XCB: Data-independent Debiasing for Fair and Accurate Transformer-based Cyberbullying Detection
Queen Mary University of London（伦敦玛丽女王大学）
针对脏话代理收集策略导致的虚假关联偏差，本文提出首个数据无关去偏技术ID-XCB，结合对抗训练、偏差约束与去偏微调，在保持检测性能的同时有效缓解偏差并优于现有方法。
2024-02-27 cs.CL
Applications of the Transformer Architecture in AI-Assisted English Reading Comprehension
Shandong Management University（山东管理大学）
本文研究了可解释且公平的人工智能架构，通过整合先进的注意力机制和梯度特征归因方法，提升英语阅读理解的准确性与公平性。
2026-04-26 cs.AI cs.CL
Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models
University of Colorado（科罗拉多大学）
深度学习序列模型已成功应用于形态学拐点的任务。SIGMORPHON共享任务在过去几年中的结果表明，这样的模型可以表现良好，但前提是训练数据覆盖大量不同的引理，或者在训练中也可以看到在测试时发生变化的引理，就像这些任务中的情况一样。令人惊讶的是，标准模型，如Transformer，当被要求改变以前看不见的词元时，几乎完全无法概括变化模式-即在“wug测试”-类似的情况下。虽然建立的数据增强技术可以用来减轻这一缺点，通过引入复制偏见幻觉合成新词形式使用的字母在手头的语言，我们表明，为了更有效，幻觉过程需要注意的子串的音节长度，而不是个别字符或茎。我们报告了一个显着的性能改善与我们的基于子串的幻觉模型比以前的数据幻觉方法时，训练和测试数据不重叠，在他们的引理。
2021-04-13 cs.CL
Measuring Social Biases in Masked Language Models by Proxy of Prediction Quality
New York University（纽约大学）
本文提出基于预测质量的代理函数，在迭代掩码实验中测量掩码语言模型的社会偏见，发现所提方法比现有基准评估更准确、更敏感，尤其能更好估计重新训练后引入的偏见。
2025-02-05 cs.CL
Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs
LIPN（巴黎第十三大学信息与通信科学实验室）；Université Sorbonne Paris Nord（巴黎第十三大学）；CNRS（法国国家科学研究中心）；INRIA Paris（巴黎法国国家信息与自动化研究所）
我们提出了一个生成模型的文本生成，表现出解开潜在的语法和语义表示。与以前的工作相反，该模型不需要句法信息，如选区分析，或语义信息，如释义对。我们的模型完全依赖于在基于注意力的架构（如Transformers）中发现的感应偏差。在Transformers的注意中，键处理信息选择，而值指定传达什么信息。我们的模型，被称为QKVAE，在其解码器中使用注意力来读取潜变量，其中一个潜变量推断密钥，而另一个潜变量推断值。我们运行的实验，潜在的代表性和实验的语法/语义转移表明，QKVAE显示出清晰的迹象，解开语法和语义。我们还表明，与监督模型相比，我们的模型显示出具有竞争力的语法传输能力，并且可比的监督模型需要相当大量的数据（超过50 K个样本）才能在语法和语义传输方面表现出色。我们实验的代码是公开的。
2022-05-19 cs.CL cs.LG
Transformer Language Models Handle Word Frequency in Prediction Head
Tohoku University（东北大学）；RIKEN（理化学研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究通过BERT和GPT-2实验揭示预测头偏置参数在反映词频中的关键作用，并证明控制偏置可在不降低文本质量的前提下提升生成多样性。
2023-05-29 cs.CL
Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?
Apple（苹果公司）；Google Research（谷歌研究院）；DeepMind（深度思维）
人们对Transformer模型的标度特性非常感兴趣。然而，在研究不同电感偏置和模型架构的标度特性的影响方面，还没有做太多的工作。模型架构的扩展方式是否不同？如果是这样的话，感应偏置是如何影响标度行为的？这是如何影响上游（预培训）和下游（转移）的？本文系统地研究了十种不同的模型架构的缩放行为，如Transformers，Switch Transformers，Universal Transformers，Dynamic convolutions，Performers和最近提出的MLP-Mixers。通过大量的实验，我们证明了（1）在进行缩放时，架构确实是一个重要的考虑因素，（2）性能最好的模型可以在不同的尺度上波动。我们相信，在这项工作中概述的结果有显着的影响，如何模型架构目前在社区中进行评估。
2022-07-21 cs.CL cs.LG
TableFormer: Robust Transformer Modeling for Table-Text Encoding
Georgia Institute of Technology（佐治亚理工学院）；Google Assistant（谷歌助手）
表格理解是自然语言理解的一个重要方面。现有的表格理解模型需要表格结构的线性化，其中行或列顺序被编码为不必要的偏差。这种虚假的偏见使模型容易受到行和列顺序扰动。此外，以前的工作没有彻底建模的表结构或表文本对齐，阻碍了表文本的理解能力。在这项工作中，我们提出了一个强大的和结构感知的表格文本编码架构TableFormer，表格结构偏见完全通过学习的注意力偏见。TableFormer（1）严格不改变行和列的顺序，（2）由于其表格归纳偏差，可以更好地理解表格。我们的评估表明，TableFormer在SQA，WTQ和TabFact表推理数据集的所有设置中均优于强基线，并在SQA上实现了最先进的性能，特别是在面对答案不变的行和列顺序扰动时（比最佳基线提高6%），因为以前的SOTA模型在面对此类扰动时性能下降4% - 6%，而TableFormer不受影响。
2022-05-03 cs.CL
Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling
Fudan University（复旦大学）；Westlake University（西湖大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海市智能信息处理重点实验室）
提出层特定位置嵌入缩放方法，通过遗传算法优化各层缩放因子，无需微调或增加延迟，有效缓解长上下文中的位置偏差，在关键值检索任务上准确率提升11.2%。
2026-06-29 cs.CL
Tree Transformers are an Ineffective Model of Syntactic Constituency
University of Colorado（科罗拉多大学）
研究表明，旨在提供句法成分结构归纳偏向的树转换器（Tree Transformer），在预训练语言模型中未学习到有意义的成分结构，且在相关错误检测任务上无显著有效改进，并非有效模型。
2024-11-25 cs.CL
Sneaking Syntax into Transformer Language Models with Tree Regularization
Stanford University（斯坦福大学）
本研究提出TreeReg树正则化辅助损失，将银标句法结构转化为可微正交约束软性注入Transformer，无需改架构，能提升模型分布外性能、句法泛化能力与数据效率，对预训练LLM也有效。
2025-03-23 cs.CL
A Domain-adaptive Pre-training Approach for Language Bias Detection in News
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；University Göttingen（哥廷根大学）
媒体偏见是一个多方面的结构，影响个人行为和集体决策。新闻报道的偏颇是片面性和两极化写作的结果，其表现形式多种多样。在这项工作中，我们专注于媒体偏见的一种重要形式，即偏见的文字选择。由于语言的复杂性和缺乏具有代表性的金标准语料库，检测有偏见的词汇选择是一项具有挑战性的任务。我们提出了DA-RoBERTa，一个新的国家的最先进的变压器为基础的模型，适用于媒体的偏见域，确定与F1得分为0.814的水平偏差。此外，我们还训练，DA-BERT和DA-BART，两个更Transformer模型适应偏置域。我们提出的域适应模型在相同的数据上优于先前的偏差检测方法。
2022-05-22 cs.CL cs.LG
Injecting structural hints: Using language models to study inductive biases in language learning
Stanford University（斯坦福大学）
本文通过向transformer语言模型注入递归层级处理、非上下文无关交叉关系和Zipfian词汇分布三种归纳偏置，发现非上下文无关关系是最佳归纳偏置，为理解人类与机器的语言学习机制提供了新假设。
2023-10-29 cs.CL
How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias
The Ohio State University（俄亥俄州立大学）；University of Virginia（弗吉尼亚大学）
本文从理论上分析了单层Transformer在梯度下降下学习正则语言识别任务的训练动力学，揭示了注意力层与线性层联合训练呈现两阶段特征，并验证了引入Chain-of-Thought对解决复杂任务的必要性。
2025-05-28 cs.CL cs.LG stat.ML
On the "Induction Bias" in Sequence Models
Qualcomm AI Research is an initiative of Qualcomm Technologies, Inc（高通人工智能研究，由高通技术公司发起）
通过大规模实验比较Transformer和RNN在状态跟踪任务上的数据效率，发现Transformer需要更多训练数据且难以跨长度共享权重，而RNN通过权重共享实现有效学习。
2026-05-29 cs.CL cs.LG
A Simple yet Effective Self-Debiasing Framework for Transformer Models
Xiamen University（厦门大学）；Baidu Inc.（百度公司）；University of Michigan（密歇根大学）
针对 Transformer NLU 模型依赖数据集偏差、难以处理 OOD 样本的问题，本文利用低层偏差特征多、无偏特征少的特点，提出低层分类器加残差连接的自去偏框架，并在全部 OOD 测试集上达到新 SOTA。
2023-06-02 cs.CL
Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
Makerere University（马凯雷雷大学）
该研究识别出ViT家族中存在关注医学胸部X射线注释的虚假注意力头，其无法被输出级评估检测，机制审计可发现行为测试遗漏的偏差。
2026-10-16 cs.CL cs.CV
Learning Language Representations with Logical Inductive Bias
Tencent AI Lab（腾讯人工智能实验室）
Transformer架构在解决自然语言任务方面取得了巨大的成功，这些任务从大规模未标记的文本中学习强语言表示。在本文中，我们寻求更进一步，探索一个新的逻辑归纳偏见，更好的语言表示学习。逻辑推理是从已知的知识和事实中得出答案的一种形式化方法。受这种观点的启发，我们开发了一种名为FOLNet（一阶逻辑网络）的新型神经架构，以编码这种新的归纳偏差。我们构建了一组神经逻辑运算符作为可学习的Horn子句，这些子句进一步被前向链接到完全可微的神经架构（FOLNet）中。有趣的是，我们发现Transformers中的自我注意模块可以由我们的两个神经逻辑运算符组成，这可能解释了它们强大的推理性能。我们提出的FOLNet具有与其他预训练模型相同的输入和输出接口，因此可以通过使用类似的损失进行预训练/微调。它还允许在替换其他预训练模型时以即插即用的方式使用FOLNet。由于我们的逻辑归纳偏见，通过预训练学习的同一套“逻辑推理技能”预计同样能够解决不同的下游任务。出于这个原因，FOLNet学习具有更强迁移能力的语言表示。几个语言理解任务的实验结果表明，我们的预训练的FOLNet模型优于现有的强转换为基础的方法。
2023-02-19 cs.CL cs.LG cs.LO
A Multibias-mitigated and Sentiment Knowledge Enriched Transformer for Debiasing in Multimodal Conversational Emotion Recognition
Beijing Institute of Technology（北京理工大学）；Zhengzhou University of Light Industry（郑州轻工业大学）；Nanjing University（南京大学）
会话中的多模态情感识别（MultimodalEmotiveRecognitioninConversations，mERC）是自然语言处理（NaturalLanguageProcessing，NLP）领域的一个研究热点，其目的是预测人类在多模态交流中的情感状态，自然语言和面部表情。人类语言和对话中充满了不可否认的隐含偏见和先入之见，这就引出了一个问题：当前数据驱动的mERC方法是否会产生有偏见的错误。例如，这样的方法可以对女性的话语提供比男性更高的情感分数。此外，现有的去偏见模型主要集中在性别或种族，其中多偏见缓解仍然是mERC中未探索的任务。在这项工作中，我们采取了第一步，以解决这些问题，提出了一系列的方法来减轻五种典型的偏见在文本话语（即，性别、年龄、种族、宗教和LGBTQ+）和视觉表示（即，性别和年龄），然后是多偏差缓解和情感知识丰富的双模态Transformer（MMKET）。综合实验结果表明，该模型的有效性，并证明去偏操作有很大的影响mERC的分类性能。我们希望我们的研究将有助于在mERC和相关的情绪研究的偏见缓解的发展。
2022-07-17 cs.CL cs.LG
Energy-Gated Attention: Spectral Salience as an Inductive Bias for Transformer Attention
Independent Researcher, Athens, Greece（雅典，希腊独立研究者）
本文提出能量门控注意力（EGA），通过频谱显著性作为归纳偏置来改进Transformer注意力机制，通过在键嵌入的频谱能量上进行门控，提高了信息密集位置的注意力权重，实验结果显示在多个数据集上均取得显著效果。
2026-05-21 cs.CL cs.LG eess.SP
