Quantifying and Mitigating Selection Bias in LLMs: A Transferable LoRA Fine-Tuning and Efficient Majority Voting Approach
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种可转移的LoRA微调和高效多数投票方法，用于量化并缓解大语言模型中的选择偏差问题。
2025-11-17 cs.AI cs.CL cs.IR
BiasBusters: Uncovering and Mitigating Tool Selection Bias in Large Language Models
University of Oxford（牛津大学）；Microsoft（微软）
研究通过基准测试揭示LLM工具选择中的系统性偏差，并提出轻量级缓解策略以减少选择偏差。
2026-03-10 cs.AI
Automated Item Neutralization for Non-Cognitive Scales: A Large Language Model Approach to Reducing Social-Desirability Bias
University of British Columbia（不列颠哥伦比亚大学）；Northeastern University（东北大学）
本研究利用大语言模型GPT-o3对IPIP-BFM-50量表条目进行中性化改写，以降低人格评估中的社会期望偏差。实验表明，该方法在保持信度和五因素结构的同时，虽降低了部分条目与社会期望的相关性，但结果不一致，且仅形态不变性成立，提示AI中性化是一种潜在但不完美的偏差减少方法。
2025-09-09 cs.AI cs.CL cs.CY
Are LLMs Rational Investors? A Study on Detecting and Reducing the Financial Bias in LLMs
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Institute of Fintech, Fudan University（复旦大学金融科技研究院）；School of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）；DataGrand Inc.（数据堂公司）
本文提出金融偏见指标（FBI）框架，通过行为金融学与因果去偏方法评估并减少23个大语言模型中的金融非理性偏见，为构建更可靠的金融分析工具奠定基础。
2024-07-01 cs.CL
Mitigating Selection Bias with Node Pruning and Auxiliary Options
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon（亚马逊公司）
针对大语言模型的选择偏差问题，提出偏差节点剪枝、辅助选项注入两种方法及新评估指标CKLD，实验证明可在降低偏差的同时提升准确率，适用于开源与闭源模型。
2025-05-17 cs.AI
Walking in Others' Shoes: How Perspective-Taking Guides Large Language Models in Reducing Toxicity and Bias
Nanyang Technological University（南洋理工大学）
针对LLMs生成内容的毒性与偏见问题，提出视角采择提示（PeT）策略，通过整合人类视角自我调节，在商业及开源模型上显著降低毒性（达89%）与偏见（达73%），优于五个强基线。
2024-07-22 cs.AI cs.CL cs.CY
Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
Amazon（亚马逊）；Emory University（埃默里大学）
本文针对大语言模型处理长上下文时的位置偏差问题，提出位置感知的参数高效微调方法PAPEFT，通过数据增强和参数高效适配器促进均匀注意力分布，实验证明其能有效减少位置偏差并提升外部知识检索任务性能。
2024-04-01 cs.AI cs.CL cs.LG
Gender-Neutral Large Language Models for Medical Applications: Reducing Bias in PubMed Abstracts
Yale University Department of Computer Science（耶鲁大学计算机科学系）；UTHealth Houston McWilliams School of Biomedical Informatics（德克萨斯大学健康科学中心休斯顿生物医学信息学学院）
本文提出一种通过中和职业代词缓解医疗文献LLM性别偏见的流水线，开发了MOBERT模型，其包容性替换率达70%，远超基线1965BERT的4%，促进了医疗应用的公平语言建模。
2025-05-28 cs.AI cs.CL cs.IR
Make Satire Boring Again: Reducing Stylistic Bias of Satirical Corpus by Utilizing Generative LLMs
Middle East Technical University (METU)（中东技术大学）
针对讽刺语料风格偏差影响检测性能的问题，提出利用生成式大语言模型的去偏差方法，提升了土英双语讽刺/反讽检测的鲁棒性与泛化性，还发布了带标注的土耳其讽刺新闻数据集。
2024-12-12 cs.CL
Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs)
Technical University of Munich（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；UC Berkeley（加州大学伯克利分校）
本文评估了22个开源视觉语言助手在人格、技能和职业上的性别偏见，发现其复制了人类职业不平衡等偏见，并提出基于微调的去偏方法可在保持性能的同时有效减少偏见。
2025-03-12 cs.CL cs.CY
Who Gets Cited? Gender- and Majority-Bias in LLM-Driven Reference Selection
本研究通过受控实验发现，LLM在参考文献选择中表现出对男性作者和多数性别群体的双重偏见，且偏见随候选池增大而加剧，提示需在学术工作流中引入缓解策略。
2025-08-02 cs.AI cs.CY cs.DL
Reducing Unintended Identity Bias in Russian Hate Speech Detection
VK Lab（VK实验室）
毒性已成为许多在线社区的严重问题，并在包括俄语在内的许多语言中不断增长。仇恨言论创造了一种恐吓、歧视的环境，甚至可能煽动一些现实世界的暴力。一段时间以来，研究人员和社交平台都一直专注于开发模型来检测在线交流中的毒性。这些模型的一个共同问题是对一些词（例如女人，黑人，犹太人）的偏见，这些词不是有毒的，但由于模型的警告，它们会成为分类器的触发器。在本文中，我们描述了我们对俄罗斯的仇恨言论进行分类的努力，并提出了减少意外偏见的简单技术，例如使用与受保护身份相关的术语和单词作为上下文，并将单词丢弃应用于这些单词的语言模型生成训练数据。
2020-10-22 cs.AI cs.CL
Selection Bias Explorations and Debias Methods for Natural Language Sentence Matching Datasets
Tencent（腾讯）；IBM Research（IBM研究院）；Harbin Institute of Technology（哈尔滨工业大学）
自然语言句子匹配（NLSM）得到了学术界和工业界的广泛关注，丰富的公共数据集为这一过程做出了巨大贡献。然而，有偏差的数据集也会损害训练模型的泛化性能，并给出不可信的评估结果。对于许多NLSM数据集，提供者选择一些句子对到数据集中，并且这种采样过程很容易带来非预期的模式，即，选择偏差一个例子是QuoraQP数据集，其中一些与内容无关的朴素特征具有不合理的预测性。这些特征是选择偏置的反映，称为泄漏特征。在本文中，我们研究了六个NLSM数据集的选择偏差问题，发现其中四个是显着的偏见。我们进一步提出了一个培训和评估框架，以减轻偏见。QuoraQP上的实验结果表明，该框架可以提高训练模型的泛化能力，并为现实世界的采用提供更可信的评估结果。
2019-06-10 cs.AI cs.CL
Identifying and Reducing Gender Bias in Word-Level Language Models
New York University（纽约大学）
许多文本语料库都表现出社会问题的偏见，这些偏见可以在基于这些数据训练的模型中传播或放大。例如，“doctor”与男性代词同时出现的频率高于与女性代词同时出现的频率。在这项研究中，我们（i）提出了一个衡量性别偏见的指标;（ii）衡量文本语料库和从在文本语料库上训练的递归神经网络语言模型生成的文本中的偏见;（iii）提出了语言模型的正则化损失项，该正则化损失项最小化编码器训练的嵌入到编码性别的嵌入子空间上的投影;（iv）最后，评估我们建议的方法在减少性别偏见方面的成效。我们发现这种正则化方法可以有效地将性别偏见减少到分配给损失项的最佳权重，超过该权重，模型会随着困惑度的增加而变得不稳定。我们在三个训练语料库-Penn Treebank，WikiText-2和CNN/Daily Mail-上复制了这个研究，得到了类似的结论。
2019-04-05 cs.CL
Reducing Gender Bias in Word-Level Language Models with a Gender-Equalizing Loss Function
New York University（纽约大学）
神经语言模型倾向于学习自然语言数据集，从而导致有偏见的文本生成。在这项研究中，我们提出了一个去偏置的方法的基础上的损失函数修改。我们引入了一个新的术语的损失函数，试图在输出中的男性和女性的话的概率相等。使用一系列的偏见评估指标，我们提供的经验证据表明，我们的方法成功地减轻性别偏见的语言模型，而不增加困惑。与现有的去偏置策略、数据增强和词嵌入去偏置方法相比，该方法在几个方面表现更好，特别是在减少职业词中的性别偏见方面。最后，我们介绍了数据增强和我们的方法的组合，并表明它在所有偏差评估指标上都优于现有策略。
2019-06-03 cs.CL
Reducing Exposure Bias in Training Recurrent Neural Network Transducers
IBM Research AI（IBM研究院人工智能）；IBM T. J. Watson Research Center（IBM T. J. Watson研究中心）
当使用典型的最大似然准则训练循环神经网络传感器（RNTs）时，预测网络仅在地面真实标签序列上训练。这会导致推断过程中的不匹配，称为暴露偏差，此时模型必须处理包含错误的标签序列。在本文中，我们研究的方法，以减少暴露偏见的训练，以提高泛化的RNNT模型的自动语音识别（ASR）。一个标签保持输入扰动的预测网络。使用SwitchOut和基于附加令牌语言模型的预定采样来扰动输入令牌序列。在300小时Switchboard数据集上进行的实验证明了它们的有效性。通过减少暴露偏差，我们表明我们可以进一步提高高性能RNNT ASR模型的准确性，并在300小时Switchboard数据集上获得最先进的结果。
2021-08-24 cs.AI cs.CL cs.SD
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong（香港城市大学）
词嵌入已经成为自然语言处理的关键，因为它提高了各种任务的经验表现。然而，最近的研究发现，性别偏见是纳入神经词嵌入，下游任务，依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法，这些方法主要集中在减少与性别方向相关的性别偏见，并未能减少词嵌入关系中呈现的性别偏见。在本文中，我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系，利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
Reducing Bias in Production Speech Models
Baidu Silicon Valley AI Lab（百度硅谷人工智能实验室）
用端到端的深度学习系统取代手工设计的管道，在语音和对象识别等应用中取得了很好的效果。然而，生产系统的因果关系和延迟约束使端到端语音模型回到了欠拟合状态，并暴露了模型中的偏差，我们发现这些偏差无法通过“扩大规模”来克服，即，在更多数据上训练更大的模型。在这项工作中，我们系统地识别和解决偏差的来源，减少出错率高达20%，同时保持实用的部署。我们通过利用改进的神经架构进行流推理，解决优化问题，并采用增加音频和标签建模多功能性的策略来实现这一目标。
2017-05-11 cs.CL
Adversarial Examples Generation for Reducing Implicit Gender Bias in Pre-trained Models
在过去的几年里，情境化的预训练神经语言模型，如BERT，GPT，在各种NLP任务中表现出显着的进步。为了增强现有预训练模型的鲁棒性，一种方法是对抗性示例生成和评估，以进行数据增强或对抗性学习。与此同时，在实际应用中，嵌入在模型中的性别偏见似乎是一个严重的问题。许多研究都涉及到了词汇层面的性别偏见（如性别刻板印象职业），而很少有研究涉及词汇层面的性别偏见和内隐性别偏见。本文提出了一种自动生成隐性性别偏见样本的方法和一种衡量性别偏见的指标。我们的方法生成的样品将在准确性方面进行评估。该指标将用于指导从预训练模型生成示例。因此，这些示例可以用于对预训练模型进行攻击。最后，我们讨论了我们生成的例子对减少性别偏见的评估功效，为未来的研究。
2021-10-03 cs.CL
Reducing Gender Bias in Abusive Language Detection
Centre for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Hong Kong University of Science and Technology（香港科技大学）
由于训练数据集的不平衡，滥用语言检测模型往往会偏向于特定人群的身份词。例如，“你是个好女人”在现有数据集上训练时被认为是“性别歧视”。这种模型偏差是模型在实际应用中足够稳健的障碍。在这项工作中，我们测量了使用不同辱骂性语言数据集训练的模型的性别偏见，同时分析了不同预训练的词嵌入和模型架构的影响。我们还试验了三种偏见缓解方法：（1）去偏见的词嵌入，（2）性别交换数据增强，（3）更大的语料库微调。这些方法可以有效地减少90-98%的性别偏差，并可以扩展到纠正其他场景中的模型偏差。
2018-08-22 cs.CL
Aligned but Blind: Alignment Increases Implicit Bias by Reducing Awareness of Race
University of Chicago（芝加哥大学）；Rutgers University（罗格斯大学）；Allen Institute for AI（人工智能研究所）；University of Washington（华盛顿大学）
本文揭示价值对齐语言模型会在早期表征中忽略种族概念、绕过安全护栏而放大隐性偏见，并提出通过增强早期层对种族概念的表征来有效缓解偏见。
2025-06-08 cs.AI cs.CL cs.CY
Pyramid-BERT: Reducing Complexity via Successive Core-set based Token Selection
Amazon AWS（亚马逊云科技）；University of Waterloo（滑铁卢大学）
基于transformer的语言模型，如BERT，在各种NLP任务上已经达到了最先进的性能，但在计算上是禁止的。最近的一系列工作使用各种算法来连续缩短序列长度，同时通过编码器转换令牌，例如需要单个令牌嵌入进行预测的分类和排名。我们提出了一种新的解决方案，这个问题，所谓的金字塔BERT，我们取代以前使用的符号与{ \em核心集}为基础的令牌选择方法的理论结果证明。基于核心集的令牌选择技术使我们能够避免昂贵的预训练，提供空间有效的微调，从而使其适合处理更长的序列长度。我们提供了广泛的实验，建立金字塔BERT的优势，在几个基线和现有的工作上的GLUE基准和远程竞技场数据集。
2022-03-27 cs.CL
Detecting and Reducing Bias in a High Stakes Domain
Columbia University（哥伦比亚大学）；University of California, Berkeley（加州大学伯克利分校）
芝加哥等城市的帮派青年有时会在社交媒体上发帖，表达他们对敌对帮派的攻击性，此前的研究表明，深度学习方法可以预测帖子中的攻击性和损失。为了解决在这个敏感的应用程序中存在偏差的可能性，我们开发了一种方法来系统地解释最先进的模型。令人惊讶的是，我们发现，它经常将其预测基于诸如“a”或“on”之类的停止词，这种方法可能会伤害没有攻击意图的社交媒体用户。为了解决这种偏见，领域专家对基本原理进行了注释，突出了解释为什么推文被贴上“侵略”标签的单词。这些新的注释使我们能够定量地衡量模型预测的合理性，并构建能够大大减少偏差的模型。我们的研究表明，在高风险的情况下，准确性本身不能保证一个良好的系统，我们需要新的评估方法。
2019-10-23 cs.CL
Addressing Blind Guessing: Calibration of Selection Bias in Multiple-Choice Question Answering by Video Language Models
University of Trento（特伦托大学）；Gran Sasso Science Institute（格兰萨索科学研究所）；University of Essex（埃塞克斯大学）；University of Bath（巴斯大学）
本文针对视频语言模型在多选题问答中的选择性偏差问题，提出后处理校准技术BOLD，通过抑制盲猜有效缓解偏差并提升模型整体性能。
2025-05-30 cs.CL
On the Role of Speech Data in Reducing Toxicity Detection Bias
Meta FAIR；New York University（纽约大学）；University College London（伦敦大学学院）；McGill University（麦吉尔大学）
该研究针对文本毒性检测的群体提及偏差问题，通过为多语言MuTox数据集制作高质量群体标注，对比语音与文本毒性分类器，发现推理阶段用语音数据可降低偏差，且改进分类器比优化转录流程更有效，同时公开发布标注并给出数据集构建建议。
2025-05-16 cs.AI cs.CL cs.LG
Interpretable bias mitigation for textual data: Reducing gender bias in patient notes while maintaining classification performance
The University of Vermont（佛蒙特大学）；MassMutual Data Science（MassMutual数据科学公司）；VA Boston Healthcare System（波士顿VA医疗保健系统）
一般而言，医疗系统，特别是患者的治疗决定和结果，受到基于性别和其他人口因素的偏见的影响。随着语言模型越来越多地应用于医学，人们越来越有兴趣将算法公平性构建到影响患者护理的过程中。解决这个问题的大部分工作都集中在语言模型中编码的偏见上--对从远距离阅读语料库中得出的概念之间关系的统计估计。在这项工作的基础上，我们调查如何由医疗从业者和语言模型相互作用的单词选择方面的偏见。我们确定并删除性别语言从两个临床笔记数据集，并描述了一个新的去偏过程中使用基于BERT的性别分类器。通过数据增强，我们在健康状况分类任务中显示出最小的退化，用于低至中等水平的偏差去除。最后，我们比较的偏见语义编码的语言模型的偏见经验观察到的健康记录。这项工作概述了一种可解释的方法，使用数据增强，以确定和减少潜在的偏见，在自然语言处理管道。
2021-03-10 cs.CL stat.ML
What's in the News? Towards Identification of Bias by Commission, Omission, and Source Selection (COSS)
University of Wuppertal（乌尔姆大学）；Heidelberg Academy of Sciences and Humanities（海德堡科学院与人文学院）；University of Zurich（苏黎世大学）
针对新闻偏见识别，本文提出联合识别作为、遗漏和来源选择三种偏见的方法，并展示基于文本重用特征的可视化示例。
2025-08-04 cs.CL
Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints
University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）
语言越来越多地被用来定义丰富的视觉识别问题，支持来自网络的图像集合。在这些任务中使用结构化预测模型，以利用共现标签和视觉输入之间的相关性，但有可能无意中对网络语料库中发现的社会偏见进行编码。在这项工作中，我们研究的数据和模型与多标签对象分类和视觉语义角色标注。我们发现，（a）这些任务的数据集包含显著的性别偏见，（b）在这些数据集上训练的模型进一步放大了现有的偏见。例如，在训练集中，女性参与烹饪活动的可能性比男性高出33%以上，而经过训练的模型在测试时将差异进一步放大到68%。我们建议注入语料库级别的约束条件来校准现有的结构化预测模型，并设计了一个基于拉格朗日松弛的集体推理算法。我们的方法导致几乎没有性能损失的基本识别任务，但减少了47.5%和40.5%的多标签分类和视觉语义角色标注，分别偏置放大的幅度。
2017-07-29 cs.AI cs.CL cs.CV
Towards Corpus-Scale Discovery of Selection Biases in News Coverage: Comparing What Sources Say About Entities as a Start
University of Pennsylvania（宾夕法尼亚大学）
本文提出一种无监督NLP概念框架，通过比较新闻信息源对争议实体的提及方式捕捉内容选择偏好，并在NELA-2020语料库上验证了该分布散度能有效指示信息源的意识形态倾向。
2023-04-06 cs.CL
Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving
University of Alberta（阿尔伯塔大学）；University of Essex（埃塞克斯大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
随着自然语言处理（NLP）在日常生活中的广泛应用，NLP模型中继承的社会偏见变得更加严重和成问题。先前的研究表明，在人类生成的语料库上训练的词嵌入具有强烈的性别偏见，可以在下游任务中产生歧视性结果。以前的去偏见方法主要集中在对偏见进行建模，只隐含地考虑语义信息，而完全忽视了偏见和语义成分之间复杂的潜在因果结构。为了解决这些问题，我们提出了一种新的方法，利用因果推理框架，以有效地消除性别偏见。所提出的方法使我们能够构建和分析复杂的因果机制，促进性别信息流，同时保留词嵌入内的甲骨文语义信息。我们的综合实验表明，该方法在性别去偏见任务中取得了最先进的结果。此外，我们的方法在单词相似性评估和各种外部下游NLP任务中具有更好的性能。
2021-12-09 cs.CL cs.CY
Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
最近的研究表明，目前的VQA模型严重偏向于训练集中的语言先验来回答问题，而与图像无关。例如，在一个示例中，绝大多数人把“什么运动”回答为“网球”或把“香蕉什么颜色”回答为“黄色”。“这种行为限制了他们在现实世界的应用场景中的应用。在这项工作中，我们提出了一种新的模型无关的问题编码器，视觉接地问题编码器（VGQE），VQA，减少这种影响。VGQE在编码问题时平等地利用视觉和语言模态。因此，问题表示本身得到了充分的视觉基础，从而减少了模型对语言先验的依赖。我们证明了VGQE对三个最近的VQA模型的影响，并在VQAv 2数据集的偏差敏感分裂上取得了最先进的结果; VQA-CPv 2。此外，与现有的偏差减少技术不同，在标准VQAv 2基准测试中，我们的方法不会降低准确性;相反，它提高了性能。
2020-07-18 cs.CL cs.CV
Reducing Sentiment Bias in Language Models via Counterfactual Evaluation
DeepMind（深度思维）；University of California, Los Angeles（加州大学洛杉矶分校）；University College London（伦敦大学学院）
语言建模架构的进步和大型文本语料库的可用性推动了自动文本生成的进展。虽然这导致模型能够生成连贯的文本，但它也促使模型内化训练语料库中存在的社会偏见。本文旨在量化和减少语言模型表现出的一种特殊类型的偏见：生成文本的情感偏见。给定条件情境（例如，书写提示）和语言模型，我们分析所生成的文本的情感是否（以及如何）受到敏感属性的值的变化的影响（例如，国家名称、职业、性别），在条件语境中使用一种反事实评价的形式。我们通过采用公平的机器学习文献中的个人和群体公平性指标来量化情感偏见，并证明在两个不同的语料库（新闻文章和维基百科）上训练的大规模模型表现出相当大的偏见水平。然后，我们提出嵌入和情感预测派生正则化的语言模型的潜在表示。正则化改进了公平性度量，同时保留了可比的困惑度和语义相似度。
2020-10-08 cs.CL cs.CY cs.LG
