Does Context Help Mitigate Gender Bias in Neural Machine Translation?
Vicomtech Foundation（维康科技基金会）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
该研究检验上下文感知模型能否缓解神经机器翻译的性别偏见，通过英德刻板职业翻译、巴斯克语到西班牙语无信息上下文翻译实验，发现这类模型虽提升阴性术语准确率，却仍可能维持甚至放大偏见，凸显需更细粒度的偏见缓解方案。
2024-06-18 cs.CL
HierBias: Context-Conditioned Hierarchical Media Bias Detection with Multi-Task Type Classification
Xidian University（西安电子科技大学）
提出HierBias模型，利用文档上下文进行分层媒体偏见检测，通过理论证明上下文降低贝叶斯误差，多任务学习提升小样本效率，在BABE和BASIL上取得SOTA性能。
2026-06-26 cs.CL
An Empirical Study on the Characteristics of Bias upon Context Length Variation for Bangla
Bangladesh University of Engineering and Technology (BUET)（孟加拉工程技术大学）
本文针对低资源语言孟加拉语，创建了性别偏见测量数据集，调整了现有偏见测量方法，并实证揭示了上下文长度变化对偏见指标的显著影响，为孟加拉语偏见分析提供了基础资源。
2024-06-25 cs.CL
Fast and Robust Unsupervised Contextual Biasing for Speech Recognition
Salesforce.com, Inc.（赛富时公司）
自动语音识别（ASR）系统正在成为一种普遍存在的技术。虽然它的准确性在某些设置下正在缩小与人类水平的差距，但可以进一步改进的一个领域是纳入用户特定的信息或上下文来使其预测产生偏差。一种常见的框架是从所提供的上下文迷你语料库动态地构建小语言模型，并且在解码过程期间用主语言模型内插其得分。在这里，我们提出了一种替代方法，不需要显式的上下文语言模型。相反，我们从训练语料库中获得系统词汇表中每个单词的偏差分数。该方法的独特之处在于：1）它不需要上下文或训练语料库的元数据或类标签注释。2)偏差分数与单词的对数概率成比例，因此它不仅会使所提供的上下文发生偏差，而且对不相关的上下文（例如，用户错误指定或难以量化严格范围的情况）也是鲁棒的。3)在训练阶段期间预先确定整个词汇表的偏差分数，从而消除了在推理期间计算上昂贵的语言模型构造。当相关上下文可用时，我们在识别准确性方面表现出显着的改进。此外，我们还证明了所提出的方法具有较高的容忍度，在不相关的上下文存在的假触发错误。
2020-05-04 cs.CL
BharatBBQ: A Multilingual Bias Benchmark for Question Answering in the Indian Context
IIT Bombay（印度理工学院博伊斯）
针对现有偏见基准侧重西方语境的局限，提出面向印度语境的多语言偏见评估基准BharatBBQ，覆盖8种语言与13个社会类别，评估发现多语言模型在印度语言中偏见显著且较英语常被放大。
2025-08-09 cs.CL
Leveraging In-Context Learning for Political Bias Testing of LLMs
University of Zurich（苏黎世大学）
本文提出问卷建模（QM）任务，利用人类调查数据作为上下文示例，提高了LLM政治偏见评估的稳定性，并发现指令微调能改变偏见方向，且更大模型能更有效利用上下文示例并展现更小偏见。
2025-06-27 cs.CL
Target-Aware Contextual Political Bias Detection in News
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
针对现有媒体偏见检测增强技术过度泛化上下文边界引入噪声的问题，提出偏见敏感、目标感知的数据增强方法，结合BERT等预训练模型在BASIL数据集上取得SOTA结果，F1达58.15。
2023-10-02 cs.CL
Towards Detection of Subjective Bias using Contextualized Word Embeddings
NSIT Delhi（德里内塔吉·苏巴斯理工学院）；IIIT Hyderabad（海得拉巴印度信息技术学院）
主观偏见检测对于宣传检测、内容推荐、情感分析和偏见中和等应用至关重要。这种偏见是通过煽动性的词语和短语在自然语言中引入的，对事实产生怀疑，并预先假定真相。在这项工作中，我们使用基于BERT的模型在维基中立语料库（WNC）上进行全面的实验来检测主观偏见。数据集由$360k$标记的实例组成，这些实例来自维基百科编辑，删除了各种偏倚实例。我们进一步提出了基于BERT的合奏，优于国家的最先进的方法，如$BERT_{large}$的利润率为$5.6$ F1分数。
2020-02-16 cs.CL
IndiCASA: A Dataset and Bias Evaluation Framework in LLMs Using Contrastive Embedding Similarity in the Indian Context
针对现有大语言模型偏见评估方法在印度多元文化语境下难以捕捉细微刻板印象的问题，本研究提出基于对比学习编码器的细粒度偏见评估框架，发布含2575条人工验证句子的IndiCASA数据集，覆盖五个人口维度，评估发现开源大模型均存在偏见，残障类偏见最突出。
2025-10-03 cs.CL
BAD: BiAs Detection for Large Language Models in the context of candidate screening
University of Michigan（密歇根大学）
本文提出BAD项目，旨在识别并量化ChatGPT等OpenAI LLMs在候选人筛选中的社会偏见，证明其使用可能延续招聘过程中的现有不平等。
2023-05-17 cs.CL
Self-Consistency Falls Short! The Adverse Effects of Positional Bias on Long-Context Problems
Johns Hopkins University（约翰霍普金斯大学）
该研究针对自洽性（SC）方法可推广至长上下文场景的假设提出质疑，通过多组实验证实SC会因位置偏差降低长上下文任务性能，揭示了大语言模型长上下文理解的局限。
2025-10-02 cs.CL
IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context
IIT Bombay（印度理工学院孟买分校）；Google（谷歌）；Adobe Research（奥多比研究院）
本文构建英语—印地语双语基准 IndiBias，覆盖印度多类社会与交叉性偏见，并据此评估十个语言模型，发现其在多数交叉群体中偏见更明显。
2024-04-03 cs.CL
BBQ: A Hand-Built Bias Benchmark for Question Answering
New York University（纽约大学）
NLP模型学习社会偏见是有据可查的，但关于这些偏见如何在问答（QA）等应用任务的模型输出中表现出来的工作很少。我们介绍了偏见基准QA（烧烤），由作者构建的问题集的数据集，突出证明社会偏见对属于受保护的阶层沿九个社会层面相关的美国英语环境。我们的任务在两个层面上评估模型的反应：（i）在信息不足的情况下，我们测试反应如何强烈地反映社会偏见，以及（ii）在信息充足的情况下，我们测试模型的偏见是否覆盖正确的答案选择。我们发现，当上下文信息不足时，模型通常依赖于刻板印象，这意味着模型的输出在这种情况下始终再现有害的偏见。虽然当上下文提供了一个信息丰富的答案时，模型更准确，但它们仍然依赖于刻板印象，当正确答案与社会偏见相一致时的准确性平均高出3.4个百分点，而不是当它冲突时，这种差异扩大到针对性别的例子超过5个百分点。
2022-03-16 cs.CL
Positional Biases Shift as Inputs Approach Context Window Limits
Saarland Informatics Campus, Saarland University, Germany（萨尔兰大学信息学校区）；Max Planck Institute for Informatics, Saarland Informatics Campus, Germany（马克斯·普朗克信息研究所）；Max Planck Institute for Software Systems, Saarland Informatics Campus, Germany（马克斯·普朗克软件系统研究所）
本文基于相对输入长度分析发现，当输入超过模型上下文窗口50%时，LiM效应减弱并转为基于距离的近因偏置，且推理中的位置偏置主要继承自检索。
2025-08-10 cs.CL
Context-aware Adversarial Training for Name Regularity Bias in Named Entity Recognition
Université de Montréal（蒙特利尔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在这项工作中，我们研究NER模型的能力，使用上下文信息时，预测一个模糊的实体的类型。我们介绍NRB，一个新的测试床精心设计的诊断NER模型的名称规则性偏差。我们的研究结果表明，我们测试的所有最先进的模型都显示出这样的偏差; BERT微调模型在NRB上的表现明显优于基于特征的模型（LSTM-CRF），尽管在标准基准测试中具有相当的性能（有时更低）。为了减轻这种偏见，我们提出了一种新的模型不可知的训练方法，该方法将可学习的对抗性噪声添加到一些实体提及中，从而强制模型更强烈地关注上下文信号，从而在NRB上获得显着收益。将其与其他两种训练策略（数据增强和参数冻结）相结合，可以获得进一步的收益。
2021-07-24 cs.CL
Causal Interventions on Continuous Variables: A Case Study on Verb Bias in Steering Vectors for In-Context Learning
Yale University（耶鲁大学）
提出一种对连续变量进行因果干预的方法，通过定位低维方向并编辑向量实现反事实目标值，应用于动词偏向特征，证明其在语言模型中的因果表示，并探讨与上下文学习的关系。
2026-05-28 cs.CL
COBIAS: Assessing the Contextual Reliability of Bias Benchmarks for Language Models
International Institute of Information Technology, Hyderabad（国际信息技术学院海得拉巴分校）；Amazon GenAI（亚马逊生成式人工智能）；University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
针对现有语言模型偏见基准缺乏上下文考量的问题，提出上下文可靠性框架及COBIAS指标，基于模型跨上下文行为差异衡量偏见陈述检测可靠性，验证其与人类判断一致性高，可助力构建可靠基准与偏见缓解。
2025-05-16 cs.AI cs.CL
How sensitive are translation systems to extra contexts? Mitigating gender bias in Neural Machine Translation models through relevant contexts
Walmart Labs（沃尔玛实验室）；SAP Labs（思爱普实验室）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
基于Transformer架构构建的神经机器翻译系统通常会根据单词重叠度量来提高翻译质量。然而，越来越多的研究也强调了这些模型在培训过程中固有的性别偏见，这在其翻译中反映不佳。在这项工作中，我们调查这些模型是否可以被指示，以修复他们的偏见在推理过程中使用有针对性的，指导性的指示作为上下文。通过在推理过程中翻译相关的上下文句子以及输入，我们在三个流行的测试套件（WinoMT，BUG，SimpleGen）中观察到在减少翻译中的性别偏见方面有很大的改进。我们进一步提出了一种新的度量标准，以评估几个大型预训练模型（OPUS-MT，M2M-100）对翻译过程中使用上下文来纠正其偏见的敏感性。我们的方法不需要微调，因此可以很容易地在生产系统中使用，以消除刻板的性别职业偏见1。我们希望我们的方法，以及我们的指标，可以用来构建更好的，无偏见的翻译系统。
2022-10-17 cs.CL cs.LG
Mind Your Bias: A Critical Review of Bias Detection Methods for Contextual Language Models
University of Konstanz（康斯坦茨大学）
偏见的意识和缓解对于公平和透明地使用上下文语言模型具有根本的重要性，但它们关键地依赖于偏见的准确检测作为前兆。因此，已经提出了许多偏倚检测方法，这些方法在方法、所考虑的偏倚类型和用于评估的数据方面各不相同。然而，虽然大多数检测方法都来自静态词嵌入的词嵌入关联测试，但报告的结果是异质的，不一致的，最终是不确定的。为了解决这个问题，我们进行了严格的分析和比较上下文语言模型的偏见检测方法。我们的研究结果表明，未成年人的设计和实施决策（或错误）有实质性的，往往是显着的影响派生的偏见分数。总的来说，我们发现该领域的状态比以前承认的更差，由于系统性和传播的错误，在实施，但比预期的更好，因为在文献中的不同结果均匀化后，占实施错误。基于我们的研究结果，我们最后讨论了更强大和一致的偏差检测方法的路径。
2022-11-15 cs.CL cs.CY
Layer-wise Positional Bias in Short-Context Language Modeling
Tehran Institute for Advanced Studies, Khatam University, Iran（德黑兰高级研究院，卡坦大学，伊朗）；School of Electrical and Computer Engineering, University of Tehran, Iran（德黑兰理工大学电气与计算机工程学院，伊朗）
本研究提出一种基于归因的框架，分析短上下文语言建模中各层的位置偏倚，发现深度增加时近期偏倚增强，首次偏倚减弱，且早期层更倾向内容词。
2026-08-07 cs.AI cs.CL
Evaluating Social Bias in RAG Systems: When External Context Helps and Reasoning Hurts
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本研究评估RAG系统中的社会偏见，发现外部上下文可减少偏见，但链式思维提示反而增加偏见，凸显了需要偏见意识推理框架的重要性。
2026-02-10 cs.AI cs.CL
Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models
本文提出Context-CDA方法，通过增强上下文和过滤低质量反事实，有效缓解语言模型中的性别偏见，同时保持语言建模能力。
2026-02-10 cs.AI cs.CL
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University（耶鲁大学）
机器学习中的社会偏见已经引起了人们的极大关注，工作范围从在众多应用程序中展示偏见，为不同的上下文策划公平的定义，到开发算法来减轻偏见。在自然语言处理中，性别偏见已经被证明存在于上下文无关的词嵌入中。最近，上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文，也可以用于编码整个句子。在本文中，我们分析了在何种程度上的最先进的模型上下文单词表示，如BERT和GPT-2，编码偏见与性别，种族和交叉身份。为此，我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应，但避免了混淆效应，低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据，发现不同的证据嵌入关联测试中的偏见，特别是显示，种族偏见是强烈编码的上下文单词模型，并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外，在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见，这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
Mitigating Label Biases for In-context Learning
EPFL（洛桑联邦理工学院）；UC Irvine（加州大学欧文分校）；ETH Zurich（苏黎世联邦理工学院）
本文定义了上下文学习中的三种标签偏差，并提出利用随机领域内单词估计偏差的校准方法，显著提升了GPT-J和GPT-3在多任务上的性能。
2023-08-04 cs.AI cs.CL cs.LG
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.（本田日本研究所株式会社）；Carnegie Mellon University（卡内基梅隆大学）
针对端到端ASR难以适配未见上下文的问题，提出基于注意力的可编辑短语偏置方法及BPB束搜索算法，在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
Conditional Cognitive Biases in LLMs: How Biased User Turns Modulate In-Context Reasoning
Northeastern University（东北大学）
本研究通过三条件实验框架与含24300条提示的基准数据集，评估8个前沿LLMs在多轮交互中受有偏差用户轮次的影响，发现多数模型偏差表现变化，明确相关动态并发布研究资源。
2026-08-07 cs.CL cs.CY cs.HC
Hollywood Identity Bias Dataset: A Context Oriented Bias Analysis of Movie Dialogues
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Accenture Labs（埃森哲实验室）
电影反映了社会，也拥有改变意见的力量。电影中存在的社会偏见和刻板印象可能会因其影响范围而造成广泛的损害。这些偏见并不总是被发现是故事情节的需要，但可以作为作者的偏见潜入。电影制作公司更愿意确定剧本中存在的偏见是故事的需求。今天，当深度学习模型可以在多个任务中提供人类水平的准确性时，在编写阶段使用AI解决方案来识别脚本中存在的偏见可以帮助他们避免延迟发布，诉讼等的不便。由于AI解决方案是数据密集型的，并且没有特定领域的数据来解决脚本中的偏见问题，我们引入了一个新的电影剧本数据集，这些电影剧本被注释为身份偏见。该数据集包含注释为（i）七个类别的偏见标签的对话轮，即，性别、种族/民族、宗教、年龄、职业、LGBTQ和其他，其包含像身体羞辱、个性偏见等的偏见;（ii）敏感性、刻板印象、情感、情绪强度的标签;（iii）用上下文意识注释的所有标签;（iv）偏见标签的目标群体和原因;以及（v）用于高质量注释的专家驱动的群体验证过程。我们还报告了在我们的数据集上进行偏差识别和类别检测的各种基线性能。
2022-06-01 cs.CL cs.CY cs.LG
Unsupervised Detection of Contextualized Embedding Bias with Application to Ideology
University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）
我们提出了一种完全无监督的方法来检测上下文嵌入中的偏差。该方法利用社交网络潜在编码的隐含信息，并结合正交正则化、结构化稀疏学习和图神经网络来找到捕获该信息的嵌入子空间。作为一个具体的例子，我们专注于意识形态偏见的现象：我们引入了意识形态子空间的概念，展示了如何通过将我们的方法应用于在线论坛来发现它，并提出了探测它的技术。我们的实验表明，意识形态子空间编码抽象的评价语义，并反映了唐纳德·特朗普总统任期内政治左右光谱的变化。
2022-12-14 cs.AI cs.CL cs.SI
LIBRA: Measuring Bias of Large Language Model from a Local Context
School of Computer Science, University of Auckland（奥克兰大学计算机科学学院）；The Liggins Institute, University of Auckland（奥克兰大学利金斯研究所）；Research Centre for Māori Health and Development, Massey University（梅西大学毛利人健康与发展研究中心）
本文提出LIBRA框架和新指标EiCAT，利用新西兰本地语料构建超36万测试用例，以衡量LLM在本地语境中的偏见并处理超出知识边界的问题。
2025-02-02 cs.CL cs.CY cs.LG
Contextualized End-to-End Speech Recognition with Contextual Phrase Prediction Network
Northwestern Polytechnical University（西北工业大学）
本文提出上下文短语预测网络，通过显式偏置损失增强基于注意力的深度偏置，显著降低多种端到端模型及上下文短语的词错率。
2023-07-12 cs.CL cs.SD eess.AS
How Robust are LLMs to In-Context Majority Label Bias?
Amazon（亚马逊）
本研究探讨大型语言模型在文本分类中面对上下文多数标签偏差时的鲁棒性，发现不同模型和任务的鲁棒性差异大，部分模型鲁棒性高达约90%，且模型大小和指令提示丰富性影响鲁棒性。
2023-12-27 cs.AI cs.CL cs.LG
Filtering Context Mitigates Scarcity and Selection Bias in Political Ideology Prediction
Chinese University of Hongkong (Shenzhen)（香港中文大学（深圳））；Chapman University（查普曼大学）；Boston University（波士顿大学）
我们提出了一种新的监督学习方法的政治意识形态预测（PIP），是能够预测出的分布输入。这个问题的动机是这样一个事实，即手动数据标签是昂贵的，而自我报告的标签往往是稀缺的，并表现出显着的选择偏差。我们提出了一种新的统计模型，分解成两个向量的线性叠加的文档嵌入;一个潜在的中性\emph{context}向量独立的意识形态，和一个潜在的\emph{position}向量对齐的意识形态。我们训练了一个端到端模型，该模型具有中间上下文和位置向量作为输出。在部署时，我们的模型通过专门利用预测的位置向量来预测输入文档的标签。在两个基准数据集上，我们证明了我们的模型即使在使用低至5%的偏差数据进行训练时也能够输出预测，并且比最先进的模型更准确。通过众包，我们验证了上下文向量的中立性，并表明上下文过滤导致意识形态集中，允许对分布外的示例进行预测。
2023-02-01 cs.CL cs.LG stat.ML
Evaluating Biased Attitude Associations of Language Models in an Intersectional Context
George Washington University（乔治华盛顿大学）；University of Washington（华盛顿大学）
本文提出基于概念投影的效价子空间方法，在交叉性语境中量化英语语言模型对12类社会群体的偏见态度关联，发现模型对性别认同、社会阶层和性取向偏见最强，且性能越好的模型偏见越明显。
2023-07-07 cs.AI cs.CL cs.CY
