Bias Beyond English: Counterfactual Tests for Bias in Sentiment Analysis in Four Languages
University of Edinburgh（爱丁堡大学）；Amazon（亚马逊）
本文构建了四种语言情感分析中性别与种族/移民偏见的反事实评估语料库，揭示了系统从预训练模型引入的偏见，并精确定位偏见行为变化以支持更有针对性的缓解策略。
2023-05-19 cs.CL
Model-based Counterfactual Generator for Gender Bias Mitigation
University of Antwerp（安特卫普大学）
针对基于词典的反事实数据增强技术缓解性别偏见时存在的语法问题和泛化不足等缺陷，提出结合数据处理技术与双目标训练机制的基于模型的反事实生成方案，实验验证其能改善现有方案的不足。
2023-11-06 cs.CL
Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous Pronouns
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）；University College London（伦敦大学学院）
偏差测量数据集在检测语言模型的偏差行为和评估偏差减轻方法的进展方面起着至关重要的作用。在这项工作中，我们专注于通过共指消解来评估性别偏见，以前的数据集要么是手工制作的，要么不能可靠地测量明确定义的偏见。为了克服这些缺点，我们提出了一种新的方法来收集不同的，自然的，和最小的距离通过反事实生成的文本对，并构建Counter-GAP，一个注释数据集组成的4008个实例分为1002四元组。我们进一步确定了一个偏见消除问题，在以前的组级指标的反差距，并建议使用性别之间的差异和性别内的不一致性来衡量偏见在四重水平。我们的研究结果表明，四个预先训练的语言模型在不同性别群体之间的不一致性明显高于每个群体内部的不一致性，并且基于姓名的反事实数据增强方法比基于匿名化的方法更有效地减轻了这种偏见。
2023-02-11 cs.AI cs.CL
Counterfactual VQA: A Cause-Effect Look at Language Bias
Nanyang Technological University（南洋理工大学）；Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
VQA模型可能倾向于依赖语言偏见作为捷径，因此无法从视觉和语言中充分学习多模态知识。最近的去偏方法提出了在推理过程中排除语言先验。然而，他们未能从整体上理清“好的”语境和“坏的”语言偏见。在本文中，我们研究如何减轻语言偏见的VQA。受因果效应的启发，我们提出了一个新的反事实推理框架，它使我们能够捕获语言偏见作为问题对答案的直接因果效应，并通过从总因果效应中减去直接语言效应来减少语言偏见。实验表明，我们提出的反事实推理框架1）适用于各种VQA骨干和融合策略，2）在语言偏见敏感的VQA-CP数据集上实现了有竞争力的性能，同时在没有任何增强数据的平衡VQA v2数据集上表现出色。该代码可在https://github.com/yuleiniu/cfvqa上获得。
2021-04-01 cs.CL cs.CV
Co$^2$PT: Mitigating Bias in Pre-trained Language Models through Counterfactual Contrastive Prompt Tuning
Texas A&M University（德州农工大学）；George Mason University（乔治梅森大学）
针对预训练语言模型在下游应用中放大社会偏见的问题，提出了一种名为Co$^2$PT的高效去偏方法，通过在下游任务中进行反事实对比提示微调来缓解偏见，实验证明其有效且能适应现有上游去偏模型。
2023-10-19 cs.CL
MUtE: A Dual Framework for Concept Erasure and Counterfactual Interventions
onepoint
提出MUtE双重框架，通过推导新型擦除函数实现概念擦除与反事实生成的无缝切换，并施加平移偏差约束，实验证明其能改善算法公平性并生成反事实文本。
2026-09-11 cs.CL cs.LG
Mitigating Gender Bias in Distilled Language Models via Counterfactual Role Reversal
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）；Amazon Alexa（亚马逊Alexa）；Harvard University（哈佛大学）；University of California, Los Angeles（加州大学洛杉矶分校）
语言模型擅长于生成连贯的文本，并且诸如知识蒸馏之类的模型压缩技术使得它们能够在资源受限的环境中使用。然而，这些模式可能在多个方面存在偏见，包括毫无根据地将男性和女性与性别中立的职业联系起来。因此，没有任何公平约束的知识蒸馏可能会保留或夸大教师模型对蒸馏模型的偏见。为此，我们提出了一种新的方法来减轻性别差异的文本生成过程中学习一个公平的模型在知识蒸馏。我们提出了两个修改的基础知识蒸馏基于反事实角色反转$\unicode{x2014}$修改教师概率和扩大训练集。我们评估了性别极性的开放式文本中产生的GPT $\unicode{x2012}$ 2模型的蒸馏和微调，并证明了性别差距的大幅减少，只有一个小的妥协效用。最后，我们观察到，在语言生成中减少性别极性的语言模型不会提高嵌入公平性或下游分类公平性。
2022-03-23 cs.CL cs.LG
Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近的研究表明，在人工生成的语料库上训练的词嵌入在嵌入空间中具有很强的性别偏见，这些偏见可能导致各种下游任务的区分结果。鉴于以前的方法项目的词嵌入到一个线性子空间去偏置，我们介绍了一个\textit{Latent Disentanglement}方法与连体自动编码器结构与自适应梯度反转层。我们的结构使语义潜在信息和性别潜在信息的给定的词分离到不相交的潜在维度。然后，引入一个\textit{Counterfactual Generation}对词的性别信息进行转换，使得原嵌入和修改后的嵌入在几何对齐正则化后，能够产生一个性别中立的词嵌入，而不会丢失语义信息。从各种定量和定性的去偏置实验，我们的方法比现有的去偏置方法在去偏置词嵌入。此外，我们的方法显示了在去偏置过程中通过最小化外部NLP下游任务的语义信息损失来保留语义信息的能力。
2020-11-03 cs.CL cs.LG stat.ML
Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models
本文提出Context-CDA方法，通过增强上下文和过滤低质量反事实，有效缓解语言模型中的性别偏见，同时保持语言建模能力。
2026-02-10 cs.AI cs.CL
Debiasing Stance Detection Models with Counterfactual Reasoning and Adversarial Bias Learning
Harbin Institute of Technology（哈尔滨工业大学）
姿态检测模型可能倾向于依赖于文本部分中的数据集偏差作为捷径，因此无法充分学习目标和文本之间的交互。目前的去偏方法通常将小模型或大模型在早期学习到的特征作为偏置特征，并提出在推理过程中排除学习这些偏置特征的分支。然而，大多数这些方法未能区分文本部分中的“好”立场特征和“坏”偏见特征。在本文中，我们研究如何减轻数据集偏见的立场检测。出于因果效应的动机，我们利用一种新的反事实推理框架，它使我们能够捕获文本部分中的数据集偏差作为文本对立场的直接因果效应，并通过从总因果效应中减去直接文本效应来减少文本部分中的数据集偏差。我们新颖的模型偏见的功能，与立场标签，但失败的中间立场推理子任务的功能，并提出了一个对抗性的偏见学习模块，以更准确地建模的偏见。为了验证我们的模型是否可以更好地模拟文本和目标之间的交互，我们在最近提出的测试集上测试了我们的模型，以从各个方面评估对任务的理解。实验表明，我们提出的方法（1）可以更好地模型的偏见特征，（2）优于现有的去偏基线的原始数据集和大多数新构造的测试集。
2022-12-20 cs.CL
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
Virginia Tech（弗吉尼亚理工大学）；University of Washington（华盛顿大学）
本研究对十个开源大语言模型进行反事实审计，评估其在儿科急诊分诊中的偏见，发现微调模型敏感性最低，支持反事实审计作为临床部署前的公平性评估框架。
2026-10-02 cs.AI cs.CL cs.LG
Mitigating Bias in Large Vision-Language Models via Counterfactual Ensemble Decoding
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）
该研究针对大视觉语言模型的社会偏差问题，提出反事实集成解码框架，通过构建多群体反事实视角并集成解码，在三类基准上实现最高47.97%的偏差降低，同时保留模型核心能力。
2026-08-25 cs.AI cs.CL
Mitigating Biases of Large Language Models in Stance Detection with Counterfactual Augmented Calibration
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；The Chinese University of Hong Kong（香港中文大学）；King’s College London（伦敦国王学院）；The 30th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第三十研究所）
本文提出反事实增强校准网络FACTUAL，通过校准LLMs立场预测中的偏见并利用反事实数据提升去偏与域外泛化能力，在目标内和零样本立场检测中取得最先进结果。
2025-02-09 cs.CL
COFFEE: Counterfactual Fairness for Personalized Text Generation in Explainable Recommendation
Netflix Inc.（奈飞公司）；University of Virginia（弗吉尼亚大学）；Meta AI
本文针对可解释推荐中个性化文本生成因用户文本偏见导致的不公平问题，提出了一个实现特定度量反事实公平性的通用框架，并通过实验和人类评估验证了其有效性。
2023-10-22 cs.CL cs.CY cs.IR
CoLD: Counterfactually-Guided Length Debiasing for Process Reward Models in Mathematical Reasoning
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Peking University（北京大学）；University of Bristol（布里斯托大学）
本文提出CoLD，一种通过反事实引导消除过程奖励模型中长度偏差的统一框架，旨在提高多步骤推理的准确性和简洁性，同时提升下游强化学习性能和跨领域泛化能力。
2026-05-19 cs.AI cs.CL cs.LG
Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos
School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院）；School of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院）
本文提出通过真实照片生成面部-only反事实来评估视觉语言模型中的社会偏见，构建了FOCUS数据集和REFLECT基准，发现严格视觉控制下仍存在种族性别差异，强调了反事实审计和任务设计的重要性。
2026-04-20 cs.AI cs.CL cs.CV
Debiasing Large Language Models in Thai Political Stance Detection via Counterfactual Calibration
Chulalongkorn University（朱拉隆功大学）；MARSAIL
针对泰语政治立场检测中 LLMs 的情感泄漏与实体偏袒问题，提出轻量级模型无关框架 ThaiFACTUAL，通过反事实增强与理由监督解耦情感和立场，并发布首个高质量泰语政治立场数据集，显著提升公平性与零样本泛化能力。
2025-09-26 cs.AI cs.CL
Fair Hate Speech Detection through Evaluation of Social Group Counterfactuals
University of Southern California（南加州大学）
用于减轻监督模型中的偏差的方法被设计为减少模型对输入数据的特定敏感特征的依赖，提到社会团体。然而，在检测仇恨言论的情况下，并不总是希望均衡社会群体的影响，因为它们在区分外群体贬损仇恨方面发挥着重要作用，因此，特定类型的仇恨言论只有在围绕某些社会群体标记进行语境化时才具有预期意义。针对所提及的社会群体的反事实令牌公平性评估模型的预测，以确定它们对于（a）实际句子和（b）通过改变句子中所提及的社会群体而生成的反事实实例是否相同。我们的方法确保了强大的模型预测的反事实，意味着类似的意义，作为实际的句子。为了量化句子及其反事实的相似性，我们比较了生成语言模型计算的可能性得分。通过均衡每个句子及其反事实的模型行为，我们在保持整体分类性能的同时减轻了所提出的模型中的偏差。
2020-10-24 cs.CL
Take its Essence, Discard its Dross! Debiasing for Toxic Language Detection via Counterfactual Causal Effect
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Foreign Chinese, Dalian University of Technology（大连理工大学对外汉语学院）
针对毒性语言检测中词汇偏差被无差别消除导致准确率下降的问题，提出反事实因果去偏框架（CCDF），通过因果推断分离并消除误导性影响、保留有用影响，提升了模型的准确率、公平性与分布外泛化能力。
2024-06-03 cs.AI cs.CL
Reducing Gender Bias in Machine Translation through Counterfactual Data Generation
Microsoft（微软）
本文提出通过补充随机训练样本和基于反事实数据生成的领域自适应技术，在减少神经机器翻译性别偏见的同时缓解灾难性遗忘并保持翻译质量。
2023-11-27 cs.CL
Improving Counterfactual Generation for Fair Hate Speech Detection
University of Southern California（南加州大学）
偏差缓解方法减少了模型对数据敏感特征（例如社交群组令牌（SGT））的依赖，从而导致敏感特征之间的预测相等。然而，在仇恨言论检测中，均衡模型预测可能会忽略目标社会群体之间的重要差异，因为仇恨言论可能包含特定于每个SGT的刻板语言。在这里，为了考虑每个SGT的特定语言，我们依赖于反事实公平性，并通过改变SGT来均衡反事实预测。我们的方法评估反事实之间句子可能性的相似性（通过预先训练的语言模型），仅在可互换的上下文中同等对待SGT。通过应用logit配对来均衡每个实例的限制性反事实集的结果，我们提高了公平性度量，同时保留了仇恨言论检测的模型性能。
2021-08-03 cs.CL cs.CY
Double Trouble: How to not explain a text classifier's decisions using counterfactuals synthesized by masked language models?
Auburn University（奥本大学）；Adobe Research（Adobe研究院）
几十种归因方法背后的一个原则是将输入特征（这里是标记）被删除前后的预测差异作为其归因。流行的输入边缘化（IM）方法（Kim等人，2020）使用BERT来替换令牌，产生更合理的反事实。虽然Kim等人（2020）报告IM是有效的，但我们发现这一结论并不令人信服，因为他们论文中使用的DeletionBERT指标偏向于IM。重要的是，这种偏见存在于基于删除的指标中，包括插入，充分性和全面性。此外，我们使用6个指标和3个数据集进行的严格评估发现，没有证据表明IM优于留一法（LOO）基线。我们发现了IM不如LOO的两个原因：（1）从输入中删除一个单词只会略微降低分类器的准确性;（2）高度可预测的单词总是被赋予接近零的属性，而不管它对分类器的真正重要性。相比之下，通过BERT使LIME样本更自然，在几个ROAR指标下一致地提高了LIME准确性。
2022-10-10 cs.AI cs.CL
Iterative Counterfactual Data Augmentation
North Carolina State University（北卡罗来纳州立大学）
本文提出迭代反事实数据增强（ICDA），通过高噪声干预迭代收敛至低噪声状态，减少虚假信号信息，增强目标信号与标签的互信息，使模型生成的文档理由更符合人类标注，实验涵盖六个人类数据集和两个大语言模型数据集。
2025-02-25 cs.CL cs.IT cs.LG
Should We Rely on Entity Mentions for Relation Extraction? Debiasing Relation Extraction with Counterfactual Analysis
National University of Singapore（新加坡国立大学）；University of Southern California（南加州大学）；Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
最近的文献集中在利用实体信息的层次关系抽取（RE），但这种风险泄漏表面和虚假的关系线索。因此，RE仍然遭受非预期的实体偏见，即，实体提及（名称）和关系之间的虚假关联。实体偏见会误导RE模型提取文本中不存在的关系。为了解决这个问题，以前的一些工作掩盖了实体提及，以防止RE模型过度拟合实体提及。然而，这种策略降低了RE的性能，因为它失去了实体的语义信息。在本文中，我们提出了CORE（Counterfactual Analysis based关系抽取）去偏置方法，引导RE模型专注于文本上下文的主要影响，而不丢失实体信息。我们首先为RE构建了一个因果图，该图对RE模型中变量之间的依赖关系进行建模。然后，我们建议对我们的因果图进行反事实分析，以提取和减轻实体偏见，从而捕获每个实例中特定实体提及的因果效应。请注意，我们的CORE方法是模型不可知的，可以在推理过程中消除现有RE系统的偏见，而不改变它们的训练过程。大量的实验结果表明，我们的CORE产生显着收益的有效性和推广RE。源代码提供于：https://github.com/vanoracai/CoRE。
2022-05-08 cs.AI cs.CL cs.LG
COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models
Department of Electrical and Computer Engineering, University of Southern California, Los Angeles, California, USA（电气与计算机工程系，南加州大学，洛杉矶，加利福尼亚州，美国）
提出COFT，一种无需训练的解码方法，通过反事实提示和保形校准在解码时实现token级公平性控制，显著减少思维链生成中的社会偏见，同时保持任务效用和语言质量。
2026-05-28 cs.AI cs.CL
Towards Multimodal Sentiment Analysis Debiasing via Bias Purification
Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院）；Cognition and Intelligent Technology Laboratory (CIT Lab)（认知与智能技术实验室）；Tencent Youtu Lab（腾讯优图实验室）
本文提出基于因果推断的MCIS框架，通过构建因果图并设想反事实场景来纯化多模态情感分析中的标签偏差和上下文偏差，从而在多个基准上实现无偏决策。
2024-07-05 cs.CL cs.CV
I Wish I Would Have Loved This One, But I Didn't -- A Multilingual Dataset for Counterfactual Detection in Product Reviews
Amazon（亚马逊）；University of Liverpool（利物浦大学）
反事实陈述描述的是没有或不可能发生的事件。我们考虑产品评论中的反事实检测（CFD）问题。为此，我们从亚马逊产品评论中注释了一个多语言CFD数据集，涵盖了用英语，德语和日语编写的反事实陈述。该数据集是独一无二的，因为它包含多种语言的反事实，涵盖了电子商务评论的新应用领域，并提供了高质量的专业注释。我们使用不同的文本表示方法和分类器训练CFD模型。我们发现，这些模型是强大的选择性偏见，由于线索短语为基础的句子选择。此外，我们的CFD数据集与以前的数据集兼容，可以合并以学习准确的CFD模型。将机器翻译应用于英语反事实示例以创建多语言数据的表现很差，这表明了这个问题的语言特异性，到目前为止一直被忽视。
2021-09-15 cs.AI cs.CL cs.LG
Assessing Bias in Metric Models for LLM Open-Ended Generation Bias Benchmarks
Holistic AI（霍利斯提克人工智能公司）；Stanford University（斯坦福大学）；University College London（伦敦大学学院）
本研究通过两项实验（反事实与SHAP）评估开放式生成偏见基准中度量模型的偏见，发现对人口统计描述符处理不平等，需更稳健的度量模型。
2024-10-14 cs.AI cs.CL
Who Receives Respect? A Counterfactual Benchmark for Honorific Allocation Bias in Bengali
Islamic University of Technology（伊斯兰科技大学）
该研究构建了孟加拉语敬语分配偏差的反事实基准，评估9个语言模型在英语-孟加拉语翻译中敬语分配的偏差，发现职业对敬语选择的影响远大于性别，不同模型的偏差程度差异显著。
2026-10-14 cs.CL
Dataset Bias Mitigation in Multiple-Choice Visual Question Answering and Beyond
Columbia University（哥伦比亚大学）；HKUST（香港科技大学）；Microsoft Research（微软研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
视觉语言理解任务通过多项选择题评估模型对复杂视觉场景的理解。然而，我们已经确定了两个数据集偏差，模型可以利用它们作为捷径，在没有适当理解的情况下正确解决各种VL任务。第一种类型的数据集偏差是\emph{Unbalanced Matching}偏差，其中正确答案与问题和图像的重叠比错误答案更多。第二种类型的数据集偏差是\emph{Distractor Similarity}偏差，其中不正确的答案与正确的答案非常不相似，但与同一样本中的其他不正确的答案非常相似。为了解决这些数据集偏差，我们首先提出了对抗性数据合成（ADS）来生成合成训练和去偏评估数据。然后，我们引入样本内反事实训练（ICT），以帮助模型利用合成的训练数据，特别是反事实数据，通过关注样本内的差异。大量的实验表明，ADS和ICT在不断提高模型性能在不同的基准测试，即使在域转移的情况下的有效性。
2023-10-31 cs.AI cs.CL cs.CV
