Bias Mitigation Framework for Intersectional Subgroups in Neural Networks
Meta AI
我们提出了一个公平意识的学习框架，减轻与受保护的属性相关的交叉子组偏见。先前的研究主要集中在通过将复杂的公平驱动约束纳入优化目标或设计专注于特定受保护属性的附加层来减轻一种偏见。我们介绍了一个简单的和通用的偏见缓解方法，防止模型学习之间的关系，保护属性和输出变量，减少它们之间的互信息。我们证明，我们的方法是有效的，在减少偏见，很少或没有下降的准确性。我们还表明，用我们的学习框架训练的模型变得因果公平，对受保护属性的值不敏感。最后，我们通过研究受保护和不受保护的属性之间的功能交互来验证我们的方法。我们证明，这些相互作用显着减少时，应用我们的偏见缓解。
2022-12-26 cs.CY cs.LG
Evaluating Biased Attitude Associations of Language Models in an Intersectional Context
George Washington University（乔治华盛顿大学）；University of Washington（华盛顿大学）
本文提出基于概念投影的效价子空间方法，在交叉性语境中量化英语语言模型对12类社会群体的偏见态度关联，发现模型对性别认同、社会阶层和性取向偏见最强，且性能越好的模型偏见越明显。
2023-07-07 cs.AI cs.CL cs.CY
ABLEIST: Intersectional Disability Bias in LLM-Generated Hiring Scenarios
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
本研究审计了六个LLM在2820个招聘场景中对残疾、性别、种姓等交叉身份的偏见，提出ABLEIST评估指标，发现模型对残疾候选人存在显著伤害且现有安全工具未能检测，强调需进行交叉性安全评估。
2026-10-12 cs.AI cs.CL cs.CY
Characterizing Intersectional Group Fairness with Worst-Case Comparisons
Fiddler Labs（菲德勒实验室）；Northeastern University（东北大学）
机器学习或人工智能算法由于其模仿和放大社会中现有偏见的倾向，近年来受到了相当多的关注。这导致了一个利基，但越来越多的工作，确定并试图修复这些偏见。使这些算法更公平的第一步是设计衡量不公平性的指标。这一领域的大多数现有工作要么涉及公平的二元观点（受保护群体与未受保护群体），要么涉及政治定义的类别（种族或性别）。这种分类忽略了交叉性的重要细微差别-在将不同类别的成员组合在一起的亚组中，偏见往往会被放大，特别是如果这样一个亚组在历史机会平台中的代表性特别不足。在本文中，我们讨论了为什么公平性指标需要在交叉性的镜头下看，确定现有的工作在交叉公平性，提出了一个简单的最坏情况下的比较方法，以扩大现有的组公平性指标的定义，将交叉性，并最终得出结论的社会，法律和政治框架，以处理交叉公平在现代背景下。
2022-05-04 cs.AI cs.CY cs.LG
A Survey on Intersectional Fairness in Machine Learning: Notions, Mitigation, and Challenges
Iowa State University（爱荷华州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文综述了机器学习中同时涉及多个敏感属性的交叉公平性问题，提出概念与缓解方法分类体系，并总结关键挑战与未来研究方向。
2023-05-12 cs.CY cs.LG
Assessing Intersectional Bias in Representations of Pre-Trained Image Recognition Models
Artificial Intelligence Lab, Otto von Guericke University Magdeburg（奥托·冯·格里克大学人工智能实验室）
本文利用线性分类器探针和激活拓扑图，评估常用 ImageNet 分类器在面部图像表征中围绕年龄、种族和性别的交叉偏见，发现年龄区分最明显。
2025-06-06 cs.CV cs.CY cs.HC
Evaluating Intersectional Fairness across Clinical Machine Learning Use Cases using Fairlogue and the All of Us Research Program
College of Engineering, The University of Arizona（亚利桑那大学工程学院）
本文使用Fairlogue工具包在临床预测任务中评估交叉公平性，发现交叉群体差异大于单轴分析，但反事实诊断表明多数差异与随机分组相当。
2026-06-17 cs.CY cs.LG q-bio.QM
Fairness Is Not Enough: Auditing Competence and Intersectional Bias in AI-powered Resume Screening
研究对八个用于简历筛选的AI平台进行审核，通过实验发现其存在情境依赖和交叉性的种族及性别偏差，部分看似无偏差的模型无评估能力，仅公平评估不足，进而提出双重验证框架以确保AI负责任部署。
2026-07-29 cs.AI cs.CL cs.CY
Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval
University of Washington（华盛顿大学）；Salzburg University（萨尔茨堡大学）
本研究通过模拟求职者选拔的文档检索框架，发现Massive Text Embedding（MTE）模型在简历筛选中存在性别、种族及交叉性偏见，偏向白人姓名，黑人男性在所有案例中均受不利影响，为相关AI工具的公平性改进提供了依据。
2026-09-01 cs.AI cs.CL cs.CY
Fairpriori: Improving Biased Subgroup Discovery for Deep Neural Network Fairness
The University of Sydney（悉尼大学）；CSIRO（联邦科学与工业研究组织）
本文提出 Fairpriori，利用频繁项集生成快速计算多类公平性指标并发现有偏子群，在易用性、解释性、适用范围和效率上优于现有方法。
2024-06-25 cs.CY cs.LG cs.SE
Compounding Disadvantage: Auditing Intersectional Bias in LLM-Generated Explanations Across Indian and American STEM Education
Society-Centered AI Lab（以社会为中心的人工智能实验室）；University of Washington（华盛顿大学）
本文研究了大型语言模型在不同文化背景下对边缘化学生群体的系统性歧视，通过审计四个LLM模型发现，多重维度的边缘化导致成绩差距扩大，偏见在精英机构中持续存在。
2026-05-17 cs.CL cs.CY
Data Bias Mitigation under Coverage Constraints & The Price of Fairness
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Cheriton School of Computer Science, University of Waterloo（滑铁卢大学切里顿计算机科学学院）
针对多敏感属性交叉群体的偏差问题，提出在覆盖约束下扩展偏差缓解框架，通过整数线性规划优化缓解策略，权衡偏差近似误差与数据效率，并刻画公平的代价。
2026-06-19 cs.CY cs.DB cs.LG
Looking Beyond What You See: An Empirical Analysis on Subgroup Intersectional Fairness for Multi-label Chest X-ray Classification Using Social Determinants of Racial Health Inequities
Massachusetts Institute of Technology（麻省理工学院）；University at Buffalo（布法罗大学）
本文针对胸部X光多标签分类中的交叉群体公平性问题，提出通过平衡数据集重训练预训练模型最后一层并结合公平约束与类别平衡微调的框架，在MIMIC-CXR上实现了准确性与公平性的最优权衡。
2024-03-27 cs.AI cs.CV cs.CY
MANI-Rank: Multiple Attribute and Intersectional Group Fairness for Consensus Ranking
Worcester Polytechnic Institute（伍斯特理工学院）
将许多排名者的偏好结合到一个单一的共识排名中，对于从招聘、录取到贷款的后续申请至关重要。虽然群体公平性已被广泛研究的分类，群体公平性的排名，特别是排名聚合仍然处于起步阶段。最近的工作引入了用于组合排名的公平排名聚合的概念，但仅限于候选人具有单个二进制保护属性的情况，即，他们只分为两类。然而，如何创建一个代表所有排名者偏好的共识排名，同时确保公平对待具有性别、种族和国籍等多重受保护属性的候选人，仍然是一个悬而未决的问题。在这项工作中，我们是第一个定义和解决这个开放的多属性公平共识排名（MFCR）问题。作为一个基础，我们设计了新的组公平性标准的排名，称为MANI-RANK，确保公平对待由个人保护属性及其交集定义的组。利用MANI-RANK准则，我们开发了一系列的算法，首次解决MFCR问题。我们的实验研究与丰富多样的共识方案表明，我们的MFCR方法是唯一的方法来实现交叉和保护属性的公平性，同时也代表了通过许多基础排名表达的偏好。我们对优秀奖学金的真实案例研究说明了我们的MFCR方法在减轻多个受保护属性及其交叉点之间的偏差方面的有效性。这是“MANI排名：多属性和交叉组公平性共识排名”的扩展版本，将出现在ICDE 2022中。
2022-07-20 cs.CY cs.LG
Selection Problems in the Presence of Implicit Bias
Cornell University（康奈尔大学）
在过去的二十年里，隐性偏见的概念已经成为我们理解招聘、晋升和入学等活动中歧视的重要组成部分。关于内隐偏见的研究表明，当人们评价他人时--例如，在招聘环境中--他们对特定群体成员身份的无意识偏见会影响他们的决策，即使他们没有故意歧视这些群体的成员。越来越多的实验工作指出，内隐偏见可能会产生负面结果。在这里，我们提出了一个理论模型，研究隐性偏见的影响，选择决策，并分析可能的程序补救措施，在这个模型内的隐性偏见的方式。我们的模型所代表的典型情况是招聘环境：招聘委员会试图从求职者中选择一组入围者进行面试，根据他们的未来潜力评估这些求职者，但他们对潜力的估计因对一个群体成员的隐性偏见而扭曲。在这个模型中，我们表明，措施，如鲁尼规则，要求至少有一个决赛选手从受影响的群体中选择，不仅可以提高这个受影响的群体的代表性，但也导致更高的回报在绝对值上的组织进行招聘。然而，确定条件下，这些措施可以导致改善收益涉及微妙的权衡之间的程度的偏见和潜在的分布的申请人的特点，导致新的理论问题的存在下，概率的边信息的顺序统计。
2018-01-04 cs.CY cs.LG stat.ML
Beauty and the Bias: Exploring the Impact of Attractiveness on Multimodal Large Language Models
本研究探究外貌吸引力对多模态大语言模型决策的影响，发现MLLMs在多数场景中存在显著的吸引力偏见和光环效应，且该偏见与性别、年龄和种族等因素存在交叉性，强调了算法偏见检测需考虑交叉性。
2025-08-11 cs.CY
The Effect of the Rooney Rule on Implicit Bias in the Long Term
Yale University（耶鲁大学）
大量证据表明，从招聘到医疗保健，各种情况下的隐性偏见都会产生负面影响。鲁尼规则是一种旨在消除隐性偏见的干预措施，已在私营和公共部门实施。鲁尼规则要求选拔小组在候选人入围名单中至少包括一名来自代表性不足群体的候选人。最近，Kleinberg和Raghavan提出了一个内隐偏见模型，并研究了鲁尼规则应用于单一选择决策时的有效性。然而，随着时间的推移，选择决策往往会反复出现。此外，人们还观察到，如果有一致的反刻板印象反馈，对代表性不足的候选人的隐性偏见可能会改变。我们考虑一个模型，如何选择小组的隐式偏见随着时间的推移而变化，无论是否有鲁尼规则的地方，他们的招聘决定。我们的主要结果是，当小组受到鲁尼规则的约束时，他们的隐性偏见大致以与候选人名单大小相反的速度减少-与候选人的数量无关，而没有鲁尼规则，该速度与候选人的数量成反比。因此，当候选人的数量远远大于候选人名单的大小时，鲁尼规则可以更快地减少隐式偏见，这为使用它作为减轻隐式偏见的策略提供了额外的理由。为了从经验上评估鲁尼规则在重复选择决策中的长期影响，我们在Amazon MTurk上进行了迭代候选人选择实验。我们观察到，事实上，决策者受到鲁尼规则选择更多的少数候选人除了那些规则本身所要求的比他们会，如果没有规则是有效的，这样做没有显着降低候选人的效用选择。
2020-10-21 cs.AI cs.CY cs.LG
A Comprehensive Study of Implicit and Explicit Biases in Large Language Models
University of California, Davis（加州大学戴维斯分校）
该研究针对大型语言模型（LLMs）中的隐式和显式偏见问题，通过分析StereoSet等基准并提出自动化偏见识别框架，评估了BERT等模型的偏见情况，经提示微调等增强策略使模型在隐式偏见基准上性能提升达20%。
2025-11-18 cs.CY cs.LG
Implicit Bias-Like Patterns in Reasoning Models
Washington University in St. Louis（圣路易斯华盛顿大学）；Rutgers University（罗格斯大学）
研究推理模型在处理关联不兼容任务时消耗更多推理token，揭示其隐性偏见特征及模型内部推理内容的影响
2026-04-06 cs.AI cs.CY
Interventions for Ranking in the Presence of Implicit Bias
Yale University（耶鲁大学）；Indian Institute of Technology, Kanpur（坎pur印度理工学院）
内隐偏见是将特定品质（或缺乏）无意识地归因于来自特定社会群体的成员（例如，按性别或种族划分）。对内隐偏见的研究表明，这些无意识的刻板印象在各种社会背景下都会产生不良后果，例如工作筛选，教学或警务。最近，（Kleinberg和Raghavan，2018）考虑了隐式偏差的数学模型，并证明了鲁尼规则作为约束的有效性，以提高子集选择问题某些情况下结果的效用。在这里，我们研究的问题，设计干预措施的泛化子集选择-排名-需要输出一个有序的集合，是一个中央原语在各种社会和计算环境。我们提出了一系列简单且可解释的约束条件，并表明它们可以最佳地减轻隐式偏差，以推广（Kleinberg和Raghavan，2018）中研究的模型。随后，我们证明，在自然分布的假设下，项目的效用，简单的，鲁尼规则一样，约束也可以令人惊讶地恢复几乎所有的效用损失，由于隐含的偏见。最后，我们用来自IIT-JEE（2009）数据集和Semantic Scholar Research语料库的真实世界分布的经验发现来增强我们的理论结果。
2020-01-23 cs.AI cs.CY cs.DS
Characterizing Selective Refusal Bias in Large Language Models
Rutgers University（罗格斯大学）
本文研究了LLM安全护栏中的选择性拒绝偏见，通过分析不同人口群体的拒绝率、响应类型及拒绝长度，揭示了性别、性取向、国籍和宗教属性上的偏见，并通过间接攻击实验强调需提升护栏的公平性与稳健性。
2025-10-31 cs.CL cs.CY
Measuring Implicit Bias in Explicitly Unbiased Large Language Models
Princeton University（普林斯顿大学）
本研究提出两种基于提示的偏见测量方法（LLM隐式偏见与LLM决策偏见），揭示8个价值对齐模型在21个刻板印象中的隐式偏见，并证明其能更好预测下游决策行为。
2024-05-23 cs.CL cs.CY
Measuring Implicit Bias Using SHAP Feature Importance and Fuzzy Cognitive Maps
Eindhoven University of Technology（埃因霍温理工大学）；Eindhoven Artificial Intelligence Systems Institute（埃因霍温人工智能系统研究院）；Tilburg University（蒂尔堡大学）；Hasselt University（哈塞尔特大学）
本文提出一种三步方法，结合分类器、Fuzzy Cognitive Map模型与SHAP特征重要性来量化隐式偏差，并证实特征重要性方法直接测度偏差存在风险，且偏差程度受特征编码方式影响。
2023-05-17 cs.CY cs.LG
Aligned but Blind: Alignment Increases Implicit Bias by Reducing Awareness of Race
University of Chicago（芝加哥大学）；Rutgers University（罗格斯大学）；Allen Institute for AI（人工智能研究所）；University of Washington（华盛顿大学）
本文揭示价值对齐语言模型会在早期表征中忽略种族概念、绕过安全护栏而放大隐性偏见，并提出通过增强早期层对种族概念的表征来有效缓解偏见。
2025-06-08 cs.AI cs.CL cs.CY
Can We Derive Explicit and Implicit Bias from Corpus?
Tianjin University（天津大学）；University of Washington（华盛顿大学）
语言是挖掘说话者态度偏见的常用资源，假设说话者的陈述代表了他们对概念的偏见。然而，心理学研究表明，人们在陈述中的外显偏见可能不同于他们在头脑中的内隐偏见。虽然显性和隐性的偏见是有用的不同的应用程序，目前的自动技术不区分它们。受外显和内隐偏见的心理测量的启发，我们开发了一种基于语言的自动技术来重现大规模人群的心理测量。通过将每个心理测量与包含特定词语组合的陈述相联系，我们可以通过理解相应类别陈述的情感来获得外显和内隐偏见。在英汉严肃媒体（维基百科）和非严肃媒体（社交媒体）上的大量实验表明，该方法成功地再现了大规模人群的小规模心理观察，并取得了新的发现。
2019-05-31 cs.CL cs.CY cs.SI
Inference-Time Reasoning Selectively Reduces Implicit Social Bias in Large Language Models
Cognitive Science Program Department of Psychological & Brain Sciences Indiana University Bloomington（心理与脑科学系认知科学计划印第安纳大学布卢明顿）
该研究通过推理增强减少大语言模型中的隐性社会偏见，揭示推理对公平性评估的影响。
2026-02-04 cs.CL cs.CY
Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions
University of Michigan（密歇根大学）
该研究针对多智能体大语言模型交互中的隐性性别偏见，构建场景数据集和评估指标，并提出基于上下文示例的自我反思与监督微调两种缓解策略，实验证明二者结合效果最佳。
2024-10-03 cs.CL cs.CY
Implicit Biases in Refereeing: Lessons from NBA Referees
School of Computing and Information, University of Pittsburgh（匹兹堡大学计算与信息学院）
本研究分析了NBA裁判中隐性偏见的存在，发现主队偏见在季后赛中较明显，但疫情后有所减少，同时发现个别球员可能受益于裁判决定，但未发现对球员或球队的负面偏见。
2022-10-25 cs.CY stat.AP
Evaluating LLM Behavior in Hiring: Implicit Weights, Fairness Across Groups, and Alignment with Human Preferences
Malt
本文提出评估LLM招聘决策的框架，发现模型重视核心生产力信号，但对某些特征的解释超出显性匹配价值，且不同群体间权重存在差异。
2026-01-16 cs.AI cs.CL cs.CY
Covert Bias: The Severity of Social Views' Unalignment in Language Models Towards Implicit and Explicit Opinion
King Saud University（沙特国王大学）；College of Computer and Information Sciences（计算机与信息科学学院）
该研究聚焦隐性语言对大语言模型偏见放大的影响，通过下游任务与压力测试发现模型对显性对立意见存在偏见，且未对齐模型回复欠谨慎，提出需加入不确定性标记提升模型在社会微妙话题上的可靠性。
2024-08-16 cs.CL cs.CY
Implicit Gender Bias in Computer Science -- A Qualitative Study
科技行业的性别多样性-还没有？- 这足以使男女比例平衡。对许多妇女来说，接触计算机科学受到与社会化有关的社会、文化和结构性障碍的阻碍。所谓的内隐性别偏见在这方面有很大的影响。在计算机科学领域缺乏接触，很难发展或扩大潜在的兴趣。女性榜样以及职务说明的更大透明度应有助于妇女促进她们对职务说明的可能兴趣。然而，领导人也可以通过采取适当措施来促进和培养性别多样性。
2021-07-04 cs.CY cs.SE
