Large Language Model Bias Mitigation from the Perspective of Knowledge Editing
Zhejiang University（浙江大学）；Angelalign Technology Inc.（时代天使科技有限公司）
本文从知识编辑视角提出新基准 BiasKE 和细粒度去偏方法 FAST，通过校准个体偏见知识实现可编辑公平性，在保持知识能力的同时显著超越现有去偏基线。
2024-06-29 cs.AI cs.CL
Fairness Evaluation and Inference Level Mitigation in LLMs
School of Computing, Macquarie University, Australia（麦考瑞大学计算机学院，澳大利亚）
本文提出动态可逆剪枝框架，通过检测上下文感知的神经元激活并应用自适应遮蔽，实现细粒度内存感知的公平性缓解，提升多语言单轮和多轮对话的连贯性与公平性控制。
2026-04-23 cs.AI cs.CL
Comprehensive Validation on Reweighting Samples for Bias Mitigation via AIF360
Prairie View A&M University（普雷里维尤农工大学）；Texas A&M University System（得克萨斯农工大学系统）
本文系统评估了重加权样本方法在传统机器学习模型中的公平性效果，基于AIF360框架在多个数据集上验证，发现其有效性因模型而异并揭示偏差动态的复杂性。
2023-12-19 cs.AI cs.LG
ProxiMix: Enhancing Fairness with Proximity Samples in Subgroups
University of Bristol（布里斯托尔大学）；University of the West of England（西英格兰大学）；New Jersey Institute of Technology（新泽西理工学院）
针对线性 mixup 仍会保留标签偏差的问题，本文提出预处理方法 ProxiMix，通过保留成对与邻近关系生成更公平的增强标签，并在多数据集、多模型实验中验证其对预测公平性和追索公平性的提升。
2024-10-02 cs.AI cs.LG
MEDFAIR: Benchmarking Fairness for Medical Imaging
University of Edinburgh（爱丁堡大学）；Samsung AI Centre, Cambridge（三星剑桥人工智能中心）
大量的工作表明，基于机器学习的医疗诊断系统可能对某些人群有偏见。这促使越来越多的偏见缓解算法，旨在解决机器学习中的公平性问题。然而，由于两个原因，很难比较它们在医学成像中的有效性。首先，在评估公平性的标准上几乎没有共识。其次，现有的偏差减轻算法是在不同的设置下开发的，例如，数据集、模型选择策略、主干和公平性指标，使得基于现有结果的直接比较和评估成为不可能。在这项工作中，我们介绍MEDFAIR，一个框架，以基准的公平性机器学习模型的医学成像。MEDFAIR涵盖了来自不同类别的11种算法，来自不同成像模式的9个数据集和3个模型选择标准。通过大量的实验，我们发现，模型选择标准的研究不足的问题可以有一个显着的影响公平的结果，而相比之下，国家的最先进的偏见缓解算法并没有显着改善公平的结果超过经验风险最小化（ERM）在分布和分布设置。我们从多个角度对公平性进行评估，并针对不同的医疗应用场景，需要不同的伦理原则提出建议。我们的框架为深度学习中未来偏差缓解算法的开发和评估提供了一个可重复且易于使用的入口点。代码可在https://github.com/ys-zong/MEDFAIR上获得。
2023-02-17 cs.AI cs.LG eess.IV
Biased Models Have Biased Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们通过为机器学习模型生成的基于属性的解释来研究机器学习（FairML）中的公平性。我们的假设是：有偏的模型有偏的解释。为了建立这一点，我们首先翻译现有的群体公平的统计概念，并根据模型给出的解释来定义这些概念。然后，我们提出了一种新的方法来检测（不）公平的任何黑盒模型。我们进一步研究后处理技术的公平性和原因如何解释可以用来使偏见缓解技术更个别公平。我们还介绍了一种新的后处理缓解技术，提高个人公平性的追索权，同时保持组级的公平性。
2020-12-20 cs.AI cs.LG
One-vs.-One Mitigation of Intersectional Bias: A General Method to Extend Fairness-Aware Binary Classification
Fujitsu Laboratories Ltd.（富士通实验室）
本文提出一对一缓解方法，通过比较敏感属性各子群体对，在二分类中显著降低交叉偏见，优于传统方法，适用于多敏感属性场景。
2025-03-25 cs.AI cs.CY cs.LG
Fairness at Every Intersection: Uncovering and Mitigating Intersectional Biases in Multimodal Clinical Predictions
Northeastern University（东北大学）；Institute for Experiential AI, Northeastern University（东北大学体验式人工智能研究所）
本研究利用多模态EHR数据，提出子群体层面的偏见缓解方法，有效解决临床预测中的交叉偏见。
2026-09-22 cs.AI
Societal Biases in Retrieved Contents: Measurement Framework and Adversarial Mitigation for BERT Rankers
Johannes Kepler University Linz（约翰内斯·开普勒林茨大学）；Know-Center GmbH（知识中心有限公司）
社会偏见的共鸣，在信息检索（IR）系统检索的内容，从而加强现有的刻板印象。解决这个问题需要针对检索结果中各种社会群体的代表性制定公平性措施，以及减轻此类偏见的方法，特别是考虑到深度排名模型的进步。在这项工作中，我们首先提供了一个新的框架来衡量的公平性检索的文本内容的排名模型。引入一个排名不可知的测量，该框架还可以从排名的公平性收集的影响解开。为了减轻这些偏见，我们提出了AdvBert，这是一种通过适应对抗性偏见减轻IR来实现的排名模型，它联合学习预测相关性并删除受保护的属性。我们对两个段落检索集合（MSMARCO Passage Re-ranking和TREC深度学习2019 Passage Re-ranking）进行了实验，我们通过对有关性别属性的选定查询子集的公平注释进行了扩展。我们在MSMARCO基准测试上的结果表明，（1）与排名不可知的基线相比，所有排名模型都不太公平，（2）当使用建议的AdvBert模型时，BERT排名的公平性显着提高。最后，我们研究了公平和效用之间的权衡，表明我们可以保持公平的显着改善，而不会有任何显着的效用损失。
2021-05-11 cs.AI cs.IR cs.LG
Different Horses for Different Courses: Comparing Bias Mitigation Algorithms in ML
McGill University（麦吉尔大学）；Mila（米拉）；Iowa State University（爱荷华州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文通过实验揭示机器学习偏差缓解算法的公平性表现受超参数、随机种子和特征选择等评估设置显著影响，指出在允许超参数优化时多数方法性能相当，表面上的优劣常源于评估参数选择而非算法本身。
2024-11-19 cs.AI cs.CY cs.LG
Fairness Issues and Mitigations in (Differentially Private) Socio-Demographic Data Processes
University of Virginia（弗吉尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；RTI International（RTI国际公司）
本文研究差分隐私社会人口数据过程中的公平性问题，提出优化抽样方法，并发现差分隐私噪声可减少不公平性，经人口普查数据验证。
2025-01-19 cs.AI cs.CR cs.CY
Revisiting Technical Bias Mitigation Strategies
Stanford University School of Medicine（斯坦福大学医学院）
本文从五个关键维度系统分析了医疗场景中技术性偏见缓解策略的实际局限，并提出价值敏感AI框架及实用建议以推动更有效的公平性实践。
2024-10-22 cs.AI cs.CY
AGR: Age Group fairness Reward for Bias Mitigation in LLMs
Beijing Electronic Science and Technology Institute（北京电子科技学院）
针对 LLM 年龄偏见数据稀缺与公平微调不足的问题，本文构建 RLHF 数据集并提出年龄公平奖励 ARG，显著提升响应准确率并降低年龄组间性能差异。
2024-09-06 cs.AI cs.CL cs.LG
Evolved Sample Weights for Bias Mitigation: Effectiveness Depends on the Fairness Objective
Cedars-Sinai Medical Center, Los Angeles（西德萨斯-辛AI医疗中心，洛杉矶）；University of California, Los Angeles（加州大学洛杉矶分校）
本文研究了通过遗传算法进化样本权重以平衡公平性与预测性能的效果，发现公平性目标的选择显著影响结果。
2026-03-18 cs.AI cs.LG cs.NE
Position: LLMs Must Use Functor-Based and RAG-Driven Bias Mitigation for Fairness
Knight Foundation School of Computing and Information Sciences（骑士基金会计算与信息科学学院）；Florida International University（佛罗里达国际大学）；College of Engineering（工程学院）；University of South Florida（佛罗里达州立大学）
本文提出通过范畴论转换和RAG结合的方法，解决LLMs中的偏见问题，以实现公平性。
2026-03-07 cs.AI cs.CL
FairGridSearch: A Framework to Compare Fairness-Enhancing Models
Humboldt-Universität zu Berlin（柏林洪堡大学）；Technische Hochschule Wildau（维尔道应用技术大学）；Hochschule für Technik und Wirtschaft Berlin（柏林工程与经济应用科学大学）
本文提出FairGridSearch框架，通过实验不同参数组合比较公平性增强模型，发现指标选择、基础估计器和分类阈值对模型公平性有不同影响，强调构建公平模型需考虑更广泛因素。
2024-01-04 cs.AI cs.CY cs.LG
Attention Pruning: Automated Fairness Repair of Language Models via Surrogate Simulated Annealing
Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois（伊利诺伊大学）
本文提出注意力剪枝方法，通过代理模拟退火在LLMs中减少偏见，提升公平性。
2025-11-25 cs.AI
Testing Individual Fairness in Graph Neural Networks
Jheronimus Academy of Data Science, Tilburg University（杰罗尼姆斯数据科学学院，蒂尔堡大学）
该博士项目针对图神经网络中的个体公平性缺失问题，通过文献综述构建分类体系，并开发测试框架以评估和确保公平性，最终在基于图的大型语言模型上进行工业案例验证。
2025-04-25 cs.AI cs.LG
Language Bias in Information Retrieval: The Nature of the Beast and Mitigation Methods
School of Computing & Information Systems, The University of Melbourne（计算机与信息系统学院，墨尔本大学）；Mohamed bin Zayed University of Artificial Intelligence, UAE（马尔代夫比兹亚德人工智能大学，阿联酋）
本文研究多语言信息检索中的语言公平性问题，提出基于mBERT和XLM-R的DPR神经排序器评估方法，并设计新型损失函数LaKDA以缓解语言偏差，实验证明其能有效提升公平性。
2025-09-07 cs.AI cs.CL cs.IR
Subgroups Matter for Robust Bias Mitigation
University of Oxford, UK（牛津大学）；Imperial College London, UK（伦敦帝国理工学院）
本文研究了偏见缓解技术失败的原因，发现子组定义的选择显著影响缓解效果，有时甚至加剧不公平，提出应将子组定义作为提升模型鲁棒性和公平性的关键手段。
2025-07-14 cs.AI cs.LG
Analyzing Fairness of Classification Machine Learning Model with Structured Dataset
Shippensburg University of Pennsylvania（宾夕法尼亚州希彭斯堡大学）；Islamic University of Madinah（麦地那伊斯兰大学）；University of Khartoum（喀土穆大学）
本研究使用Fairlearn、AIF360和What If Tool三个公平性库，分析Kaggle结构化数据集上分类机器学习模型的偏见，比较各库优劣，为实践提供公平性评估与缓解指导。
2024-12-17 cs.AI cs.LG
Counting Worlds Branching Time Semantics for post-hoc Bias Mitigation in generative AI
本文提出CTLF分支时间逻辑，用于分析生成AI输出序列中的偏差，通过计数世界语义验证输出序列是否符合保护属性的概率分布，预测生成新输出时的偏差范围，以及确定需移除的输出数量以恢复公平性。
2026-04-21 cs.AI cs.LO
Bias Discovery in Machine Learning Models for Mental Health
Utrecht University（乌得勒支大学）；University Medical Center Utrecht（乌得勒支大学医学中心）；Leiden University Medical Center（莱顿大学医学中心）；Leiden University（莱顿大学）
公平和偏见是人工智能中的关键概念，但在临床精神病学的机器学习应用中，它们相对被忽视。我们使用一个在临床心理健康数据上训练的模型来计算公平性指标并提出偏见缓解策略。我们收集了与乌得勒支大学医学中心精神科患者的入院、诊断和治疗相关的结构化数据。我们训练了一个机器学习模型，以根据过去的数据预测苯二氮卓类药物的未来给药。我们发现，性别在预测中扮演了一个意想不到的角色，这构成了偏见。使用AI Fairness 360包，我们实现了重新加权和歧视感知正则化作为偏差缓解策略，并探索了它们对模型性能的影响。这是在真实临床精神病学数据上训练的机器学习模型中首次应用偏差探索和缓解。
2022-05-24 cs.AI cs.CY cs.LG
Effective Controllable Bias Mitigation for Classification and Retrieval using Gate Adapters
Johannes Kepler University Linz（约翰开普勒林茨大学）；Linz Institute of Technology（林茨理工学院）
本文提出可控门控适配器ConGater，通过可调灵敏度参数在推理时实现模型偏见与去偏见状态的连续过渡，在分类与检索任务中均优于基线，兼顾性能与公平性。
2024-02-19 cs.AI cs.CY cs.LG
Component-Based Fairness in Face Attribute Classification with Bayesian Network-informed Meta Learning
School of Information Sciences University of Illinois Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校）
本文首次提出人脸组件公平性概念，并针对属性标签稀缺和属性相互依赖两大挑战，设计贝叶斯网络引导的元重加权方法BNMR，在大规模真实人脸数据集上验证其优于现有偏差缓解基线，且对人口统计学公平性具有积极影响。
2025-05-03 cs.AI cs.CV
Unified Threat Detection and Mitigation Framework (UTDMF): Combating Prompt Injection, Deception, and Bias in Enterprise-Scale Transformers
Microsoft Corporation（微软公司）
针对企业级LLM面临的提示注入、欺骗与偏见威胁，研究扩展对抗激活补丁框架提出UTDMF，经700余次实验验证，在检测、减骗、公平性上均有显著效果，还提出新算法、假设及部署工具包。
2025-10-06 cs.AI cs.CR
Social Bias in LLM-Generated Code: Benchmark and Mitigation
Concordia University（康科德大学）；Lassonde School of Engineering, York University（York大学工程学院）
本文研究LLM生成代码中的社会偏见问题，通过SocialBias-Bench基准测试发现四种主流模型存在严重偏见，提出Fairness Monitor Agent (FMA)有效降低偏见并提升代码正确性。
2026-05-01 cs.AI cs.SE cs.SI
Towards Integrating Fairness Transparently in Industrial Applications
AT&T Labs - Research（AT&T实验室-研究部）
近年来，许多与机器学习（ML）偏见相关的失败导致了对公司如何在其ML生命周期中纳入透明度和问责制方面的审查。公司有责任监控ML流程中的偏见，并减轻检测到的任何偏见，确保业务产品的完整性，维护客户忠诚度，并保护品牌形象。行业ML项目所面临的挑战可以大致分为原则性文档、人为监督以及对实现信息重用和提高成本效率的机制的需求。我们强调了具体的障碍，并为ML从业者和组织主题专家提出了基于每个类别的概念解决方案。我们的系统方法通过在ML生命周期的各个阶段将机械化和人在环组件集成到偏差检测、缓解和项目文档中来应对这些挑战。为了激励我们的系统的实施- SIFT（系统整合公平性）-我们提出了它的结构原语与一个示例现实世界的用例，它可以用来识别潜在的偏见，并确定适当的缓解策略，在参与的方式。
2021-02-13 cs.AI cs.CY cs.LG
Analyzing the Effect of Sampling in GNNs on Individual Fairness
Universite de Montreal（蒙特利尔大学）；MILA（MILA蒙特利尔学习算法研究所）；Google（谷歌）；HEC（高等商学院）
基于图神经网络（GNN）的推荐方法已经在推荐系统领域占据了主导地位。这些系统的收益是显著的，显示了通过网络结构解释数据的优势。然而，尽管在推荐任务中使用图结构有明显的好处，但这种表示形式也带来了新的挑战，这加剧了减轻算法偏见的复杂性。当GNN被集成到下游任务中时，例如推荐，偏差缓解可能变得更加困难。此外，将现有的公平促进方法应用于大型真实世界数据集的棘手性对缓解尝试造成了更严重的限制。我们的工作旨在填补这一空白，采取现有的方法来促进图上的个人公平性，并将其扩展到支持小批量或基于子样本的GNN训练，从而为将该方法应用于下游推荐任务奠定基础。我们评估了两种流行的GNN方法：图卷积网络（GCN），它在整个图上训练，和GraphSAGE，它使用概率随机游走来创建子图进行小批量训练，并评估子采样对个体公平性的影响。我们实现了一个单独的公平性概念称为\textit{REDRESS}，提出了董等人，其使用等级优化来学习各个公平节点或项目嵌入。我们在两个真实世界的数据集上实证表明，GraphSAGE不仅能够实现可比的准确性，而且与GCN模型相比，还能够提高公平性。这些发现对个人公平促进，GNN和下游形式的推荐系统产生了相应的影响，表明小批量训练通过允许局部细微差别来指导表示学习中的公平促进过程，从而促进了个人公平促进。
2022-09-09 cs.AI cs.CY cs.LG
MIFair: A Mutual-Information Framework for Intersectionality and Multiclass Fairness
Orange Research（Orange研究院）；EURECOM
MIFair通过互信息框架解决机器学习中的公平性问题，提供灵活的指标模板和偏见缓解方法，支持交集性和多类分类，实验显示其能有效减少偏见并保持预测性能。
2026-04-30 cs.AI cs.CY cs.IT
Whither Bias Goes, I Will Go: An Integrative, Systematic Review of Algorithmic Bias Mitigation
Virginia Tech（弗吉尼亚理工大学）；University of Colorado-Boulder（科罗拉多大学博尔德分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Purdue University（普渡大学）
本文提出四阶段模型，系统综述算法偏见缓解方法，整合公平性定义与法律要求，为ML评估的开发与部署提供合法有效的实践建议。
2024-10-31 cs.AI cs.LG
Ensuring Equitable Financial Decisions: Leveraging Counterfactual Fairness and Deep Learning for Bias
Nihilent Technologies Ltd.（Nihilent科技有限公司）
本文针对机器学习模型在贷款审批等关键决策中的性别偏见问题，提出结合反事实公平与数据增强的偏见缓解技术，并在偏斜金融数据集上验证了其能有效实现更公平的决策结果。
2024-08-27 cs.AI cs.LG
FAIR-MATCH: A Multi-Objective Framework for Bias Mitigation in Reciprocal Dating Recommendations
FAIR-MATCH通过多目标优化和公平性算法，提升相亲推荐系统的互惠效果和公平性，减少算法偏见。
2026-01-28 cs.AI cs.IR
NeuFair: Neural Network Fairness Repair with Dropout
Pennsylvania State University（宾夕法尼亚州立大学）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
本文提出NeuFair，一种在推理阶段通过随机dropout修复预训练深度神经网络公平性的后处理算法族，以最小化歧视为目标进行随机搜索，在保持模型性能的同时实现最高69%的公平性提升。
2024-09-02 cs.AI cs.LG cs.SE
Toward Unifying Group Fairness Evaluation from a Sparsity Perspective
University of Minnesota（明尼苏达大学）；University of Kentucky（肯塔基大学）
本文针对机器学习中算法公平性标准泛化性不足的问题，提出了一种基于稀疏性的统一评估框架，并通过多数据集与偏见缓解方法实验验证了其有效性与广泛适用性。
2025-11-01 cs.AI cs.CY cs.LG
Developing a novel fair-loan-predictor through a multi-sensitive debiasing pipeline: DualFair
Floyd B. Buchanan High School（弗洛伊德·B·布坎南高中）；Massachusetts Institute of Technology（麻省理工学院）
机器学习（ML）模型越来越多地用于高风险应用，这些应用可以极大地影响人们的生活。尽管使用这些模型，但它们有可能基于种族、性别或民族而偏向某些社会群体。许多先前的工作已经尝试通过更新训练数据（预处理）、改变模型学习过程（处理中）或操纵模型输出（后处理）来减轻这种“模型歧视”。然而，这些工作尚未扩展到多敏感参数和敏感选项（MSPSO）的领域，其中敏感参数是可以区分的属性（例如种族），敏感选项是敏感参数中的选项（例如黑色或白色），从而使它们在现实世界中的可用性有限。以前的公平性工作也遭受了准确性和公平性的权衡，这使得准确性和公平性都不高。此外，以前的文献未能提供与MSPSO一起工作的整体公平性指标。在本文中，我们解决了所有这三个问题，（a）创建一个新的偏见缓解技术称为DualFair和（b）开发一个新的公平性度量（即AWI），可以处理MSPSO。最后，我们使用全面的美国抵押贷款数据集测试了我们的新缓解方法，并表明我们的分类器或公平贷款预测器比当前最先进的模型获得了更好的公平性和准确性指标。
2021-11-14 cs.AI cs.CY cs.LG
Robustly Improving LLM Fairness in Realistic Settings via Interpretability
Anthropic
针对真实招聘场景下现有反偏见提示失效的问题，提出通过识别模型激活中敏感属性方向并进行仿射概念编辑的内部偏见缓解方法，可稳健降低LLM招聘偏见且基本不影响性能。
2025-06-12 cs.AI cs.CL cs.LG
Fairness in Deep Learning: A Computational Perspective
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Department of Industrial and Systems Engineering, Texas A&M University（德克萨斯农工大学工业与系统工程系）
深度学习越来越多地用于影响个人生活的高风险决策应用程序。然而，深度学习模型可能会表现出对受保护群体的算法歧视行为，可能会对个人和社会造成负面影响。因此，深度学习中的公平性最近引起了极大的关注。我们提供了一个综述，涵盖了最近的进展，以解决算法公平性问题的深度学习从计算的角度来看。具体来说，我们表明，可解释性可以作为一个有用的成分，诊断导致算法歧视的原因。我们还讨论了根据深度学习生命周期的三个阶段分类的公平性缓解方法，旨在推进深度学习的公平性领域，构建真正公平可靠的深度学习系统。
2020-03-19 cs.AI cs.CY cs.LG
Bias and Fairness in Large Language Models: A Survey
Stanford University（斯坦福大学）；Adobe Research（奥多比研究院）；Pattern Data（帕特恩数据公司）；Intel Labs（英特尔实验室）
该综述整合规范了大语言模型的偏见与公平性概念，提出偏见评估指标、数据集及缓解技术三类分类体系，梳理现有研究并指出未来挑战，为防范LLM偏见传播提供指引。
2024-07-12 cs.AI cs.CL cs.CY
Uncovering Bias in Foundation Models: Impact, Testing, Harm, and Mitigation
Nankai University（南开大学）；University of Oulu（奥卢大学）；National University of Defense Technology（国防科技大学）
本研究提出TriProTesting测试方法和AdaLogAdjustment后处理技术，揭示并缓解CLIP等基础模型在性别、种族等属性上的显性和混合偏见，无需重训练即可显著提升公平性。
2025-01-14 cs.AI cs.CY cs.LG
Rethinking Bias Mitigation: Fairer Architectures Make for Fairer Face Recognition
University of Maryland（马里兰大学）；University of Freiburg（弗莱堡大学）；Arthur AI（亚瑟人工智能公司）；Caltech（加州理工学院）；New York University（纽约大学）
本文发现人脸识别偏见内生于神经网络架构，首次通过联合公平性神经架构搜索与超参数搜索，得到在 CelebA 和 VGGFace2 上准确率与公平性均 Pareto 占优的模型。
2023-12-06 cs.AI cs.CV cs.CY
Towards A Scalable Solution for Improving Multi-Group Fairness in Compositional Classification
Google（谷歌）；OpenAI（开放人工智能研究中心）
针对多分类器组合且涉及多群体的复杂系统，本文提出任务过度条件化与群体交错两种技术，使多群体多标签公平性修复实现恒定扩展，并通过实验验证其有效性。
2023-07-11 cs.AI cs.CY cs.LG
