Enhancing Fairness in Skin Lesion Classification for Medical Diagnosis Using Prune Learning
University of Hull（赫尔大学）；Leeds Teaching Hospitals NHS Trust（利兹教学医院 NHS信托）
针对皮肤病变分类模型的肤色偏差问题，提出基于剪枝学习的公平性算法，通过计算网络特征偏度去除肤色相关冗余通道，在降本缩模的同时提升诊断公平性与实用性。
2025-08-31 cs.AI cs.CV cs.CY
People-Centred Medical Image Analysis via Fairness-Aware Human-AI Cooperation
提出PecMan框架，联合建模子群依赖可靠性、决策分配和协作预测，通过门控与整合机制动态分配病例给自动模型或人类专家，无需测试时敏感属性，实现公平感知的人机协作分类。
2026-06-09 cs.AI cs.LG
Aequitas: A Bias and Fairness Audit Toolkit
Center for Data Science and Public Policy（数据科学与公共政策中心）；University of Chicago（芝加哥大学）
最近的工作引起了人们对当今使用的人工智能系统中存在意外偏见的风险的担忧，这些偏见可能会基于种族，性别或宗教等可能的特征对个人产生不公平的影响。虽然近年来已经提出了许多偏见指标和公平性定义，但对于应该使用哪个指标/定义没有达成共识，并且很少有可用资源来操作它们。因此，尽管最近意识到，在开发和部署人工智能系统时对偏见和公平性进行审计还不是一种标准做法。我们提出了Aequitas，一个开源的偏见和公平性审计工具包，它是机器学习工作流程的一个直观且易于使用的补充，使用户能够无缝地测试模型的几个偏见和公平性指标，与多个人口子组。Aequitas为数据科学家、机器学习研究人员和政策制定者开发和部署算法决策系统提供了明智和公平的决策。
2019-04-29 cs.AI cs.CY cs.LG
On the Interplay of Human-AI Alignment,Fairness, and Performance Trade-offs in Medical Imaging
University of Bern（伯恩大学）；Shanghai Jiao Tong University（上海交通大学）
本文首次系统研究医学影像中人类-AI对齐与公平性的关系，证明适度引入人类洞见可缩小群体差距并提升域外泛化，但过度对齐会造成性能权衡。
2025-05-15 cs.AI cs.CL cs.CV
Improving Fairness of AI Systems with Lossless De-biasing
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Purdue University（普渡大学）
在当今社会，人工智能系统越来越多地用于做出关键决策，如信用评分和患者分流。然而，人工智能系统带来的巨大便利伴随着对代表性不足群体的偏见的普遍存在。减轻人工智能系统中的偏见以提高整体公平性已成为一项重要挑战。现有关于减轻人工智能系统偏见的研究集中在消除数据中嵌入的敏感人口统计信息。考虑到公平性概念化的时间和上下文复杂性，人口统计信息的有损处理可能会导致准确性和公平性之间不必要的权衡，特别是当人口统计属性和类别标签相关时。在本文中，我们提出了一个信息无损去偏置技术，针对弱势群体的数据稀缺。与现有的工作不同，我们从理论上和经验上证明，对代表性不足的群体进行过采样不仅可以减轻AI系统中的算法偏见，这些系统始终预测某个群体的有利结果，而且可以通过减轻数据中的类别不平衡来提高整体准确性，从而导致对大多数类别的偏见。我们证明了我们的技术在真实数据集上使用各种公平性指标的有效性。
2021-05-10 cs.AI cs.CY cs.LG
Social Norm Bias: Residual Harms of Fairness-Aware Algorithms
California Institute of Technology（加州理工学院）；Microsoft Research（微软研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
许多现代机器学习算法通过在与性别或种族等敏感属性相关的粗略定义的群体中实施公平约束来减轻偏见。然而，这些算法很少考虑组内异质性和偏见，可能会不成比例地影响一个组的一些成员。在这项工作中，我们的特点社会规范偏差（SNoB），一个微妙的，但后果类型的算法歧视，可能会表现出的机器学习模型，即使这些系统实现组公平的目标。我们通过职业分类中的性别偏见来研究这个问题。我们通过测量算法的预测如何与推断的性别规范一致性相关联来量化SNoB。当预测一个人是否属于男性主导的职业时，这个框架表明，“公平”分类器仍然倾向于以符合推断的男性规范的方式撰写的传记。我们比较了算法公平性方法之间的SNoB，并表明它通常是一个残余偏差，后处理方法根本不能减轻这种类型的偏差。
2022-08-10 cs.AI cs.CY cs.LG
Biased Models Have Biased Explanations
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们通过为机器学习模型生成的基于属性的解释来研究机器学习（FairML）中的公平性。我们的假设是：有偏的模型有偏的解释。为了建立这一点，我们首先翻译现有的群体公平的统计概念，并根据模型给出的解释来定义这些概念。然后，我们提出了一种新的方法来检测（不）公平的任何黑盒模型。我们进一步研究后处理技术的公平性和原因如何解释可以用来使偏见缓解技术更个别公平。我们还介绍了一种新的后处理缓解技术，提高个人公平性的追索权，同时保持组级的公平性。
2020-12-20 cs.AI cs.LG
Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks
Texas State University（得克萨斯州立大学）；Illinois Institute of Technology（伊利诺伊理工学院）
算法偏见越来越受到研究界和整个社会的关注。人工智能中的偏见比传统形式的歧视更加抽象和不直观，并且更难以检测和减轻。在目前的文献中存在一个明显的差距，在多类分类器的性能评估的相对偏差。在这项工作中，我们提出了两个简单而有效的度量，组合误差方差（CEV）和对称距离误差（EFT），以定量评估两个模型之间的类偏差。通过评估这些新指标的性能，并通过展示其实际应用，我们表明，它们可以用来衡量公平性以及偏见。这些演示表明，我们的指标可以解决测量多类分类中的偏差的特定需求。
2021-10-08 cs.AI cs.CY cs.LG
End-To-End Bias Mitigation: Removing Gender Bias in Deep Learning
Wake Forest University（维克森林大学）
机器学习模型已经被部署在社会的许多不同方面，通常是在影响社会福利的情况下。虽然这些模型为大问题提供了简化的解决方案，但它们可能包含偏见，并基于受保护的属性（如性别）不公平地对待群体或个人。在本文中，我们介绍了机器学习性别偏见在实践中的几个例子，其次是公平的形式化。我们通过详细介绍有影响力的预处理、处理中和后处理偏差缓解算法来提供公平性研究的调查。然后，我们提出了一个端到端的偏见缓解框架，它采用了融合的前，中，后处理方法，以利用每个单独的技术的优势。我们在深度神经网络上测试了这种方法以及我们回顾的标准技术，以分析深度学习环境中的偏差缓解。我们发现，我们的端到端的偏见缓解框架优于基准方面的几个公平性指标，这表明其承诺作为一种方法，提高公平性。随着社会越来越依赖人工智能来帮助决策，解决深度学习模型中存在的性别偏见势在必行。为了向读者提供评估机器学习模型的公平性并减轻其中存在的偏见的工具，我们讨论了多个用于AI公平性的开源软件包。
2021-06-21 cs.AI cs.CY cs.LG
Assessing Classifier Fairness with Collider Bias
University of South Australia（南澳大学）；Simon Fraser University（西蒙菲莎大学）
随着机器学习技术在日常决策过程中的应用越来越广泛，人们开始关注算法决策的公平性。本文研究了公平性评估中产生虚假关联的碰撞者偏差问题，并给出了避免碰撞者偏差的公平性评估定理。我们认为一个真实世界的应用程序的审计培训分类的审计机构。我们提出了一个公正的评估算法，利用发达国家的定理，以减少碰撞偏见的评估。实验和仿真结果表明，该算法在评估中显著降低了碰撞者偏差，在审计训练分类器方面具有良好的应用前景。
2022-01-28 cs.AI cs.LG
A Seven-Layer Model for Standardising AI Fairness Assessment
Telecommunication Engineering Centre（电信工程中心）；Ministry of Communications（通信部）；Adobe Inc.（奥多比公司）
问题陈述：人工智能公平性规则和基准的标准化是具有挑战性的，因为人工智能公平性和其他道德要求取决于多种因素，如上下文，用例，人工智能系统的类型等。在本文中，我们阐述了人工智能系统在其生命周期的每个阶段都容易产生偏见，从开始到使用，所有阶段都需要适当注意减轻人工智能偏见。我们需要一种标准化的方法来处理每个阶段的AI公平性。差距分析：虽然人工智能公平性是一个热门的研究课题，但人工智能公平性的整体策略通常缺失。大多数研究人员只关注人工智能模型构建的几个方面。同行评审显示过度关注数据集、公平性指标和算法偏见中的偏差。在这个过程中，影响AI公平性的其他方面被忽略了。建议的解决办法是：我们提出了一个全面的方法，在一个新的七层模型的形式，灵感来自开放系统互连（OSI）模型，以简化AI公平处理。尽管在各个方面存在差异，但大多数人工智能系统都有类似的建模阶段。该模型将AI系统生命周期分为七个抽象层，每个抽象层对应于一个定义良好的AI模型构建或使用阶段。我们还为每一层提供了检查表，并对每一层的潜在偏差来源及其缓解方法进行了审议。这项工作将促进人工智能公平规则和基准参数的分层标准化。
2022-12-21 cs.AI cs.CY cs.LG
FairDomain: Achieving Fairness in Cross-Domain Medical Image Segmentation and Classification
Center for Artificial Intelligence and Robotics, New York University Abu Dhabi（纽约大学阿布扎比分校人工智能与机器人中心）；New York University（纽约大学）；Harvard University（哈佛大学）
FairDomain系统研究医学图像跨域分割与分类中的公平性，提出即插即用的公平身份注意力模块，并构建首个配对模态公平性数据集，显著提升域偏移下的公平性能。
2024-07-18 cs.AI cs.CV eess.IV
One-vs.-One Mitigation of Intersectional Bias: A General Method to Extend Fairness-Aware Binary Classification
Fujitsu Laboratories Ltd.（富士通实验室）
本文提出一对一缓解方法，通过比较敏感属性各子群体对，在二分类中显著降低交叉偏见，优于传统方法，适用于多敏感属性场景。
2025-03-25 cs.AI cs.CY cs.LG
Technical Challenges for Training Fair Neural Networks
University of Maryland, College Park（马里兰大学帕克分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
随着机器学习算法在应用程序中的广泛部署，人们对其预测的公平性提出了许多担忧，特别是在高风险环境中（如面部识别和医学成像）。为了回应这些关注，社会提出并正式确定了各种公平的概念以及纠正不公平行为的方法。虽然公平性约束已经被广泛研究了经典模型，但对深度神经网络施加公平性的方法的有效性尚不清楚。在本文中，我们观察到这些大型模型过度拟合公平目标，并产生一系列意想不到的和不希望的后果。我们使用最先进的架构对面部识别和自动医疗诊断数据集进行实验。
2021-02-12 cs.AI cs.CY cs.LG
Fair Federated Medical Image Segmentation via Client Contribution Estimation
The Chinese University of Hong Kong（香港中文大学）；NVIDIA（英伟达）
如何保证公平性是联邦学习的一个重要课题。最近的研究调查了如何根据客户的贡献（合作公平性）来奖励客户，以及如何在客户之间实现一致的绩效（绩效公平性）。尽管在这两个方面都取得了进展，但我们认为，为了吸引和激励更多不同的客户加入FL，以获得高质量的全球模式，将它们放在一起考虑至关重要。在这项工作中，我们提出了一种新的方法来同时优化这两种类型的公平性。具体来说，我们建议在梯度和数据空间中估计客户端的贡献。在梯度空间中，我们监控每个客户端相对于其他客户端的梯度方向差异。在数据空间中，我们使用辅助模型来度量客户端数据的预测误差。基于这种贡献估计，我们提出了一种FL方法，通过贡献估计的联邦训练（FedCE），即，使用估计作为全局模型聚合权重。我们从理论上分析了我们的方法，并在两个真实世界的医疗数据集上进行了经验评估。我们的方法的有效性已被验证与显着的性能改进，更好的协作公平性，更好的性能公平性，以及全面的分析研究。
2023-03-29 cs.AI cs.CV cs.LG
Increasing Fairness in Predictions Using Bias Parity Score Based Loss Function Regularization
越来越多地使用基于机器学习的决策支持系统强调了对所有利益相关者的准确和公平的预测的需要。在这项工作中，我们提出了一种新的方法来增加神经网络模型的公平性在训练过程中。我们引入了一系列增强公平性的正则化组件，我们将其与传统的基于二进制交叉熵的准确性损失结合使用。这些损失函数基于偏差奇偶性分数（BPS），该分数有助于用单个数字量化模型中的偏差。在目前的工作中，我们调查的行为和影响，这些正则化组件的偏见。我们将它们部署在累犯预测任务以及基于人口普查的成人收入数据集的背景下。结果表明，通过合理选择公平性损失函数，即使在不平衡数据集上，也可以在不降低精度的情况下降低训练模型的偏差。
2021-11-05 cs.AI cs.LG
The Limits of Fair Medical Imaging AI In The Wild
Massachusetts Institute of Technology（麻省理工学院）；Emory University School of Medicine（埃默里大学医学院）
本研究针对医学影像AI利用人口统计学捷径引发的亚群体公平性问题展开调研，发现算法修正仅能实现原始分布内的局部公平，低人口编码模型在新环境中全局公平性更优，为跨场景部署的医学影像AI公平性实践提供了参考。
2023-12-11 cs.AI cs.CV cs.CY
Distribution-aware Fairness Learning in Medical Image Segmentation From A Control-Theoretic Perspective
Oncosoft Inc（Oncosoft公司）
受最优控制理论启发，本文提出分布感知混合专家模型（dMoE），通过结合人口统计学和临床因素适应异构分布，有效缓解医学图像分割中的数据不平衡偏差，在多个2D和3D数据集上达到最先进性能。
2025-05-27 cs.AI cs.CV eess.IV
Ensuring Equitable Financial Decisions: Leveraging Counterfactual Fairness and Deep Learning for Bias
Nihilent Technologies Ltd.（Nihilent科技有限公司）
本文针对机器学习模型在贷款审批等关键决策中的性别偏见问题，提出结合反事实公平与数据增强的偏见缓解技术，并在偏斜金融数据集上验证了其能有效实现更公平的决策结果。
2024-08-27 cs.AI cs.LG
How Biased are Your Features?: Computing Fairness Influence Functions with Global Sensitivity Analysis
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文提出公平性影响函数（FIF），通过全局敏感性分析和方差分解量化数据集中单一及交叉特征对分类器偏见的影响，并实例化FairXplainer算法进行估计，实验证明其能更好地近似偏见并检测公平性干预的效果。
2023-07-03 cs.AI cs.LG
Fairness Evolution in Continual Learning for Medical Imaging
Università degli studi di Padova（帕多瓦大学）；Università degli studi di Trieste（特里este大学）
本研究针对医学影像持续学习中的公平性问题，利用领域特定公平性指标分析偏见随任务的演化，并比较不同持续学习策略，发现伪标签方法在保持最优分类性能的同时偏见更小。
2025-07-07 cs.AI cs.CV eess.IV
Bayesian Modeling of Intersectional Fairness: The Variance of Bias
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
交叉性是一个框架，它分析了权力和压迫的连锁系统如何沿着重叠的维度影响个人，包括种族，性别，性取向，阶级和残疾。因此，交叉性理论意味着重要的是，在人工智能系统中的公平性受到保护的多维保护属性。然而，由于数据稀疏性，在多维环境中公平性的测量在统计上变得具有挑战性，数据稀疏性在维度的数量和每个维度的值中迅速增加。我们提出了一个贝叶斯概率建模方法的可靠性，数据效率的估计公平性与多维保护属性，我们适用于两个现有的交叉公平性指标。人口普查数据和COMPAS刑事司法累犯数据集的实验结果表明，我们的方法的实用性，并表明贝叶斯方法是有价值的建模和测量的公平性在一个交叉的背景下。
2019-09-10 cs.AI cs.CY cs.LG
Intra-Fairness Dynamics: The Bias Spillover Effect in Targeted LLM Alignment
Department of Applied Mathematics and Computer Science, Technical University of Denmark（应用数学与计算机科学系，丹麦技术大学）；Department of Mathematical Sciences, University of Copenhagen（数学科学系，哥本哈根大学）
本文研究了定向性别对齐对多敏感属性公平性的影响，发现改善某一属性公平性可能加剧其他属性的不平等，强调了多属性、情境感知公平性评估的重要性。
2026-02-18 cs.AI cs.LG
Bias and Fairness on Multimodal Emotion Detection Algorithms
University of Southern California（南加州大学）
许多研究表明，机器学习算法可以锁定受保护的属性，如种族和性别，并生成系统地歧视一个或多个群体的预测。迄今为止，大多数的偏见和公平性的研究一直是单峰模型。在这项工作中，我们探讨了情感识别系统中存在的偏见与所使用的模态的关系，并研究多模态方法如何影响系统的偏见和公平性。我们考虑音频，文本和视频模态，以及所有可能的多模态组合，并发现文本本身具有最小的偏见，并占大多数模型的性能，提出了怀疑的价值多模态情感识别系统时，偏见和公平的期望模型性能。
2022-05-11 cs.AI cs.CL cs.CV
MultiFair: Multimodal Balanced Fairness-Aware Medical Classification with Dual-Level Gradient Modulation
School of Computing and Informatics, University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校计算机与信息学学院）；Louisiana Center for Health Innovation and College of Nursing & Health Sciences, University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校健康创新中心及护理与健康科学学院）；Massachusetts Eye and Ear, Harvard Medical School（哈佛医学院马萨诸塞眼耳医院）；Department of Computer Science, University of Central Florida（佛罗里达州立大学计算机科学系）；Department of Electrical Engineering and Computer Science, Florida Atlantic University（佛罗里达Atlantic大学电子工程与计算机科学系）
针对多模态医学分类中数据模态学习不均衡和模型对特定群体不公平的问题，提出MultiFair方法，通过双级梯度调制过程动态调整训练梯度，在多数据集上评估，有效解决了上述挑战。
2026-10-28 cs.AI cs.CV cs.CY
Exacerbating Algorithmic Bias through Fairness Attacks
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
近年来，算法公平性引起了人们的广泛关注，提出了许多定量的度量方法来表征不同机器学习算法的公平性。尽管有这种兴趣，这些公平措施的鲁棒性方面的故意对抗攻击尚未得到适当的解决。事实上，大多数对抗性机器学习都专注于恶意攻击对系统准确性的影响，而不考虑系统的公平性。我们提出了新类型的数据投毒攻击，对手故意针对系统的公平性。具体来说，我们提出了两个家庭的攻击目标的公平措施。在锚定攻击中，我们通过将中毒点放置在特定目标点附近来扭曲决策边界，从而使结果产生偏差。在对公平性的影响攻击中，我们的目标是最大化敏感属性与决策结果之间的协方差，并影响模型的公平性。我们进行了大量的实验，表明我们提出的攻击的有效性。
2020-12-16 cs.AI cs.CR cs.LG
Algorithmic Fairness Verification with Graphical Models
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
近年来，机器学习（ML）算法已被部署在安全关键和高风险决策中，其中算法的公平性至关重要。ML中的公平性集中在检测ML分类器引起的对某些人口统计群体的偏见，并提出算法解决方案来减轻不同公平性定义的偏见。为此，已经提出了几种公平性验证器，它们计算ML分类器预测中的偏差-基本上超出了有限数据集-给定输入特征的概率分布。在验证线性分类器的上下文中，现有的公平性验证器由于特征之间的相关性的不精确建模而受到准确性的限制，并且由于分类器作为SSAT/SMT公式的限制性公式化或通过采样而受到可扩展性的限制。在本文中，我们提出了一个有效的公平性验证，称为FVGM，编码的相关性特征之间的贝叶斯网络。与现有的验证器相比，FVGM提出了一种基于随机子集和的线性分类器验证方法。在实验中，我们表明，FVGM导致更多样化的公平性增强算法，公平性攻击和组/因果公平性指标比国家的最先进的公平性验证家庭的准确和可扩展的评估。我们还表明，FVGM有利于公平性影响函数的计算作为一个垫脚石，以检测由子集的功能引起的偏见的来源。
2022-06-01 cs.AI cs.CY cs.LG
Explanations as Bias Detectors: A Critical Study of Local Post-hoc XAI Methods for Fairness Exploration
University of Ioannina（伊奥安纳大学）；Archimedes / Athena RC Greece（阿基米德/亚特兰蒂斯研究所以及希腊）；Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（联邦国防军大学慕尼黑）
本文提出了一种集成局部事后解释方法的流水线来检测和解释AI系统中的不公平性，并批判性地分析了将解释作为偏见检测器时需考虑的关键问题与挑战。
2025-05-01 cs.AI cs.LG
On Comparing Fair Classifiers under Data Bias
IIIT Delhi（德里印度理工学院信息技术学院）；Microsoft Research India（微软印度研究院）
该研究通过向训练数据注入不同程度的代表性不足与标签偏差，审计三类公平分类器的性能，发现多数分类器性能随偏差上升下降，简单逻辑回归与少数公平技术表现更稳定，并给出实际部署的偏差风险整合方案。
2023-12-10 cs.AI cs.LG
Emergent Bias and Fairness in Multi-Agent Decision Systems
Featurespace Innovation Lab（Featurespace创新实验室）
研究多智能体决策系统中的公平性问题，揭示其在金融领域中的偏见风险，并主张以整体视角评估而非分解分析。
2025-12-18 cs.AI cs.LG
Is invariance all you need for algorithmic fairness? Removing demographic information can create new bias
本文研究算法公平性中人口统计表示不变性的作用，证明强制不变性可能阻碍偏见缓解甚至产生新偏见，并区分边缘与类条件不变性，指出其分别对应人口统计均等和均等化几率，经理论和实证验证，认为不变性对公平性既不可取也不充分。
2026-09-29 cs.AI cs.LG
Efficient Active Auditing of Multi-Group Fairness with Bias Probes
Équipe Scool, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189- CRIStAL（里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、里尔中央理工学院、CRIStAL实验室）
本文提出偏差探针框架及主动审计器ALeBi，在不重建模型的情况下高效估计多群体公平性指标，并揭示模型机密性与可靠审计间的权衡。
2026-10-01 cs.AI cs.CY cs.LG
Astraea: Grammar-based Fairness Testing
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）；Singapore University of Technology and Design（新加坡科技设计大学）
软件经常产生有偏差的输出。特别是，众所周知，基于机器学习（ML）的软件在处理歧视性输入时会产生错误的预测。这种不公平的程序行为可能是由社会偏见造成的。在过去的几年里，亚马逊、微软和谷歌提供的软件服务产生了不公平的输出，主要是由于社会偏见（例如性别或种族）。在这种情况下，开发人员承担了进行公平性测试的任务。公平性测试是具有挑战性的;开发人员的任务是生成揭示和解释偏见的歧视性输入。我们提出了一个基于语法的公平性测试方法（称为ASTRAEA），利用上下文无关文法产生歧视性的输入，揭示违反公平性的软件系统。使用概率文法，ASTRAEA还提供了故障诊断隔离观察到的软件偏差的原因。ASTRAEA的诊断有助于提高ML的公平性。ASTRAEA在18个提供三种主要自然语言处理（NLP）服务的软件系统上进行了评估。在我们的评估中，ASTRAEA产生的公平性违规率约为18%。ASTRAEA生成了超过57.3万个歧视性测试用例，并发现了超过10.2万个违反公平性的行为。此外，ASTRAEA通过模型再训练将软件公平性提高了约76%。
2022-01-10 cs.AI cs.LG cs.SE
Bias and Fairness in Chatbots: An Overview
University of Southern California（南加州大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
本文综述聊天机器人系统中的偏见与公平性问题，梳理其发展历史、类别、偏见来源、潜在危害及公平设计考量，并指出未来研究方向。
2023-12-10 cs.AI cs.CL cs.CY
How Far Can Fairness Constraints Help Recover From Biased Data?
IIIT Delhi（德里印度信息技术学院）；Microsoft Research India（微软研究院印度分部）
本文提出一种通用方法，将公平分类的恢复结果扩展至不同公平性约束、数据偏差模型、数据分布与假设类，证明在偏差参数满足简单条件时，可从有偏数据中恢复最优且公平的分类器。
2024-06-01 cs.AI cs.LG
When LLMs Imagine People: A Human-Centered Persona Brainstorm Audit for Bias and Fairness in Creative Applications
Amadeus Nice France (2026)（法国Nice阿马德斯）
本文提出了一种人格脑暴审计方法，用于评估LLM在创意应用中的偏见和公平性，通过量化偏见并分析多个交集身份和社会角色，揭示模型生成中潜在的不公平现象。
2026-02-24 cs.AI cs.CY
A pipeline for enabling path-specific causal fairness in observational health data
Department of Biomedical Informatics（生物医学信息学系）；Columbia University（哥伦比亚大学）；Big Data Institute（大数据研究所）；University of Oxford（牛津大学）
本文提出了一种通用管道，用于训练能够解决直接和间接医疗偏见的因果公平机器学习模型。
2026-01-17 cs.AI cs.LG
Toward A Logical Theory Of Fairness and Bias
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
本文主张在认知设定中形式化重构机器学习公平性定义，并在认知情景演算中形式化了无意识公平、人口统计平等和反事实公平三个概念，以支持丰富的环境建模。
2023-06-08 cs.AI cs.LO
Defining bias in AI-systems: Biased models are fair models
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）
本文挑战无偏模型即公平模型的假设，主张精确定义偏见，区分偏见与歧视，以促进AI公平性讨论。
2025-02-25 cs.AI cs.CL cs.CY
Metamorphic Testing for Fairness Evaluation in Large Language Models: Identifying Intersectional Bias in LLaMA and GPT
East Carolina University（东卡罗来纳大学）；University of North Florida（北佛罗里达大学）
本文提出一种基于蜕变测试的方法，通过定义面向公平性的蜕变关系，系统性地检测LLaMA和GPT模型中的交叉偏见，尤其在语气与情感方面，为公平性敏感应用中的偏见检测与缓解提供了结构化方案。
2025-04-04 cs.AI cs.CL
Analyzing Fairness of Classification Machine Learning Model with Structured Dataset
Shippensburg University of Pennsylvania（宾夕法尼亚州希彭斯堡大学）；Islamic University of Madinah（麦地那伊斯兰大学）；University of Khartoum（喀土穆大学）
本研究使用Fairlearn、AIF360和What If Tool三个公平性库，分析Kaggle结构化数据集上分类机器学习模型的偏见，比较各库优劣，为实践提供公平性评估与缓解指导。
2024-12-17 cs.AI cs.LG
A Novel Approach to Fairness in Automated Decision-Making using Affective Normalization
University of Waterloo（滑铁卢大学）
任何决定，比如雇用谁，都涉及两个部分。首先，一个合理的组成部分，即，他们受过良好的教育，说话清晰。第二，情感成分，基于种族和性别的视觉特征等可观察因素，并可能受到刻板印象的偏见。在这里，我们提出了一种方法来测量的情感，社会偏见，组件，从而使其删除。也就是说，给定一个决策过程，这些情感测量消除了决策中的情感偏见，使其在方法本身定义的一组类别中是公平的。因此，我们认为这可能解决交叉公平中的三个关键问题：（1）公平是考虑因素的类别的定义;（2）无限回归到越来越小的群体;（3）确保基于基本人权或其他先验信息的公平分配。本文的主要思想是，公平偏见可以使用情感连贯性来衡量，这可以用来规范结果映射。我们的目标是这个概念性的工作，以揭示一种新的方法来处理公平问题，使用情绪的一致性作为一个独立的衡量偏见，超越统计平价。
2022-05-02 cs.AI cs.CY
Differential privacy for medical deep learning: methods, tradeoffs, and deployment implications
Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg（埃朗根-纽伦堡弗里德里希-亚历山大大学模式识别实验室）；Department of Diagnostic and Interventional Radiology, University Hospital RWTH Aachen（亚琛大学诊断与介入放射科）；Department of Radiology, Stanford University（斯坦福大学放射科）；Department of Urology, Stanford University（斯坦福大学泌尿科）
本文探讨医疗深度学习中差分隐私的应用，分析其在隐私保护与模型性能之间的权衡及部署影响。
2025-11-09 cs.AI cs.LG
BMFT: Achieving Fairness via Bias-based Weight Masking Fine-tuning
School of Engineering, The University of Edinburgh（爱丁堡大学工程学院）；School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）
本文提出BMFT后处理方法，通过基于偏置的权重掩码微调和两步去偏置策略，在无需原始训练数据且训练轮次更少的情况下提升模型公平性，并在多个皮肤病数据集上优于现有SOTA方法。
2024-10-01 cs.AI cs.LG
Failing on Bias Mitigation: A Case Study on the Challenges of Fairness in Government Data
Hongbo Bo（1. 香港大学）；Debbie Watson（2. 英国皇家统计学会）
本文通过布里斯托尔市议会犯罪率预测数据，探讨政府数据中公平性问题的持续存在，发现偏见缓解方法失效源于数据本身的固有属性而非模型缺陷。
2026-03-17 cs.AI cs.CY
Reasoning Towards Fairness: Mitigating Bias in Language Models through Reasoning-Guided Fine-Tuning
Virginia Tech（弗吉尼亚理工大学）
本文研究推理能力与模型公平性的关系，提出 ReGiFT 方法，通过将先进模型的推理轨迹注入弱推理模型，在不使用公平性特定监督的情况下有效降低刻板印象偏见并超越先进推理模型。
2025-06-05 cs.AI cs.CL cs.LG
A Survey on Bias and Fairness in Natural Language Processing
Stanford University（斯坦福大学）
随着NLP模型与人们的日常生活越来越紧密地结合在一起，研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言，并在困难的下游任务上提高了准确性，但有证据表明，这些模型放大了性别、种族和文化陈规定型观念，并在许多情况下导致恶性循环。在这项调查中，我们分析了偏见的起源，公平的定义，以及NLP的不同子领域如何减轻偏见。最后，我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
Uncovering Fairness through Data Complexity as an Early Indicator
Data Science and Computational Intelligence Institute (DaSCI), University of Granada（格拉纳达大学数据科学与计算智能研究所）；University of Bergen（卑尔根大学）；Department of Computer Science and Artificial Intelligence (DECSAI), University of Granada（格拉纳达大学计算机科学与人工智能系）
本文研究特权与非特权群体间分类复杂度差异与公平性的关系，通过合成数据和关联规则挖掘提出以数据为中心的早期公平性指标，并在实际问题中验证其有效性。
2025-04-08 cs.AI cs.DS cs.LG
AGR: Age Group fairness Reward for Bias Mitigation in LLMs
Beijing Electronic Science and Technology Institute（北京电子科技学院）
针对 LLM 年龄偏见数据稀缺与公平微调不足的问题，本文构建 RLHF 数据集并提出年龄公平奖励 ARG，显著提升响应准确率并降低年龄组间性能差异。
2024-09-06 cs.AI cs.CL cs.LG
A Study on Bias and Fairness In Deep Speaker Recognition
Ingenuity Labs Research Institute（创造力实验室研究所）
随着使用说话人识别（SR）系统作为个人认证和个性化服务的手段的智能设备的普及，SR系统的公平性已成为一个重要的焦点。在本文中，我们研究的公平性的概念，在最近的SR系统的基础上3流行和相关的定义，即统计奇偶校验，均等赔率，机会均等。我们研究了5种流行的神经结构和5种常用的损失函数在训练SR系统，同时评估其对性别和民族群体的公平性。我们详细的实验阐明了这一概念，并证明了更复杂的编码器架构更好地符合公平性的定义。此外，我们发现损失函数的选择可以显着影响SR模型的偏差。
2023-03-14 cs.AI cs.SD eess.AS
Bridging Fairness and Explainability: Can Input-Based Explanations Promote Fairness in Hate Speech Detection?
Saarland University（萨尔兰州大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本研究探讨了基于输入的解释在仇恨言论检测中促进公平性的有效性，发现其在检测偏见和训练中减少偏见方面有效，但在选择公平模型方面不可靠。
2026-02-11 cs.AI cs.CL
AI Fairness in Practice
本工作手册探讨基于情境和以社会为中心的方法，帮助项目团队在AI项目工作流中识别、缓解和管理不公平偏见与歧视，将AI公平性原则付诸实践。
2024-02-19 cs.AI cs.CY cs.HC
Bias Similarity Measurement: A Black-Box Audit of Fairness Across LLMs
UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
提出偏差相似性度量（BSM），将公平性视为模型间关系属性，在30个LLM上审计发现指令微调主要导致弃权而非表征改变，开放模型可媲美专有系统，为生态审计提供工作流。
2025-09-25 cs.AI cs.CL cs.LG
Ensuring Fairness with Transparent Auditing of Quantitative Bias in AI Systems
Institute of Information Science, Academia Sinica（中科院信息所）
本文提出了一种透明的AI公平性审计框架，通过第三方审计员和系统提供者共同参与，结合统计方法公开审查AI系统，以解决AI决策中的偏见问题。
2024-08-24 cs.AI cs.CY cs.HC
