Fairness-Aware Interpretable Modeling (FAIM) for Trustworthy Machine Learning in Healthcare
Duke-NUS Medical School（杜克-新加坡国立大学医学院）；Singapore General Hospital（新加坡中央医院）；National University of Singapore（新加坡国立大学）；Duke University（杜克大学）
针对医疗等高风险领域机器学习模型的公平性问题，提出可解释框架FAIM，结合交互式界面与临床专业知识，在真实数据集上实现性能不下降的同时显著缓解偏见，提供多学科参与的定制化AI公平建模模式。
2024-03-08 cs.AI cs.CY cs.LG
Fairness in Recommendation: Foundations, Methods and Applications
Rutgers University（罗格斯大学）
该综述系统梳理了推荐系统中公平性研究的基础、定义分类、典型技术、数据集及未来挑战，旨在为新研究者提供全面参考并推动该领域发展。
2023-07-27 cs.AI cs.IR cs.LG
Evaluating Intersectional Fairness across Clinical Machine Learning Use Cases using Fairlogue and the All of Us Research Program
College of Engineering, The University of Arizona（亚利桑那大学工程学院）
本文使用Fairlogue工具包在临床预测任务中评估交叉公平性，发现交叉群体差异大于单轴分析，但反事实诊断表明多数差异与随机分组相当。
2026-06-17 cs.CY cs.LG q-bio.QM
FairLogue: A Toolkit for Intersectional Fairness Analysis in Clinical Machine Learning Models
University of Arizona（亚利桑那大学）
本文提出Fairlogue工具包，用于在临床机器学习中评估交集公平性，通过观测和反事实框架分析种族和性别等保护属性的公平性差异。
2026-04-06 cs.LG q-bio.QM
Fair Machine Learning in Healthcare: A Review
Texas A&M University（德克萨斯农工大学）；New Jersey Institute of Technology（新泽西理工学院）；Rice University（莱斯大学）
该综述聚焦医疗机器学习的公平性问题，基于分配正义框架分类公平性诉求，梳理相关指标、生命周期各阶段偏差与缓解策略，提出未解决挑战与未来研究方向。
2024-02-01 cs.AI cs.CY cs.LG
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University（理海大学）；University of Coimbra（科英布拉大学）
在将机器学习应用于现实生活中的决策系统中，例如，信用评分和刑事司法，预测结果可能会歧视具有敏感属性的人，导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项，这最终限制了提供给决策者的信息。在本文中，我们介绍了一种新的方法来处理公平性，制定一个随机多目标优化问题，相应的帕累托前沿唯一和全面定义的准确性，公平性权衡。然后，我们应用了随机近似型方法，有效地获得良好的传播和准确的帕累托前沿，这样做，我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
Contrastive Fairness in Machine Learning
University of Oxford（牛津大学）
雇用哈里而不雇用巴里公平吗？帕姆被解雇而不是萨姆公平吗？当智能算法代替人类做出这些决定时，如何确保公平？如何才能确保决定是根据优点而不是种族或性别等受保护的属性作出的？这些都是现在必须回答的问题，因为现实生活中的许多决策都可以通过机器学习做出。然而，算法公平性的研究主要集中在反事实问题上，即“如果？“或“为什么？“，而在现实生活中，大多数主观的后果问题是对比性的：“为什么是这个而不是那个？".我们介绍的概念和数学工具，使用因果推理来解决算法决策中的对比公平性与说明性的例子。
2019-09-07 cs.LG stat.ML
Approaching Machine Learning Fairness through Adversarial Network
Purdue University（普渡大学）
公平正成为w.r.t.日益关注的问题。机器学习模型性能。特别是对于刑事司法和贷款决策等敏感领域，消除对特定人群（具有种族和性别等敏感特征）的预测歧视对于提高模型的可信度至关重要。在本文中，我们提出了一个新的通用框架，以提高机器学习的公平性。我们的模型的目标是从数据输入和预测模型的角度最大限度地减少敏感特征的影响。为了实现这一目标，我们通过去除敏感信息来重构数据输入，并通过最小化敏感特征的边际贡献来增强模型公平性。我们建议通过在特征之间采样来学习非敏感输入，并设计一个对抗网络来最小化重构输入与敏感信息之间的依赖性。在三个基准数据集上的大量实验表明，我们的模型在公平性度量和预测性能方面都比相关的最先进的方法取得了更好的结果。
2019-09-06 cs.LG stat.ML
The Impossibility Theorem of Machine Fairness -- A Causal Perspective
Columbia University（哥伦比亚大学）
随着机器学习在社会和经济环境中的日益普及，人工智能社区对机器偏见的概念产生了兴趣。根据历史数据训练的模型反映了社会中存在的偏见，并通过他们的决策将其传播到未来。在社区中使用了三个突出的机器公平性指标，统计数据表明，不可能同时满足所有这些指标。这导致了公平定义的模糊。在这份报告中，一个因果的公平性不可能定理的角度提出了一个因果的机器公平性的目标。
2021-01-29 cs.AI cs.LG stat.ML
The invisible power of fairness. How machine learning shapes democracy
Nexa Center for Internet & Society, DAUIN, Politecnico di Torino（都灵理工大学Nexa互联网与社会中心、DAUIN）；Future Urban Legacy Lab, Politecnico di Torino（都灵理工大学未来城市遗产实验室）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
许多机器学习系统广泛使用关于人类行为的大量数据。一些研究人员发现，在刑事司法、信用评分和广告等领域，存在与使用人类相关的机器学习系统有关的各种歧视性做法。因此，公平的机器学习正在成为一个新的研究领域，以减轻无意中纳入算法的偏见。数据科学家和计算机工程师正在做出各种努力来定义公平。在本文中，我们概述了机器学习领域中最广泛的公平定义，认为突出每个形式化的想法与不同的正义思想以及对我们文化中嵌入的民主的不同解释密切相关。这项工作旨在分析迄今为止提出的公平的定义，以解释基本标准，并将它们与不同的民主思想联系起来。
2019-03-22 cs.LG stat.ML
Residual Unfairness in Fair Machine Learning from Prejudiced Data
Cornell University（康奈尔大学）
最近在机器学习公平性方面的工作提出了通过均衡各组之间的准确性指标来调整公平性，并且还研究了受历史偏见影响的数据集如何可能导致不公平的决策策略。我们将这些工作联系起来，研究当公平性调整后的预测因子对目标人群实际上并不公平时产生的剩余不公平性，这是由于现有偏见政策对训练数据进行了系统性审查。这种情况在关注公平性的相同应用程序中特别常见。我们从理论上描述了这种审查对二进制分类器的标准公平性度量的影响，并提供了残留不公平性可能出现或可能不会出现的标准。我们证明，在某些条件下，公平调整的分类器实际上会导致剩余的不公平，使同样的不公平持续下去，对相同的群体，这使数据产生偏见，从而表明，即使是最先进的公平机器学习也可能具有“偏入，偏出”属性。当某些基准数据可用时，我们展示了样本重新加权如何在考虑删失的同时估计和调整公平性指标。我们用这个研究的情况下，停止，问题，和弗里斯克（SQF），并证明，试图调整公平的政策是臭名昭著的同样的不公正。
2018-06-07 cs.LG stat.ML
An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems
Banking Academy of Vietnam（越南银行学院）；Vietnam Academy of Science and Technology（越南科学技术 academy）；Hanoi University of Science and Technology（河内科学技术大学）；University of Koblenz（科隆大学）
本文研究信用评分中公平性意识机器学习的关键方面，评估公平性模型与传统分类模型的平衡性，发现公平性模型在预测准确性和公平性间取得更好平衡。
2026-03-05 cs.CY cs.LG stat.ML
Modeling Techniques for Machine Learning Fairness: A Survey
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）；University of Georgia（佐治亚大学）
机器学习模型在高风险应用中变得越来越普遍。尽管这些模式在业绩方面有明显的好处，但它们可能显示出对少数群体的歧视，并导致决策过程中的公平问题，从而对个人和社会产生严重的负面影响。近年来，已经开发了各种技术来减轻机器学习模型的不公平性。其中，在处理方法引起了越来越多的关注，在模型设计中直接考虑公平性，以诱导内在公平的模型，并从根本上缓解输出和表示的公平性问题。在这项调查中，我们回顾了目前的进展，在处理公平缓解技术。根据模型中实现公平性的位置，我们将其分为显式和隐式方法，前者直接将公平性度量纳入训练目标，后者侧重于细化潜在的表示学习。最后，我们结束了调查，在这个社区的研究挑战的讨论，以激励未来的探索。
2022-04-10 cs.LG
Differential Privacy and Fairness in Decisions and Learning Tasks: A Survey
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）
本文综述了差分隐私（DP）和公平性的交叉最近的工作。它审查的条件下，隐私和公平性可能有对齐或对比的目标，分析DP如何以及为什么可能加剧偏见和不公平的决策问题和学习任务，并描述了可用的缓解措施DP系统中出现的公平性问题。该调查提供了对在公平视角下部署隐私保护机器学习或决策任务时所面临的主要挑战和潜在风险的统一理解。
2022-09-08 cs.AI cs.LG
Group Retention when Using Machine Learning in Sequential Decision Making: the Interplay between User Dynamics and Fairness
University of Michigan（密歇根大学）；Bilkent University（比尔肯特大学）
在来自多个人口统计组的数据上训练的机器学习（ML）模型可以继承表示差异（Hashimoto et al.，数据中可能存在的问题：该模型可能对对培训过程贡献较少的群体不太有利;这反过来又会随着时间的推移降低这些群体的人口保留率，并从长远来看加剧代表性差异。在这项研究中，我们试图了解ML决策和底层群体表示之间的相互作用，它们如何在顺序框架中演变，以及公平标准的使用如何在这一过程中发挥作用。我们表明，代表性的差距可以很容易地恶化，随着时间的推移，在一个自然的用户动态（到达和离开）模型的基础上，一个常用的客观和公平的标准作出决定时，从长远来看，导致一些群体完全从样本池减少。它强调了这样一个事实，即必须定义公平性标准，同时考虑到决策对用户动态的影响。为此，我们解释了如何选择一个适当的公平性标准的基础上，一般的用户动态模型。
2019-11-02 cs.LG stat.ML
How fair can we go in machine learning? Assessing the boundaries of fairness in decision trees
Trilateral Research（三边研究公司）；Data Justice Lab, Cardiff University（卡迪夫大学数据正义实验室）；University of Granada（格拉纳达大学）
公平的机器学习工作一直专注于开发公平的算法，以解决对某些群体的歧视问题。然而，许多这些公平意识的方法旨在获得一个独特的解决方案的问题，这导致了一个贫穷的理解偏差缓解干预措施的统计限制。我们提出了第一种方法，允许在多目标框架内探索这些限制，该框架旨在优化任何准确性和公平性的衡量标准，并提供最佳可行解决方案的帕累托前沿。在这项工作中，我们把我们的研究重点放在决策树分类器，因为它们被广泛接受的机器学习，易于解释，可以处理非数值信息自然。实验结果表明，该方法能够以较小的分类错误代价优化决策树模型，具有较好的公平性。我们相信，我们的贡献将帮助社会技术系统的利益相关者评估他们能走多远是公平和准确的，从而在使用机器学习的情况下支持增强决策。
2020-06-22 cs.LG stat.ML
On Formalizing Fairness in Prediction with Machine Learning
Department of Computer Science, Montanuniversitat Leoben（蒙塔努大学莱奥本分校计算机科学系）；Department of Computer Science, TU Eindhoven（埃因霍温理工大学计算机科学系）
用于预测的机器学习算法越来越多地用于影响人类生活的关键决策。各种公平的形式化，还没有明确的共识，用于防止这些算法系统地歧视基于某些属性受法律保护的人。本文的目的是调查如何在机器学习文献中形式化公平的预测任务，并提出这些形式化与其相应的概念分配正义的社会科学文献。我们从社会科学文献中对这些概念提出了理论和经验的批评，并解释了这些批评如何限制了相应公平形式化对某些领域的适用性。我们还提出了两个分配正义的概念，以解决其中的一些批评，并讨论未来公平形式化的途径。
2018-05-28 cs.AI cs.LG stat.ML
Review of Mathematical frameworks for Fairness in Machine Learning
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse 3（图卢兹第三大学）；Instituto de Matemáticas de la Universidad de Valladolid（巴利亚多利德大学数学研究所）；Universidad de Valladolid（巴利亚多利德大学）
从数学的角度对近年来文献中提出的主要公平性定义和公平学习方法进行了综述。根据我们的独立性为基础的方法，我们考虑如何建立公平的算法，其性能下降的后果相比，可能不公平的情况下。这对应于由准则$\textit{statistical parity}$或$\textit{equality of odds}$给出的公平性价格。给出了$\textit{equality of odds}$意义下的最佳公平分类器和最佳公平预测器（线性回归高斯模型下）的表达式。
2020-05-26 cs.LG stat.ML
SenSeI: Sensitive Set Invariance for Enforcing Individual Fairness
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；University of Michigan（密歇根大学）
在本文中，我们将公平的机器学习视为不变的机器学习。我们首先制定了一个版本的个人公平性，强制某些敏感集的不变性。然后，我们设计了一个基于传输的正则化，强制执行这个版本的个人公平性，并开发了一个算法，以有效地最小化正则化。我们的理论结果保证了所提出的方法可以训练可证明公平的ML模型。最后，在实验研究中，我们证明了改进的公平性指标相比，最近的几个公平的训练程序的三个ML任务，容易受到算法偏见。
2021-04-01 cs.LG stat.ML
Survey on Causal-based Machine Learning Fairness Notions
INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；IPP（巴黎理工学院）
解决公平性问题对于安全地使用机器学习算法来支持对人们生活产生关键影响的决策至关重要，例如招聘，虐待儿童，疾病诊断，贷款发放等。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的观点，即使用因果关系是适当解决公平问题的必要条件。本文研究了一个详尽的清单，基于cabinet的公平概念，并研究其在现实世界中的应用场景。由于大多数基于因果关系的公平性概念是根据不可观察的量来定义的（例如，干预措施和反事实），在实践中部署它们需要使用观测数据来计算或估计这些数量。本文提供了一个全面的报告，不同的方法来推断因果量的观测数据，包括可识别性（珍珠的SCM框架）和估计（潜在的结果框架）。这份调查报告的主要贡献是（1）一个指导方针，以帮助选择一个合适的公平概念给定一个特定的现实世界的情况下，（2）根据珍珠的因果关系阶梯的公平概念的排名，表明它是多么困难，在实践中部署每个概念。
2022-06-07 cs.LG
Delayed Impact of Fair Machine Learning
University of California, Berkeley（加州大学伯克利分校）
机器学习中的公平性主要是在静态分类环境中研究的，而不关心决策如何随着时间的推移改变底层种群。传统观点认为，公平标准促进了它们旨在保护的那些群体的长期福祉。我们研究静态公平标准如何与幸福感的时间指标相互作用，如长期改善，停滞和利益变量的下降。我们证明，即使在一个一步反馈模型中，共同的公平标准一般不促进改善随着时间的推移，实际上可能会造成伤害的情况下，一个不受约束的目标不会。我们完全表征的延迟影响的三个标准的标准，对比这些表现出质的不同的行为的制度。此外，我们发现，一种自然形式的测量误差扩大了制度，其中公平性标准表现良好。我们的研究结果强调了测量和时间建模在公平性标准评估中的重要性，提出了一系列新的挑战和权衡。
2018-04-07 cs.LG stat.ML
Transfer of Machine Learning Fairness across Domains
University of Maryland（马里兰大学）；Google（谷歌）
如果我们的模型被用于新的或意想不到的情况，我们是否知道它们是否会做出合理的预测？以前，研究人员开发了针对单个问题领域的模型去偏见的方法。然而，这通常不是模型在实践中训练和使用的方式。例如，标签和人口统计（敏感属性）通常难以观察，导致辅助或合成数据用于训练，敏感属性的代理用于公平性评估。为一种设置训练的模型可以在许多其他设置中使用，特别是在预训练和云API中常见。尽管这些复杂性普遍存在，但公平文献中很少有理论上研究这些问题的工作。我们将所有这些设置都框定为领域自适应问题：我们如何使用在源领域学到的知识在新的目标领域消除偏差，而不直接在目标领域消除偏差，就好像它是一个全新的问题？我们提供了新的理论保证，提高跨域的公平性，并提供了一种建模方法来转移到数据稀疏的目标域。我们给出的实证结果验证了理论，并表明，这些建模方法可以提高公平性指标与更少的数据。
2019-11-14 cs.LG stat.ML
A survey on datasets for fairness-aware machine learning
Leibniz University Hannover（汉诺威莱布尼茨大学）；Carnegie Mellon University（卡内基梅隆大学）；Free University Berlin（柏林自由大学）
随着决策越来越依赖于机器学习（ML）和（大）数据，数据驱动的人工智能（AI）系统中的公平性问题越来越受到研究和行业的关注。已经提出了各种各样的公平性感知机器学习解决方案，其涉及数据、学习算法和/或模型输出中的公平性相关干预。然而，提出新方法的一个重要部分是在代表现实和多样化环境的基准数据集上进行经验评估。因此，在本文中，我们概述了用于公平感知机器学习的真实世界数据集。我们专注于表格数据作为公平感知机器学习最常见的数据表示。我们通过识别不同属性之间的关系来开始分析，特别是w.r.t.。保护属性和类属性，使用贝叶斯网络。为了更深入地了解数据集中的偏差，我们使用探索性分析来研究有趣的关系。
2022-01-21 cs.LG
What is Fair? Defining Fairness in Machine Learning for Health
Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学）；Harvard T.H. Chan School of Public Health（哈佛T.H. Chan公共卫生学院）；York University（约克大学）；Verily Life Sciences（Verily生命科学公司）；Duke University（杜克大学）；University of Toronto（多伦多大学）
本文探讨健康领域机器学习中公平性的定义，分析不公平决策成因及衡量方法，综述群体、个体和因果框架下的公平性概念，并展望未来研究机遇与挑战。
2025-05-27 cs.CY cs.LG stat.ML
Counterfactual Fairness Evaluation of Machine Learning Models on Educational Datasets
Department of Computer Science and Engineering, Korea University, South Korea（计算机科学与工程系，韩国大学，韩国）
本文针对教育数据，通过基准数据集上的反事实公平性分析，揭示敏感属性的因果影响，为教育场景中的个体公平性评估提供新视角。
2025-04-20 cs.CY cs.LG
RISE: Interactive Visual Diagnosis of Fairness in Machine Learning Models
University of Florida（佛罗里达大学）
RISE通过交互式可视化工具帮助诊断机器学习模型中的公平性问题，揭示准确率与公平性的权衡，支持更明智的模型选择。
2026-02-04 cs.LG
The Role of Uncertainty in Assessing the Fairness of Machine Learning Models
Università della Svizzera Italiana (USI)（瑞士意大利语区大学）
本文探讨机器学习模型公平性评估中的不确定性量化，提出频率派和贝叶斯方法，并通过模拟和真实数据示例展示其应用与影响。
2026-09-09 cs.LG stat.ME stat.ML
Fair Preprocessing: Towards Understanding Compositional Fairness of Data Transformers in Machine Learning Pipeline
Iowa State University（爱荷华州立大学）
近年来，已经报道了许多事件，其中机器学习模型表现出基于种族、性别、年龄等的人之间的歧视。已经进行了研究以测量和减轻机器学习模型中的不公平。对于机器学习任务，通常的做法是构建一个流水线，该流水线包括一组有序的数据预处理阶段，然后是分类器。然而，大多数关于公平性的研究都考虑了基于单个分类器的预测任务。机器学习管道中预处理阶段的公平性影响是什么？此外，研究表明，不公平的根本原因往往根植于数据本身，而不是模型。但是，还没有研究已经进行了测量的不公平性所造成的一个特定的转换，在数据预处理阶段。在本文中，我们引入了公平性的因果方法来推理ML管道中数据预处理阶段的公平性影响。我们利用现有的指标来定义阶段的公平性度量。然后，我们进行了详细的公平性评估的预处理阶段，在37个管道收集来自三个不同的来源。我们的结果表明，某些数据Transformers导致模型表现出不公平性。我们在几类数据Transformers中确定了一些公平模式。最后，我们展示了预处理阶段的局部公平性如何构成流水线的全局公平性。我们使用公平组合来选择适当的下游Transformer，以减轻机器学习管道中的不公平。
2021-07-20 cs.LG
Do the Machine Learning Models on a Crowd Sourced Platform Exhibit Bias? An Empirical Study on Model Fairness
Iowa State University（爱荷华州立大学）
机器学习模型越来越多地用于重要的决策软件中，例如批准银行贷款，推荐刑事判决，雇用员工等。重要的是确保这些模型的公平性，以便不会基于受保护的属性（例如，种族、性别、年龄）。已经开发了算法来测量不公平并在一定程度上减轻它们。在本文中，我们专注于对真实世界机器学习模型的公平性和缓解措施的实证评估。我们创建了一个由Kaggle中的40个顶级模型组成的基准，用于5个不同的任务，然后使用一套全面的公平性指标来评估它们的公平性。然后，我们在这些模型上应用了7种缓解技术，并分析了公平性，缓解结果以及对性能的影响。我们已经发现，一些模型优化技术的结果诱导模型中的不公平。另一方面，虽然在机器学习库中有一些公平性控制机制，但它们没有被文档化。缓解算法还表现出常见的模式，例如后处理中的缓解通常是昂贵的（就性能而言），并且在大多数情况下，预处理阶段中的缓解是优选的。我们还提出了不同的权衡选择的公平缓解决策。我们的研究提出了未来的研究方向，以减少理论上的公平意识算法和软件工程方法之间的差距，以利用它们在实践中。
2020-09-22 cs.LG cs.SE stat.ML
Connecting Algorithmic Fairness to Quality Dimensions in Machine Learning in Official Statistics and Survey Production
LMU Munich（慕尼黑大学）
研究将算法公平性引入国家统计局机器学习应用的质量框架，通过扩展QF4SA框架建立质量维度与公平性的映射，并结合实证说明其方法论贡献。
2024-02-14 cs.LG stat.ME stat.ML
A Survey on Intersectional Fairness in Machine Learning: Notions, Mitigation, and Challenges
Iowa State University（爱荷华州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文综述了机器学习中同时涉及多个敏感属性的交叉公平性问题，提出概念与缓解方法分类体系，并总结关键挑战与未来研究方向。
2023-05-12 cs.CY cs.LG
Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness
IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
减轻算法偏见是机器学习模型开发和部署中的一项关键任务。虽然有几个工具包可以帮助机器学习从业者解决公平性问题，但人们对从业者用来评估模型公平性的策略以及影响其评估的因素知之甚少，特别是在文本分类的背景下。评价模型公平性的两种常用方法是群体公平性和个体公平性。我们与机器学习从业者（n=24）进行了一项研究，以了解用于评估模型的策略。向从业者提出的问题（群体与个人公平性）影响他们认为公平的模型。与会者重点关注与低估/高估相关的风险以及与身份令牌操作相关的模型敏感性。我们发现公平性评估策略涉及个人经验或用户如何形成身份令牌组来测试模型的公平性。我们提供了交互式工具的建议，用于评估文本分类的公平性。
2023-03-01 cs.CY cs.HC cs.LG
General Post-Processing Framework for Fairness Adjustment of Machine Learning Models
本文提出一种通用后处理公平性调整框架，适用于多种机器学习任务和公平性度量，通过解耦训练过程，无需自定义损失函数，并支持黑盒模型，在真实数据集上实现了与对抗性去偏相当的公平性/准确性权衡。
2025-04-22 cs.LG
Long-Term Fairness Inquiries and Pursuits in Machine Learning: A Survey of Notions, Methods, and Challenges
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对机器学习静态公平性方法难以应对长期决策公平性、反馈循环与环境交互带来的公平偏离问题，本文综述长期公平性研究文献，提出分类体系，梳理挑战并展望未来方向。
2025-07-29 cs.AI cs.CY cs.LG
Measuring Fairness with Biased Rulers: A Survey on Quantifying Biases in Pretrained Language Models
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；TU Berlin（柏林工业大学）
随着人们对自然语言处理资源（如BERT）中有偏模式的认识不断提高，许多度量标准开始量化“偏”和“公平”。但是，比较不同指标的结果和用这些指标评估的作品仍然很困难，如果不是完全不可能的话。我们调查了现有的文献公平性指标的预训练语言模型和实验评估兼容性，包括在语言模型的偏见，在他们的下游任务。我们采用传统的文献调查和相关分析相结合的方法，并进行了实证评估。我们发现，许多指标是不兼容的，高度依赖于（i）模板，（ii）属性和目标种子和（iii）嵌入的选择。这些结果表明，公平性或偏见评估仍然具有挑战性的上下文语言模型，如果不是至少高度主观。为了改善未来的比较和公平性评估，我们建议避免基于嵌入的度量，并专注于下游任务中的公平性评估。
2021-12-14 cs.CL cs.CY cs.LG
A comparative study of fairness-enhancing interventions in machine learning
Haverford College（哈弗福德学院）；University of Arizona（亚利桑那大学）；University of Utah（犹他大学）
计算机越来越多地用于做出对人们生活有重大影响的决定。通常，这些预测会不成比例地影响不同的人口亚群。因此，公平性的问题最近受到了很大的关注，一些公平性增强的分类器和预测器已经出现在文献中。本文试图研究以下问题：这些不同的技术如何从根本上相互比较，以及是什么原因造成的差异？具体而言，我们力求提请注意这种加强公平的干预措施中许多未得到充分重视的方面。具体地说，我们提出了一个开放的基准测试，我们已经开发，让我们比较了一些不同的算法下的各种公平性措施，以及大量的现有数据集的结果。我们发现，虽然不同的算法往往更喜欢特定的配方的公平性，许多这些措施强烈相互关联。此外，我们发现公平性保持算法往往对数据集组成的波动敏感（在我们的基准测试中通过不同的训练测试分割进行模拟），这表明公平性干预可能比以前认为的更脆弱。
2018-02-13 cs.CY cs.LG stat.ML
Machine learning fairness notions: Bridging the gap with real-world applications
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；Higher Colleges of Technology（高等技术学院）；Inria（法国国家信息与自动化研究所）；Ecole Polytechnique（巴黎综合理工学院）；IPP（巴黎理工学院）
公平性是保证机器学习（ML）预测系统不歧视特定个人或整个亚群体（特别是少数群体）的重要要求。鉴于看待公平概念固有的主观性，文献中引入了几个公平概念。本文是一份调查，通过大量的例子和场景来说明公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了这样一个问题：哪种公平概念最适合给定的现实世界场景，为什么？我们试图回答这个问题包括：（1）识别现实世界场景中与公平相关的特征集，（2）分析每个公平概念的行为，然后（3）拟合这两个元素，以在每个特定设置中推荐最合适的公平概念。结果总结在一个决策图中，从业者和政策制定者可以使用该图来浏览相对较大的ML目录。
2022-06-07 cs.AI cs.CY cs.LG
50 Years of Test (Un)fairness: Lessons for Machine Learning
Google（谷歌）
关于什么是不公平和什么是公平的定量定义已经在多个学科中引入了50多年，包括教育，招聘和机器学习。我们追溯了在过去的半个世纪里，公平的概念是如何在教育和招聘的测试社区中被定义的，探索了不同公平定义出现的文化和社会背景。在某些情况下，公平性的早期定义与当前机器学习研究中的公平性定义相似或相同，并预示着当前的正式工作。在其他情况下，对公平意味着什么以及如何衡量公平的见解在很大程度上被忽视了。我们从几个方面比较了过去和现在的公平概念，包括公平标准、标准的重点（例如，测试、模型或其使用），公平性与个人、组和子组的关系，以及用于测量公平性的数学方法（例如，分类，回归）。这项工作指出了未来研究和测量（不）公平的方式，建立在我们对公平的现代理解的基础上，同时结合了过去的见解。
2018-12-03 cs.AI cs.LG
Rethinking Fairness: An Interdisciplinary Survey of Critiques of Hegemonic ML Fairness Approaches
Purdue University（普渡大学）
这篇调查文章评估和比较了当前对机器学习（ML）的公平性增强技术干预的现有批评，这些批评来自一系列非计算学科，包括哲学，女权主义研究，批判性种族和民族研究，法律研究，人类学和科学技术研究。它弥合了认识上的分歧，以提供对霸权计算方法的可能性和局限性的跨学科理解，以实现ML公平，为社会最边缘化的人产生公正的结果。本文根据九个主要的批评主题进行组织，其中这些不同的领域相互交叉：1）人工智能公平研究中的“公平”如何定义; 2）人工智能系统如何解决问题; 3）抽象对人工智能工具功能的影响及其导致技术解决方案的倾向; 4）种族分类如何在人工智能公平研究中运作; 5）使用人工智能公平措施来避免监管和进行道德清洗; 6）在人工智能公平考虑方面缺乏参与式设计和民主审议; 7）巩固“偏见”、非共识和缺乏透明度的数据汇集做法; 8）将边缘化群体掠夺性地纳入人工智能系统; 9）缺乏对人工智能长期社会和道德结果的参与。从这些批评中，文章最后设想了未来ML公平研究的方向，这些方向积极地破坏了社会中根深蒂固的权力动态和结构性不公正。
2022-05-06 cs.AI cs.CY cs.LG
Survey on Fairness Notions and Related Tensions
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；IPP（巴黎综合理工学院联盟）
本文综述了机器学习中的公平性概念及其与隐私、准确性的张力，并分类探讨了公平-准确性权衡的四种解决方法，通过实验验证了公平性与准确性的关系。
2023-06-19 cs.AI cs.CY cs.LG
The Frontiers of Fairness in Machine Learning
Heinz College, Carnegie Mellon University（卡内基梅隆大学海因茨学院）；Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系）
在过去的几年里，学术界和大众对算法公平性的兴趣激增。尽管有这种兴趣以及最近产生的工作量和速度，机器学习中的公平性基础科学仍然处于新生状态。2018年3月，我们召集了一组专家，作为CCC愿景研讨会的一部分，以评估该领域的现状，并提炼出未来最有前途的研究方向。本报告概述了该讲习班的结果。在此过程中，它调查了该领域最近的理论工作，并指出了有前途的研究方向。
2018-10-20 cs.DS cs.GT cs.LG
Fairness and Randomness in Machine Learning: Statistical Independence and Relativization
University of Tübingen（图宾根大学）；Tübingen AI Centre（图宾根人工智能中心）
公平机器学习致力于防止在社会中嵌入的机器学习应用的背景下出现不公平。尽管公平的定义和提出的“公平算法”的各种各样，仍然存在未解决的概念问题，公平。在本文中，我们剖析了统计独立性在机器学习中经常使用的公平性和随机性概念中的作用。因此，我们被引导到一个令人惊讶的假设：随机性和公平性可以被认为是机器学习中的等价概念。特别是，我们获得了一个相对化的概念表示为统计独立的随机性呼吁冯米塞斯的百年历史的基础概率。这个概念在抽象意义上与常用的i.i.d.是“正交的”。随机性使用机器学习中的标准公平性概念（通过统计独立性定义），我们将数据的事前随机性假设与公平预测的事后要求联系起来。这种联系证明是富有成果的：我们用它来论证随机性和公平性本质上是相对的，并且这两个概念都应该反映它们作为机器学习中的建模假设的性质。
2022-11-16 cs.CY cs.LG
A Maximal Correlation Approach to Imposing Fairness in Machine Learning
MIT（麻省理工学院）；MIT-IBM Watson AI Lab, IBM Research（麻省理工-IBM 沃森人工智能实验室，IBM研究院）
随着机器学习算法越来越受欢迎并在许多行业中多样化，有关其公平性的道德和法律问题变得越来越重要。我们探讨的问题，算法公平性，采取信息理论的观点。最大相关性框架被引入表示公平性约束，并被证明能够被用来导出正则化，执行独立性和分离为基础的公平性标准，这允许优化算法的离散和连续变量的计算效率比现有的算法。我们表明，这些算法提供了平滑的性能-公平性权衡曲线，并在离散数据集（COMPAS，成人）和连续数据集（社区和犯罪）上与最先进的方法竞争。
2020-12-30 cs.AI cs.IT cs.LG
A Catalog of Fairness-Aware Practices in Machine Learning Engineering
University of Salerno（萨勒诺大学）
本文通过系统性映射研究，提出包含28种实践的公平性感知目录，覆盖机器学习全生命周期，为软件工程领域提供可操作建议，以增强系统公平性与可信度。
2025-04-22 cs.LG cs.SE
Holistic Survey of Privacy and Fairness in Machine Learning
University of Southern California（南加州大学）；Deakin University（迪肯大学）；University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）；Amazon（亚马逊）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文全面综述了机器学习中隐私与公平的相互影响、现有架构及兼顾两者的算法，并指出同时实现这两者的研究挑战，特别关注大型语言模型。
2023-07-28 cs.LG
Procedural Fairness and Its Relationship with Distributive Fairness in Machine Learning
Southern University of Science and Technology（南方科技大学）；Lingnan University（岭南大学）
针对机器学习领域程序公平性研究不足的问题，本文提出训练阶段实现程序公平的新方法，验证其有效性，并探究程序公平与分配公平的关联及两类公平指标优化的差异。
2025-01-12 cs.CY cs.LG
Monitoring fairness in machine learning models that predict patient mortality in the ICU
Microsoft（微软公司）；Philips（飞利浦公司）
提出一种公平性监测方法，评估预测ICU患者死亡率的机器学习模型在不同种族、性别和诊断群体中的表现，并揭示文档偏差，提供比传统准确性指标更详细的性能比较。
2024-11-06 cs.AI cs.LG
The Sharpe predictor for fairness in machine learning
Lehigh University（利哈伊大学）；University of Coimbra（科英布拉大学）
在机器学习（ML）应用中，不公平的预测可能会歧视少数群体。大多数现有的公平机器学习（FML）方法将公平性视为ML模型优化中的约束或惩罚项，这不会导致发现学习准确性和公平性度量之间权衡的完整景观，并且不会以有意义的方式整合公平性。最近，我们引入了一个新的范式FML的基础上随机多目标优化（SMOO），准确性和公平性指标的立场，同时优化冲突的目标。整个权衡范围被定义为SMOO问题的帕累托前沿，然后可以使用随机梯度型算法有效地计算。SMOO还允许为FML定义和计算新的有意义的预测器，一个新的预测器是我们在本文中介绍和探索的Sharpe预测器，它给出了最高的准确性与不公平性的比率。受金融领域SMOO的启发，FML的Sharpe预测器提供了每单位预测风险（不公平性）的最高预测回报（准确性）。
2021-08-13 cs.LG
Fairness in Graph Mining: A Survey
University of Virginia（弗吉尼亚大学）
本文综述了图挖掘中的公平性问题，提出新的公平性概念分类体系，系统总结现有公平性技术、常用数据集及开放挑战，以推动该领域发展。
2023-04-11 cs.CY cs.LG
Fairness in Reinforcement Learning: A Survey
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对强化学习公平性研究尚不成熟的现状，梳理了该领域前沿进展，涵盖公平性的产生场景、定义、单/多智能体实现方法及应用领域，并指出RLHF公平性等待填补的研究空白。
2024-05-11 cs.AI cs.CY cs.LG
Assessing Fairness in Classification Parity of Machine Learning Models in Healthcare
KenSci Inc（KenSci公司）；University of Washington - Tacoma（华盛顿大学塔科马分校）；University of Washington - Bothell（华盛顿大学博塞尔分校）
人工智能和机器学习系统的公平性已经成为人工智能系统问责的一个根本问题。虽然人工智能模型的问责制需求几乎无处不在，但医疗保健尤其是一个具有挑战性的领域，在这个领域，此类系统的问责制具有额外的重要性，因为医疗保健中的决策可能会改变生活。在本文中，我们提出了初步的公平性的背景下，在医疗保健的分类平价。我们还提出了一些探索性的方法，以提高公平性和选择适当的分类算法的背景下，医疗保健。
2021-02-07 cs.CY cs.LG
Fairness in Machine Learning
University of Pisa（比萨大学）；DeepMind（深度思维）
基于机器学习的系统正在广泛应用于社会和日常生活的许多方面。这一现象伴随着对采用这些技术可能产生的道德问题的担忧。ML公平性是机器学习最近建立的一个领域，它研究如何确保数据和模型不准确性中的偏见不会导致模型基于种族、性别、残疾和性或政治取向等特征对个人不利。在这篇手稿中，我们讨论了目前关于公平的推理和处理方法中存在的一些局限性，并描述了作者为解决这些问题所做的一些工作。更具体地说，我们展示了因果贝叶斯网络如何在推理和处理公平性方面发挥重要作用，特别是在复杂的不公平场景中。我们描述了如何最优运输理论可以用来开发的方法，施加约束的完整形状的分布对应于不同的敏感属性，克服了大多数方法的限制，近似公平desiderata施加约束的低阶矩或其他功能的分布。我们提出了一个统一的框架，包括方法，可以处理不同的设置和公平标准，并享有强有力的理论保证。我们介绍了一种学习公平表示的方法，可以推广到看不见的任务。最后，我们描述了一种技术，占敏感属性的使用的法律限制。
2020-12-31 cs.CY cs.LG stat.ML
Can Ensembling Pre-processing Algorithms Lead to Better Machine Learning Fairness?
Concordia University（康考迪亚大学）
随着机器学习（ML）系统在更关键的领域被采用，解决这些系统中可能出现的偏见变得越来越重要。几种公平性预处理算法可用于减轻模型训练期间的隐式偏差。这些算法采用不同的公平性概念，往往会导致冲突的策略与公平性和准确性之间的权衡。在这项工作中，我们评估了三种流行的公平预处理算法，并研究了将所有算法组合成一个更强大的预处理集成的潜力。我们报告的经验教训，可以帮助从业者更好地选择公平算法的模型。
2022-12-05 cs.AI cs.CY cs.LG
Operationalizing Fairness in Text-to-Image Models: A Survey of Bias, Fairness Audits and Mitigation Strategies
AImotion Bavaria, Technische Hochschule Ingolstadt（AImotion巴伐利亚、因戈尔施塔特技术大学）；School of Transformation and Sustainability, Catholic University of Eichstätt-Ingolstadt（转型与可持续性学院，埃施塔特-因戈尔施塔特天主教大学）；Chair of Economic and Social Ethics, University of Hohenheim（经济与社会伦理系，霍亨海姆大学）
本文综述了文本到图像模型中的公平性研究，分析了偏见类型和公平性概念的分类，指出现有研究在目标公平与阈值公平之间的差距，并提出新的公平性操作框架。
2026-04-15 cs.CV cs.LG cs.MM
