Verifying Fairness in Quantum Machine Learning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）
由于量子计算的超经典能力，量子机器学习被独立应用或嵌入经典模型中用于决策，特别是在金融领域。公平和其他道德问题往往是决策过程中的主要关注点之一。在这项工作中，我们定义了一个用于量子机器学习决策模型的公平性验证和分析的正式框架，其中我们采用了基于直觉的文献中最流行的公平性概念之一-任何两个相似的个体必须被相似地对待，因此是无偏见的。我们证明了量子噪声可以提高公平性，并开发了一种算法来检查（噪声）量子机器学习模型是否公平。特别地，该算法可以在检查过程中找到量子数据（编码个体）的偏差核。这些偏置核产生无穷多个偏置对，用于研究模型的不公平性。我们的算法是基于高效的数据结构--张量网络--设计的，并在Google的TensorFlow Quantum上实现。我们的算法的实用性和有效性的实验结果，包括收入预测和信用评分的真实世界的数据，一类随机（噪声）量子决策模型与27量子比特（$2^{27}$维状态空间）的三倍（$2^{18}$倍以上）的国家的最先进的算法验证量子机器学习模型。
2022-07-22 cs.CY cs.LG quant-ph
RISE: Interactive Visual Diagnosis of Fairness in Machine Learning Models
University of Florida（佛罗里达大学）
RISE通过交互式可视化工具帮助诊断机器学习模型中的公平性问题，揭示准确率与公平性的权衡，支持更明智的模型选择。
2026-02-04 cs.LG
Modeling Techniques for Machine Learning Fairness: A Survey
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）；University of Georgia（佐治亚大学）
机器学习模型在高风险应用中变得越来越普遍。尽管这些模式在业绩方面有明显的好处，但它们可能显示出对少数群体的歧视，并导致决策过程中的公平问题，从而对个人和社会产生严重的负面影响。近年来，已经开发了各种技术来减轻机器学习模型的不公平性。其中，在处理方法引起了越来越多的关注，在模型设计中直接考虑公平性，以诱导内在公平的模型，并从根本上缓解输出和表示的公平性问题。在这项调查中，我们回顾了目前的进展，在处理公平缓解技术。根据模型中实现公平性的位置，我们将其分为显式和隐式方法，前者直接将公平性度量纳入训练目标，后者侧重于细化潜在的表示学习。最后，我们结束了调查，在这个社区的研究挑战的讨论，以激励未来的探索。
2022-04-10 cs.LG
FairZK: A Scalable System to Prove Machine Learning Fairness in Zero-Knowledge
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Irvine（加州大学 Irvine 分校）；Shanghai Jiao Tong University（上海交通大学）
针对机器学习公平性验证需暴露模型参数的问题，提出FairZK系统，通过新的公平性界推导和专用零知识证明协议，在保护模型机密的同时高效证明公平性，性能较现有方案提升显著，首次支持4700万参数大模型。
2025-05-19 cs.LG
Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness
IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
减轻算法偏见是机器学习模型开发和部署中的一项关键任务。虽然有几个工具包可以帮助机器学习从业者解决公平性问题，但人们对从业者用来评估模型公平性的策略以及影响其评估的因素知之甚少，特别是在文本分类的背景下。评价模型公平性的两种常用方法是群体公平性和个体公平性。我们与机器学习从业者（n=24）进行了一项研究，以了解用于评估模型的策略。向从业者提出的问题（群体与个人公平性）影响他们认为公平的模型。与会者重点关注与低估/高估相关的风险以及与身份令牌操作相关的模型敏感性。我们发现公平性评估策略涉及个人经验或用户如何形成身份令牌组来测试模型的公平性。我们提供了交互式工具的建议，用于评估文本分类的公平性。
2023-03-01 cs.CY cs.HC cs.LG
The Impossibility Theorem of Machine Fairness -- A Causal Perspective
Columbia University（哥伦比亚大学）
随着机器学习在社会和经济环境中的日益普及，人工智能社区对机器偏见的概念产生了兴趣。根据历史数据训练的模型反映了社会中存在的偏见，并通过他们的决策将其传播到未来。在社区中使用了三个突出的机器公平性指标，统计数据表明，不可能同时满足所有这些指标。这导致了公平定义的模糊。在这份报告中，一个因果的公平性不可能定理的角度提出了一个因果的机器公平性的目标。
2021-01-29 cs.AI cs.LG stat.ML
An Axiomatic Theory of Provably-Fair Welfare-Centric Machine Learning
我们解决了福利理论公平机器学习的固有困难，提出了一个等价的公理合理的替代方案，并研究由此产生的计算和统计学习问题。福利指标量化了一个或多个群体的总体福祉，最近提出了基于福利的目标和约束，以激励公平的机器学习方法，以产生考虑多个群体的不同需求的满意解决方案。不幸的是，许多机器学习问题更自然地被视为损失最小化任务，而不是效用最大化，这使得以福利为中心的方法直接应用于公平的机器学习变得复杂。在这项工作中，我们定义了一个补充措施，称为malfare，衡量整体社会危害（而不是福祉），通过基数福利的标准公理化的理由。然后，我们将公平的机器学习视为每组风险值（预期损失）的最小化。令人惊讶的是，基数福利（malfare）公理规定，这并不等同于简单地将效用定义为负损失。在这些概念的基础上，我们定义了公平PAC（FPAC）学习，其中FPAC学习器是一种算法，学习$\varepsilon$ - $δ$ malfare最优模型，具有有限的样本复杂度，任何数据分布，并为任何（公理合理）malfare概念。最后，我们展示了广泛的条件，在此条件下，经过适当的修改，标准PAC学习者可以转换为FPAC学习者。这将FPAC学习置于坚实的理论基础之上，因为它为许多经过充分研究的机器学习模型提供了统计和计算效率保证，并且也具有实际意义，因为它通过为这些模型提供具体的训练算法和严格的泛化保证，使公平ML民主化
2021-07-26 cs.LG
General Post-Processing Framework for Fairness Adjustment of Machine Learning Models
本文提出一种通用后处理公平性调整框架，适用于多种机器学习任务和公平性度量，通过解耦训练过程，无需自定义损失函数，并支持黑盒模型，在真实数据集上实现了与对抗性去偏相当的公平性/准确性权衡。
2025-04-22 cs.LG
50 Years of Test (Un)fairness: Lessons for Machine Learning
Google（谷歌）
关于什么是不公平和什么是公平的定量定义已经在多个学科中引入了50多年，包括教育，招聘和机器学习。我们追溯了在过去的半个世纪里，公平的概念是如何在教育和招聘的测试社区中被定义的，探索了不同公平定义出现的文化和社会背景。在某些情况下，公平性的早期定义与当前机器学习研究中的公平性定义相似或相同，并预示着当前的正式工作。在其他情况下，对公平意味着什么以及如何衡量公平的见解在很大程度上被忽视了。我们从几个方面比较了过去和现在的公平概念，包括公平标准、标准的重点（例如，测试、模型或其使用），公平性与个人、组和子组的关系，以及用于测量公平性的数学方法（例如，分类，回归）。这项工作指出了未来研究和测量（不）公平的方式，建立在我们对公平的现代理解的基础上，同时结合了过去的见解。
2018-12-03 cs.AI cs.LG
How fair can we go in machine learning? Assessing the boundaries of fairness in decision trees
Trilateral Research（三边研究公司）；Data Justice Lab, Cardiff University（卡迪夫大学数据正义实验室）；University of Granada（格拉纳达大学）
公平的机器学习工作一直专注于开发公平的算法，以解决对某些群体的歧视问题。然而，许多这些公平意识的方法旨在获得一个独特的解决方案的问题，这导致了一个贫穷的理解偏差缓解干预措施的统计限制。我们提出了第一种方法，允许在多目标框架内探索这些限制，该框架旨在优化任何准确性和公平性的衡量标准，并提供最佳可行解决方案的帕累托前沿。在这项工作中，我们把我们的研究重点放在决策树分类器，因为它们被广泛接受的机器学习，易于解释，可以处理非数值信息自然。实验结果表明，该方法能够以较小的分类错误代价优化决策树模型，具有较好的公平性。我们相信，我们的贡献将帮助社会技术系统的利益相关者评估他们能走多远是公平和准确的，从而在使用机器学习的情况下支持增强决策。
2020-06-22 cs.LG stat.ML
FAIREDU: A Multiple Regression-Based Method for Enhancing Fairness in Machine Learning Models for Educational Applications
Dainam University（大南大学）；VNU University of Engineering and Technology（越南国家大学工程技术大学）；Latrobe University（拉筹伯大学）；University of South Eastern Norway（东南挪威大学）
针对教育领域AI/ML模型公平性研究多聚焦单敏感特征、评估不全面的问题，提出基于多元回归的FAIREDU方法，可兼顾多敏感特征交叉公平性，在几乎不影响准确率的前提下优于现有最优方法。
2024-10-08 cs.AI cs.LG
The Sharpe predictor for fairness in machine learning
Lehigh University（利哈伊大学）；University of Coimbra（科英布拉大学）
在机器学习（ML）应用中，不公平的预测可能会歧视少数群体。大多数现有的公平机器学习（FML）方法将公平性视为ML模型优化中的约束或惩罚项，这不会导致发现学习准确性和公平性度量之间权衡的完整景观，并且不会以有意义的方式整合公平性。最近，我们引入了一个新的范式FML的基础上随机多目标优化（SMOO），准确性和公平性指标的立场，同时优化冲突的目标。整个权衡范围被定义为SMOO问题的帕累托前沿，然后可以使用随机梯度型算法有效地计算。SMOO还允许为FML定义和计算新的有意义的预测器，一个新的预测器是我们在本文中介绍和探索的Sharpe预测器，它给出了最高的准确性与不公平性的比率。受金融领域SMOO的启发，FML的Sharpe预测器提供了每单位预测风险（不公平性）的最高预测回报（准确性）。
2021-08-13 cs.LG
A Catalog of Fairness-Aware Practices in Machine Learning Engineering
University of Salerno（萨勒诺大学）
本文通过系统性映射研究，提出包含28种实践的公平性感知目录，覆盖机器学习全生命周期，为软件工程领域提供可操作建议，以增强系统公平性与可信度。
2025-04-22 cs.LG cs.SE
Developing a Philosophical Framework for Fair Machine Learning: Lessons From The Case of Algorithmic Collusion
Carnegie Mellon University（卡内基梅隆大学）
本文以算法共谋影响全体消费者的市场公平问题为例，提出将形式化公平指标与明确范围的规范性原则相结合的伦理框架，以弥补现有公平机器学习研究主要关注歧视性分类的不足。
2023-09-27 cs.CY cs.LG
Monitoring fairness in machine learning models that predict patient mortality in the ICU
Microsoft（微软公司）；Philips（飞利浦公司）
提出一种公平性监测方法，评估预测ICU患者死亡率的机器学习模型在不同种族、性别和诊断群体中的表现，并揭示文档偏差，提供比传统准确性指标更详细的性能比较。
2024-11-06 cs.AI cs.LG
Contrastive Fairness in Machine Learning
University of Oxford（牛津大学）
雇用哈里而不雇用巴里公平吗？帕姆被解雇而不是萨姆公平吗？当智能算法代替人类做出这些决定时，如何确保公平？如何才能确保决定是根据优点而不是种族或性别等受保护的属性作出的？这些都是现在必须回答的问题，因为现实生活中的许多决策都可以通过机器学习做出。然而，算法公平性的研究主要集中在反事实问题上，即“如果？“或“为什么？“，而在现实生活中，大多数主观的后果问题是对比性的：“为什么是这个而不是那个？".我们介绍的概念和数学工具，使用因果推理来解决算法决策中的对比公平性与说明性的例子。
2019-09-07 cs.LG stat.ML
Assessing Fairness in Classification Parity of Machine Learning Models in Healthcare
KenSci Inc（KenSci公司）；University of Washington - Tacoma（华盛顿大学塔科马分校）；University of Washington - Bothell（华盛顿大学博塞尔分校）
人工智能和机器学习系统的公平性已经成为人工智能系统问责的一个根本问题。虽然人工智能模型的问责制需求几乎无处不在，但医疗保健尤其是一个具有挑战性的领域，在这个领域，此类系统的问责制具有额外的重要性，因为医疗保健中的决策可能会改变生活。在本文中，我们提出了初步的公平性的背景下，在医疗保健的分类平价。我们还提出了一些探索性的方法，以提高公平性和选择适当的分类算法的背景下，医疗保健。
2021-02-07 cs.CY cs.LG
Survey on Causal-based Machine Learning Fairness Notions
INRIA（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；IPP（巴黎理工学院）
解决公平性问题对于安全地使用机器学习算法来支持对人们生活产生关键影响的决策至关重要，例如招聘，虐待儿童，疾病诊断，贷款发放等。然而，最新的公平概念是基于因果关系的，反映了现在广泛接受的观点，即使用因果关系是适当解决公平问题的必要条件。本文研究了一个详尽的清单，基于cabinet的公平概念，并研究其在现实世界中的应用场景。由于大多数基于因果关系的公平性概念是根据不可观察的量来定义的（例如，干预措施和反事实），在实践中部署它们需要使用观测数据来计算或估计这些数量。本文提供了一个全面的报告，不同的方法来推断因果量的观测数据，包括可识别性（珍珠的SCM框架）和估计（潜在的结果框架）。这份调查报告的主要贡献是（1）一个指导方针，以帮助选择一个合适的公平概念给定一个特定的现实世界的情况下，（2）根据珍珠的因果关系阶梯的公平概念的排名，表明它是多么困难，在实践中部署每个概念。
2022-06-07 cs.LG
FairTree: Subgroup Fairness Auditing of Machine Learning Models with Bias-Variance Decomposition
University of Zurich（苏黎世大学）；EPFL（瑞士联邦理工学院）
本文提出FairTree算法，通过偏差-方差分解实现对机器学习模型子组公平性的审计，支持连续、分类和有序特征，且无需离散化。通过模拟研究验证了其在公平性评估中的有效性。
2026-04-21 cs.LG
Residual Unfairness in Fair Machine Learning from Prejudiced Data
Cornell University（康奈尔大学）
最近在机器学习公平性方面的工作提出了通过均衡各组之间的准确性指标来调整公平性，并且还研究了受历史偏见影响的数据集如何可能导致不公平的决策策略。我们将这些工作联系起来，研究当公平性调整后的预测因子对目标人群实际上并不公平时产生的剩余不公平性，这是由于现有偏见政策对训练数据进行了系统性审查。这种情况在关注公平性的相同应用程序中特别常见。我们从理论上描述了这种审查对二进制分类器的标准公平性度量的影响，并提供了残留不公平性可能出现或可能不会出现的标准。我们证明，在某些条件下，公平调整的分类器实际上会导致剩余的不公平，使同样的不公平持续下去，对相同的群体，这使数据产生偏见，从而表明，即使是最先进的公平机器学习也可能具有“偏入，偏出”属性。当某些基准数据可用时，我们展示了样本重新加权如何在考虑删失的同时估计和调整公平性指标。我们用这个研究的情况下，停止，问题，和弗里斯克（SQF），并证明，试图调整公平的政策是臭名昭著的同样的不公正。
2018-06-07 cs.LG stat.ML
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University（理海大学）；University of Coimbra（科英布拉大学）
在将机器学习应用于现实生活中的决策系统中，例如，信用评分和刑事司法，预测结果可能会歧视具有敏感属性的人，导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项，这最终限制了提供给决策者的信息。在本文中，我们介绍了一种新的方法来处理公平性，制定一个随机多目标优化问题，相应的帕累托前沿唯一和全面定义的准确性，公平性权衡。然后，我们应用了随机近似型方法，有效地获得良好的传播和准确的帕累托前沿，这样做，我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
Fairness-Driven Private Collaborative Machine Learning
Tel-Aviv University（特拉维夫大学）；The Open University（开放大学）
当在更大的数据集上训练时，机器学习算法的性能可以得到相当大的提高。在许多领域，如医学和金融，如果几个方面，每个人都可以访问有限的数据量，合作和共享他们的数据，可以获得更大的数据集。然而，这种数据共享引入了重大的隐私挑战。虽然最近的多项研究调查了私人协作机器学习的方法，但这种协作算法的公平性被忽视了。在这项工作中，我们提出了一个可行的隐私保护预处理机制，以提高协同机器学习算法的公平性。我们的实验与所提出的方法表明，它是能够大大提高公平性，只有一个小的妥协的准确性。
2021-09-29 cs.CR cs.CY cs.LG
Procedural Fairness and Its Relationship with Distributive Fairness in Machine Learning
Southern University of Science and Technology（南方科技大学）；Lingnan University（岭南大学）
针对机器学习领域程序公平性研究不足的问题，本文提出训练阶段实现程序公平的新方法，验证其有效性，并探究程序公平与分配公平的关联及两类公平指标优化的差异。
2025-01-12 cs.CY cs.LG
Making Machine Learning Datasets and Models FAIR for HPC: A Methodology and Case Study
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；California State University, Long Beach（加州州立大学长滩分校）；Argonne National Laboratory（阿贡国家实验室）；University of California Santa Cruz（加州大学圣克鲁兹分校）
FAIR指导原则旨在通过使数字内容具有人机操作性来提高数字内容的可查找性、可访问性、互操作性和可重用性。然而，这些原理尚未在基于机器学习的高性能计算（HPC）的程序分析和优化领域中被广泛采用。在本文中，我们设计了一种方法，使HPC数据集和机器学习模型公平调查现有的公平性评估和改进技术。我们的方法包括对选定数据进行全面的定量评估，然后提出具体的可操作建议，以改善与持久性标识符，丰富的元数据描述，许可证和出处信息相关的常见问题的公平性。此外，我们选择了一个有代表性的训练数据集来评估我们的方法。实验结果表明，该方法可以有效地提高数据集和模型的公平性，从最初的19.1%到最终的83.0%。
2022-11-03 cs.DC cs.LG
An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems
Banking Academy of Vietnam（越南银行学院）；Vietnam Academy of Science and Technology（越南科学技术 academy）；Hanoi University of Science and Technology（河内科学技术大学）；University of Koblenz（科隆大学）
本文研究信用评分中公平性意识机器学习的关键方面，评估公平性模型与传统分类模型的平衡性，发现公平性模型在预测准确性和公平性间取得更好平衡。
2026-03-05 cs.CY cs.LG stat.ML
Can Ensembling Pre-processing Algorithms Lead to Better Machine Learning Fairness?
Concordia University（康考迪亚大学）
随着机器学习（ML）系统在更关键的领域被采用，解决这些系统中可能出现的偏见变得越来越重要。几种公平性预处理算法可用于减轻模型训练期间的隐式偏差。这些算法采用不同的公平性概念，往往会导致冲突的策略与公平性和准确性之间的权衡。在这项工作中，我们评估了三种流行的公平预处理算法，并研究了将所有算法组合成一个更强大的预处理集成的潜力。我们报告的经验教训，可以帮助从业者更好地选择公平算法的模型。
2022-12-05 cs.AI cs.CY cs.LG
Superhuman Fairness
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
基于机器学习的决策的公平性已经成为监督机器学习方法设计中越来越重要的焦点。大多数公平性方法优化性能度量（例如，准确性、对数损失或AUC）和公平性度量（例如，人口均等，均等赔率）。这就引出了一个问题：是否指定了正确的性能-公平性权衡？相反，我们通过引入超人的公平性，将公平机器学习重新转换为一种模仿学习任务，这种公平性旨在同时在多个预测性能和公平性指标上超越人类决策。我们证明了这种方法的好处次优决策。
2023-01-31 cs.AI cs.LG
Counterfactually Fair Regression with Double Machine Learning
Centre for Social Research and Methods（社会研究与方法中心）；Australian National University（澳大利亚国立大学）
反事实公平是人工智能公平的一种方法，它试图根据具有某种敏感状态的个人在没有这种状态的情况下会产生的结果来做出决策。本文提出了双重机器学习（DML）公平性，它将回归问题中的反事实公平性问题类比为潜在结果框架下因果推理中估计反事实结果的问题。它使用任意机器学习方法来部分消除敏感变量对非敏感变量和结果的影响。假设两组变量的影响是可加性分离的，结果将近似相等，个人水平的结果将是反事实公平的。本文演示了在模拟研究有关歧视工作场所招聘和应用程序的真实数据估计法学院学生的GPA的方法。然后，它讨论了当它是适当的应用这样一种方法来解决现实世界中的歧视问题的结构是概念上复杂的，最后，是否DML公平可以实现正义，在这些设置。
2023-03-21 cs.LG stat.ME
Poisoning Attacks on Fair Machine Learning
University of Arkansas at Fayetteville（阿肯色大学费耶特维尔分校）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
公平机器学习和对抗学习都得到了广泛的研究。然而，攻击公平的机器学习模型受到的关注较少。在本文中，我们提出了一个框架，旨在有效地产生中毒样本攻击模型的准确性和算法公平性。我们的攻击框架可以针对公平的机器学习模型，这些模型使用各种基于群体的公平概念进行训练，例如人口统计学平价和均衡化的几率。我们开发了三种在线攻击，对抗性采样，对抗性标记和对抗性特征修改。所有这三种攻击都通过采样、标记或修改一小部分训练数据来有效且高效地产生中毒样本，以降低测试准确性。我们的框架使攻击者能够灵活地调整攻击的重点预测准确性或公平性，并准确地量化每个候选点的准确性损失和公平性违反的影响，从而产生有效的中毒样本。在两个真实数据集上的实验证明了该框架的有效性和效率。
2021-10-17 cs.AI cs.CR cs.CY
A Framework for Fairer Machine Learning in Organizations
John Chambers College of Business and Economics, West Virginia University（西弗吉尼亚大学约翰·钱伯斯商学院）；Carroll School of Management, Boston College（波士顿学院卡罗尔管理学院）；Massachusetts Institute of Technology（麻省理工学院）
随着组织越来越多地采用机器学习工具，不公平的风险比比皆是，特别是当招聘、住房、贷款和入学等具有社会经济重要性的人类决策过程自动化时。我们揭示了不公平的机器学习的来源，审查了公平性标准，并提供了一个框架，如果实施，将使组织能够避免实施不公平的机器学习模型，但也避免了常见的情况下，随着算法学习更多的数据，它可能会变得不公平随着时间的推移。组织实施机器学习的行为伦理问题在文献中没有得到彻底解决，因为许多必要的概念分散在三个文献中：伦理，机器学习和管理。此外，机器学习中的公平标准之间的权衡尚未针对组织解决。我们通过引入一个组织框架来选择和实施组织中的公平算法来推进研究。
2020-09-10 cs.CY cs.LG
On Adversarial Bias and the Robustness of Fair Machine Learning
National University of Singapore（新加坡国立大学）；Google（谷歌）
优化预测准确性可能会以牺牲公平性为代价。为了最大限度地减少对群体的歧视，公平机器学习算法通过对模型施加公平约束，努力使模型在不同群体中的行为相等。然而，我们表明，给予不同大小和分布的组相同的重要性，以抵消训练数据中的偏差的影响，可能与鲁棒性相冲突。我们分析了基于组的公平机器学习的数据中毒攻击，重点是均衡的赔率。一个可以控制一小部分训练数据的采样或标记的对手，可以大大降低测试精度，超过他在无约束模型上所能达到的精度。对抗性采样和对抗性标记攻击也会恶化模型在测试数据上的公平性差距，即使模型在训练数据上满足公平性约束。我们通过对多个算法和基准数据集的攻击的经验评估来分析公平机器学习的鲁棒性。
2020-06-15 cs.CR cs.CY cs.LG
Fair Graph Machine Learning under Adversarial Missingness Processes
Department of Computer Science（计算机科学系）；Rice University（里士满大学）
BFtS通过三玩家对抗方案解决对抗性缺失过程下的公平图机器学习问题，优化公平性与准确率的平衡。
2026-01-29 cs.LG
What is Fair? Defining Fairness in Machine Learning for Health
Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学）；Harvard T.H. Chan School of Public Health（哈佛T.H. Chan公共卫生学院）；York University（约克大学）；Verily Life Sciences（Verily生命科学公司）；Duke University（杜克大学）；University of Toronto（多伦多大学）
本文探讨健康领域机器学习中公平性的定义，分析不公平决策成因及衡量方法，综述群体、个体和因果框架下的公平性概念，并展望未来研究机遇与挑战。
2025-05-27 cs.CY cs.LG stat.ML
Evaluating Fair Feature Selection in Machine Learning for Healthcare
University of Hawaii at Manoa（夏威夷大学马诺阿分校）
本文针对医疗机器学习中特征选择可能加剧健康差异的问题，提出一种联合公平性与误差指标的公平特征选择方法，在三个医疗数据集上验证了其能在几乎不损失准确率的情况下提升公平性。
2024-04-01 cs.CY cs.LG
The Fairness Field Guide: Perspectives from Social and Formal Sciences
University of Arkansas（阿肯色大学）
在过去的几年里，已经提出了一系列不同的方法来衡量机器学习模型的公平性。然而，尽管越来越多的出版物和实现，仍然缺乏文献来解释公平的机器学习与哲学，社会学和法律等社会科学的相互作用。我们希望通过积累和阐述社会和形式科学（特别是机器学习和统计学）在本领域指南中产生的公平机器学习的思想和讨论来解决这个问题。具体来说，除了给出几种流行的基于统计和因果关系的公平机器学习方法的数学和算法背景外，我们还解释了支持它们的基本哲学和法律思想。此外，我们从社会学和哲学的角度探讨了对当前公平机器学习方法的一些批评。我们希望本领域指南能够帮助公平的机器学习从业者更好地理解他们的算法如何与重要的人文价值观（如公平）保持一致，以及我们作为一个领域如何设计方法和指标，以更好地为受压迫和边缘化的民众服务。
2022-03-08 cs.AI cs.CY cs.LG
Evaluating Intersectional Fairness across Clinical Machine Learning Use Cases using Fairlogue and the All of Us Research Program
College of Engineering, The University of Arizona（亚利桑那大学工程学院）
本文使用Fairlogue工具包在临床预测任务中评估交叉公平性，发现交叉群体差异大于单轴分析，但反事实诊断表明多数差异与随机分组相当。
2026-06-17 cs.CY cs.LG q-bio.QM
A Distributed Fair Machine Learning Framework with Private Demographic Data Protection
University of Wyoming（怀俄明大学）
公平机器学习已经成为一个具有广泛社会影响的重要研究课题。然而，大多数公平的学习方法需要直接存取个人人口统计数据，而这些数据越来越多地被限制用于保护用户隐私（例如，欧盟一般数据保护条例）。在本文中，我们提出了一个分布式的公平学习框架，以保护人口统计数据的隐私。我们假设这些数据由第三方私人持有，该第三方可以与数据中心（负责模型开发）进行通信，而不会泄露人口统计信息。我们提出了一个原则性的方法来设计公平的学习方法在这个框架下，四种方法，并显示他们一贯优于现有的同行在公平性和准确性在三个真实世界的数据集。我们从理论上分析了该框架，并证明了它可以学习模型具有高公平性或高准确性，与他们的权衡平衡的阈值变量。
2019-09-17 cs.LG stat.ML
Fair Mixed Effects Support Vector Machine
Trier University（特里尔大学）
针对社会数据成簇导致独立假设失效并加剧公平性偏差的问题，提出公平混合效应支持向量机算法，同时处理簇相关与敏感属性歧视，并通过可复现模拟验证其影响。
2024-12-02 cs.CY cs.LG math.OC
Fairness in machine learning: against false positive rate equality as a measure of fairness
NYU（纽约大学）
该研究针对机器学习中校准性与假阳性率相等的公平性权衡假设，从伦理学角度构建分析框架，论证假阳性率相等并非合理的公平性衡量标准，为算法公平性评估的指标选择提供伦理依据。
2020-07-06 cs.AI cs.CY cs.LG
Fairness and Robustness in Machine Unlearning
Sungkyunkwan University（成均馆大学）
针对机器学习遗忘无法实现精确遗忘的问题，首次聚焦其公平性与鲁棒性，提出基于方差-偏差权衡的公平性猜想，通过ResNet和ViT验证公平性与鲁棒性的关联，并提出评估指标，证明中间层和最后层遗忘的有效性。
2025-04-18 cs.LG
The Fragility of Fairness: Causal Sensitivity Analysis for Fair Machine Learning
University of Oxford（牛津大学）；Harvard University（哈佛大学）；University of Cincinnati（辛辛那提大学）；Carnegie Mellon University（卡内基梅隆大学）
针对现实数据偏差导致公平性评估失效的问题，提出基于因果敏感性分析的通用框架，在14个数据集上验证了公平性评估对微小偏差的脆弱性，为衡量指标信息量提供必要工具。
2024-10-15 cs.CY cs.LG
Probably Approximate Shapley Fairness with Applications in Machine Learning
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
Shapley值（SV）被用于机器学习（ML）中的各种场景，包括数据估值、代理估值和特征属性，因为它满足其公平性要求。然而，由于实际上无法计算精确的SV，因此SV估计值近似。这个近似步骤提出了一个重要的问题：SV估计是否保留了精确SV的公平性保证？我们观察到，准确的SV的公平性保证是太严格的SV估计。因此，我们概括了Shapley公平性，可能近似Shapley公平性，并提出保真度分数，衡量SV估计的变化，这决定了公平性保证的可能性。我们最后的理论贡献是一种新的贪婪主动估计（GAE）算法，将最大限度地提高最低的保真度分数，并实现更好的公平性保证比事实上的蒙特卡罗估计。我们经验验证GAE在保证公平性方面优于几种现有方法，同时在使用真实世界数据集的各种ML场景中保持估计准确性的竞争力。
2022-12-01 cs.CY cs.LG
On Formalizing Fairness in Prediction with Machine Learning
Department of Computer Science, Montanuniversitat Leoben（蒙塔努大学莱奥本分校计算机科学系）；Department of Computer Science, TU Eindhoven（埃因霍温理工大学计算机科学系）
用于预测的机器学习算法越来越多地用于影响人类生活的关键决策。各种公平的形式化，还没有明确的共识，用于防止这些算法系统地歧视基于某些属性受法律保护的人。本文的目的是调查如何在机器学习文献中形式化公平的预测任务，并提出这些形式化与其相应的概念分配正义的社会科学文献。我们从社会科学文献中对这些概念提出了理论和经验的批评，并解释了这些批评如何限制了相应公平形式化对某些领域的适用性。我们还提出了两个分配正义的概念，以解决其中的一些批评，并讨论未来公平形式化的途径。
2018-05-28 cs.AI cs.LG stat.ML
Decoupled classifiers for fair and efficient machine learning
当在机器学习系统中使用敏感属性（如性别或种族）符合道德和法律时，问题仍然是如何做到这一点。我们表明，天真的应用程序的机器学习算法使用敏感的功能，导致一个固有的权衡组之间的准确性。我们提供了一种简单有效的解耦技术，可以添加到任何黑盒机器学习算法之上，为不同的群体学习不同的分类器。迁移学习用于缓解任何一个组的数据太少的问题。该方法可以应用于一系列公平性标准。特别是，我们要求应用程序设计者指定为联合损失函数，使公平性和准确性之间的权衡显式。我们的减少有效地找到最小的损失，只要目标具有一定的自然单调性属性，这可能是独立的兴趣，在算法的公平性研究。
2017-07-20 cs.CY cs.LG
Analyzing Fairness of Classification Machine Learning Model with Structured Dataset
Shippensburg University of Pennsylvania（宾夕法尼亚州希彭斯堡大学）；Islamic University of Madinah（麦地那伊斯兰大学）；University of Khartoum（喀土穆大学）
本研究使用Fairlearn、AIF360和What If Tool三个公平性库，分析Kaggle结构化数据集上分类机器学习模型的偏见，比较各库优劣，为实践提供公平性评估与缓解指导。
2024-12-17 cs.AI cs.LG
The Role of Uncertainty in Assessing the Fairness of Machine Learning Models
Università della Svizzera Italiana (USI)（瑞士意大利语区大学）
本文探讨机器学习模型公平性评估中的不确定性量化，提出频率派和贝叶斯方法，并通过模拟和真实数据示例展示其应用与影响。
2026-09-09 cs.LG stat.ME stat.ML
Are There Exceptions to Goodhart's Law? On the Moral Justification of Fairness-Aware Machine Learning
Eindhoven University of Technology（埃因霍温理工大学）
公平感知机器学习（fair-ml）技术是一种算法干预，旨在确保受机器学习模型预测影响的个体得到公平对待。该问题通常被视为一个优化问题，其目标是在定量公平性约束下实现高预测性能。然而，任何设计公平ML算法的尝试都必须假设古德哈特定律有一个例外：当公平性度量成为优化约束时，它不会停止是一个好的度量。在本文中，我们认为，公平措施是特别敏感的古德哈特定律。我们的主要贡献如下。首先，我们提出了一个框架，道德推理的公正性指标的理由。与现有的工作相比，我们的框架纳入了这样一种信念，即结果的分配是否公平，不仅取决于不平等的原因，还取决于道德要求决策主体必须获得特定的利益或避免负担。我们使用的框架来验证道德和经验的假设下，特定的公平指标对应于一个公平的结果分配。其次，我们探讨了在公平ml算法中使用公平度量作为约束的道德合理程度，例如Hardt等人（2016）引入的公平ml算法。我们说明，通过公平ml算法执行公平度量通常不会导致公平分配的结果，激励其使用，甚至可以伤害个人的干预是为了保护。
2024-07-02 cs.AI cs.CY cs.LG
Diversity Drives Fairness: Ensemble of Higher Order Mutants for Intersectional Fairness of Machine Learning Software
Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）；China-Singapore International Joint Research Institute（中新国际联合研究院）
针对机器学习软件的交叉公平性需求，提出无需重新训练模型、基于输入高阶突变体集成的FairHOME方法，在24项任务中公平性提升效果优于现有7种SOTA方法。
2024-12-11 cs.LG cs.SE
Globalizing Fairness Attributes in Machine Learning: A Case Study on Health in Africa
Google Research（谷歌研究院）；Duke University（杜克大学）；Stanford University（斯坦福大学）
本文以非洲为案例，提出在机器学习医疗应用中应考虑的公平属性，并分析其在不同医疗模式中的作用，旨在推动全球健康公平性研究。
2023-04-05 cs.AI cs.CY cs.LG
The Effect of Enforcing Fairness on Reshaping Explanations in Machine Learning Models
Intelligent Systems Program, University of Pittsburgh（1 智能系统计划，匹兹堡大学）；Department of Biomedical Informatics, University of Pittsburgh（2 生物医学信息学系，匹兹堡大学）
本研究探讨了在医疗机器学习中通过偏见缓解技术提高公平性如何影响基于Shapley的特征排名，发现公平性提升可能改变特征重要性排名，强调了在模型评估中需综合考虑准确性、公平性和可解释性。
2025-12-01 cs.CY cs.LG
Towards Understanding Fairness and its Composition in Ensemble Machine Learning
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文系统研究了bagging、boosting、stacking和voting四类集成学习中的公平性组合机制，通过168个Kaggle集成模型基准揭示无需缓解技术即可设计更公平集成，并分析了数据特征与公平性组合的交互关系。
2023-04-25 cs.LG
Optimizing fairness tradeoffs in machine learning with multiobjective meta-models
Boston Children's Hospital（波士顿儿童医院）
针对公平机器学习中误差与公平性的多准则冲突，本文提出多目标元模型框架，由受保护属性学习样本权重，在真实任务上获得更优权衡解集。
2023-04-21 cs.CY cs.LG cs.NE
Review of Mathematical frameworks for Fairness in Machine Learning
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse 3（图卢兹第三大学）；Instituto de Matemáticas de la Universidad de Valladolid（巴利亚多利德大学数学研究所）；Universidad de Valladolid（巴利亚多利德大学）
从数学的角度对近年来文献中提出的主要公平性定义和公平学习方法进行了综述。根据我们的独立性为基础的方法，我们考虑如何建立公平的算法，其性能下降的后果相比，可能不公平的情况下。这对应于由准则$\textit{statistical parity}$或$\textit{equality of odds}$给出的公平性价格。给出了$\textit{equality of odds}$意义下的最佳公平分类器和最佳公平预测器（线性回归高斯模型下）的表达式。
2020-05-26 cs.LG stat.ML
On The Impact of Machine Learning Randomness on Group Fairness
National University of Singapore（新加坡国立大学）
本文研究神经网络训练中随机性对群体公平性指标高方差的影响，发现主要根源是数据顺序的随机性及代表性不足群体上的学习波动，并提出仅改变单个epoch数据顺序即可高效控制群体公平性。
2023-07-09 cs.CY cs.LG
