A Suite of Fairness Datasets for Tabular Classification
IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对公平性机器学习研究实验评估中数据集使用过少的问题，本文引入了一套可获取20个公平性数据集及相关元数据的函数，以促进未来更严谨的实验评估。
2023-07-31 cs.AI cs.CY cs.LG
Non-Comparative Fairness for Human-Auditing and Its Relation to Traditional Fairness Notions
Missouri University of Science and Technology（密苏里科技大学）
基于比较原则的传统算法公平性概念的基于机器学习的服务（MLS）中的偏差评估实际上是困难的，使得有必要依赖于人类审计员反馈。然而，尽管在各种比较公平的概念上接受了严格的培训，但众所周知，人类审计师在实践中对公平概念的各个方面都不同意，因此很难收集可靠的反馈。本文通过提出一种基于非比较正义原则的新的公平概念，为算法公平性领域提供了一个范式转换。与传统的公平概念相反，在传统的公平概念中，两个人/群体的结果进行比较，我们提出的概念比较MLS的结果与每个输入的期望结果。这个期望的结果自然描述了人类审计员的期望，并且可以很容易地用于在人群审计平台上评估MLS。我们表明，任何MLS可以被认为是公平的，从比较公平的角度来看（无论是在个人公平性，统计平价，平等机会或校准），如果它是非相对公平的一个公平的审计师。我们还表明，反之亦然的情况下，个人公平。鉴于这种评估依赖于审计师的可信度，我们还提出了一种方法，以确定公平和可靠的审计师，估计他们的偏见相对于一组给定的敏感属性，以及量化的不确定性在一个给定的MLS内的偏见估计。此外，所有上述结果也验证了COMPAS，德国信贷和成人普查收入数据集。
2021-06-29 cs.AI cs.HC cs.LG
Fairness Hacking: The Malicious Practice of Shrouding Unfairness in Algorithms
Data Protection Authority of Baden-Württemberg（巴登-符腾堡州数据保护局）；University of Tübingen（蒂宾根大学）；University of Stuttgart（斯图加特大学）
本文提出“公平性黑客”概念，揭示通过度量内和度量间两种方式滥用公平性指标以掩盖算法不公平性的恶意实践，并探讨相应对策及真实数据集演示，旨在指导社区减少此类滥用。
2023-11-12 cs.AI cs.CY cs.LG
Fairness Reprogramming
UC Santa Barbara（加州大学圣巴巴拉分校）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；The Hong Kong Polytechnic University（香港理工大学）
尽管最近在促进机器学习（ML）公平性方面取得了巨大进展，但现有的主流方法大多需要重新训练或微调神经网络的整个权重以满足公平性标准。然而，由于计算和存储成本高、数据效率低以及模型隐私问题，这对于那些大规模训练模型来说在实践中通常是不可行的。在本文中，我们提出了一个新的通用公平性学习范式，称为FairReprogram，它结合了模型重编程技术。具体来说，FairReprogram考虑了模型不能改变的情况，并在输入中附加了一组扰动，称为公平触发器，该触发器根据最小-最大公式调整为公平标准。我们进一步介绍了一个信息理论框架，解释了为什么以及在什么条件下可以实现公平的目标，使用公平触发器。我们从理论上和经验上证明，公平性触发器可以通过提供错误的人口统计信息来有效地掩盖固定ML模型输出预测中的人口统计偏差，从而阻碍模型利用正确的人口统计信息进行预测。在NLP和CV数据集上进行的大量实验表明，在两个广泛使用的公平性标准下，我们的方法可以实现比基于再训练的方法更好的公平性改进，并且数据依赖性要小得多。代码可在https://github.com/UCSB-NLP-Chang/Fairness-Reprogramming.git上获得。
2022-12-12 cs.AI cs.CY cs.LG
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Cascaded Debiasing: Studying the Cumulative Effect of Multiple Fairness-Enhancing Interventions
Stony Brook University（石溪大学）；Los Altos High School（洛斯阿尔托斯高中）
理解在机器学习（ML）管道的不同阶段的多种公平性增强干预的累积效应是公平性文献的一个关键和未充分探索的方面。这些知识对于数据科学家/ML从业者在设计公平的ML管道方面可能很有价值。本文采取了探索这一领域的第一步，进行了广泛的实证研究，包括60种干预措施的组合，9个公平性指标，2个效用指标（准确性和F1得分）在4个基准数据集。我们对实验数据进行定量分析，以衡量多种干预措施对公平性、效用和人群的影响。我们发现，应用多种干预措施的结果更好的公平性和较低的效用比个人干预的总和。然而，增加更多的干预并不总是导致更好的公平或更差的效用。实现高绩效（F1分数）以及高公平性的可能性随着干预措施的数量增加而增加。不利的一面是，我们发现，促进公平的干预措施会对不同的人口群体产生负面影响，特别是特权群体。这项研究强调了需要新的公平性指标，除了群体之间的差异外，还需要考虑对不同人群的影响。最后，我们提供了一系列干预组合，这些组合在不同的公平性和效用指标上表现最佳，以帮助设计公平的ML管道。
2022-08-22 cs.AI cs.CY cs.LG
Accurate Fairness: Improving Individual Fairness without Trading Accuracy
State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所计算机科学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
准确性和个体公平性对于可信的机器学习都是至关重要的，但这两个方面往往是相互不兼容的，因此增强一个方面可能会不可避免地牺牲另一个方面，从而产生真偏差或假公平的副作用。我们在本文中提出了一个新的公平标准，准确的公平性，个人的公平性与准确性。非正式地说，它要求个人和个人的类似对应方的待遇符合统一的目标，即，个人的基本事实我们证明，准确的公平性也意味着典型的组公平标准在一个联盟的类似的子种群。然后，我们提出了一个暹罗公平处理方法，以最大限度地减少准确性和公平性损失的机器学习模型下准确的公平性约束。据我们所知，这是第一次采用暹罗方法来缓解偏差。我们还提出了公平混淆矩阵为基础的指标，公平精度，公平召回，公平F1得分，量化准确性和个人公平之间的权衡。与流行的公平数据集的比较案例研究表明，我们的暹罗公平方法可以实现平均1.02%-8.78%的个人公平性正确率提高8.38%~ 13.69%，真实公平率提高10.09%~ 20.57%，公平F1分提高5.43%~ 10.01%，最先进的偏差缓解技术。这表明我们的暹罗公平方法确实可以在没有交易准确性的情况下提高个人公平性。最后，应用精确公平标准和Siamese公平方法来减轻真实携程数据集可能的服务歧视，平均公平地服务于比基线模型多112.33%的客户（具体地说，以精确公平的方式多81.29%的客户）。
2022-11-30 cs.CY cs.LG
Escaping the Impossibility of Fairness: From Formal to Substantive Algorithmic Fairness
University of Michigan（密歇根大学）
用算法促进公平的公共政策的努力似乎从根本上受到了“公平的不可能性”（公平的数学定义之间的不相容性）的限制。这种技术限制提出了一个关于算法公平性的核心问题：计算机科学家和政策制定者如何用算法支持公平的政策改革？在这篇文章中，我认为用算法促进正义需要改革算法公平性的方法论。首先，我诊断了当前算法公平性方法论的问题，我称之为“形式算法公平性”。因为形式上的算法公平性将分析限制在孤立的决策过程中，它导致了公平的不可能性和加剧压迫的模型，尽管看起来“公平”。第二，我从法律和哲学的实质平等理论出发，提出了一种替代方法论，我称之为“实质算法公平性”。“由于实质性的算法公平性需要更广泛的分析范围，它使人们能够摆脱不可能的公平，并为用算法减轻不公正提供了严格的指导。总之，实质性算法公平性为算法公平性提供了一个新的方向：远离“公平”决策的正式数学模型，转向对算法是否以及如何在实践中促进正义的实质性评估。
2023-02-26 cs.CY cs.LG
Procedural Fairness and Its Relationship with Distributive Fairness in Machine Learning
Southern University of Science and Technology（南方科技大学）；Lingnan University（岭南大学）
针对机器学习领域程序公平性研究不足的问题，本文提出训练阶段实现程序公平的新方法，验证其有效性，并探究程序公平与分配公平的关联及两类公平指标优化的差异。
2025-01-12 cs.CY cs.LG
Causal Context Connects Counterfactual Fairness to Robust Prediction and Group Fairness
University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）；Sentience Institute（感知研究所）
本文利用因果语境建立反事实公平性与鲁棒预测及群体公平性之间的联系，证明反事实公平预测器在无偏目标分布中可达到准确性最优，并揭示在测量误差、标签选择和预测变量选择三种情境下，反事实公平性分别等价于人口统计均等、均等化几率和校准。
2023-10-30 cs.AI cs.CY cs.LG
A Tale of Fairness Revisited: Beyond Adversarial Learning for Deep Neural Network Fairness
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
出于自动化和人工智能技术时代对公平算法决策的需求，本技术报告提供了对深度学习中公平性对抗训练的理论见解。我们建立在以前的对抗公平性工作的基础上，展示了公平预测和模型性能之间的持续权衡，并探索了有助于抵消这种权衡的进一步机制。
2021-01-08 cs.AI cs.LG
Maxmin-Fair Ranking: Individual Fairness under Group-Fairness Constraints
ISI Foundation（ISI基金会）；Eurecat（Eurecat技术中心）
我们研究了一个新的问题，旨在尽量减少个人的不公平性时，强制执行组公平性约束排名的公平性。我们的建议是植根于分布最大最小公平理论，它使用随机化，以最大限度地提高预期的满意度最差的个人。我们设计了一个精确的多项式时间算法，找到最大最小公平分布的一般搜索问题（包括，但不限于，排名），并表明我们的算法可以产生的排名，同时满足给定的组公平性约束，确保最大可能的价值被带到个人。
2021-06-17 cs.AI cs.DS cs.LG
Fair Classification under Covariate Shift and Missing Protected Attribute -- an Investigation using Related Features
本研究使用一种简单的方法研究了协变量偏移和缺失保护属性下的公平分类问题，该方法基于使用重要性权重来处理协变量偏移，并使用Related Features arXiv：2104.14537来处理缺失保护属性。
2022-04-17 cs.CY cs.LG
Superhuman Fairness
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
基于机器学习的决策的公平性已经成为监督机器学习方法设计中越来越重要的焦点。大多数公平性方法优化性能度量（例如，准确性、对数损失或AUC）和公平性度量（例如，人口均等，均等赔率）。这就引出了一个问题：是否指定了正确的性能-公平性权衡？相反，我们通过引入超人的公平性，将公平机器学习重新转换为一种模仿学习任务，这种公平性旨在同时在多个预测性能和公平性指标上超越人类决策。我们证明了这种方法的好处次优决策。
2023-01-31 cs.AI cs.LG
Algorithmic Fairness Verification with Graphical Models
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
近年来，机器学习（ML）算法已被部署在安全关键和高风险决策中，其中算法的公平性至关重要。ML中的公平性集中在检测ML分类器引起的对某些人口统计群体的偏见，并提出算法解决方案来减轻不同公平性定义的偏见。为此，已经提出了几种公平性验证器，它们计算ML分类器预测中的偏差-基本上超出了有限数据集-给定输入特征的概率分布。在验证线性分类器的上下文中，现有的公平性验证器由于特征之间的相关性的不精确建模而受到准确性的限制，并且由于分类器作为SSAT/SMT公式的限制性公式化或通过采样而受到可扩展性的限制。在本文中，我们提出了一个有效的公平性验证，称为FVGM，编码的相关性特征之间的贝叶斯网络。与现有的验证器相比，FVGM提出了一种基于随机子集和的线性分类器验证方法。在实验中，我们表明，FVGM导致更多样化的公平性增强算法，公平性攻击和组/因果公平性指标比国家的最先进的公平性验证家庭的准确和可扩展的评估。我们还表明，FVGM有利于公平性影响函数的计算作为一个垫脚石，以检测由子集的功能引起的偏见的来源。
2022-06-01 cs.AI cs.CY cs.LG
Counterfactual Fairness Evaluation of Machine Learning Models on Educational Datasets
Department of Computer Science and Engineering, Korea University, South Korea（计算机科学与工程系，韩国大学，韩国）
本文针对教育数据，通过基准数据集上的反事实公平性分析，揭示敏感属性的因果影响，为教育场景中的个体公平性评估提供新视角。
2025-04-20 cs.CY cs.LG
Counterfactual Fairness Is Basically Demographic Parity
New York University（纽约大学）
做出公平的决策对于在社交环境中道德地实施机器学习算法至关重要。在这项工作中，我们考虑了反事实公平的著名定义[Kusner et al.，NeurIPS，2017]。我们首先证明，一个算法，满足反事实的公平性也满足人口均等，一个更简单的公平性约束。同样，我们表明，所有的算法满足人口均等可以平凡地修改，以满足反事实的公平性。总之，我们的研究结果表明，反事实公平基本上等同于人口统计学上的平等，这对反事实公平越来越多的工作具有重要意义。然后，我们验证我们的理论研究结果经验，分析三个现有的算法对三个简单的基准反事实的公平。我们发现，两个简单的基准算法优于所有三个现有的算法-在公平性，准确性和效率方面-在几个数据集。我们的分析使我们正式确定了一个具体的公平目标：维护受保护群体中个人的秩序。我们认为，受保护组中个体排序的透明度使公平算法更值得信赖。通过设计，这两个简单的基准算法满足这一目标，而现有的反事实公平算法不。
2023-03-03 cs.CY cs.LG
50 Years of Test (Un)fairness: Lessons for Machine Learning
Google（谷歌）
关于什么是不公平和什么是公平的定量定义已经在多个学科中引入了50多年，包括教育，招聘和机器学习。我们追溯了在过去的半个世纪里，公平的概念是如何在教育和招聘的测试社区中被定义的，探索了不同公平定义出现的文化和社会背景。在某些情况下，公平性的早期定义与当前机器学习研究中的公平性定义相似或相同，并预示着当前的正式工作。在其他情况下，对公平意味着什么以及如何衡量公平的见解在很大程度上被忽视了。我们从几个方面比较了过去和现在的公平概念，包括公平标准、标准的重点（例如，测试、模型或其使用），公平性与个人、组和子组的关系，以及用于测量公平性的数学方法（例如，分类，回归）。这项工作指出了未来研究和测量（不）公平的方式，建立在我们对公平的现代理解的基础上，同时结合了过去的见解。
2018-12-03 cs.AI cs.LG
Fair Representation: Guaranteeing Approximate Multiple Group Fairness for Unknown Tasks
National University of Singapore（新加坡国立大学）
受数据用于不同预测任务的场景的启发，我们研究了公平表示是否可以用于保证未知任务的公平性和同时用于多个公平概念。我们认为七组公平的概念，涵盖独立，分离和校准的概念。在公平不可能结果的背景下，我们探讨近似公平。我们证明，虽然公平表示可能无法保证所有预测任务的公平性，但它确实保证了一个重要的任务子集的公平性-表示是有区别的任务。具体而言，所有七个组公平性概念是线性控制的公平性和歧视性的表示。当不同的公平概念之间存在不相容时，公平和歧视性的表示达到了近似满足所有概念的最佳点。出于我们的理论研究结果，我们建议学习公平和歧视性的表示使用借口损失自我监督学习，和最大平均离散作为一个公平的正则化。在表格，图像和人脸数据集上的实验表明，使用学习的表示，我们在学习表示时不知道的下游预测确实对七个组公平性概念变得更公平，并且根据我们的理论结果计算的公平性保证都是有效的。
2022-02-20 cs.CV cs.CY cs.LG
Obtaining Dyadic Fairness by Optimal Transport
East China Normal University（华东师范大学）
公平性是机器学习模型中的一个重要指标，也是可信机器学习的重要组成部分。在本文中，我们专注于获得流行的链接预测任务，这是衡量二元公平的公平性。基于最优传输理论，提出了一种新的预处理方法，通过数据修复来建立并元公平性。基于图链接预测的二元公平性与条件分布对齐问题之间的理论联系，二元修复方案可以等价地转化为条件分布对齐问题。在此基础上，通过有效地解决对齐问题，得到了一种基于传输的最优二元公平算法DyadicOT，该算法满足灵活性和无二义性的要求。所提出的DyadicOT算法在两个基准图数据集上显示出优于其他公平性方法的结果。
2022-11-29 cs.AI cs.LG
Error Parity Fairness: Testing for Group Fairness in Regression Tasks
University of Houston（休斯顿大学）
人工智能（AI）的应用围绕着人类生活越来越多方面的决策。社会的反应是对这种自动决策系统（ADS）的责任施加法律和社会期望。公平性是人工智能问责制的基本组成部分，涉及对个人和敏感群体的公正对待（例如，基于性别、种族）。虽然许多研究集中在公平学习和公平测试的分类任务，文献是相当有限的，如何检查回归任务的公平性。这项工作提出了误差奇偶性作为回归公平的概念，并介绍了一种测试方法来评估组公平性的基础上的统计假设检验程序。错误奇偶检验检查预测错误是否在敏感组中类似地分布，以确定ADS是否公平。然后是一个适当的排列测试，比较几个统计组，以探索差异和确定受影响的群体。通过对美国县级COVID-19预测的案例研究，证明了所提出的方法的有用性和适用性，该研究揭示了基于种族的预测误差差异。总体而言，所提出的回归公平性测试方法填补了公平机器学习文献中的空白，并可作为更大的问责制评估和算法审计的一部分。
2022-08-16 cs.CY cs.LG
Auditing Fairness-Privacy Trade-offs: Subpopulation-Level Effects of Fairness-Enhancing Algorithms
Virginia Tech（弗吉尼亚理工大学）；ADA University（阿塞拜疆ADA大学）；University of Potsdam（波茨坦大学）；University of Passau（帕绍大学）
研究公平性增强算法在亚群体层面如何影响隐私风险，通过调整似然比攻击进行审计，分析差分隐私与公平性方法交互，发现公平性干预对隐私风险影响因多种因素而异，引入统一实证框架支持相关审计。
2026-07-17 cs.AI cs.LG
Transferring Fairness using Multi-Task Learning with Limited Demographic Information
Johns Hopkins University（约翰斯·霍普金斯大学）
针对目标任务缺少人口统计标注的问题，本文提出多任务公平性损失，借助相关任务标签迁移公平性，并验证其可跨数据集实现交叉公平性。
2024-04-15 cs.CY cs.LG
To be Robust and to be Fair: Aligning Fairness with Robustness
Purdue University（普渡大学）
本文研究了对抗训练与攻击中公平性与准确率的关系，提出统一公平性攻击结构并证明其与准确率攻击的对齐性，实验表明该方法能同时提升两种指标的鲁棒性。
2023-03-31 cs.AI cs.LG
FETA: Fairness Enforced Verifying, Training, and Predicting Algorithms for Neural Networks
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；HEC Montréal（蒙特利尔高等商学院）
由神经网络驱动的决策在直接影响人们生活质量的应用中已经变得非常突出。本文研究了神经网络模型的检验、训练和保证个体公平性的问题。一个流行的方法是强制公平的公平概念转化为约束模型的参数。然而，这样的转换并不总是保证训练的神经网络模型的公平预测。为了解决这一挑战，我们开发了一个反例引导的后处理技术，可证明在预测时间执行公平性约束。与只在测试或训练数据周围的点上执行公平性的先前工作相反，我们能够在输入域中的所有点上执行和保证公平性。此外，我们提出了一种在处理技术，使用公平作为一个归纳偏见，通过迭代地将公平反例在学习过程中。我们已经在一个名为FETA的工具中实现了这些技术。对真实世界数据集的经验评估表明，FETA不仅能够在预测时保证公平性，而且还能够训练表现出更高程度的个体公平性的准确模型。
2023-01-30 cs.CY cs.LG
Understanding Fairness Surrogate Functions in Algorithmic Fairness
Hong Kong Baptist University（香港浸会大学）
本文揭示人口统计奇偶公平定义与其代理函数之间的代理-公平差距及大间隔点导致的不稳定，提出通用 sigmoid 代理和 Balanced Surrogate 算法，在保持准确率的同时提升公平性与稳定性。
2024-04-09 cs.AI cs.LG
The Long Arc of Fairness: Formalisations and Ethical Discourse
Technical University of Denmark（丹麦技术大学）；Technische Universität Berlin（柏林工业大学）
近年来，算法决策（ADM）的形式化和建模公平性的想法已经发展到了一个复杂的专业化点。然而，关于公平的技术（形式化）和伦理话语之间的关系并不总是明确和富有成效的。我们从另一个角度出发，回顾了现有的公平性指标，并讨论了一些常见的问题。例如，程序和分配的公平性往往是形式化的，并静态地讨论，忽视了现状的结构性先决条件和特定干预措施的下游影响。然后，我们引入动态公平建模，一个更全面的方法，重新调整正式的公平指标与伦理话语的参数。动态公平模型包括（1）道德目标，（2）量化决策程序和结果的正式指标，以及（3）中期或长期下游影响。通过将公平相关过程的这些要素置于情境中，动态公平建模阐明了以前潜在的道德方面，从而提供了一个有用的工具来导航不同公平干预之间的权衡。为了说明该框架，我们讨论了一个示例应用程序-目前欧洲努力增加公司董事会中的女性人数，例如通过配额解决方案-并提出适合我们框架的早期技术工作。
2022-03-08 cs.CY cs.LG
A Bandit-Based Algorithm for Fairness-Aware Hyperparameter Optimization
Feedzai（飞载）；Universidade do Porto（波尔图大学）
相当多的研究工作已被引导到算法公平性，但仍然没有重大突破。在实践中，需要对所有可能的技术和超参数进行详尽的搜索，以找到最佳的公平性-准确性权衡。因此，再加上ML从业者缺乏工具，减少偏差方法的实际应用仍然很少。为了解决这个问题，我们提出了Fairband，一个基于带宽的公平感知超参数优化（HO）算法。Fairband在概念上简单，资源有效，易于实现，并且对目标指标，模型类型和正在探索的超参数空间都不可知。此外，通过将公平概念引入HO，我们可以将公平目标无缝有效地集成到现实世界的ML管道中。我们比较Fairband与流行的HO方法在四个现实世界的决策数据集。我们表明，Fairband可以有效地导航的公平性和准确性的权衡，通过超参数优化。此外，在没有额外的训练成本的情况下，它始终发现在预测准确性的相对较小的降低下实现大幅提高的公平性的配置。
2020-10-22 cs.AI cs.LG
Fair Mixup: Fairness via Interpolation
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；IBM Research AI（IBM研究院人工智能部门）
在公平性约束（如组公平性）下训练分类器，使组之间的预测差异规则化。然而，即使在训练过程中满足了约束条件，它们在评估时也可能无法推广。为了提高公平分类器的泛化能力，我们提出了公平混淆，一个新的数据增强策略施加公平约束。特别是，我们表明，公平性，可以通过正规化的模型之间的插值样本的路径。我们使用mixup，一个强大的数据增强策略来生成这些插值。我们分析了公平的混淆，并实证表明，它确保了更好的概括性的准确性和公平性的测量表，视觉和语言基准。
2021-03-11 cs.CY cs.LG stat.ML
Measuring Fairness of Text Classifiers via Prediction Sensitivity
Harvard University（哈佛大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
随着语言处理应用的快速增长，公平性已成为数据驱动解决方案中的重要考虑因素。虽然在最近的文献中已经探讨了各种公平性的定义，但对于哪些指标最准确地反映了系统的公平性缺乏共识。在这项工作中，我们提出了一个新的公式：累积预测敏感性，它衡量公平性的基础上，机器学习模型的预测敏感性输入特征的扰动。该度量试图量化单个预测对受保护属性的依赖程度，其中受保护属性对受保护组中个体的成员身份状态进行编码。我们表明，该指标可以在理论上与一个特定的概念，组公平性（统计奇偶性）和个人的公平性。它也与人类对公平的感知密切相关。我们在两个文本分类数据集上进行实验：JIGSAW TOXICITY和BIAS IN BIOS，并评估指标和手动注释之间的相关性，以确定模型是否产生了公平的结果。我们观察到，建议的公平性度量的基础上预测灵敏度是统计上显着更相关的人类注释比现有的反事实的公平性度量。
2022-03-16 cs.CY cs.LG
Achieving Fairness at No Utility Cost via Data Reweighing with Influence
Brandeis University（布兰迪斯大学）
随着算法治理的快速发展，公平性已经成为机器学习模型抑制无意歧视的一个强制属性。在本文中，我们专注于预处理方面，以实现公平性，并提出了一种数据重新加权的方法，只调整样本的权重在训练阶段。不同于大多数以前的重新加权方法，通常分配一个统一的权重为每个（子）组，我们颗粒模型的影响，每个训练样本的公平性相关的数量和预测效用，并计算个人的权重的基础上的影响下的约束，从公平性和效用。实验结果表明，以前的方法实现了公平的效用不可忽略的成本，而作为一个显着的优势，我们的方法可以凭经验释放的权衡，并获得公平的机会均等的成本。与多个真实世界表格数据集上的基线方法相比，我们通过香草分类器和标准训练过程证明了无成本的公平性。代码可在https://github.com/brandeis-machine-learning/influence-fairness获得。
2022-06-17 cs.CY cs.LG
Within-group fairness: A guidance for more sound between-group fairness
Samsung Electronics Co.（三星电子公司）；Konkuk University（建国大学）；Seoul National University（首尔国立大学）
由于人工智能算法对社会决策有着至关重要的影响，因此它们不仅应该准确，而且不应该对某些敏感群体（例如，非白人女性）。已经开发了各种专门设计的AI算法，以确保训练的AI模型在敏感群体之间是公平的。在本文中，我们提出了一个新的问题，即组间公平AI模型可能会不公平地对待同一敏感组中的个体。我们引入了一个新的公平性概念，即组内公平性，它要求AI模型对同一敏感组中的人以及不同敏感组中的人都是公平的。我们具体化组内公平的概念，提出相应的数学定义和开发学习算法，以控制组内公平和组间公平的同时。数值研究表明，所提出的学习算法提高组内的公平性，而不牺牲准确性以及组间的公平性。
2023-01-20 cs.CY cs.LG stat.AP
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据，天真的团队奖励最大化产生不公平的结果，为个别团队成员的动机。为了解决多智能体环境中的公平性问题，我们引入了团队公平性，这是一种基于组的多智能体学习公平性度量。然后，我们证明了它是可能的，以加强团队的公平性，在政策优化过程中，通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性（Fair-E），并以经验证明其有效性。然后，我们引入公平通过等变正则化（公平ER）作为公平E的软约束版本，并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后，我们提出了新的发现，在多代理设置的公平性效用权衡，显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Fairness-aware Agnostic Federated Learning
University of Arkansas（阿肯色大学）；University of Illinois（伊利诺伊大学）
联邦学习是一种新兴的框架，它使用分布在多个设备上的训练数据构建集中式机器学习模型。以往关于联邦学习的研究主要集中在隐私保护和降低通信成本方面。然而，如何在联邦学习中实现公平性，特别是当测试数据分布与训练分布不同甚至未知时，还没有得到充分的探索和挑战。在集中式模型上引入简单的公平性约束，无法在未知测试数据上实现模型公平性。在本文中，我们开发了一个公平意识的不可知的联邦学习框架（AgnosticFair），以应对未知的测试分布的挑战。我们使用核重权函数在损失函数和公平性约束中为每个训练样本分配一个重权值。因此，基于AgnosticFair构建的集中式模型能够在未知测试数据上实现高精度和公平性的保证。此外，所建立的模型可以直接应用于本地站点，因为它保证了本地数据分布的公平性。据我们所知，这是实现联邦学习公平性的第一项工作。在两个真实数据集上的实验结果表明，在数据转移场景下，该方法在效用和公平性方面都是有效的。
2020-10-10 cs.CY cs.LG
Beyond Parity: Fairness Objectives for Collaborative Filtering
Virginia Tech（弗吉尼亚理工大学）
我们研究了协同过滤推荐系统的公平性，该系统对历史数据中存在的歧视很敏感。有偏见的数据可能导致协作过滤方法对少数群体的用户做出不公平的预测。我们确定现有的公平性指标的不足，并提出了四个新的指标，解决不同形式的不公平。这些公平性度量可以通过向学习目标添加公平性项来优化。在合成数据和真实数据上的实验表明，我们的新指标可以更好地衡量公平性比基线，公平性目标有效地帮助减少不公平。
2017-11-30 cs.AI cs.IR cs.LG
A Human-in-the-Loop Fairness-Aware Model Selection Framework for Complex Fairness Objective Landscapes
University of Freiburg（弗莱堡大学）；Zuse School ELIZA（祖塞ELIZA学院）
本文提出人在环公平感知模型选择框架ManyFairHPO，将公平度量视为多目标优化问题，帮助从业者识别和平衡公平冲突，并通过法学院招生案例验证其有效性。
2024-10-21 cs.LG
How Robust is Your Fairness? Evaluating and Sustaining Fairness under Unseen Distribution Shifts
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Michigan State University（密歇根州立大学）
近年来，人们越来越关注深度学习的公平性。现有的公平性感知机器学习方法主要关注分布数据的公平性。然而，在实际应用中，训练数据和测试数据之间的分布偏移是常见的。在本文中，我们首先表明，现有的方法实现的公平性可以很容易地打破轻微的分布偏移。为了解决这个问题，我们提出了一种新的公平性学习方法，称为CUrvature匹配（CUrvature MAtching），它可以实现鲁棒的公平性推广到未知分布变化的未知域。具体来说，通过匹配两个群体的损失曲率分布，CNOAA强制模型在多数群体和少数群体上具有相似的泛化能力。我们在三个流行的公平数据集上评估我们的方法。与现有的方法相比，在不牺牲整体精度或分布内公平性的情况下，在不可见的分布偏移下，CRAMA实现了优异的公平性。
2022-07-04 cs.LG
Fair Enough: Searching for Sufficient Measures of Fairness
North Carolina State University（北卡罗来纳州立大学）
测试机器学习软件的道德偏见已经成为当前一个紧迫的问题。作为回应，最近的研究提出了大量新的公平性指标，例如，IBM AIF 360工具包中的数十个公平性指标。这就提出了一个问题：任何公平工具如何能够满足如此多样化的目标？虽然我们不能完全简化公平测试的任务，但我们肯定可以减少这个问题。本文表明，许多这些公平性指标有效地衡量同样的事情。基于使用七个真实世界数据集的实验，我们发现（a）26个分类度量可以聚类为七组，（b）四个数据集度量可以聚类为三组。此外，每个精简集实际上可以预测不同的事情。因此，不再需要（甚至不可能）满足所有公平性度量。总之，为了简化公平性测试问题，我们推荐以下步骤：（1）确定什么类型的公平性是可取的（我们提供了一些这样的类型）;然后（2）在我们的聚类中查找这些类型;然后（3）每个聚类只测试一个项目。
2022-03-21 cs.CY cs.LG cs.SE
Conformalized Fairness via Quantile Regression
University of Alberta（阿尔伯塔大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在社会敏感领域，公平性越来越受到关注。虽然已经建立了丰富的文献平均公平，分位数公平的研究仍然稀少，但至关重要。为了满足巨大的需求，并倡导分位数公平的意义，我们提出了一种新的框架来学习一个实值分位数函数的公平性要求下的人口奇偶性的敏感属性，如种族或性别，从而获得一个可靠的公平预测区间。使用最优传输和功能同步技术，我们建立了理论保证的分布免费覆盖和公平分位数构造的诱导预测区间的精确公平性。提供了一个动手流水线，以将灵活的分位数回归与有效的公平性调整后处理算法相结合。我们在几个基准数据集上证明了这种方法的优越经验性能。我们的研究结果表明，该模型能够揭示在广泛的社会和医疗应用中公平性-准确性权衡的机制。
2022-10-14 cs.CY cs.LG stat.ML
Exacerbating Algorithmic Bias through Fairness Attacks
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
近年来，算法公平性引起了人们的广泛关注，提出了许多定量的度量方法来表征不同机器学习算法的公平性。尽管有这种兴趣，这些公平措施的鲁棒性方面的故意对抗攻击尚未得到适当的解决。事实上，大多数对抗性机器学习都专注于恶意攻击对系统准确性的影响，而不考虑系统的公平性。我们提出了新类型的数据投毒攻击，对手故意针对系统的公平性。具体来说，我们提出了两个家庭的攻击目标的公平措施。在锚定攻击中，我们通过将中毒点放置在特定目标点附近来扭曲决策边界，从而使结果产生偏差。在对公平性的影响攻击中，我们的目标是最大化敏感属性与决策结果之间的协方差，并影响模型的公平性。我们进行了大量的实验，表明我们提出的攻击的有效性。
2020-12-16 cs.AI cs.CR cs.LG
Personalized Counterfactual Fairness in Recommendation
Rutgers University（罗格斯大学）
随着越来越多的用户使用推荐系统进行信息搜索和决策，推荐系统对人类和社会产生了越来越重要的影响。因此，解决推荐中潜在的不公平问题至关重要。就像用户对物品有个性化偏好一样，用户对公平性的诉求在很多场景下也是个性化的。因此，为用户提供个性化的公平推荐，以满足其个性化的公平需求是非常重要的。此外，以往的公平推荐工作主要集中在基于关联的公平性。然而，重要的是要从关联公平的概念，因果公平的概念，更恰当地评估公平的推荐系统。基于上述考虑，本文重点研究了在推荐系统中实现个性化的反事实公平性。为此，我们引入了一个框架，通过生成功能独立的用户嵌入推荐，通过对手学习实现反事实公平的建议。该框架允许推荐系统实现个性化的公平性，同时也涵盖非个性化的情况下，用户。在两个真实数据集上使用浅层和深层推荐算法进行的实验表明，该方法可以为用户生成更公平的推荐，并具有理想的推荐性能。
2021-11-05 cs.AI cs.IR cs.LG
Exploring User Opinions of Fairness in Recommender Systems
University of Colorado（科罗拉多大学）
随着这些系统在社会中变得越来越普遍，人工智能的算法公平性变得越来越重要。人工智能的一个领域，推荐系统，由于在优化用户的准确性和提供商的公平性之间进行权衡，因此对公平性提出了独特的挑战。但是，在建议的背景下，什么是公平的-特别是在有多个利益攸关方的情况下？在这个问题的初步探索，我们问用户他们的想法，公平对待的建议可能是，为什么。我们分析了什么可能导致用户对公平性的意见之间的差异或变化，最终帮助设计更公平，更透明的推荐算法。
2020-04-17 cs.HC cs.IR cs.LG
When Fairness Metrics Disagree: Evaluating the Reliability of Demographic Fairness Assessment in Machine Learning
Founder, Ducaltus（Ducaltus创始人）；BSc (Hons) Artificial Intelligence（人工智能学士（荣誉））；School of Computing, Engineering & Digital Technologies（计算、工程与数字技术学院）；Teesside University, UK（英国泰赛德大学）
本文研究了公平性评估的一致性问题，通过多指标分析评估机器学习模型中的人口偏见，发现不同公平性指标可能导致矛盾的评估结果，引入了公平性分歧指数（FDI）来量化指标间的不一致程度。
2026-05-19 cs.AI cs.CV cs.LG
Can I Trust My Fairness Metric? Assessing Fairness with Unlabeled Data and Bayesian Inference
Department of Computer Science（计算机科学系）；Department of Cognitive Sciences University of California, Irvine（加州大学尔湾分校认知科学系）
我们调查的问题，可靠地评估组公平标记的例子很少，但未标记的例子很多。我们提出了一个通用的贝叶斯框架，可以用未标记的数据来增强标记的数据，以产生与仅基于标记数据的方法相比更准确且方差更低的估计。我们的方法估计未标记的例子在每个组中使用的分层潜变量模型标记的例子的条件下校准的分数。这反过来又允许推断后验分布与各种组公平性度量的不确定性的相关概念。我们证明，我们的方法导致显着和一致的减少估计误差在多个众所周知的公平数据集，敏感属性和预测模型。结果表明，使用未标记的数据和贝叶斯推断在评估预测模型是否公平方面的好处。
2020-10-19 cs.AI cs.LG stat.ML
Federated Fairness Analytics: Quantifying Fairness in Federated Learning
University of Bristol（布里斯托尔大学）
针对联邦学习中公平性定义与量化指标缺失的问题，提出包含四类概念及对应新指标的联邦公平性分析方法，实验验证其可助力从业者获取不同粒度的系统公平性洞察，相关工作已开源。
2024-08-15 cs.AI cs.DC cs.GT
Fair Without Leveling Down: A New Intersectional Fairness Definition
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
针对分类场景下交叉群体公平问题，提出结合绝对与相对性能的α交叉公平新定义，经基准测试发现现有公平方法存在拉平最优群体性能而非提升最差群体性能的问题。
2023-11-07 cs.CL cs.CY cs.LG
Robust Fairness under Covariate Shift
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；California Institute of Technology（加州理工学院）
对受保护群体的成员资格（种族、性别、年龄等）做出公平的预测已经成为分类算法的重要要求。现有技术从采样标记数据中导出公平模型，依赖于训练数据和测试数据从相同分布中相同且独立地抽取（iid）的假设。在实践中，当与机器学习系统交互的个体的特征改变时，在训练和测试数据集之间可能并且确实发生分布偏移。我们研究了协变量偏移下的公平性，这是对iid假设的放松，其中输入或协变量发生变化，而条件标签分布保持不变。在这些假设下，我们在具有未知标签的目标数据上寻求公平的决策。我们提出了一种方法，获得的预测，是强大的最坏情况下的目标性能，同时满足目标的公平性要求和匹配的统计特性的源数据。我们展示了我们的方法对基准预测任务的好处。
2021-02-06 cs.LG stat.ML
Towards Fairness-Aware Multi-Objective Optimization
East China University of Science and Technology（华东理工大学）；Northeastern University（东北大学）；Bielefeld University（比勒费尔德大学）；University of Surrey（萨里大学）
近年来，公平感知机器学习在减轻决策中的不公平或歧视方面得到了快速发展，应用范围广泛。然而，公平感知的多目标最优化问题在现实生活中确实很常见，如公平资源分配问题和数据驱动的多目标最优化问题，却很少受到关注。本文旨在从公平性的角度阐明和拓宽我们对多目标最优化的理解。为此，我们从讨论多目标最优化中的用户偏好开始，然后探索其与机器学习和多目标最优化中的公平性的关系。在此基础上，给出了公平性感知多目标优化的典型案例，进一步阐述了公平性在传统多目标最优化、数据驱动优化和联邦优化中的重要性。最后，公平意识的多目标最优化的挑战和机遇。我们希望这篇文章能够为在优化的背景下理解公平性迈出一小步，并促进对公平感知多目标最优化的研究兴趣。
2022-07-22 cs.AI cs.LG cs.NE
Metric-Free Individual Fairness with Cooperative Contextual Bandits
George Mason University（乔治梅森大学）
数据采掘算法越来越多地用于日常生活中各行各业的自动决策。不幸的是，正如几项研究所报告的那样，这些算法注入了来自数据和环境的偏见，导致不公平和不公平的解决方案。为了减轻机器学习中的偏差，已经提出了公平性的不同形式化，其可以被分类为群体公平性和个体公平性。群体公平性要求不同的群体应该得到类似的对待，这可能对群体中的某些人不公平。另一方面，个体公平要求相似的个体受到相似的对待。然而，个人的公平性仍然研究不足，由于其依赖于特定问题的相似性度量。我们提出了一个无度量的个人公平性和合作上下文土匪（CCB）算法。CCB算法利用公平性作为奖励并试图最大化它。将公平性视为奖励的优点是公平性标准不需要是可微的。该算法在多个真实世界的基准数据集上进行了测试。结果表明，该算法在减轻偏见，实现个人和群体的公平性的有效性。
2020-11-13 cs.LG
Opportunistic Multi-aspect Fairness through Personalized Re-ranking
University of Colorado, Boulder（科罗拉多大学博尔德分校）；DePaul University（德保罗大学）；The Chinese University of Hong Kong（香港中文大学）
随着推荐系统变得越来越普遍，并进入了就业和住房等具有更大社会影响的领域，研究人员已经开始寻求确保此类系统产生的结果公平的方法。这项工作主要集中在开发推荐方法，其中公平性指标与推荐准确性一起被联合优化。然而，以前的工作在很大程度上忽略了个人偏好如何限制算法产生公平建议的能力。此外，除了少数例外，研究人员只考虑了相对于单一敏感特征或属性（如种族或性别）衡量公平性的场景。在本文中，我们提出了一个重新排名的方法，公平意识的建议，学习个人偏好在多个公平性的维度，并使用它们来提高提供商的公平性的推荐结果。具体来说，我们表明，我们的机会主义和度量不可知的方法实现了更好的权衡准确性和公平性比以前的重新排名的方法，并在多个公平性方面。
2020-05-21 cs.AI cs.IR cs.LG
Is It Still Fair? Investigating Gender Fairness in Cross-Corpus Speech Emotion Recognition
National Tsing Hua University（国立清华大学）
本文研究跨语料库语音情感识别中性别公平性的泛化问题，提出组合公平性适配机制以同时处理源和目标性别，从而在迁移学习任务中提升性别公平性。
2025-01-02 cs.LG
Fairness Testing of Deep Image Classification with Adequacy Metrics
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）
作为深度图像分类应用，例如，人脸识别在我们的日常生活中越来越普遍，其公平性问题也越来越受到关注。因此，在部署之前全面测试这些应用程序的公平性至关重要。现有的公平性测试方法存在以下局限性：1）适用性，即，它们仅适用于结构化数据或文本，而不处理用于图像分类应用的语义级中的高维和抽象域采样; 2）功能性，即，它们产生不公平的样本，而没有提供测试标准来表征模型的公平充分性。为了填补这一空白，我们提出了DeepFAIT，这是一个专门为深度图像分类应用设计的系统公平性测试框架。DeepFAIT由几个重要组件组成，可以对深度图像分类应用进行有效的公平性测试：1）用于识别公平性相关神经元的神经元选择策略; 2）用于评估模型公平性的一组多粒度充分性度量; 3）用于有效解决公平性问题的测试选择算法。我们已经对广泛采用的大规模人脸识别应用进行了实验，即，VGGFace和FairFace。实验结果表明，该方法可以有效地识别公平性相关的神经元，表征模型的公平性，并选择最有价值的测试用例，以减轻模型的公平性问题。
2021-12-01 cs.LG
FairEdit: Preserving Fairness in Graph Neural Networks through Greedy Graph Editing
University of Michigan（密歇根大学）
图神经网络（GNN）已被证明在底层数据是图的预测建模任务中表现出色。然而，随着GNN在以人为中心的应用中的广泛使用，公平性问题已经出现。虽然边删除是一种用于促进GNN公平性的常用方法，但它没有考虑数据何时本质上缺少公平连接。在这项工作中，我们认为未探索的方法，边添加，伴随着删除，以促进公平。我们提出了两个模型无关的算法来执行边缘编辑：蛮力方法和连续近似方法，FairEdit。FairEdit通过利用公平性损失的梯度信息来找到提高公平性的边缘，从而执行有效的边缘编辑。我们发现，FairEdit在许多数据集和GNN方法上的表现优于标准训练，同时对许多最先进的方法进行了测试，证明了FairEdit在许多领域和模型中提高公平性的能力。
2022-02-16 cs.LG
Algorithmic Decision Making with Conditional Fairness
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Squirrel AI Learning（松鼠AI智适应教育）
公平性问题是决策系统中的一个重要问题。已经提出了各种公平性概念来衡量算法不公平的程度。在实践中，经常存在一组我们称之为公平变量的变量，它们是决策前的协变量，如用户的选择。在评估决策支持算法的公平性时，公平变量的影响无关紧要。因此，我们定义条件公平性作为一个更健全的公平性度量的公平性变量的条件。鉴于不同的先验知识的公平变量，我们证明了传统的公平符号，如人口统计学平价和均衡的赔率，是我们的条件公平符号的特殊情况。此外，我们提出了一个可导出的条件公平正则化器（DCFR），它可以集成到任何决策模型，跟踪算法决策的精度和公平性之间的权衡。具体来说，在我们的DCFR中提出了一种基于对抗表示的条件独立损失来衡量不公平的程度。通过在三个真实数据集上的大量实验，我们证明了我们的条件公平性符号和DCFR的优点。
2021-07-18 cs.LG stat.ML
