Fairness Testing of Deep Image Classification with Adequacy Metrics
Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）
作为深度图像分类应用，例如，人脸识别在我们的日常生活中越来越普遍，其公平性问题也越来越受到关注。因此，在部署之前全面测试这些应用程序的公平性至关重要。现有的公平性测试方法存在以下局限性：1）适用性，即，它们仅适用于结构化数据或文本，而不处理用于图像分类应用的语义级中的高维和抽象域采样; 2）功能性，即，它们产生不公平的样本，而没有提供测试标准来表征模型的公平充分性。为了填补这一空白，我们提出了DeepFAIT，这是一个专门为深度图像分类应用设计的系统公平性测试框架。DeepFAIT由几个重要组件组成，可以对深度图像分类应用进行有效的公平性测试：1）用于识别公平性相关神经元的神经元选择策略; 2）用于评估模型公平性的一组多粒度充分性度量; 3）用于有效解决公平性问题的测试选择算法。我们已经对广泛采用的大规模人脸识别应用进行了实验，即，VGGFace和FairFace。实验结果表明，该方法可以有效地识别公平性相关的神经元，表征模型的公平性，并选择最有价值的测试用例，以减轻模型的公平性问题。
2021-12-01 cs.LG
Accurate Fairness: Improving Individual Fairness without Trading Accuracy
State Key Laboratory of Computer Science, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所计算机科学国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
准确性和个体公平性对于可信的机器学习都是至关重要的，但这两个方面往往是相互不兼容的，因此增强一个方面可能会不可避免地牺牲另一个方面，从而产生真偏差或假公平的副作用。我们在本文中提出了一个新的公平标准，准确的公平性，个人的公平性与准确性。非正式地说，它要求个人和个人的类似对应方的待遇符合统一的目标，即，个人的基本事实我们证明，准确的公平性也意味着典型的组公平标准在一个联盟的类似的子种群。然后，我们提出了一个暹罗公平处理方法，以最大限度地减少准确性和公平性损失的机器学习模型下准确的公平性约束。据我们所知，这是第一次采用暹罗方法来缓解偏差。我们还提出了公平混淆矩阵为基础的指标，公平精度，公平召回，公平F1得分，量化准确性和个人公平之间的权衡。与流行的公平数据集的比较案例研究表明，我们的暹罗公平方法可以实现平均1.02%-8.78%的个人公平性正确率提高8.38%~ 13.69%，真实公平率提高10.09%~ 20.57%，公平F1分提高5.43%~ 10.01%，最先进的偏差缓解技术。这表明我们的暹罗公平方法确实可以在没有交易准确性的情况下提高个人公平性。最后，应用精确公平标准和Siamese公平方法来减轻真实携程数据集可能的服务歧视，平均公平地服务于比基线模型多112.33%的客户（具体地说，以精确公平的方式多81.29%的客户）。
2022-11-30 cs.CY cs.LG
Correct-By-Construction: Certified Individual Fairness through Neural Network Training
Singapore Management University（新加坡国立管理学院）
本文提出一个构造即正确的个体公平性训练框架，通过可证明公平的初始化和基于随机化响应机制的公平保持训练算法，在无需训练期神经网络验证的情况下，形式化保证并高效地训练出既公平又准确的模型。
2025-08-21 cs.LG
The KL-Divergence between a Graph Model and its Fair I-Projection as a Fairness Regularizer
Ghent University（根特大学）
图上的学习和推理越来越多地借助于概率模型来完成，例如指数随机图模型、图嵌入模型和图神经网络。然而，当图表对人与人之间的关系进行建模时，它们将不可避免地反映出偏见、偏见和其他形式的不公平和不平等。因此，一个重要的挑战是设计准确的图建模方法，同时根据问题所需的特定公平性概念来保证公平性。然而，过去关于这个主题的工作仍然很少，仅限于消除特定的图建模方法，并且通常旨在以间接的方式确保公平性。我们提出了一个通用的方法适用于大多数概率图建模方法。具体来说，我们首先定义的类的公平图模型对应于一组选定的公平标准。考虑到这一点，我们提出了一个公平正则化定义为KL之间的发散图模型和它的I-投影到一组公平的模型。我们证明，使用这种公平性正则化与现有的图建模方法相结合，有效地权衡公平性与准确性，而最先进的模型只能使这种权衡的公平性标准，他们是专门设计的。
2021-06-27 cs.LG
FedFACT: A Provable Framework for Controllable Group-Fairness Calibration in Federated Learning
Zhejiang University（浙江大学）；Hangzhou Dianzi University（杭州电子科技大学）
FedFACT提出一种可控联邦群体公平性校准框架，通过刻画全局与局部公平约束下的贝叶斯最优分类器，将公平联邦学习重构为代价敏感学习与双层优化问题，并给出收敛与泛化保证，实验证明其在准确率与公平性权衡上优于基线。
2025-11-07 cs.LG
A Tale of Fairness Revisited: Beyond Adversarial Learning for Deep Neural Network Fairness
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
出于自动化和人工智能技术时代对公平算法决策的需求，本技术报告提供了对深度学习中公平性对抗训练的理论见解。我们建立在以前的对抗公平性工作的基础上，展示了公平预测和模型性能之间的持续权衡，并探索了有助于抵消这种权衡的进一步机制。
2021-01-08 cs.AI cs.LG
Minimax Group Fairness: Algorithms and Experiments
University of Pennsylvania（宾夕法尼亚大学）；Amazon AWS AI（亚马逊AWS人工智能部门）
我们考虑了最近引入的框架，其中公平性是衡量最坏情况下的结果，而不是组之间的结果更标准的差异。在这个框架中，我们提供了可证明收敛的预言机有效的学习算法（或等价地，减少非公平学习）的极大极小组公平性。这里的目标是最小化所有组的最大损失，而不是均衡组损失。我们的算法适用于回归和分类设置，并支持整体错误率和假阳性或假阴性率作为兴趣的公平性度量。他们还支持放宽公平性约束，从而允许研究的整体准确性和极小极大公平之间的权衡。我们比较了我们的算法在各种公平敏感的数据集的实验行为和性能，并显示经验的情况下，极大极小公平是严格的，强烈优选平等的结果概念。
2021-03-08 cs.LG
Understanding and Improving Fairness-Accuracy Trade-offs in Multi-Task Learning
Google Research（谷歌研究院）
随着多任务模型在更广泛的机器学习应用中越来越受欢迎，从业者理解与这些模型相关的公平性含义变得越来越重要。大多数现有的公平性文献都专注于更公平地学习单个任务，而ML公平性如何在联合学习环境中与多个任务相互作用则在很大程度上未得到充分探索。在本文中，我们关注的是群体公平性（例如，平等的机会，平等的赔率）作为ML公平概念在多任务场景中发挥作用。在多任务学习中，多个任务被联合学习，以利用任务相关性来实现更有效的归纳转移。这呈现了多维帕累托边界（1）关于每个任务的组公平性和准确性之间的权衡，以及（2）跨多个任务的权衡。我们的目标是提供一个更深入的了解如何组公平性与准确性在多任务学习，我们表明，传统的方法，主要集中在优化帕累托边界的多任务准确性可能不会表现良好的公平性目标。我们提出了一组新的指标，以更好地捕捉多维帕累托边界的公平性，准确性权衡独特的多任务学习设置。我们进一步提出了多任务感知公平性（MTA-F）方法来提高多任务学习的公平性。几个真实世界的数据集上的实验证明了我们所提出的方法的有效性。
2021-06-04 cs.LG
Maxmin-Fair Ranking: Individual Fairness under Group-Fairness Constraints
ISI Foundation（ISI基金会）；Eurecat（Eurecat技术中心）
我们研究了一个新的问题，旨在尽量减少个人的不公平性时，强制执行组公平性约束排名的公平性。我们的建议是植根于分布最大最小公平理论，它使用随机化，以最大限度地提高预期的满意度最差的个人。我们设计了一个精确的多项式时间算法，找到最大最小公平分布的一般搜索问题（包括，但不限于，排名），并表明我们的算法可以产生的排名，同时满足给定的组公平性约束，确保最大可能的价值被带到个人。
2021-06-17 cs.AI cs.DS cs.LG
Counterfactual Fairness in Text Classification through Robustness
Stanford University（斯坦福大学）；Google AI（谷歌人工智能）
本文研究文本分类中的反事实公平性，提出了这样一个问题：如果示例中引用的敏感属性不同，预测结果会如何变化？毒性分类器通过预测“有些人是同性恋”是有毒的，而“有些人是异性恋”是无毒的，证明了一个反事实的公平问题。我们提供了一个度量，反事实令牌公平性（CTF），用于测量这种特殊形式的公平性在文本分类器，并描述其与组公平性的关系。此外，我们提供了三种方法，盲法，反事实增强和反事实logit配对（CLP），用于优化训练过程中的反事实令牌公平性，桥接鲁棒性和公平性文献。根据经验，我们发现盲目性和CLP解决了反事实令牌公平性。这些方法不会损害分类器的性能，并与组公平性有不同的权衡。这些方法，无论是测量和优化，提供了一个新的路径前进，解决文本分类的公平性问题。
2019-02-13 cs.LG stat.ML
Algorithmic Decision Making with Conditional Fairness
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Squirrel AI Learning（松鼠AI智适应教育）
公平性问题是决策系统中的一个重要问题。已经提出了各种公平性概念来衡量算法不公平的程度。在实践中，经常存在一组我们称之为公平变量的变量，它们是决策前的协变量，如用户的选择。在评估决策支持算法的公平性时，公平变量的影响无关紧要。因此，我们定义条件公平性作为一个更健全的公平性度量的公平性变量的条件。鉴于不同的先验知识的公平变量，我们证明了传统的公平符号，如人口统计学平价和均衡的赔率，是我们的条件公平符号的特殊情况。此外，我们提出了一个可导出的条件公平正则化器（DCFR），它可以集成到任何决策模型，跟踪算法决策的精度和公平性之间的权衡。具体来说，在我们的DCFR中提出了一种基于对抗表示的条件独立损失来衡量不公平的程度。通过在三个真实数据集上的大量实验，我们证明了我们的条件公平性符号和DCFR的优点。
2021-07-18 cs.LG stat.ML
Fair Representation: Guaranteeing Approximate Multiple Group Fairness for Unknown Tasks
National University of Singapore（新加坡国立大学）
受数据用于不同预测任务的场景的启发，我们研究了公平表示是否可以用于保证未知任务的公平性和同时用于多个公平概念。我们认为七组公平的概念，涵盖独立，分离和校准的概念。在公平不可能结果的背景下，我们探讨近似公平。我们证明，虽然公平表示可能无法保证所有预测任务的公平性，但它确实保证了一个重要的任务子集的公平性-表示是有区别的任务。具体而言，所有七个组公平性概念是线性控制的公平性和歧视性的表示。当不同的公平概念之间存在不相容时，公平和歧视性的表示达到了近似满足所有概念的最佳点。出于我们的理论研究结果，我们建议学习公平和歧视性的表示使用借口损失自我监督学习，和最大平均离散作为一个公平的正则化。在表格，图像和人脸数据集上的实验表明，使用学习的表示，我们在学习表示时不知道的下游预测确实对七个组公平性概念变得更公平，并且根据我们的理论结果计算的公平性保证都是有效的。
2022-02-20 cs.CV cs.CY cs.LG
Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness
IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
减轻算法偏见是机器学习模型开发和部署中的一项关键任务。虽然有几个工具包可以帮助机器学习从业者解决公平性问题，但人们对从业者用来评估模型公平性的策略以及影响其评估的因素知之甚少，特别是在文本分类的背景下。评价模型公平性的两种常用方法是群体公平性和个体公平性。我们与机器学习从业者（n=24）进行了一项研究，以了解用于评估模型的策略。向从业者提出的问题（群体与个人公平性）影响他们认为公平的模型。与会者重点关注与低估/高估相关的风险以及与身份令牌操作相关的模型敏感性。我们发现公平性评估策略涉及个人经验或用户如何形成身份令牌组来测试模型的公平性。我们提供了交互式工具的建议，用于评估文本分类的公平性。
2023-03-01 cs.CY cs.HC cs.LG
Bridging the Fairness Divide: Achieving Group and Individual Fairness in Graph Neural Networks
University of Georgia（佐治亚大学）；University of Virginia（弗吉尼亚大学）
本文提出新框架FairGI，通过个体相似性矩阵实现组内个体公平，并利用对抗学习解决群体公平问题，在图神经网络中同时实现了群体公平与组内个体公平，且保持了相当的预测准确率。
2024-04-26 cs.CY cs.LG cs.SI
Individual Fairness In Strategic Classification
Department of Computer Science and Engineering（计算机科学与工程系）；The Ohio State University（俄亥俄州立大学）
本文提出了一种通过随机分类器实现个体公平性的方法，并通过线性规划优化，有效缓解了分类中的不公平问题。
2026-02-04 cs.AI cs.LG
FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods
Texas A&M University（德克萨斯农工大学）；Meta AI；Anytime AI；UIUC（伊利诺伊大学厄巴纳-香槟分校）；University of Houston（休斯顿大学）；Rice University（莱斯大学）
本文提出开源基准框架FFB，通过统一实验设置、提供可扩展代码和标准化流程，对处理中群体公平性方法进行大规模评估，以促进公平性研究社区发展。
2024-06-11 cs.AI cs.CY cs.LG
Obtaining Dyadic Fairness by Optimal Transport
East China Normal University（华东师范大学）
公平性是机器学习模型中的一个重要指标，也是可信机器学习的重要组成部分。在本文中，我们专注于获得流行的链接预测任务，这是衡量二元公平的公平性。基于最优传输理论，提出了一种新的预处理方法，通过数据修复来建立并元公平性。基于图链接预测的二元公平性与条件分布对齐问题之间的理论联系，二元修复方案可以等价地转化为条件分布对齐问题。在此基础上，通过有效地解决对齐问题，得到了一种基于传输的最优二元公平算法DyadicOT，该算法满足灵活性和无二义性的要求。所提出的DyadicOT算法在两个基准图数据集上显示出优于其他公平性方法的结果。
2022-11-29 cs.AI cs.LG
Error Parity Fairness: Testing for Group Fairness in Regression Tasks
University of Houston（休斯顿大学）
人工智能（AI）的应用围绕着人类生活越来越多方面的决策。社会的反应是对这种自动决策系统（ADS）的责任施加法律和社会期望。公平性是人工智能问责制的基本组成部分，涉及对个人和敏感群体的公正对待（例如，基于性别、种族）。虽然许多研究集中在公平学习和公平测试的分类任务，文献是相当有限的，如何检查回归任务的公平性。这项工作提出了误差奇偶性作为回归公平的概念，并介绍了一种测试方法来评估组公平性的基础上的统计假设检验程序。错误奇偶检验检查预测错误是否在敏感组中类似地分布，以确定ADS是否公平。然后是一个适当的排列测试，比较几个统计组，以探索差异和确定受影响的群体。通过对美国县级COVID-19预测的案例研究，证明了所提出的方法的有用性和适用性，该研究揭示了基于种族的预测误差差异。总体而言，所提出的回归公平性测试方法填补了公平机器学习文献中的空白，并可作为更大的问责制评估和算法审计的一部分。
2022-08-16 cs.CY cs.LG
Proxy Fairness
Google AI（谷歌人工智能）
我们考虑当一个人无法访问标记有保护组的数据集时提高公平性的问题，这使得很难利用可以提高公平性但需要保护组标签的策略，无论是在训练还是运行时。为了解决这个问题，我们调查提高代理组的公平性指标，并测试这样做是否会导致真正的敏感组的公平性提高。在基准数据集和真实数据集上的测试结果表明，这种代理公平策略在实际应用中可以很好地工作。然而，我们警告说，有效性可能取决于公平性度量的选择，以及代理组在约束模型参数方面与真正的受保护组的对齐程度。
2018-06-28 cs.LG stat.ML
FairRARI: A Plug and Play Framework for Fairness-Aware PageRank
Department of Electrical Engineering (ESAT-STADIUS), KU Leuven（KU莱顿电气工程系）
FairRARI通过统一的凸优化框架在保持公平性的同时提升页面排名的效率。
2026-10-01 cs.LG cs.SI
Within-group fairness: A guidance for more sound between-group fairness
Samsung Electronics Co.（三星电子公司）；Konkuk University（建国大学）；Seoul National University（首尔国立大学）
由于人工智能算法对社会决策有着至关重要的影响，因此它们不仅应该准确，而且不应该对某些敏感群体（例如，非白人女性）。已经开发了各种专门设计的AI算法，以确保训练的AI模型在敏感群体之间是公平的。在本文中，我们提出了一个新的问题，即组间公平AI模型可能会不公平地对待同一敏感组中的个体。我们引入了一个新的公平性概念，即组内公平性，它要求AI模型对同一敏感组中的人以及不同敏感组中的人都是公平的。我们具体化组内公平的概念，提出相应的数学定义和开发学习算法，以控制组内公平和组间公平的同时。数值研究表明，所提出的学习算法提高组内的公平性，而不牺牲准确性以及组间的公平性。
2023-01-20 cs.CY cs.LG stat.AP
Fairness Warnings and Fair-MAML: Learning Fairly with Minimal Data
University of California, Irvine（加州大学欧文分校）；Haverford College（哈弗福德学院）
出于对共享和传输公平机器学习工具的公平性影响的关注，我们提出了两种算法：公平性验证和公平MAML。第一种是模型不可知的算法，它提供了可解释的边界条件，当一个经过良好训练的模型在给定域中的类似但略有不同的任务上可能表现不佳时。第二个是一个公平的元学习方法来训练模型，可以快速微调到特定的任务，从只有少数样本实例，同时平衡公平性和准确性。我们使用相关基线通过实验证明了每个模型的个体效用，并提供了我们对K-shot公平性知识的第一个实验，即在只有K个数据点的新任务上训练公平模型。然后，我们说明了这两种算法作为一种组合方法的有用性，用于从新任务的几个数据点训练模型，同时使用公平性检验作为可解释的边界条件，在这种条件下，新训练的模型可能不公平。
2019-12-05 cs.LG stat.ML
To be Robust and to be Fair: Aligning Fairness with Robustness
Purdue University（普渡大学）
本文研究了对抗训练与攻击中公平性与准确率的关系，提出统一公平性攻击结构并证明其与准确率攻击的对齐性，实验表明该方法能同时提升两种指标的鲁棒性。
2023-03-31 cs.AI cs.LG
PC-Fairness: A Unified Framework for Measuring Causality-based Fairness
University of Arkansas（阿肯色大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
公平机器学习最近的一个趋势是将公平性定义为基于因果关系的概念，这些概念涉及受保护的属性和决策之间的因果关系。然而，所有基于可识别性的公平概念的一个共同挑战是可识别性，即，它们是否可以从观测数据中唯一地测量，这是将这些概念应用于现实世界情况的关键障碍。在本文中，我们开发了一个框架，用于测量不同的基于cabetity的公平性。我们提出了一个统一的定义，涵盖了大多数以前的基于容差的公平概念，即路径特定的反事实公平（PC公平）。在此基础上，我们提出了一个一般的方法，在约束优化问题的形式为边界的路径特定的反事实的公平性在所有不可识别的情况下。在人工数据集和真实数据集上的实验表明了该方法的正确性和有效性。
2019-10-20 cs.AI cs.CY cs.LG
FETA: Fairness Enforced Verifying, Training, and Predicting Algorithms for Neural Networks
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；HEC Montréal（蒙特利尔高等商学院）
由神经网络驱动的决策在直接影响人们生活质量的应用中已经变得非常突出。本文研究了神经网络模型的检验、训练和保证个体公平性的问题。一个流行的方法是强制公平的公平概念转化为约束模型的参数。然而，这样的转换并不总是保证训练的神经网络模型的公平预测。为了解决这一挑战，我们开发了一个反例引导的后处理技术，可证明在预测时间执行公平性约束。与只在测试或训练数据周围的点上执行公平性的先前工作相反，我们能够在输入域中的所有点上执行和保证公平性。此外，我们提出了一种在处理技术，使用公平作为一个归纳偏见，通过迭代地将公平反例在学习过程中。我们已经在一个名为FETA的工具中实现了这些技术。对真实世界数据集的经验评估表明，FETA不仅能够在预测时保证公平性，而且还能够训练表现出更高程度的个体公平性的准确模型。
2023-01-30 cs.CY cs.LG
Fair Mixup: Fairness via Interpolation
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；IBM Research AI（IBM研究院人工智能部门）
在公平性约束（如组公平性）下训练分类器，使组之间的预测差异规则化。然而，即使在训练过程中满足了约束条件，它们在评估时也可能无法推广。为了提高公平分类器的泛化能力，我们提出了公平混淆，一个新的数据增强策略施加公平约束。特别是，我们表明，公平性，可以通过正规化的模型之间的插值样本的路径。我们使用mixup，一个强大的数据增强策略来生成这些插值。我们分析了公平的混淆，并实证表明，它确保了更好的概括性的准确性和公平性的测量表，视觉和语言基准。
2021-03-11 cs.CY cs.LG stat.ML
Your fairness may vary: Pretrained language model fairness in toxic text classification
IBM Research（IBM研究院）
预训练语言模型在自然语言处理系统中的普及要求在下游任务中仔细评估此类模型，这些模型具有更高的社会影响潜力。对这种系统的评价通常侧重于准确性措施。我们在本文中的研究结果呼吁重视公平措施以及。通过对两个有毒文本分类任务（英语）的十几个不同大小的预训练语言模型的分析，我们证明了仅关注准确性度量可以导致模型在公平性特征方面存在很大差异。具体来说，我们观察到，公平性的变化甚至超过准确性与增加训练数据大小和不同的随机初始化。与此同时，我们发现，公平性的变化是由模型的大小来解释的，尽管在文献中的索赔。为了提高模型的公平性，无需再训练，我们表明，两个后处理方法开发的结构化，表格数据可以成功地应用到一系列的预训练语言模型。警告：本文包含冒犯性文本的示例。
2022-04-14 cs.CL cs.LG
A Notion of Individual Fairness for Clustering
University of Washington（华盛顿大学）；Rutgers University（罗格斯大学）；Google（谷歌）
在公平机器学习中，特别是在公平分类中，一个常见的区别是群体公平性和个体公平性。在聚类的背景下，群体公平性近年来得到了广泛的研究，然而，聚类的个体公平性几乎没有被探索。在本文中，我们提出了一个自然的概念，个人的公平聚类。我们的概念要求每个数据点，平均而言，比任何其他集群中的点更接近自己集群中的点。我们研究了几个问题，我们提出的个人公平的概念。在消极的一面，我们表明，决定一个给定的数据集是否允许这样一个单独的公平聚类一般是NP-难的。在积极的一面，对于一个数据集躺在真正的线的特殊情况下，我们提出了一个有效的动态规划方法来找到一个单独的公平聚类。对于一般的数据集，我们调查的目的是尽量减少个人违反公平的数量，并比较它们的标准聚类方法对真实的数据集。
2020-06-08 cs.LG stat.ML
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据，天真的团队奖励最大化产生不公平的结果，为个别团队成员的动机。为了解决多智能体环境中的公平性问题，我们引入了团队公平性，这是一种基于组的多智能体学习公平性度量。然后，我们证明了它是可能的，以加强团队的公平性，在政策优化过程中，通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性（Fair-E），并以经验证明其有效性。然后，我们引入公平通过等变正则化（公平ER）作为公平E的软约束版本，并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后，我们提出了新的发现，在多代理设置的公平性效用权衡，显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Fairness Under Composition
Harvard John A. Paulson School of Engineering and Applied Science, Harvard University（哈佛大学哈佛约翰·A·保尔森工程与应用科学学院）；Radcliffe Institute for Advanced Study（拉德克利夫高等研究院）
算法公平性，特别是评分和分类算法的公平性，已经成为越来越多的社会关注的话题，并且最近见证了理论计算机科学、机器学习、统计学、社会科学和法律的研究爆炸式增长。大部分文献考虑了单独使用一次的单个分类器（或评分函数）的情况。在这项工作中，我们开始研究的公平性的算法组成的系统，是公平的隔离，也就是说，我们研究公平下的组成。我们确定的陷阱天真的组成，并给出一般的公平组成的结构，证明了公平的分类器，孤立地不一定组成公平的系统，也似乎不公平的组件可能会仔细结合起来，构建公平的系统。我们主要关注[Dwork，Hardt，Pitassi，Reingold，Zemel，2011]中提出的个人公平设置，但也将我们的结果扩展到最近文献中流行的一大类群体公平定义，展示了几种情况，其中群体公平定义在组合下给出了误导性信号。
2018-11-20 cs.LG stat.ML
Optimal Transport of Classifiers to Fairness
Ghent University（根特大学）
在过去关于机器学习公平性的工作中，重点是迫使分类器的预测对于不同人口统计学特征的人具有相似的统计属性。为了减少对这些属性的违反，公平性方法通常简单地重新调整分类器分数，忽略不同群体成员之间的相似性和差异性。然而，我们假设这些信息是相关的量化给定分类器的不公平性。为了验证这一假设，我们引入了最优公平传输（OTF），这是一种将违反公平约束量化为概率分类器和满足这些约束的任何评分函数之间的最小最优传输成本的方法。对于一类灵活的线性公平约束，我们构建了一个实用的方法来计算OTF作为一个可微的公平正则化，可以添加到任何标准的分类设置。实验表明，OTF可以用来实现预测能力和公平性之间的改进的权衡。
2022-11-29 cs.LG stat.ML
Measuring Fairness of Text Classifiers via Prediction Sensitivity
Harvard University（哈佛大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
随着语言处理应用的快速增长，公平性已成为数据驱动解决方案中的重要考虑因素。虽然在最近的文献中已经探讨了各种公平性的定义，但对于哪些指标最准确地反映了系统的公平性缺乏共识。在这项工作中，我们提出了一个新的公式：累积预测敏感性，它衡量公平性的基础上，机器学习模型的预测敏感性输入特征的扰动。该度量试图量化单个预测对受保护属性的依赖程度，其中受保护属性对受保护组中个体的成员身份状态进行编码。我们表明，该指标可以在理论上与一个特定的概念，组公平性（统计奇偶性）和个人的公平性。它也与人类对公平的感知密切相关。我们在两个文本分类数据集上进行实验：JIGSAW TOXICITY和BIAS IN BIOS，并评估指标和手动注释之间的相关性，以确定模型是否产生了公平的结果。我们观察到，建议的公平性度量的基础上预测灵敏度是统计上显着更相关的人类注释比现有的反事实的公平性度量。
2022-03-16 cs.CY cs.LG
End-to-End Fairness Optimization with Fair Decision-Focused Learning
School of Business Stevens Institute of Technology（史蒂文斯理工学院商学院）
该研究提出端到端公平性优化框架及公平决策聚焦学习范式，结合多任务学习处理预测与决策阶段的公平性问题，通过数值实验验证其在资源分配场景的有效性。
2026-08-11 cs.LG math.OC
What is Fair? Exploring Pareto-Efficiency for Fairness Constrained Classifiers
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Google AI（谷歌人工智能）
学习模型放大现有社会偏见的潜力已得到广泛认可。公平感知分类器约束，它适用于在敏感属性（如种族和性别）上定义的子组之间的性能的平等度量，试图纠正不公平，但可能会产生不均匀的性能下降偏斜的数据集。在某些领域，不平衡的性能下降可能会产生另一种形式的无意偏见。本着构建公平意识算法作为社会当务之急的精神，我们探索了一种替代方案：帕累托有效公平（PEF）。从理论上讲，我们证明了PEF确定的帕累托曲线上的分组性能最接近的公平超平面，最大限度地提高多个子群的准确性的操作点。从经验上讲，我们证明，PEF优于实现帕累托水平的准确性相比，严格的公平性约束，在几个UCI数据集的所有子组。
2019-10-30 cs.LG stat.ML
Recovering Fairness Directly from Modularity: a New Way for Fair Community Partitioning
School of Mathematics and Statistics（数学与统计学学院）；Xidian University（西安电子科技大学）；City Faculty of Data Science（数据科学城市学院）；University of Macau（澳门大学）；College of Mathematical Medicine（数学医学学院）；Zhejiang Normal University（浙江师范大学）
针对传统模块度社区划分忽视公平性的问题，提出公平-模块度指标与FairFN算法，在保持划分质量的同时显著提升公平性，尤其适用于不平衡数据集。
2025-05-27 cs.LG cs.SI
Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms
Centre for the Science of Learning & Technology (SLATE), University of Bergen（学习科学与技术中心（SLATE），卑尔根大学）；University of South Australia（澳大利亚南澳大利亚大学）
本研究探讨了合成数据生成与公平性算法在平衡隐私和公平性方面的效果，发现DECAF算法在隐私和公平性之间取得最佳平衡，但其预测准确性较低，而对合成数据应用预处理公平算法能进一步提升公平性。
2025-01-03 cs.AI cs.CY cs.LG
Operationalizing Individual Fairness with Pairwise Fair Representations
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们重新审视Dwork等人提出的个人公平性的概念。在操作他们的方法的一个核心挑战是在引发人类规范的相似性度量的困难。在本文中，我们提出了一个可操作的个人公平性，不依赖于人类的距离度量规范。相反，我们提出了新的方法来引出和利用同样值得的个人的边信息，以对抗社会群体之间的从属关系。我们将这些知识建模为公平图，并学习数据的统一成对公平表示（PFR），该表示捕获个体之间的数据驱动相似性和公平图中的成对边信息。我们从各种来源得出公平性判断，包括对累犯预测（COMPAS）和暴力邻里预测（Crime & Communities）两个真实世界数据集的人类判断。我们的实验表明，PFR模型的个人公平操作是切实可行的。
2019-12-02 cs.LG stat.ML
Continuous Fair SMOTE -- Fairness-Aware Stream Learning from Imbalanced Data
Machine Learning Group Bielefeld University（比勒菲尔德大学机器学习组）
针对流式学习中类别不平衡与算法偏见并存的问题，提出公平感知预处理方法CFSMOTE，通过过采样时的情境测试与群体平衡同时解决两类问题，在保持性能的同时显著提升了多项群体公平指标。
2025-05-19 cs.AI cs.LG
Causal Context Connects Counterfactual Fairness to Robust Prediction and Group Fairness
University of Chicago（芝加哥大学）；University of California, Berkeley（加州大学伯克利分校）；Sentience Institute（感知研究所）
本文利用因果语境建立反事实公平性与鲁棒预测及群体公平性之间的联系，证明反事实公平预测器在无偏目标分布中可达到准确性最优，并揭示在测量误差、标签选择和预测变量选择三种情境下，反事实公平性分别等价于人口统计均等、均等化几率和校准。
2023-10-30 cs.AI cs.CY cs.LG
Bias Mitigation Post-processing for Individual and Group Fairness
IBM Research（IBM研究院）；IBM Watson AI Platform（IBM沃森人工智能平台）
鉴于以前的后处理方法，以增加有偏见的分类器的预测的公平性只解决组公平性，我们提出了一种方法，以增加个人和组公平性。我们的新框架包括一个单独的偏见检测器，用于在偏见缓解算法中优先考虑数据样本，旨在提高不同影响的组公平性度量。我们在信用、就业和刑事司法等应用中的几个真实数据集上，在分类准确性、个人公平性和群体公平性的结合方面表现出了优于以往工作的性能。
2018-12-14 cs.CY cs.LG stat.ML
Probabilistic Verification of Neural Networks Against Group Fairness
Singapore Management University（新加坡管理大学）；Huawei Singapore（华为新加坡）；Chinese Academy of Science（中国科学院）
公平性是神经网络的一个重要问题，它被应用于具有重要社会意义的应用中。最近，已经有了关于改进神经网络的公平性的多次尝试，其焦点在于公平性测试（例如，生成个体歧视性实例）和公平性训练（例如，通过强化培训提高公平性）。在这项工作中，我们提出了一种方法来正式验证神经网络的公平性，重点是基于独立性的公平性，如组公平性。我们的方法建立在用于从用户提供的神经网络（即，前馈神经网络或递归神经网络），其保证便于声音分析。学习的马尔可夫链不仅允许我们验证（具有可能近似正确性保证）神经网络是否公平，而且还有助于敏感性分析，这有助于理解为什么违反公平性。我们证明了我们的分析结果，神经权重可以优化，以提高公平性。我们的方法已被评估与多个模型在基准数据集上训练，实验结果表明，我们的方法是有效的和高效的。
2021-07-18 cs.AI cs.CY cs.LG
A Suite of Fairness Datasets for Tabular Classification
IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）
针对公平性机器学习研究实验评估中数据集使用过少的问题，本文引入了一套可获取20个公平性数据集及相关元数据的函数，以促进未来更严谨的实验评估。
2023-07-31 cs.AI cs.CY cs.LG
Non-Comparative Fairness for Human-Auditing and Its Relation to Traditional Fairness Notions
Missouri University of Science and Technology（密苏里科技大学）
基于比较原则的传统算法公平性概念的基于机器学习的服务（MLS）中的偏差评估实际上是困难的，使得有必要依赖于人类审计员反馈。然而，尽管在各种比较公平的概念上接受了严格的培训，但众所周知，人类审计师在实践中对公平概念的各个方面都不同意，因此很难收集可靠的反馈。本文通过提出一种基于非比较正义原则的新的公平概念，为算法公平性领域提供了一个范式转换。与传统的公平概念相反，在传统的公平概念中，两个人/群体的结果进行比较，我们提出的概念比较MLS的结果与每个输入的期望结果。这个期望的结果自然描述了人类审计员的期望，并且可以很容易地用于在人群审计平台上评估MLS。我们表明，任何MLS可以被认为是公平的，从比较公平的角度来看（无论是在个人公平性，统计平价，平等机会或校准），如果它是非相对公平的一个公平的审计师。我们还表明，反之亦然的情况下，个人公平。鉴于这种评估依赖于审计师的可信度，我们还提出了一种方法，以确定公平和可靠的审计师，估计他们的偏见相对于一组给定的敏感属性，以及量化的不确定性在一个给定的MLS内的偏见估计。此外，所有上述结果也验证了COMPAS，德国信贷和成人普查收入数据集。
2021-06-29 cs.AI cs.HC cs.LG
Fairness Hacking: The Malicious Practice of Shrouding Unfairness in Algorithms
Data Protection Authority of Baden-Württemberg（巴登-符腾堡州数据保护局）；University of Tübingen（蒂宾根大学）；University of Stuttgart（斯图加特大学）
本文提出“公平性黑客”概念，揭示通过度量内和度量间两种方式滥用公平性指标以掩盖算法不公平性的恶意实践，并探讨相应对策及真实数据集演示，旨在指导社区减少此类滥用。
2023-11-12 cs.AI cs.CY cs.LG
Algorithmic Fairness in Performative Policy Learning: Escaping the Impossibility of Group Fairness
University of Michigan（密歇根大学）
研究预测模型影响目标分布的表演性问题，提出利用政策制定者引导人群的能力来缓解长期不平等，从而在社会分类问题中实现更强的群体公平性保证，并解决不同公平性定义间的冲突。
2024-05-30 cs.CY cs.LG stat.ML
Fairness Through Regularization for Learning to Rank
IST Austria（奥地利科学技术研究所）
鉴于近年来大量的排名应用，解决自动排名系统的公平性问题对于增加最终用户之间的信任是必要的。以前关于公平排名的工作主要集中在应用程序特定的公平概念上，通常是针对在线广告的，很少考虑学习作为过程的一部分。在这项工作中，我们将展示如何将众多的公平性概念从二进制分类转移到学习排序设置。我们的形式主义使我们能够设计方法，将公平性目标与可证明的泛化保证。一个广泛的实验评估表明，我们的方法可以大大提高排名的公平性，没有或只有很少的损失模型的质量。
2021-06-07 cs.IR cs.LG stat.ML
Fair Enough: Searching for Sufficient Measures of Fairness
North Carolina State University（北卡罗来纳州立大学）
测试机器学习软件的道德偏见已经成为当前一个紧迫的问题。作为回应，最近的研究提出了大量新的公平性指标，例如，IBM AIF 360工具包中的数十个公平性指标。这就提出了一个问题：任何公平工具如何能够满足如此多样化的目标？虽然我们不能完全简化公平测试的任务，但我们肯定可以减少这个问题。本文表明，许多这些公平性指标有效地衡量同样的事情。基于使用七个真实世界数据集的实验，我们发现（a）26个分类度量可以聚类为七组，（b）四个数据集度量可以聚类为三组。此外，每个精简集实际上可以预测不同的事情。因此，不再需要（甚至不可能）满足所有公平性度量。总之，为了简化公平性测试问题，我们推荐以下步骤：（1）确定什么类型的公平性是可取的（我们提供了一些这样的类型）;然后（2）在我们的聚类中查找这些类型;然后（3）每个聚类只测试一个项目。
2022-03-21 cs.CY cs.LG cs.SE
Conformalized Fairness via Quantile Regression
University of Alberta（阿尔伯塔大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在社会敏感领域，公平性越来越受到关注。虽然已经建立了丰富的文献平均公平，分位数公平的研究仍然稀少，但至关重要。为了满足巨大的需求，并倡导分位数公平的意义，我们提出了一种新的框架来学习一个实值分位数函数的公平性要求下的人口奇偶性的敏感属性，如种族或性别，从而获得一个可靠的公平预测区间。使用最优传输和功能同步技术，我们建立了理论保证的分布免费覆盖和公平分位数构造的诱导预测区间的精确公平性。提供了一个动手流水线，以将灵活的分位数回归与有效的公平性调整后处理算法相结合。我们在几个基准数据集上证明了这种方法的优越经验性能。我们的研究结果表明，该模型能够揭示在广泛的社会和医疗应用中公平性-准确性权衡的机制。
2022-10-14 cs.CY cs.LG stat.ML
Fairness in Credit Scoring: Assessment, Implementation and Profit Implications
Humboldt University of Berlin（柏林洪堡大学）
算法决策的兴起催生了对公平机器学习（ML）的大量研究。金融机构使用ML来构建风险记分卡，以支持一系列与信贷相关的决策。然而，关于信用评分中公平ML的文献很少。本文有三个贡献。首先，我们重新审视统计公平标准，并检查其是否足以进行信用评分。其次，我们将算法选项分类，以便在ML模型开发管道中纳入公平目标。最后，我们实证比较不同的公平处理器在利润为导向的信用评分的背景下，使用真实世界的数据。实证结果证实了公平措施的评价，确定合适的选项，以实施公平的信用评分，并澄清在贷款决策的利润公平权衡。我们发现，多个公平性标准可以近似地同时满足，并建议分离作为衡量记分卡公平性的适当标准。我们还发现，公平的处理器可以在利润和公平性之间实现良好的平衡，并表明算法歧视可以以相对较低的成本降低到合理的水平。与论文对应的代码可以在GitHub上找到。
2022-06-17 cs.LG q-fin.RM stat.ML
Personalized Counterfactual Fairness in Recommendation
Rutgers University（罗格斯大学）
随着越来越多的用户使用推荐系统进行信息搜索和决策，推荐系统对人类和社会产生了越来越重要的影响。因此，解决推荐中潜在的不公平问题至关重要。就像用户对物品有个性化偏好一样，用户对公平性的诉求在很多场景下也是个性化的。因此，为用户提供个性化的公平推荐，以满足其个性化的公平需求是非常重要的。此外，以往的公平推荐工作主要集中在基于关联的公平性。然而，重要的是要从关联公平的概念，因果公平的概念，更恰当地评估公平的推荐系统。基于上述考虑，本文重点研究了在推荐系统中实现个性化的反事实公平性。为此，我们引入了一个框架，通过生成功能独立的用户嵌入推荐，通过对手学习实现反事实公平的建议。该框架允许推荐系统实现个性化的公平性，同时也涵盖非个性化的情况下，用户。在两个真实数据集上使用浅层和深层推荐算法进行的实验表明，该方法可以为用户生成更公平的推荐，并具有理想的推荐性能。
2021-11-05 cs.AI cs.IR cs.LG
Exploring User Opinions of Fairness in Recommender Systems
University of Colorado（科罗拉多大学）
随着这些系统在社会中变得越来越普遍，人工智能的算法公平性变得越来越重要。人工智能的一个领域，推荐系统，由于在优化用户的准确性和提供商的公平性之间进行权衡，因此对公平性提出了独特的挑战。但是，在建议的背景下，什么是公平的-特别是在有多个利益攸关方的情况下？在这个问题的初步探索，我们问用户他们的想法，公平对待的建议可能是，为什么。我们分析了什么可能导致用户对公平性的意见之间的差异或变化，最终帮助设计更公平，更透明的推荐算法。
2020-04-17 cs.HC cs.IR cs.LG
Two Simple Ways to Learn Individual Fairness Metrics from Data
University of Michigan（密歇根大学）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
个体公平是算法公平的直观定义，它解决了群体公平的一些缺点。尽管它有好处，但它取决于特定于任务的公平度量，该度量编码了我们对手头ML任务的公平和不公平的直觉，并且许多ML任务缺乏广泛接受的公平度量是更广泛采用个人公平性的主要障碍。在本文中，我们提出了两种简单的方法来从各种数据类型中学习公平的度量。我们的经验表明，公平的训练与学习的指标导致提高公平性的三个机器学习任务容易受到性别和种族偏见。我们还提供了理论保证这两种方法的统计性能。
2020-06-19 cs.LG stat.ME stat.ML
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
FACT: A Diagnostic for Group Fairness Trade-offs
Carnegie Mellon University（卡内基梅隆大学）；JP Morgan（摩根大通）；JP Morgan AI Research（摩根大通人工智能研究院）；Determined AI
群体公平性是一类公平性概念，衡量不同群体的个人如何根据其受保护的属性受到不同的对待，已被证明是相互冲突的，通常会损失模型的预测性能。我们提出了一个通用的诊断，使这些权衡组公平性的系统特征。我们观察到，大多数组公平性概念可以通过公平混淆张量来表达，这是根据受保护的属性值分裂的混淆矩阵。我们构建了几个优化问题，这些优化问题直接优化了该张量元素的准确性和公平性目标，从而为理解包括组公平性不兼容性在内的多种权衡提供了一个总体视角。它还提出了一种替代的后处理方法，设计公平的分类。在合成和真实数据集上，我们展示了我们诊断的用例，特别是在理解准确性和公平性之间的权衡方面。
2020-07-07 cs.CY cs.LG stat.ML
