Enhancing Multi-Attribute Fairness in Healthcare Predictive Modeling
College of Computing and Informatics(计算与信息学院);Drexel University(德雷塞尔大学)
针对医疗预测建模中多属性公平性问题,提出两阶段优化方法,兼顾预测性能与多敏感属性公平,实验显示同时优化优于单一属性方法,显著降低EOD并保持高准确性。
2025-01-22 cs.CY cs.LG
Fair Graph Representation Learning via Sensitive Attribute Disentanglement
Sun Yat-sen University(中山大学)
提出 FairSAD 框架,通过敏感属性解耦与通道掩码识别、去相关,在降低 GNN 决策对敏感属性依赖的同时保留任务信息,并在真实数据集上显著提升公平性与效用。
2024-05-11 cs.CY cs.LG
Weak Proxies are Sufficient and Preferable for Fairness with Missing Sensitive Attributes
ByteDance(字节跳动);University of California, Santa Cruz(加州大学圣克鲁兹分校)
评估公平性在实践中可能具有挑战性,因为数据的敏感属性通常由于隐私限制而无法访问。业界经常采用的方法是使用现成的代理模型来预测缺失的敏感属性,例如Meta [Alao et al.,2021]和Twitter [Belli等人,2022年]。尽管它很受欢迎,但有三个重要的问题没有得到回答:(1)直接使用代理在衡量公平方面是否有效?(2)如果不能,是否可以只使用代理来准确地评估公平性?(3)考虑到推断用户隐私信息的道德争议,是否有可能只使用弱(即不准确)代理来保护隐私?我们的理论分析表明,直接使用代理模型可能会给人一种虚假的(不)公平感。其次,我们开发了一种算法,能够测量公平性(可证明)准确地只有三个正确识别的代理。第三,我们证明了我们的算法只允许使用弱代理(例如,在COMPAS上只有68.85%的准确率),为用户隐私增加了一层额外的保护。实验验证了我们的理论分析,并表明我们的算法可以有效地测量和减轻偏见。我们的研究结果意味着一套实用的指导方针,从业者如何正确使用代理。代码可在github.com/UCSC-REAL/fair-eval上获得。
2023-01-31 cs.AI cs.CY cs.LG
Model-Agnostic Fairness Regularization for GNNs with Incomplete Sensitive Information
Institut de Mathématiques de Toulouse(图卢兹数学研究所);University of the Basque Country(巴斯克大学);IKERBASQUE;INRIA, Regalia Team(INRIA 雷加利亚团队)
本文提出了一种模型无关的公平性正则化框架,用于在敏感信息不完全可用的情况下缓解GNNs中的偏见问题,通过整合等机会和统计平衡作为正则化项,有效提升公平性和分类性能。
2025-11-27 cs.CY cs.LG cs.SI
SenSeI: Sensitive Set Invariance for Enforcing Individual Fairness
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);University of Michigan(密歇根大学)
在本文中,我们将公平的机器学习视为不变的机器学习。我们首先制定了一个版本的个人公平性,强制某些敏感集的不变性。然后,我们设计了一个基于传输的正则化,强制执行这个版本的个人公平性,并开发了一个算法,以有效地最小化正则化。我们的理论结果保证了所提出的方法可以训练可证明公平的ML模型。最后,在实验研究中,我们证明了改进的公平性指标相比,最近的几个公平的训练程序的三个ML任务,容易受到算法偏见。
2021-04-01 cs.LG stat.ML
FairGT: A Fairness-aware Graph Transformer
Dalian University of Technology(大连理工大学);RMIT University(皇家墨尔本理工大学)
针对图Transformer忽略公平性且传统方法无法直接适用的问题,提出FairGT,通过结构特征选择和多跳节点特征集成确保敏感特征独立性,在五个数据集上显著提升了公平性指标。
2024-04-26 cs.CY cs.LG
The cost of fairness in classification
Data61 and the Australian National University(Data61 与澳大利亚国立大学)
我们研究了公平约束的学习分类器的问题,对量化问题的内在权衡的目标有三个主要贡献。首先,我们将两个现有的公平性措施与成本敏感风险联系起来。其次,我们表明,成本敏感的分类和公平性措施,最佳分类器是一个依赖于实例的类概率函数的阈值。第三,我们展示了准确性和公平性之间的权衡是如何确定的目标和敏感功能的类概率之间的对齐。支撑我们分析的是一个总体框架,该框架将具有公平性要求的学习问题视为最小化两个统计风险差异的问题之一。
2017-05-25 cs.LG
Consistent End-to-End Estimation for Counterfactual Fairness
LMU Munich & Munich Center for Machine Learning (MCML)(慕尼黑大学及慕尼黑机器学习中心)
针对反事实公平缺乏理论保证的问题,提出基于定制神经网络与反事实中介正则化的预测器,兼具理论保障与当前最优性能。
2025-10-02 cs.CY cs.LG
Multi-View Fair Clustering Guided by Cross-View Sensitive Information Discrepancy
Dalian University of Technology(大连理工大学)
针对多视图聚类中不同视图敏感依赖差异被忽视的问题,提出由跨视图敏感信息差异引导的公平聚类框架,通过偏置排序非对称对齐与公平正则化,兼顾聚类质量与群体公平。
2026-09-23 cs.LG
Error Parity Fairness: Testing for Group Fairness in Regression Tasks
University of Houston(休斯顿大学)
人工智能(AI)的应用围绕着人类生活越来越多方面的决策。社会的反应是对这种自动决策系统(ADS)的责任施加法律和社会期望。公平性是人工智能问责制的基本组成部分,涉及对个人和敏感群体的公正对待(例如,基于性别、种族)。虽然许多研究集中在公平学习和公平测试的分类任务,文献是相当有限的,如何检查回归任务的公平性。这项工作提出了误差奇偶性作为回归公平的概念,并介绍了一种测试方法来评估组公平性的基础上的统计假设检验程序。错误奇偶检验检查预测错误是否在敏感组中类似地分布,以确定ADS是否公平。然后是一个适当的排列测试,比较几个统计组,以探索差异和确定受影响的群体。通过对美国县级COVID-19预测的案例研究,证明了所提出的方法的有用性和适用性,该研究揭示了基于种族的预测误差差异。总体而言,所提出的回归公平性测试方法填补了公平机器学习文献中的空白,并可作为更大的问责制评估和算法审计的一部分。
2022-08-16 cs.CY cs.LG
On Fairness of Medical Image Classification with Multiple Sensitive Attributes via Learning Orthogonal Representations
The University of British Columbia(不列颠哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学)
减轻机器学习模型的歧视在医学图像分析中得到了越来越多的关注。然而,罕见的作品集中在多个敏感的人口统计数据的患者的公平治疗,这是一个关键的,但现实世界的临床应用具有挑战性的问题。在本文中,我们提出了一种新的方法,公平的表示学习方面的多敏感属性。我们追求目标和多敏感表示之间的独立性,实现正交的表示空间。具体地说,我们通过将目标信息保持在低秩敏感空间的补空间上来增强列空间的正交性。此外,在行空间中,我们鼓励目标和敏感表示之间的特征维度是正交的。在CheXpert数据集上进行了大量实验,证明了该方法的有效性。据我们所知,这是第一个工作,以减轻不公平的多个敏感属性在医学成像领域。
2023-03-08 cs.CV cs.CY cs.LG
Fairness Risks for Group-conditionally Missing Demographics
Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系);Amazon(亚马逊)
针对敏感特征因群体依赖性而缺失导致公平性模型受限的问题,提出在变分自编码器中联合学习群体条件缺失概率并结合概率插补增强公平性风险,在图像与表格数据上实现了准确性与公平性的更好平衡。
2025-04-30 cs.CY cs.LG
Approaching Machine Learning Fairness through Adversarial Network
Purdue University(普渡大学)
公平正成为w.r.t.日益关注的问题。机器学习模型性能。特别是对于刑事司法和贷款决策等敏感领域,消除对特定人群(具有种族和性别等敏感特征)的预测歧视对于提高模型的可信度至关重要。在本文中,我们提出了一个新的通用框架,以提高机器学习的公平性。我们的模型的目标是从数据输入和预测模型的角度最大限度地减少敏感特征的影响。为了实现这一目标,我们通过去除敏感信息来重构数据输入,并通过最小化敏感特征的边际贡献来增强模型公平性。我们建议通过在特征之间采样来学习非敏感输入,并设计一个对抗网络来最小化重构输入与敏感信息之间的依赖性。在三个基准数据集上的大量实验表明,我们的模型在公平性度量和预测性能方面都比相关的最先进的方法取得了更好的结果。
2019-09-06 cs.LG stat.ML
Improving Fairness in Graph Neural Networks via Mitigating Sensitive Attribute Leakage
Vanderbilt University(范德堡大学);University of Virginia(弗吉尼亚大学);Case Western Reserve University(凯斯西储大学)
图神经网络(GNN)在学习图上的节点表示方面表现出强大的能力。然而,它们可能从训练数据中继承历史偏见,导致预测中的歧视性偏差。虽然一些工作已经开发了公平的GNN,但大多数都直接从非图域借用公平的表示学习技术,而没有考虑GNN中特征传播引起的敏感属性泄漏的潜在问题。然而,我们根据经验观察到,特征传播可以改变以前无害的非敏感特征与敏感特征的相关性。这可以被视为敏感信息的泄漏,这可能进一步加剧预测中的歧视。因此,我们根据特征相关性设计了两种特征掩蔽策略,以突出考虑特征传播和相关性变化在减轻歧视方面的重要性。出于我们的分析,我们提出了公平的看法图神经网络(FairVGNN)自动识别和屏蔽敏感相关的功能,考虑相关性变化后的功能传播,以产生公平的功能视图。给定学习到的公平视图,我们自适应地钳制编码器的权重,以避免使用敏感相关的特征。在真实数据集上的实验表明,FairVGNN在模型效用和公平性之间具有更好的权衡。我们的代码可在https://github.com/YuWVandy/FairVGNN上公开获取。
2022-06-09 cs.CR cs.CY cs.LG
Developing a novel fair-loan-predictor through a multi-sensitive debiasing pipeline: DualFair
Floyd B. Buchanan High School(弗洛伊德·B·布坎南高中);Massachusetts Institute of Technology(麻省理工学院)
机器学习(ML)模型越来越多地用于高风险应用,这些应用可以极大地影响人们的生活。尽管使用这些模型,但它们有可能基于种族、性别或民族而偏向某些社会群体。许多先前的工作已经尝试通过更新训练数据(预处理)、改变模型学习过程(处理中)或操纵模型输出(后处理)来减轻这种“模型歧视”。然而,这些工作尚未扩展到多敏感参数和敏感选项(MSPSO)的领域,其中敏感参数是可以区分的属性(例如种族),敏感选项是敏感参数中的选项(例如黑色或白色),从而使它们在现实世界中的可用性有限。以前的公平性工作也遭受了准确性和公平性的权衡,这使得准确性和公平性都不高。此外,以前的文献未能提供与MSPSO一起工作的整体公平性指标。在本文中,我们解决了所有这三个问题,(a)创建一个新的偏见缓解技术称为DualFair和(b)开发一个新的公平性度量(即AWI),可以处理MSPSO。最后,我们使用全面的美国抵押贷款数据集测试了我们的新缓解方法,并表明我们的分类器或公平贷款预测器比当前最先进的模型获得了更好的公平性和准确性指标。
2021-11-14 cs.AI cs.CY cs.LG
Fairness without Sensitive Attributes via Knowledge Sharing
The University of Queensland(昆士兰大学)
本文提出基于置信度的层次化分类器Reckoner,通过高置信度模型向低置信度模型进行知识共享,在敏感属性缺失条件下实现公平学习,并在COMPAS和New Adult数据集上同时优于现有基线。
2024-09-27 cs.LG
Position: Beyond Sensitive Attributes, ML Fairness Should Quantify Structural Injustice via Social Determinants
University of California, Berkeley(加州大学伯克利分校);University of Cambridge(剑桥大学);University of Washington(华盛顿大学);University of Michigan(密歇根大学);University of Toronto(多伦多大学)
本文主张算法公平性研究应超越敏感属性,通过社会决定因素量化结构性不公正,并通过理论模型和实证研究证明仅关注敏感属性的缓解策略可能引入新的结构性不公正。
2026-05-29 cs.AI cs.CY cs.LG
ABCFair: an Adaptable Benchmark approach for Comparing Fairness Methods
Ghent University(根特大学)
本文提出可适配基准方法ABCFair,用于在不同问题设置下公平比较各类公平性方法,并在大规模及双标签数据集上验证其有效性。
2024-10-21 cs.CY cs.LG
GLOCALFAIR: Jointly Improving Global and Local Group Fairness in Federated Learning
University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Google Research(谷歌研究院);Intuit AI Research(Intuit人工智能研究院)
本文提出GLOCALFAIR框架,通过客户端约束优化与服务器端公平性感知聚类聚合的协同设计,在不共享敏感统计信息的前提下,联合提升联邦学习中的全局与本地群体公平性并保持模型效用。
2024-10-02 cs.AI cs.CY cs.LG
Dikaios: Privacy Auditing of Algorithmic Fairness via Attribute Inference Attacks
机器学习(ML)模型已经被部署用于高风险应用。由于在数据集中观察到的敏感属性的类别不平衡,ML模型对由敏感属性(如种族和性别)识别的少数亚组是不公平的。处理中的公平性算法确保模型预测与敏感属性无关。此外,ML模型容易受到属性推断攻击,其中对手可以通过利用其可区分的模型预测来识别敏感属性的值。尽管隐私和公平性是可信ML的重要支柱,但公平算法引入的属性泄漏隐私风险尚未研究。我们确定属性推理攻击作为一种有效的措施,审计黑盒公平算法,使模型构建者占隐私和公平的模型设计。我们提出了Dikaios,一个隐私审计工具的公平算法的模型构建者,利用一个新的有效的属性推理攻击,占类不平衡的敏感属性,通过自适应预测阈值。我们对Dikaios进行了评估,以在五个数据集上对两个处理中公平算法进行隐私审计。我们表明,我们的属性推断攻击与自适应预测阈值显着优于以前的攻击。我们强调了处理中公平算法的局限性,以确保在敏感属性的不同值之间进行不可区分的预测。事实上,这些处理中公平方案的属性隐私风险根据数据集中敏感属性的比例是高度可变的。公平机制对属性隐私风险的这种不可预测的影响是模型构建者必须考虑的对其利用的重要限制。
2022-11-24 cs.CR cs.LG
Fairness via Representation Neutralization
Texas A&M University(德州农工大学);Microsoft Research(微软研究院);Rice University(莱斯大学)
DNN模型的现有偏差缓解方法主要用于学习去偏编码器。这个过程不仅需要对敏感属性进行大量的实例级注释,而且不能保证所有的公平性敏感信息都已从编码器中删除。为了解决这些局限性,我们探讨了以下研究问题:我们是否可以通过仅对分类头进行去偏来降低DNN模型的区分度,即使使用有偏的表示作为输入?为此,我们提出了一种新的缓解技术,即公平表示中立化(RNF),通过仅对DNN模型的特定任务分类头进行去偏来实现公平性。为此,我们利用具有相同地面真实标签但不同敏感属性的样本,并使用它们的中性表示来训练DNN模型的分类头。RNF的关键思想是阻止分类头捕获具有特定类别标签的编码器表示中的公平性敏感信息之间的虚假相关性。为了解决无法访问敏感属性注释的低资源设置,我们利用偏差放大模型为敏感属性生成代理注释。在几个基准数据集上的实验结果表明,我们的RNF框架可以有效地减少DNN模型的区分度,同时最大限度地降低特定任务的性能。
2021-10-27 cs.AI cs.CY cs.LG
MESD: A Risk-Sensitive Metric for Explanation Fairness Across Intersectional Subgroups
本文提出MESD,一种衡量不同交集子组解释质量差异的程序公平度量,结合标签感知聚合、经验贝叶斯收缩和CVaR加权,通过多目标优化框架UEF优化效用、结果公平和程序公平。
2026-05-15 cs.AI cs.CY cs.LG
Federated Fairness without Access to Sensitive Groups
University College London(伦敦大学学院);IBM Research(IBM研究院);Amazon Web Services(亚马逊网络服务);Duke University(杜克大学);Apple(苹果公司)
本文提出一种无需预定义敏感群体或额外标签的联邦学习公平性方法,通过单一超参数在群体规模约束下实现帕累托高效的最坏情况群体公平与效用权衡,并给出具有收敛性和超额风险保证的联邦优化算法。
2024-02-22 cs.AI cs.CY cs.DC
Fairness-Aware Naive Bayes Classifier for Data with Multiple Sensitive Features
University of Durham(杜伦大学)
公平感知机器学习寻求在生成预测时最大化效用,同时避免基于种族、性别、宗教等敏感属性的不公平歧视。遵循这种策略的简单而有效的二进制分类算法是两个朴素贝叶斯(2NB),它强制执行统计奇偶性-要求组成数据集的组以相同的可能性接收阳性标签。在本文中,我们将此算法推广到N-naive-Bayes(NNB),以消除假设数据中只有两个敏感组的简化,而是将其应用于任意数量的组。我们提出了一个扩展的原始算法的统计奇偶约束和后处理例程,强制执行统计独立的标签和单个敏感属性。然后,我们研究了它的应用程序的数据与多个敏感功能,并提出了一个新的约束和后处理例程,以执行差分公平,扩展已建立的组公平约束集中在交叉。我们实证证明了美国人口普查数据集的NNB算法的有效性,并比较其准确性和去偏性能,不同的影响和DF- $ε$分数,与类似的组公平算法。最后,我们列出了用户在将该算法纳入其应用程序之前应该注意的重要事项,并指导他们进一步阅读使用统计奇偶性作为公平标准的利弊和道德影响。
2022-02-23 cs.AI cs.LG
Quantitative Auditing of AI Fairness with Differentially Private Synthetic Data
Institute of Information Science, Academia Sinica(学术院信息研究所)
该研究提出利用差分隐私合成数据审计AI系统公平性的框架,在保护隐私的同时实现严格的公平性评估,并在真实数据集上验证了其有效性和适用性。
2025-04-30 cs.AI cs.CY cs.LG
Fairness Under Demographic Scarce Regime
ÉTS Montréal(蒙特利尔高等技术学院);Mila(米拉研究所);University of Calgary(卡尔加里大学)
针对人口统计信息稀缺场景,提出一种引入不确定性感知的属性分类器框架,仅对低不确定性样本施加公平性约束,在五个数据集上显著改善公平性与准确性权衡,甚至优于使用真实敏感属性的模型。
2024-09-17 cs.AI cs.LG
Exploiting Fairness to Enhance Sensitive Attributes Reconstruction
LAAS-CNRS(LAAS-法国国家科学研究中心);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);École de Technologie Supérieure(高等技术学院);Université du Québec à Montréal(魁北克大学蒙特利尔分校);INSA(法国国立应用科学学院)
近年来,越来越多的工作已经出现在如何学习机器学习模型的公平性约束下,往往表示相对于一些敏感的属性。在这项工作中,我们考虑设置中的对手有黑箱访问的目标模型,并表明该模型的公平性的信息可以利用对手,以提高他的重建的敏感属性的训练数据。更确切地说,我们提出了一个通用的重建校正方法,它作为输入的初始猜测的对手,并纠正它遵守一些用户定义的约束(如公平信息),同时尽量减少对手的猜测的变化。该方法不依赖于目标模型的类型、公平性感知学习方法以及对手的辅助知识。为了评估我们方法的适用性,我们对两种最先进的公平学习方法进行了彻底的实验评估,使用了四种不同的公平性度量,具有广泛的公差范围,以及三种不同大小和敏感属性的数据集。实验结果表明,该方法可以有效地提高训练集敏感属性的重构能力。
2022-09-02 cs.AI cs.CR cs.LG
Fairness risk measures
Australian National University(澳大利亚国立大学);Google(谷歌公司)
确保分类器在敏感特征方面是非歧视性的或公平的(例如,种族或性别)是一个热门问题。要在这方面取得进展,就必须确定公平的定义,过去几年在这方面提出了若干建议。然而,其中几个假设二元敏感特征(从而排除分类或实值敏感组),或导致非凸目标(从而对优化前景产生不利影响)。在本文中,我们提出了一个新的公平性的定义,概括了一些现有的建议,同时允许通用的敏感功能,并导致凸目标。关键思想是强制执行由敏感特征引起的每个子组的预期损失(或风险)是相称的。我们将展示这与数学金融风险度量的丰富文献。作为一个特殊的情况下,这导致了一个新的凸公平意识的目标的基础上最小化的条件风险价值(CVaR)。
2019-01-24 cs.LG stat.ML
Learning Fair Node Representations with Graph Counterfactual Fairness
University of Virginia(弗吉尼亚大学);City University of Hong Kong(香港城市大学);Microsoft(微软)
公平机器学习旨在减轻模型预测对某些亚群的偏见,这些亚群涉及种族和性别等敏感属性。在众多现有的公平性概念中,反事实公平性通过比较每个个体从原始数据和反事实的预测,从因果的角度衡量模型的公平性。在反事实中,这个人的敏感属性值被修改了。近年来,一些研究将反事实公平性扩展到图数据,但大多数研究都忽略了以下可能导致偏差的事实:1)每个节点的邻居的敏感属性可能会因果地影响预测w.r.t.该节点; 2)敏感属性可能会对其他特征和图结构产生因果影响。为了解决这些问题,在本文中,我们提出了一个新的公平概念-图反事实公平,它考虑了上述事实导致的偏见。为了学习图反事实公平性的节点表示,我们提出了一种新的框架,基于反事实数据增强。在这个框架中,我们生成对应于每个节点及其邻居的敏感属性上的扰动的反事实。然后,我们通过最小化从原始图中学习的表示与每个节点的反事实之间的差异来执行公平性。在合成图和真实世界图上的实验表明,我们的框架在图反事实公平性方面优于最先进的基线,并且还实现了相当的预测性能。
2022-01-10 cs.AI cs.LG
One Fits All: Learning Fair Graph Neural Networks for Various Sensitive Attributes
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯AI实验室)
本文从因果与不变学习视角提出 FairINV 框架,通过敏感属性划分并消除标签与多敏感属性的虚假相关,实现一次训练即可适配不同敏感属性的公平 GNN。
2025-06-09 cs.LG
Fairness in Clustering with Multiple Sensitive Attributes
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Queen’s University Belfast(贝尔法斯特女王大学)
如果每个聚类中的敏感属性组的比例反映了数据集中的敏感属性组的比例,则可以认为聚类对预先指定的敏感属性是公平的。在本文中,我们考虑的任务,公平聚类的情况下,涉及多个多值或数值敏感属性。我们提出了一个公平的聚类方法,\textit{FairKM}(公平K均值),这是受流行的K均值聚类公式。我们概述了一个计算的公平性的概念,这是一起使用的集群的一致性目标,产生的FairKM聚类方法。我们根据经验评估我们的方法,其中我们量化了真实世界数据集上聚类的质量和公平性。我们的实验评估表明,由FairKM票价显着更好的聚类质量和公平的代表性的敏感属性组相比,从一个国家的最先进的基线公平聚类方法的集群。
2020-01-24 cs.AI cs.LG stat.ML
Towards Counterfactual Fairness-aware Domain Generalization in Changing Environments
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);Department of Computer Science, Baylor University(贝勒大学计算机科学系);GE Aerospace Research(GE航空航天研究院);NEC Labs America(美国 NEC 实验室)
本文提出CDSAE框架,通过分离环境信息与敏感属性并引入公平性正则化,在连续变化的领域分布中同时提升模型泛化能力与分类公平性。
2024-05-06 cs.AI cs.CY cs.LG
Fairness-Aware Low-Rank Representation Fine-Tuning
Innovation Lab, Featurespace(Featurespace创新实验室)
针对现有公平感知微调方法需敏感属性标签的局限,提出四种公平感知LoRA策略,实验显示其中两种策略在效用与公平性上优于标准微调,同时也揭示了多公平目标优化的挑战。
2026-08-25 cs.CV cs.LG
Blind Justice: Fairness with Encrypted Sensitive Attributes
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);University College London(伦敦大学学院);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
最近的工作已经探索了如何训练机器学习模型,这些模型不歧视由敏感属性(如性别或种族)确定的任何群体。为避免区别对待,不应考虑敏感属性。另一方面,为了避免不同的影响,必须检查敏感属性,例如,以便学习公平模型,或者检查给定模型是否公平。我们引入安全多方计算的方法,使我们能够避免这两种情况。通过加密敏感属性,我们展示了如何学习,检查基于结果的公平模型,或验证其输出并将其保留在帐户中,而无需用户泄露其敏感属性。
2018-06-08 cs.CR cs.CY cs.LG
Auditing and Achieving Intersectional Fairness in Classification Problems
QuantumBlack, a McKinsey company(QuantumBlack,麦肯锡旗下公司);University of Warwick(华威大学)
机器学习算法被广泛用于对人做出越来越重要的决策,因此实现最佳预测性能不再是唯一的焦点。一个特别重要的考虑因素是种族、性别或任何其他敏感属性的公平性。本文研究交叉公平性,其中考虑多个敏感属性的交集。先前的研究主要集中在相对于单个敏感属性的公平性上,尽管交叉公平性对于现代机器学习系统的安全性至关重要,但交叉公平性的研究相对较少。我们提出了一个全面的框架,审计和实现交叉公平的分类问题:我们定义了一套指标,以评估交叉公平的数据或模型输出,通过扩展已知的单属性公平性指标,并提出了方法,即使在一些交叉分组代表性不足的稳健估计。此外,我们还开发了后处理技术,以减轻分类模型中检测到的任何交叉偏倚。我们的技术不依赖于关于基础模型的任何假设,并在保证公平的水平上保持预测性能。最后,我们给出了一个实际实现的指导,展示了所提出的方法如何在真实世界的数据集上执行。
2020-06-08 cs.AI cs.CY cs.LG
Fairness of Machine Learning Algorithms in Demography
National Research University Higher School of Economics(俄罗斯高等经济大学国立研究型大学(莫斯科));Moscow(莫斯科(注:此处“Moscow”为城市名,按要求不提取,但原机构名已包含,需保留));HSE(高等经济大学(注:HSE为原机构缩写,与“National Research University Higher School of Economics”为同一机构,按要求提取到大学级别即可))
本文通过对俄罗斯人口数据集的模型公平性和过程公平性的研究,对第一次婚姻的离婚率、宗教信仰、第一次就业率和教育完成率进行了预测。我们的目标是通过减少对敏感特征的依赖,同时增加或至少保持其准确性,使分类器更加公平。我们从基于神经的方法中的“dropout”技术中获得灵感,并提出了一个使用“feature drop-out”来解决过程公平性的模型。为了评估分类器的公平性并决定要消除的敏感特征,我们使用了“LIME解释”。这导致由于特征丢失而产生的分类器池,其集合已被证明不太依赖于敏感特征,并且对准确性有改善或没有影响。我们的实证研究是在四个分类器家族(逻辑回归,随机森林,Bagging和Adaboost)上进行的,并在现实生活中的数据集(来自世代和性别调查的俄罗斯人口数据)上进行的,结果表明,所有模型都变得不那么依赖敏感的特征(如性别,第一次合作关系的破裂,第一次合作关系等)。并显示出对准确性的改善或无影响
2022-02-02 cs.AI cs.CY cs.LG
Conformalized Fairness via Quantile Regression
University of Alberta(阿尔伯塔大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在社会敏感领域,公平性越来越受到关注。虽然已经建立了丰富的文献平均公平,分位数公平的研究仍然稀少,但至关重要。为了满足巨大的需求,并倡导分位数公平的意义,我们提出了一种新的框架来学习一个实值分位数函数的公平性要求下的人口奇偶性的敏感属性,如种族或性别,从而获得一个可靠的公平预测区间。使用最优传输和功能同步技术,我们建立了理论保证的分布免费覆盖和公平分位数构造的诱导预测区间的精确公平性。提供了一个动手流水线,以将灵活的分位数回归与有效的公平性调整后处理算法相结合。我们在几个基准数据集上证明了这种方法的优越经验性能。我们的研究结果表明,该模型能够揭示在广泛的社会和医疗应用中公平性-准确性权衡的机制。
2022-10-14 cs.CY cs.LG stat.ML
Practical Approaches for Fair Learning with Multitype and Multivariate Sensitive Attributes
University of Cambridge(剑桥大学)
重要的是要保证部署在现实世界中的机器学习算法不会导致不公平或意外的社会后果。Fair ML在很大程度上专注于在属性和目标结果都是二进制的简单环境中保护单个属性。然而,在许多实际问题中的实际应用需要同时保护多个敏感属性,这些属性通常不是简单的二进制,而是连续的或分类的。为了解决这个更具挑战性的任务,我们引入了FairCOCCO,这是一个建立在再生核希尔伯特空间上的互协方差算子上的公平性度量。这导致了两个实用的工具:第一,FairCOCCO分数,一个归一化的度量,可以量化设置中的公平性与任意类型的单个或多个敏感属性;第二,随后的正则化项,可以被纳入任意学习目标,以获得公平的预测。这些贡献解决了算法公平性文献中的关键差距,我们根据经验证明了在平衡预测能力和真实世界数据集公平性方面对最先进技术的一致改进。
2022-11-11 cs.CY cs.LG stat.ML
Testing for Causal Fairness
Beijing Institute of Technology(北京理工大学);Renmin University of China(中国人民大学)
本文提出基于分布的潜在结果框架,将公平性分析转化为DCT,并用N-TE统计量构建CF-CLOT检验,理论证明其一致性且实验有效识别不公平敏感属性。
2025-02-18 cs.LG
Causal Manifold Fairness: Enforcing Geometric Invariance in Representation Learning
Machine Learning Lab IIIT-Hyderabad(IIIT-海得拉巴第二工业大学机器学习实验室)
本文提出因果流形公平性框架,通过强制潜在空间几何不变性,解决敏感属性对数据流形几何的因果扭曲问题,实现公平性与效用的平衡。
2026-01-06 cs.AI cs.CY cs.LG
Debias Anything: Fairness with Diversity without Supervision in Diffusion Models
Criteo AI Lab(Criteo AI实验室);ESSEC Business School(ESSEC商学院);CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央理工-高等电力学院);FairPlay joint team(FairPlay联合团队)
本文提出一种通用适配器方法,联合优化扩散模型的公平性与多样性,无需敏感属性标注,通过文本提示方向和语义不一致性分数实现,实验证明在同等公平性下提升质量与多样性。
2026-10-02 cs.LG
A Sequentially Fair Mechanism for Multiple Sensitive Attributes
针对多重敏感属性下的算法公平性问题,提出基于多边际Wasserstein重心的序贯公平框架,扩展强人口学平价概念并提供闭式解,兼顾风险与不公平的权衡,有效促进公平决策。
2024-01-14 cs.CY cs.LG stat.ML
Doubly-Regressing Approach for Subgroup Fairness
Seoul National University(首尔国立大学);SK Hynix Inc.(SK海力士公司)
本文提出DRAF算法,通过双重回归方法解决子组公平性问题,减少计算量并提升公平性度量。
2026-01-27 cs.LG stat.ME stat.ML
Taking Advantage of Multitask Learning for Fair Classification
University of Genoa(热那亚大学);Istituto Italiano di Tecnologia(意大利理工学院);University College London(伦敦大学学院)
算法公平性的核心目标是减少自动决策中的偏差。通过使用敏感信息(例如,性别或种族群体)作为统计模型的一部分,以及保护这些特征的任何承诺。通常,由于数据中存在的偏差,使用分类器的函数形式的敏感信息可以提高分类精度。在本文中,我们展示了如何能够两全其美:优化模型的准确性和公平性,而不显式地使用模型的函数形式中的敏感特征,从而平等对待不同的个体。我们的方法基于两个关键思想。一方面,我们建议使用多任务学习(MTL),增强了公平性约束,共同学习组特定的分类器,利用敏感群体之间的信息。另一方面,由于学习组特定的模型可能不被允许,我们建议首先通过任何学习方法预测敏感特征,然后使用预测的敏感特征来训练公平性约束的MTL。这使我们能够通过三管齐下的方法来解决公平性问题,即通过提高每个组的准确性,在训练过程中实施公平性措施,以及在测试过程中保护敏感信息。在两个真实数据集上的实验结果支持了我们的建议,在准确性和公平性方面都有了实质性的改善。
2020-01-31 cs.LG stat.ML
When Fairness Meets Privacy: Fair Classification with Semi-Private Sensitive Attributes
Illinois Institute of Technology(伊利诺伊理工学院);Cisco Research(思科研究院);University of Connecticut(康涅狄格大学)
本文提出FairSP框架,利用少量干净敏感属性纠正受本地差分隐私保护的敏感属性,并通过对抗式联合建模实现半私有设置下的公平分类,在保护隐私的同时保持高准确率。
2023-05-29 cs.AI cs.CR cs.CY
FairVFL: A Fair Vertical Federated Learning Framework with Contrastive Adversarial Learning
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Sony AI(索尼人工智能);USTC(中国科学技术大学);Shenzhen University(深圳大学);Zhongguancun Laboratory(中关村实验室)
垂直联邦学习(Vertical Federated Learning,VFL)是一种隐私保护的机器学习范式,它可以以隐私保护的方式从分布在不同平台上的特征中学习模型。由于在现实世界的应用程序中,数据可能包含对公平敏感特征的偏见(例如,性别),VFL模型可能从训练数据继承偏差,并且对于某些用户组变得不公平。然而,现有的公平机器学习方法通常依赖于公平敏感特征的集中存储来实现模型公平性,这通常不适用于联邦场景。本文提出了一种公平的垂直联邦学习框架(FairVFL),该框架可以提高VFL模型的公平性。FairVFL的核心思想是以隐私保护的方式基于分散的特征字段学习样本的统一和公平表示。具体来说,每个具有公平性不敏感特征的平台首先从本地特征学习本地数据表示。然后,这些本地表示被上传到服务器,并聚合成目标任务的统一表示。为了学习公平的统一表示,我们将其发送到存储公平敏感特征的每个平台,并应用对抗学习来消除从有偏差数据继承的统一表示中的偏差。此外,为了保护用户隐私,我们进一步提出了一种对比对抗学习方法,在将隐私信息发送到保持公平敏感特征的平台之前,将隐私信息从服务器的统一表示中删除。在三个真实数据集上的实验表明,该方法能有效地提高模型的公平性,同时很好地保护用户隐私。
2022-10-31 cs.CR cs.CY cs.LG
Endowing Pre-trained Graph Models with Provable Fairness
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出 GraphPAR 框架,通过冻结预训练图模型参数并训练适配器与敏感语义增强器,在节点分类任务中实现可证明的公平性,约 90% 节点获得公平性保证。
2024-02-20 cs.AI cs.CY cs.LG
(Local) Differential Privacy has NO Disparate Impact on Fairness
Inria(法国国家信息与自动化研究所);École Polytechnique (IPP)(巴黎综合理工学院(巴黎理工学院))
本文实证研究了在本地差分隐私(LDP)下收集多种敏感属性对公平性的影响,提出了一种考虑属性域大小的新型隐私预算分配方案,实验表明LDP不仅未恶化反而略微改善了公平性,挑战了差分隐私必然损害公平性的普遍看法。
2023-08-01 cs.CR cs.LG
FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes
National University of Singapore(新加坡国立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出两阶段训练算法FAIRIF,利用影响函数和验证集敏感属性计算样本权重,在不修改模型的情况下缓解深度学习中的不公平问题,并保持公平性与效用的良好权衡。
2023-12-23 cs.CY cs.LG stat.ML
Promoting Fairness in Link Prediction with Graph Enhancement
University of California, Irvine(加州大学欧文分校)
针对链接预测的不公平性问题,提出FairLink方法,通过学习公平性增强图免去预测器训练中的去偏步骤,兼顾预测准确率与公平性,且在不同GNN架构下泛化性强。
2024-09-13 cs.LG
Fairness in generative modeling
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);ESIEE Paris(巴黎高等电子与电工技术工程师学院);Facebook AI Research(脸书人工智能研究院);Univ. du Littoral Cote d’Opale(滨海奥帕尔海岸大学);Univ. of Konstanz(康斯坦茨大学);Univ. d’Antananarivo(塔那那利佛大学);The University of Adelaide(阿德莱德大学)
我们设计了通用的算法,用于解决公平性问题和生成式建模中的模式坍塌。更确切地说,为了为尽可能多的敏感变量(包括我们可能不知道的变量)设计公平算法,我们假设没有敏感变量的先验知识:我们的算法只使用无监督公平性,这意味着没有与敏感变量相关的信息用于我们的公平性改进方法。所有人脸图像(甚至是生成的)都已被删除,以减轻法律风险。
2022-10-06 cs.AI cs.LG cs.NE
Conditional Contrastive Learning for Improving Fairness in Self-Supervised Learning
Carnegie Mellon University(卡内基梅隆大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
对比自监督学习(SSL)学习嵌入空间,该嵌入空间将相似的数据对映射得更近,而将不相似的数据对映射得更远。尽管它取得了成功,但有一个问题被忽视了:使用对比SSL学习的表示的公平性。如果不采取缓解措施,对比SSL技术可能会包含性别或种族等敏感信息,并对下游任务造成潜在的不公平预测。在本文中,我们提出了一个条件对比学习(CCL)的方法来提高对比SSL方法的公平性。我们的方法从敏感属性的条件分布中采样阳性和阴性对,或者从经验上讲,从同一性别或同一种族中采样阳性和阴性对。我们表明,我们的方法可证明最大化的条件互信息之间的学习表示的积极对,并减少敏感属性的影响,将其作为条件变量。在七个公平性和视觉数据集上,我们实证证明,与无监督基线相比,所提出的方法实现了最先进的下游性能,并显着提高了对比SSL模型在多个公平性指标上的公平性。
2022-06-28 cs.LG
On Graph Neural Network Fairness in the Presence of Heterophilous Neighborhoods
University of Michigan(密歇根大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室);RWTH Aachen University(亚琛工业大学)
我们研究了图神经网络(GNNs)的节点分类任务,并建立了由统计奇偶性和平等机会衡量的组公平性与局部非线性之间的联系,即,链接节点具有相似属性的趋势。这种非对称性通常是由同质性引起的,即具有相似属性的节点连接的趋势。在社交网络中,系统性因素迫使个体进入具有共同敏感属性的社区,因此,同质性是很常见的。通过合成图,我们研究了本地发生的同质性和公平预测之间的相互作用,发现并不是所有的节点邻域在这方面都是平等的-由一类敏感属性主导的邻域往往很难获得公平待遇,特别是在发散的本地类和敏感属性同质性的情况下。在确定局部同质性和公平性之间存在关系后,我们研究了不公平性问题是否与所应用的GNN模型的设计有关。我们表明,通过采用能够处理dispertative组标签的heterophilous GNN设计,在真实和合成数据集中,局部heterophilous邻域中的组公平性可以比homophilous设计提高高达25%。
2022-11-14 cs.CY cs.LG cs.SI
Fairness-aware Message Passing for Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学);National University of Singapore(新加坡国立大学)
针对图神经网络预测中的社会偏见问题,提出公平感知消息传递框架GMMD及其简化变体GMMD-S,通过优化图平滑性与表示公平性实现公平表示,在保持高准确率的同时显著提升多种骨干GNN模型的公平性。
2023-06-19 cs.LG